MoE

Tencent発！295Bの推論特化MoEモデル「Hy3」 最近、インフラエンジニアの同僚たちと話すと、決まって「LLMの推論コストをどう叩くか」という泥臭い話題に行き着く。いくらベンチマークで人間超えを達成しようが、G … 続きを読む