DeepSeek発！LLM用GPUカーネルライブラリ
演算の限界を叩き出す「言語」の正体 最近、メガテック企業のカンファレンスや論文を眺めていると、奇妙な既視感を覚えることがある。かつてWebブラウザのレンダリング速度をミリ秒単位で削り合っていた時代のように、今は誰もが「G … 続きを読む
GPU
単一GPUで1000億パラメータのLLMを学習！MegaTrain
「A100を何枚確保できるか」という退屈な問い ここ数年のテック業界における至上命題は、あまりにも物理的で、ある意味で泥臭いものになっていた。モデルのパラメータ数が100億、1000億と膨れ上がるにつれ、AI開発の最前線 … 続きを読む