Qwenの高速線形アテンションライブラリFlashQLA
無限のコンテキストを夢見る狂乱の果てに AI開発の現場にいると、ハードウェアのリソース制限とアルゴリズムの要求が激しく衝突する音を毎日のように聞くことになる。昨今のLLM界隈は特に異常だ。コンテキストウィンドウは数万から … 続きを読む
PyTorch
単一GPUで1000億パラメータのLLMを学習！MegaTrain
「A100を何枚確保できるか」という退屈な問い ここ数年のテック業界における至上命題は、あまりにも物理的で、ある意味で泥臭いものになっていた。モデルのパラメータ数が100億、1000億と膨れ上がるにつれ、AI開発の最前線 … 続きを読む