AIシステムをゼロから実装する練習基盤「Pyre Code」
AIシステムをゼロから実装する練習基盤「Pyre Code」 nn.MultiheadAttention をインポートして初期化し、テンソルを流し込む。たった数行のコードで、現代の自然言語処理を牽引する巨大な言語モデルの … 続きを読む
機械学習
単一GPUで1000億パラメータのLLMを学習！MegaTrain
「A100を何枚確保できるか」という退屈な問い ここ数年のテック業界における至上命題は、あまりにも物理的で、ある意味で泥臭いものになっていた。モデルのパラメータ数が100億、1000億と膨れ上がるにつれ、AI開発の最前線 … 続きを読む