AIはなぜ巨大化し続けるのか？モデルサイズと性能の関係

はじめに

AIの話題では、パラメータ数や学習に使う計算量の大きさが注目されます。大きなモデルを作るのはなぜか、小さく効率よくする方法はないのか。この記事では、大規模言語モデルを中心に、性能と規模の関係を整理します。

パラメータは、学習で調整される数値です。モデルの規模を増やすと、複雑な関係を表現する余地が広がります。一定の実験条件では、モデル規模、学習データ、計算量の増加とともに予測誤差が減る傾向が観測され、スケーリング則として研究されています。

ただし、パラメータ数だけで性能は決まりません。データの質と量、学習方法、モデル構造、評価する課題も関係します。異なる設計のモデルを、サイズだけで順位付けすることはできません。

限られた計算予算では、モデルだけを大きくするより、十分なデータで学習させた小さめのモデルが高い性能を示すことがあります。Chinchillaの研究は、その配分の重要性を示しました。これは「データが増えたら必ずモデルも大型化する」という単純な関係ではありません。

計算資源をどこに使うかは、学習時の費用だけでなく、その後に何回使うか、必要な応答速度、端末で動かすかなどによっても変わります。

特定の課題で、規模の増加に伴って能力が急に現れるように見える「創発」が報告されています。一方、正解か不正解かだけで採点するような評価方法によって、なだらかな改善が急な変化に見える場合も指摘されています。

創発については評価方法も含めた議論があります。「一定サイズを超えれば新能力が必ず出る」という法則として扱うことはできません。

大きなモデルの出力などを使って小さなモデルを学習させる蒸留、数値の精度を減らす量子化、不要な部分を減らす圧縮、必要な部分だけを動かす構造、用途を絞った学習などがあります。いずれも性能、速度、メモリ、実装の複雑さのバランスを取る方法です。

検索や外部ツールを組み合わせ、モデルの内部だけに頼らず情報を取得する方法もあります。ただし検索やツールにも誤りがあり、組み合わせれば必ず高性能になるわけではありません。

難しい課題で性能を伸ばしたい開発では、大きな計算予算が使われます。一方、端末での利用、低価格、短い待ち時間を重視する用途では、小型化や効率化が重要です。競争があるから大型化が止められない、と一律に決まるわけではありません。

学習と運用には、半導体、メモリ、ネットワーク、電力、冷却などが必要です。コストや消費電力は規模だけでなく、機器の効率、稼働率、処理件数などにも左右されます。

モデルの大型化は性能向上の有力な手段ですが、唯一の道ではありません。データと計算量の配分、学習方法、小型化、外部情報の利用などが組み合わされます。「大きいほど必ず賢い」ではなく、目的に対してどの性能を、どの費用と速度で実現できるかが大切です。