AIはどこで計算されているのか？CPU・GPU・NPUの違いを解説

はじめに

AIはソフトウェアですが、実際の計算はハードウェアが実行します。「クラウドで動く」「スマホの中で動く」という場所の違いと、CPU・GPU・NPUという装置の違いは別の話です。この記事では、主にニューラルネットワークの計算を支える装置の役割を整理します。

ニューラルネットワークでは、行列の掛け算や足し算をはじめ、正規化、活性化、データの移動など多くの処理を組み合わせます。速さは演算能力だけでなく、メモリ容量や帯域、モデル構造、ソフトウェアの最適化にも左右されます。計算装置が速いことと、回答が正確であることも別です。

CPUは汎用的な処理、分岐や制御、データの準備などを担います。AIの学習や推論そのものも実行でき、「司令塔だけでAI計算はしない」わけではありません。小規模なモデルや、少量の処理ではCPUが適する場合があります。

GPUは多数の演算を並列に実行することを得意とし、行列演算の多い処理を高速化できます。大規模な学習だけでなく、画像生成や言語モデルの推論にも使われます。ただし、データ移動やメモリ不足が制約になったり、小さな処理では起動や転送の負荷が目立ったりすることもあります。

NPUはニューラルネットワークでよく使う計算を、効率よく実行するための装置です。対応する処理を少ない電力で行うことを狙い、スマホやPCなどに搭載されます。ただし、対応する演算や数値形式、モデルには制約があり、どのAIでもそのまま使えるとは限りません。

端末内AIにNPUが必須というわけではありません。CPUやGPUなどでも実行でき、複数の装置が処理を分担する場合もあります。

端末内で完結する機能では、通信の待ち時間を減らしたり、入力データをサーバーへ送らず処理したりできます。一方、端末のメモリ、電池、発熱が制約になります。クラウドでは大きな計算資源を利用しやすい反面、通信やサービス側の稼働状態に依存します。

両方を組み合わせる機能もあります。NPUがあるだけで、すべてのAI機能がオフラインになったり、すべてのデータ送信がなくなったりするわけではありません。利用する機能の説明と設定を確認する必要があります。

大規模な学習ではGPUや専用アクセラレーターがよく使われますが、小型モデルならCPUで学習することも可能です。推論もCPU・GPU・NPUなどで実行されます。「学習はGPU、推論はNPU」という固定の分担ではなく、処理量、応答速度、メモリ、電力、対応ソフトウェアによって選びます。

CPU・GPU・NPUは、得意な処理と制約が異なります。どれか一つがAIを独占的に動かすのではなく、機能に応じて組み合わせます。実行場所と計算装置を分けて考えると、性能、電力、通信、データの扱いを理解しやすくなります。