生成AIはなぜ嘘をつくのか？“それっぽい誤回答”が生まれる仕組み

はじめに

生成AIの回答が自然で説得力のある文章でも、日付や人物名、引用元が間違っていることがあります。こうした、もっともらしい誤った内容の生成を「ハルシネーション」と呼びます。「嘘」という表現だけでは、誤りと意図的な欺きが混ざるため、この記事では仕組みと確認方法を分けて説明します。

多くの言語モデルは、入力された文脈に基づき、トークンという文字列の単位を順に生成します。トークンは単語一つとは限りません。また、常に最も確率の高い候補だけを選ぶわけでもありません。

モデルは学習した事実を回答に利用できますが、内部に正確な資料集をそのまま保管し、必ず原文を取り出しているわけではありません。自然な文章を生成する能力と、一つひとつの主張が正しいことは別です。

一方、検索や文書参照を使うAIもあります。外部情報を取得してから回答を作るRAGなどの仕組みでは、新しい情報を参照できます。「生成AIは検索しない」と一律に説明するのは誤りです。検索結果の取り違えや、資料にない内容の補足は依然として起こり得ます。

断定口調は、回答の正しさを測る指標ではありません。学習データ、指示への追加学習、評価方法などが出力に影響します。不確かなときに答えを控えるより推測して答えるほうが得点を得やすい評価では、誤った推測を促すことも研究で指摘されています。

AIは「分からない」と回答することもできますが、いつでも適切に不確実性を判断できるとは限りません。「自信は何％？」と尋ねた数字も、実際の正解率としてそのまま信頼できるわけではありません。

古い情報、誤った情報、十分に学習していない話題は原因の一部です。それに加え、質問の曖昧さ、前提の読み違い、計算や推論の失敗、長い文脈から必要な条件を取り出せないことなども関係します。検索機能がある場合も、参照先が古い・不適切といった問題は残ります。

因果関係、専門用語、具体例がそろうと納得しやすくなります。しかし、説明の構成が整っていることは、根拠が実在することや結論が正しいことを保証しません。引用された論文やURL自体が存在するか、その資料が本当に主張を支えているかを確認しましょう。

下書き、論点整理、発想に利用しつつ、公開や判断に使う前に重要な部分を検証します。日付・金額・固有名詞は一次資料、計算は計算機、コードは実行結果など、内容に合う方法で確認します。

依頼時には「根拠と推測を分ける」「資料にないことを補わない」「不明な点を示す」と伝えられます。ただし、それだけで誤りがなくなるわけではありません。AIに再確認させる場合も、同じ誤りを繰り返す可能性があります。

生成AIの誤りには、学習、生成、検索、推論など複数の要因が関係します。検索やツールは改善に役立ちますが、正しさを保証するものではありません。文章の自然さや口調で判断せず、重要な主張を根拠や実行結果と照らし合わせることが大切です。