AIに「推測するな」と指示するだけで架空データが70％から20％に減少したという実験結果 – GIGAZINE

生成AIにウェブページから情報を抜き出させる際に「ページに値がなければnullを使い、推測しないでください」と指示するだけで、存在しない値を作り出す割合が70.7％から20.2％まで低下したという実験結果をAIエージェント向けマーケットプレイスのEarn an Honest Dollarが公開しました。

Calling the AI bluff: “Do not guess” cut made-up fields from 70.7% to 20.2% | Earn an Honest Dollar
https://earnanhonestdollar.com/bench

ChatGPTなどの生成AIには、事実に基づかない情報をもっともらしく生成する「ハルシネーション(幻覚)」という問題があります。

GPT-5のような大規模言語モデルがなぜ幻覚を起こしてしまうのかをOpenAIの研究チームが論文で発表 – GIGAZINE

例えば商品ページから「商品名」「価格」「発売日」を取得する処理をAIに任せたとします。商品名と発売日はページに書かれているものの、価格が書かれていなかった場合、人間なら「価格は不明」と判断できますが、AIはページ内にある古い価格や別の商品に関する数字を拾い「おそらく価格は○○円だろう」と勝手に穴埋めしてしまう場合があります。

AIエージェント同士がサービスを売買する仕組みを運営するEarn an Honest Dollarにとって、サービスを購入する側のAIエージェントが得られた情報を毎回確認できるとは限らないため、存在しないデータを勝手に補ってしまう挙動は特に大きな問題になります。そこでEarn an Honest Dollarは「分からない情報について、きちんと分からないと回答できるか」を測る実験を行いました。

実験では7種類のページ形式について計42組のテストページを用意しました。各ペアのページはほぼ同じ内容ですが、一方には求める情報が記載され、もう一方からは情報が取り除かれています。

さらにページ内にはAIが間違えやすい「おとり」も配置されました。例えば現在価格が書かれていない商品ページに「以前は493ドル」という古い価格を掲載したり、著者名が存在しない記事に「ファクトチェック担当：オマー・タム」と記載したりする仕組みです。AIが「著者はオマー・タム」と回答すれば、ページに書かれている別の名前を著者だと推測したことになります。

以下の画像はEarn an Honest Dollarが公開したテスト結果です。「指示あり」は「ページにない値にはnullを使ってください。推測しないでください」という指示を含めた場合、「指示なし」は同じ指示を取り除いた場合を示しています。表中の「1/36」などの数値はページに存在しない値をAIが生成した回数を示しており、少ないほど良い結果です。なお、一部のエラーを除外しているため指示ありと指示なしで集計対象数が異なるモデルが存在しています。

16種類のAIモデルについて集計したところ、「推測しないでください」という指示がない場合は、存在しない項目573件のうち405件、割合にすると70.7％の項目で何らかの値が生成されました。

一方で「ページにない値にはnullを使ってください。推測しないでください」という指示を追加すると、存在しない項目574件のうち架空の値が生成されたのは116件で、割合は20.2％まで低下しました。テストした16モデルすべてで、指示を追加した方が架空の値を生成する回数が少なくなったとのこと。

効果が特に分かりやすかったのが「以前は493ドル」と書かれた商品ページです。推測禁止の指示がない状態では16モデルすべてが493ドルを現在価格として回答しました。推測禁止の指示を加えた場合、同じ間違いをしたモデルは1種類に減少しました。

これまで、新しく大型化された大規模言語モデルでは、分からないことについて「分からない」と回答する代わりに誤答してしまう傾向が報告されていましたが、今回の実験では、モデルそのものを作り直さなくても「推測せず不明な値を不明のまま返す」というルールを明示することで挙動が大きく変わる可能性が示されたというわけです。

OpenAIのGPTシリーズ・MetaのLlama・BigScienceのBLOOMのような新しくて大きなバージョンの大規模言語モデルを使ったAIは無知を認めるよりも間違った答えを与える傾向が強い – GIGAZINE

Earn an Honest Dollarはさらに、AIが抽出した値について別の安価なAIに「元ページに根拠があるか」を確認させる方法も試しています。GPT-6 Lunaをチェック役として使った実験では、架空の値49件中38件を検出し、正しい値47件について誤って却下した例はなかったとのことです。

なお、Earn an Honest Dollarは今回のベンチマークが対象としているのはウェブからの情報抽出だけだと説明しており、今後ほかの用途でも同じ傾向が確認できるかは追加の検証が必要だと述べています。