AIが法学教授より学生の質問にうまく答えられるとの研究結果、ブラインドテストでもAIの方が「誤解を招く可能性が低い」と判断される – GIGAZINE

スタンフォード大学ロースクールの法学教授が主導した研究により、学生からの質問には人間の法学教授よりもAIの方がうまく答えられるとの結果が示されました。さらに、回答が誤解を招くあるいは有害なものであると判断される割合も、AIの方が人間の教授よりも低かったと報告されています。

Law Professors Prefer AI Over Peer Answers – Journal Article – Stanford Law School
https://law.stanford.edu/publications/law-professors-prefer-ai-over-peer-answers/

AI Outperforms Law Professors in Stanford Law Study – SLS News and Announcements – Stanford Law School
https://law.stanford.edu/press/ai-outperforms-law-professors-in-stanford-law-study/

スタンフォード大学ロースクールの法学教授であり、法務イノベーション・フロンティアテクノロジーラボ(liftlab)を率いるジュリアン・ニャルコ氏は、イェール大学やニューヨーク大学といった一流大学の同僚らとともに、AIが学生から寄せられる法律関係の質問にどれほどうまく答えられるのかを調査しました。

ニャルコ氏らが行った実験には、アメリカのロースクールに所属する16人の法学教授が参加しました。教授らは契約法の講義中や講義後に学生から尋ねられる可能性がある代表的な質問を40個作成し、各自でその質問に対する回答を記述しました。研究チームはAIにも同じ質問への回答を生成させて、どの回答が人間／AIのものなのかわからないようにした状態で、教授らに回答の内容を評価させました。

研究チームは実験結果の妥当性を確保するため、AI生成の回答を人間による回答の長さや構造に合うように調整したとのこと。ニャルコ氏は、「今回の研究は重要性が非常に高いため、可能な限り厳密なものとなるよう設計しました」と述べています。

これまでのAIに関する調査では、主に正誤が明確な問題に焦点が当てられてきました。しかし法的な推論においては、対立する議論を慎重に分析し、妥当な結論を導き出す必要があります。ニャルコ氏は、「私たちが法学に焦点を当てたのは、法学には単なる事実の記憶だけでなく判断力や繊細な推論力、そして曖昧さを乗り越える能力が求められるからです」と説明しています。

教授らが合計2918件の回答について評価した結果、教授らは人間の法学教授が作成した回答よりも、AIが生成した回答を著しく高く評価することが判明。AI生成の回答は人間の教授との直接対決で約75％の勝率を示しました。

最も注目すべき点として挙げられているのが、「教育的に有害である」と指摘された回答の割合です。人間の教授の場合、有害だと指摘された回答の割合は約12％でしたが、AI生成の回答ではわずか3.5％にとどまりました。

ニャルコ氏は「これらは答えが明白で単純な質問ばかりではありませんでした。多くは複雑な内容を統合し、それを新しい状況に適用し、学生が自身の分析スキルを伸ばせるような方法で法的概念を説明する必要がありました」「この研究は、法学教育におけるAIの役割に関する重要な前提に疑問を投げかけるものです」と述べています。

今回の研究結果は、法学教育における「AIチューター」の活用について重要な示唆を投げかけるものです。アメリカのロースクールはAIツールを法学教育に統合する課題に取り組んでいますが、中には幻覚(ハルシネーション)やAIへの過度の依存、批判的思考力の低下といった潜在的リスクを懸念し、AIツールの導入に慎重な教育機関もあります。

liftlabの研究員であるアレハンドロ・サリナス氏は、「私たちの研究は、AIによる個別指導が法律のような判断を要する分野の学習にどのように貢献できるかという点に焦点を当てています。法学教育者による評価では、AIチューターは教室での授業を補完する質の高いオンデマンドのサポートを提供でき、専門家の指導へのアクセスを拡大できる可能性があることがわかりました」とコメント。

ニャルコ氏は、「法曹教育とは、将来の弁護士が批判的に考え、説得力のある議論を展開し、倫理的に複雑な問題に対処できるよう育成することです。今回の研究は、AIがその使命を支援できるかどうかを解明するための重要な一歩となります」「私たちはAIチューターの全面的な導入を推奨しているわけではありません。しかし私たちのデータは、全面的に懐疑的になるのも同様に不当である可能性を示唆しています。議論の焦点は『AIが正確で質の高い回答を提供できるかどうか』から、『学生の利益のためにAIを責任を持って活用する方法』へと移るべきです」と述べました。