AI使用と不使用で「ロボット犬開発」の速度を比較した実験結果をAnthropicが公開 – GIGAZINE

Anthropicが自社製AIモデル「Claude」の現実世界での有用度を確かめるべく、AIを使う場合と使わない場合でロボット犬の開発速度や品質にどのような影響がでるのか確かめる実験を実施しました。この実験は「Project Fetch」と呼ばれています。

Project Fetch: Can Claude train a robot dog? \ Anthropic
https://www.anthropic.com/research/project-fetch-robot-dog

Who let the robot dogs out? – YouTube

Google DeepMindが開発したアミノ酸の配列情報からタンパク質の立体構造を予測するAI「AlphaFold」が重要な分野での研究を加速させていたり、物理学の分野でもAIが強力なツールになっていたりと、AIの発達が現実世界の実験や研究を大きく進めるケースがあります。

AIは物理学分野でも強力なツールになっており「新たな実験装置の考案」「データ内のパターン発見」などに役立つと証明されつつある – GIGAZINE

AIが得意とするのはソフトウェア上でのコード生成や情報処理ですが、ロボットなど現実世界のものを制御するには物理的な要素が加わるため、より難しいタスクとなります。 Anthropicはこれを「デジタルと物理の分断を橋渡しするステップ」と捉えています。そこでAnthropicは、「AIモデルが今後どのように物理世界に影響を及ぼしうるか」を探るため、言語モデルがロボットを使って動作を実行するチャレンジに取り組みました。

実験では、8人のロボット専門家ではない研究者やエンジニアを無作為に2つのチームに分けた上で、「四足歩行のイヌ型ロボットにビーチボールを取ってくる機能を追加する」というタスクを与えました。実験は「手動操作」「センサー制御」「自律制御」という3段階のタスクで構成され、段階的に難易度が上がるよう設計されていました。片方のチームはロボット犬の制御タスクでClaudeのサポートを受けることができ、もう片方のチームはClaudeにアクセスすることができません。

結果として、Claudeにアクセスしたチームは、Claudeにアクセスしていないチームに比べて、約半分の時間で同じタスクを完了しました。特に、「ロボットに搭載されたセンサーに接続し、コンピュータからコマンドを送信する」というタスクにおいては、Claudeを利用することで大幅に作業時間を短縮できたとのこと。

Anthropicは「これは、ハードウェアに接続し、それを理解するという基本的なタスクが、コードを用いて物理世界に影響を与えようとする人々にとって、驚くほど困難になっていることを示していると考えられます。この点におけるClaudeの優位性は、私たちが引き続き追跡すべき重要な指標です」と述べています。

一方で、ロボット犬を制御するプログラムを記述するタスクや、ロボット犬の自動制御において位置情報を特定する方法を見つけるタスクでは、Claudeを使わないチームの方が10分～20分程度素早く完了しました。Anthropicによると、Claude使用チームはClaudeを使わないチームの約9倍ものコードを記述しましたが、その一部は目の前のタスクをスムーズに完了させるための妨げになり、かえって時間がかかってしまったそうです。

また、タスクが難しくなるにつれ、AIシステムが現実世界で克服しなければならないと考えられる部分も明らかになりました。例えば、Claudeを使用したチームはビーチボールを検出する方法として、「緑色」というボールの色を認識して特定するアルゴリズムをトレーニングしました。しかし、ボールが緑色の人工芝に置かれた場合、ロボットは誤動作しました。これは、「人間が目標をどのレベルで指定するかによって、ロボットやAIシステムは最適とはいえない方法を取ってしまう」という課題を浮き彫りにしています。

そのほか、Claudeを使わないチームはタスクに苦戦している間「ネガティブな感情」や「混乱」を示す発言が多かった一方で、Claudeを使用するチームは比較的スムーズに作業を進めるなど、チームの雰囲気にも差が生まれていたことが報告されています。

今回の実験は被験者数が少なく、実験時間も1日限定と、実験環境が限られたものです。また、Claudeを使用したチームは日常的にClaudeを使用していた人であったため、初心者がAIのサポートを受ける場合とは異なった結果になる可能性があります。それでも、「AIがロボットを介して現実世界で活動しうる」ということを確認できた重要な一歩であるとAnthropicは語っています。