AIエージェントにリアルタイムストラテジーゲーム「StarCraft: Brood War」を操作させて対戦能力を比較するベンチマーク「Brood War Bench」をソフトウェアエンジニアのベン・スワードロウ氏が公開しました。OpenAI系やAnthropicのClaude、xAIのGrokなどを含む19種類の構成が総当たりで対戦した結果、最上位のCodex Astraは18戦全勝を記録した一方、スワードロウ氏は「どのエージェントも初心者レベルを超えていない」と報告しています。
Brood War Bench
https://bw.swerdlow.dev/report
StarCraft: Brood Warは1998年に登場したリアルタイムストラテジーゲーム「StarCraft」の拡張パックです。プレイヤーは資源を集めながら施設や兵士を生産し、部隊を動かして敵と戦います。対戦中も時間は止まらないため、長期的な戦略だけでなく刻々と変化する状況を把握して次の行動を素早く決める能力が要求されます。
StarCraftシリーズは以前からAI研究の題材として使われています。Google傘下のAI企業DeepMindが開発した「AlphaStar」は「StarCraft II」をプレイするために専用のニューラルネットワークを訓練したAIで、2018年12月にプロゲーマーのTLOことダリオ・ヴュンシュ(Dario Wünsch)氏とMaNaことグジェゴシュ・コミンチュ(Grzegorz Komincz)氏を相手に10連勝を記録しました。AlphaStarはその後、オンライン対戦で人間の上位0.2％に相当するグランドマスターにも到達しています。
DeepMindのAI「AlphaStar」が世界トッププレイヤーを相手に「スタークラフト2」で10-1の大勝 – GIGAZINE
Brood War Benchが生まれたきっかけは、スワードロウ氏が友人と遊ぶために「AIエージェント経由でしか操作できないBrood War」を作ったことだったとのこと。StarCraftをほとんど遊んだ経験がない友人がAIに「攻撃して」と頼んだところ、AIが小規模な軍隊を作って攻撃まで実行しました。そこでスワードロウ氏は、人間から細かな指示を与えなければAIがどこまで戦えるのか疑問に思い、Brood War Benchを作成したというわけです。
AlphaStarがStarCraft IIをプレイするために訓練された専用AIだったのに対し、Brood War Benchでは普段は文章生成やプログラミングなど幅広い仕事に使われている汎用AIエージェントを「StarCraft: Brood War」に参加させることで、「汎用AIにリアルタイムで進行するゲームを任せたらどこまで自力で対応できるのか」を測ります。
Brood War Benchではモデルと推論量の設定を組み合わせた19構成を用意し、各構成が残りの18構成と対戦する総当たり戦を実施しました。合計171試合を複数の仮想マシン上で並行して実行し、ゲームエンジンから得られるデータと各AIエージェントのログも保存しています。ログを記録することで、AIがゲーム中にどのような判断や行動をしていたのかまで確認できるようになっています。
以下の画像はBrood War Benchの総合成績です。Codex Astraの推論量「xhigh」が18勝0敗で首位となり、Codex Astraのmediumが16勝2敗、Claude Fableが15勝3敗で続いています。
リアルタイムゲームではAIが推論している最中にも対戦相手が行動を続けます。スワードロウ氏によると古いモデルにはBrood Warをターン制ゲームのように扱う傾向があり、考えている間に攻撃されて壊滅する場面が見られたとのこと。一部では推論量を抑えた設定の方が好成績を残しており、判断の質と行動速度の両方が必要な課題であることが示されています。
Codex系のAIが得意としていたのは序盤から相手を邪魔する戦術でした。Protossを操作した試合では資源採取を担当するProbeを敵陣まで送り込み、相手の労働ユニットや建物を攻撃する行動を繰り返しています。相手側AIが1体のProbeへの対処を数十秒間考え込むケースがあり、単純な妨害でも有効だったとのこと。
一方で軍隊を継続的に生産してまとめて攻撃するような長期運用は苦手でした。Codexは経済運営や兵士の生産、軍隊の操作を別々のサブエージェントに担当させることがありましたが、各担当間の連携が不十分で、新しく完成した兵士を1体ずつ敵基地へ送り込むケースも確認されています。スワードロウ氏は十分な兵力が集まるまで待てない初心者にありがちな失敗だと説明しています。
AnthropicのClaude Fableは異なるプレイ傾向を見せました。Fableは資源を集めて施設を増やし、より高度なユニットを利用できるよう技術ツリーを進めることが多かったとのこと。ある試合ではLairやSpireを建設して飛行ユニットのMutaliskまで生産して勝利し、別の試合ではRobotics FacilityやTemplar Archivesなど複数の高度な施設を建設しています。ただし、技術開発に成功しても軍隊としてうまく運用できず敗北するケースもありました。
特に苦戦したのがGrok 4.6です。推論量を最大にしたGrok 4.6はある試合で1万1138トークン分の推論を行ったものの、43分間でゲームへ送った命令はわずか6回。戦闘ユニットを1体も完成させないまま試合を終えました。別の試合でもMarineを3体作ったまま敵基地へ到達できず、スワードロウ氏は戦略そのものより「状況を観察して行動する」という一連のループを維持できていないように見えたと説明しています。
ただし18戦全勝のCodex Astraを含め、人間のStarCraftプレイヤーと比較するとまだ大きな差があります。スワードロウ氏によればCodex AstraやClaude Fableでも複雑な軍隊を編成したり単純な攻撃を防いだり、具体的な戦略を実行したりする段階には達していません。スワードロウ氏は初心者が「Photon Rush」と呼ばれる序盤の速攻戦術を使えば全エージェントに勝てるだろうと述べています。
スワードロウ氏はAIエージェントには学ぶべきことがまだ多く、ベンチマーク側にも試せる課題が数多く残っているとして、今後AIがどこまで上達するのかを見るのを楽しみにしていると述べています。
ソース元はコチラ
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。