CATEGORY

OpenAIがAIの論文理解＆再現能力を評価するベンチマーク「PaperBench」を発表、人間とAIのどちらが研究開発力が高いのか？

OpenAIが、AIが最先端の研究論文を理解して再現できるかを評価する新しいベンチマーク「PaperBench」を発表しました。PaperBenchは、AIエージェントに20本の最新AI研究論文を一から再現させ、論文内容の理解やコード開発、実験実行の全てを評価します。

続きを読む…


ソース元はコチラ

この記事は役に立ちましたか？

もし参考になりましたら、下記のボタンで教えてください。

Nintendo Switch 2のパッケージ版ソフトにはゲームを起動するためのキーのみが保存された「キーカード」が存在することが明らかに、インターネット接続してゲ... 前の記事 AmazonもTikTok買収に名乗り、ただし本気ではないとの指摘あり - GIGAZINE 次の記事

関連記事

  • テックニュース

「Firefox 144」正式版リリース、ビデオ再生を中断することなくピクチャーインピクチャーウィンドウを閉じられるように – GIGAZINE

ウェブブラウザ「Firefox 144」の正式版が公開されました。動画再生中のピクチャーインピクチャーウィンドウを閉じた場合に動画の再生が中断されないようになるなどの新機能や改善が行われています。Firefox 144.0, See All New Features,

  • テックニュース

無料で超絶リアルな3DCGキャラを作成＆動かせるゲーム開発ツール「MetaHuman」の一部がUnreal Engine 5.6に統合 – GIGAZINE

Epic Gamesが開発するリアルで感情表現豊かなデジタルヒューマン(MetaHuman)を作成・アニメートできるフレームワークが「MetaHuman」です。そんなMetaHumanが早期アクセスを終了し、より幅広いユーザーの間で利用可能となりました。また、MetaH

  • テックニュース

ChatGPTに対する「ありがとう」や「お願いします」といった礼儀正しい言葉が数十億円分の電力消費につながっているとOpenAIのサム・アルトマンCEOが発言 – GIGAZINE

チャットAIのChatGPTに「お願いします」や「ありがとう」とついつい言ってしまう人もいるかと思いますが、そのような礼儀正しい接し方により、数十億円規模の電力消費が生まれている可能性を、OpenAIのサム・アルトマンCEOが認めました。Sam Altman Admit

  • テックニュース

AIの頭の中ではどのように情報が処理されて意思決定が行われるのかをAnthropicが解説

大量のデータから学習する大規模言語モデルは、人間が直接設計したアルゴリズムとは異なり、学習の過程で独自に問題解決の戦略を獲得しますが、それらの戦略は開発者にとっても不可視であり、モデルがどのように出力を生成しているのかを理解するのは困難です。Anthropicは、同社が開発した大規模言語モデル・C