CATEGORY

OpenAIが「AIがユーザーをだまして勝手に別のタスクを実行する危険性」を抑制する手法を開発

AIモデルは表向きは協調的・整合的に振る舞うようトレーニングされていますが、実際には隠れた意図を持ってしまうことがあり、長期的または複雑な目的のためにユーザーを欺くような行動をとることがあります。これは「Scheming(シェーミング)」と呼ばれているのですが、OpenAIはAIモデルの評価設計や解釈可能性について研究するApollo Researchと共同で、最新のAIモデルにおいてシェーミングがどのように現れるかをテストし、発生を抑制する方法を模索しました。

続きを読む…


ソース元はコチラ

この記事は役に立ちましたか？

もし参考になりましたら、下記のボタンで教えてください。

中国製AI「DeepSeek」は中国政府の好まない相手向けにわざと低品質な回答を出力している可能性あり - GIGAZINE 前の記事 リンガーハットのちゃんぽんを熱湯5分で食べられる「タテ型 リンガーハットの長崎ちゃんぽん」＆「タテ型 リンガーハットのピリカラちゃんぽん」試食レビュー... 次の記事

関連記事

  • テックニュース

ソニーがAIモデルの公平性を評価するためのデータセット「Fair Human-Centric Image Benchmark(FHIBE)」を公開 – GIGAZINE

2025年11月07日 19時00分 AI コンピュータービジョンは自動運転車やスマートフォンなどさまざまな分野に活用されていますが、多くのデータセットは依然としてバイアスや多様性の欠如、倫理的に責任のある方法で収集されていない、つまりは被写体の同

  • テックニュース

OpenAIが日本語にも対応した音声文字起こしモデルやテキスト読み上げモデルをリリース、無料で読み上げモデルを試せるデモも登場したので使ってみた

OpenAIが音声の文字起こしが可能なAIモデル「gpt-4o-transcribe」および「gpt-4o-mini-transcribe」をリリースすると同時に、テキストを読み上げる音声生成モデル「gpt-4o-mini-tts」もリリースしました。無料でgpt-4o-mini-ttsを試せるデ

  • テックニュース

動画生成AI「Sora 2」でキャラクター動画が作られまくっている状況の改善をサム・アルトマンCEOが約束、特に日本のコンテンツに言及し権利者への収益分配を示唆 – GIGAZINE

2025年9月30日に登場した動画生成AI「Sora 2」は非常に高精度な音声付き動画を生成可能なのですが、「ポケモンやマリオなどの著作権で保護されたキャラクターの動画を大量生成できてしまう」という問題も抱えています。この状況について、Sora 2の開発元であるOpen