フランスのAI企業であるMistral AIが、同社初となる推論モデル「Magistral」を発表しました。Magistralはドメイン固有の知識、透明性、そして多言語での推論能力に優れているとされており、人間の思考が直線的ではないという考えに基づき、論理・洞察・段階的な分析を織り交ぜながら思考するように設計されています。
Magistral | Mistral AI
https://mistral.ai/news/magistral
Magistral: How to Run & Fine-tune | Unsloth Documentation
https://docs.unsloth.ai/basics/magistral-how-to-run-and-fine-tune
magistral.pdf
(PDFファイル)https://mistral.ai/static/research/magistral.pdf
Mistral AIが開発した推論モデル「Magistral」には、「Magistral Medium」と「Magistral Small」という2つの主要なバリエーションが存在します。
より高性能なエンタープライズ向けのバリエーションであるMagistral MediumはMistral Medium 3を基盤としており、既存の推論モデルから学習データを流用することなく、純粋な強化学習(RL)のみでゼロから推論能力を鍛え上げた点が大きな特徴です。
その結果、Magistral Mediumは数学ベンチマークのAIME 2024で73.6％という高い正答率を達成し、多数の回答から最も多いものを選ぶ多数決投票では90％に達します。
さらに、Magistral Mediumは英語だけでなく日本語や中国語、フランス語、スペイン語、ドイツ語、イタリア語、ロシア語、アラビア語など、多くの言語で高い推論能力を維持し、テキストデータのみの学習にもかかわらず画像を含む問題解決能力も向上しています。なお、Magistral Mediumの具体的なパラメータ数は公開されていません。
一方、Magistral Smallは、コミュニティによる開発や研究を促進するために公開されたオープンソースのバリエーションです。パラメーター数は240億パラメーターで、Apache 2.0ライセンスの下で提供されています。
Magistral Smallの開発アプローチはMediumと異なり、まず強力な教師役であるMagistral Mediumが生成した思考プロセスを用いて教師ありファインチューニング(SFT)を行い、その上で強化学習を適用するという二段階のプロセスを経て性能が強化されました。
Magistral SmallもAIME 2024で70.7％という高いスコアを記録しており、高性能ながら個人のPC(例えばRTX 4090搭載機や24GB程度のRAMを持つMac)でもローカルで実行できる手軽さも備えています。モデルはHugging Faceなどのプラットフォームから自由にダウンロードし、自己展開することが可能です。
Magistralの大きな特徴が「透明性」で、モデルが結論を出す前に思考プロセスを＜think＞タグ内に書き出すことで実現されており、ユーザーはその推論過程を追跡・検証できます。以下はMagistralのシステムプロンプトです。
興味深いことに、Magistralはテキストデータのみで訓練されたにもかかわらず、画像の内容を理解し推論するマルチモーダル能力が低下するどころか、むしろ向上したことが報告されています。
Magistral Mediumは、Mistral AIの対話サービス「Le Chat」のプレビュー版やAPIを通じて試用できるほか、Amazon SageMaker、IBM WatsonX、Azure AI、Google Cloud Marketplaceといった主要なクラウドプラットフォームでも順次利用可能になる予定です。Magistral SmallはオープンソースモデルとしてApache 2.0ライセンスで公開されており、Hugging Faceからダウンロードして誰でも利用できます。
mistralai/Magistral-Small-2506 · Hugging Face
https://huggingface.co/mistralai/Magistral-Small-2506
この記事のタイトルとURLをコピーする
ソース元はコチラ
この記事は役に立ちましたか？
もし参考になりましたら、下記のボタンで教えてください。