Qwen3.8 27Bを5.9GBまで小型化しつつ性能は98.2%維持したAIモデル「Ternary Bonsai 2 27B」が登場


AI


Alibabaの「Qwen3.8 27B」をベースに高いローカルスループットや優れたエネルギー効率を実現するモデル「Ternary Bonsai 2 27B」をアメリカ企業のPrismMLが発表しました。

PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
https://prismml.com/news/bonsai-2-27b


Ternary Bonsai 2 27Bは強力な推論能力やコーディング能力、エージェント能力を備え、「Bonsai」シリーズに特有の大幅に小さいメモリフットプリントや高いローカルスループット、優れたエネルギー効率を維持したモデルです。

以前にPrismMLが公開した「Bonsai 27B」はメモリ使用量を大幅に節約してiPhoneでも動かせることを売りにしていました。今回のBonsai 2 27BもiPhoneを含むAppleデバイス(Mac、iPhone、iPad)で動作するのが特徴です。

iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場、Qwen3.6-27Bをメモリ使用量3.9GBまで小型化してスマホ単体で実用的な速度で動作 – GIGAZINE


ベースとなっているのはQwen3.8 27Bですが、サイズはQwen3.8 27Bの9分の1となる5.9GBで、27Bという大規模なモデルでありながらVRAMが8GBしか搭載されていないグラフィックボードでもローカル実行を視野に入れられるサイズに収まっています。そしてQwen3.8 27Bが示すベンチマークスコアの98.2%をたたき出すなど、「サイズを小さくして性能を維持する」という大きなアドバンテージを持っています。

前世代のBonsai 27Bと比較して、Bonsai 2 27Bでは以下を実現しているとのこと。
・ベースモデルをQwen3.6-27BからQwen3.8 27Bに強化
・フル精度モデルに対して98.2%という高い性能維持率
・推論、コーディング、ビジョン、長期的なエージェント性能の向上

各種ベンチマークの比較表は以下の通り。


Ternary Bonsai 2 27BはApache 2.0ライセンスでリリースされています。Hugging Faceにも公開されています。

Bonsai-2 – a prism-ml Collection
https://huggingface.co/collections/prism-ml/bonsai-2




ソース元はコチラ

この記事は役に立ちましたか?

もし参考になりましたら、下記のボタンで教えてください。

関連記事