自分のPCで簡単にAIを動かせる「Ollama」には多数の問題点があり、llama.cppを使った方が良いという意見 – GIGAZINE

ソフトウェアエンジニアのzetaphor氏が、ローカルでAIを動かせるツール「Ollama」に対し、開発姿勢や運営方針についての批判をブログで展開しています。

Friends Don’t Let Friends Use Ollama | Sleeping Robots
https://sleepingrobots.com/dreams/stop-using-ollama/

Ollamaは多数のAIをコマンド一つで簡単に実行できるツールです。実際に使用してみるとどんな感じなのかは下記の記事で確認できます。

OpenAIのオープンウェイトモデル「gpt-oss」はOllamaを使って個人用PCで簡単に使用可能 – GIGAZINE

Ollamaの登場より先に、2023年当時最高クラスの性能を持っていた大規模言語モデル「LLaMA」を比較的低スペックのデバイスで動作させる技術として「llama.cpp」が登場しました。

GPT-3のライバルとなるMetaの「LLaMA」をM1搭載Macで実行可能に、大規模言語モデルを普通の消費者向けハードウェアで実行可能であることが示される – GIGAZINE

Ollamaはllama.cppをより簡単に使うためのラッパーとして実装されていましたが、2023年中ごろに登場してから1年以上にわたって内部でllama.cppを使用している事実を隠していました。

llama.cppはMITライセンスで配布されており、「クレジットを表示すること」という条件がありました。クレジットさえ表示すれば誰でも商用利用を含めて自由に利用可能でしたが、Ollamaはほぼ唯一の条件すら守っていませんでした。

コミュニティが内部でllama.cppが使用されていることに気付き、2024年3月17日に是正を求める意見が提出されました。しかしOllamaの管理者たちは何の返答も行わず、4月により具体的な意見が出ると「サポートしているバックエンド」という項目を追加し、「llama.cpp」と記入。同時に、「将来的には別のエンジンへ移行していく」と管理者の1人が意見を表明しました。

zetaphor氏は「llama.cppに目立った功績を与えるつもりはないということだろう」と不満を表明。さらに、エンジニアが集まるニュースサイト「Hacker News」に投稿された「llamaチームを正当に評価すべき」という意見を引用し、複数人が同じ考えであることを伝えています。

zetaphor氏によるとOllamaの問題点はクレジットの件だけではなく、以下の通り多数存在しているとのこと。

・独自のバックエンドが低品質
独自にバックエンドを開発してllama.cppから切り替えたものの、品質が悪く、パフォーマンスがllama.cppの半分程度しか出なかったそう。

・不正確なモデル名
「DeepSeek-R1」という名前で、実際には性能が劣る蒸留版を実行させるなど、ユーザーに誤解を与えてモデルの評判を下げたとのこと。

・クローズドソースアプリを混ぜる
Ollamaはオープンソースソフトウェアとうたっておきながら、デスクトップ版を非公開リポジトリで開発し、ライセンスを付けずに配布していました。OllamaのウェブサイトにおいてGitHubへのリンクの隣にデスクトップ版のダウンロードボタンが設置されていたため、ユーザーがオープンソースだと誤認しやすかったとのこと。

・不便な独自仕様
「1つのファイルで完結する」という利点のために開発されたGGUF形式のファイルを使用しながら、Docker風の独自設定ファイルを追加。さらにパラメーターを変更するだけで何GBもあるモデル全体をコピーさせるなど不便な仕様になっています。

・モデルの使用開始が遅い
新たなモデルが登場した際、Ollamaで動かすには先にOllamaの担当者が作業を行う必要があります。一方、llama.cppを使えばモデルを登場した瞬間に動かすことが可能です。

・クラウドへの転換
「ローカルでAIが実行でき、プライバシーを確保できる」といううたい文句で利用を伸ばした後、データを外部送信するクラウドモデルを導入しました。それだけでなく、認証トークンが漏えいする脆弱(ぜいじゃく)性の修正を数カ月放置するなどのセキュリティ意識の低さも指摘されています。

こうした点を踏まえ、zetaphor氏は「ローカルで大規模言語モデルを動かしたい時に本当に必要なのはllama.cppであり、Ollamaというパッケージは不要だ」と訴えました。