ytooyamaのブログ

サーバ構築とか、仕事で発見したこととか、趣味のこととかを書いています。

M4 Macは16GBメモリーでGemma 4 E4Bまでならサクサク動く

家のM4 macmini(メモリー16GBの吊るしモデル)で、Ollamaを使ってGemma 4を動かしてみました。 モデルを読み込んだ後、「あなたは何ができますか?」と質問して出力されたときにパフォーマンス結果です。

私はどちらもそこまで遅いとは感じませんでした。 というわけで遅さが気にならなければ、M4 Macを使っているならgemma4:e4bの方が性能は上なので、そっちを動かしたほうがよいと思います。

ページの中ほどにベンチマーク結果が書かれています。もう少しメモリーがあれば、ぐっと性能が上がるみたいですね。

ollama.com

メモリーを24GB積んでいるなら、もっと上位のGemma 4 26Bも選択肢としてありみたいです。 M4 Mac mini、もう1台買おうかな?24GBにするだけで快適になりそう。ついでにストレージを512GBに(さすがに256GBでやりくりは面倒になった)。

$ ollama run gemma4:e4b --verbose

total duration:       37.70490075s
load duration:        133.499292ms
prompt eval count:    21 token(s)
prompt eval duration: 6.601626458s
prompt eval rate:     3.18 tokens/s
eval count:           850 token(s)
eval duration:        30.702509043s
eval rate:            27.69 tokens/s

$ ollama run gemma4:e2b --verbose

total duration:       15.126498291s
load duration:        172.791916ms
prompt eval count:    21 token(s)
prompt eval duration: 941.6595ms
prompt eval rate:     22.30 tokens/s
eval count:           703 token(s)
eval duration:        13.779292265s
eval rate:            51.02 tokens/s

ちなみに24bを動かそうとしたら、こんな感じでさすがに無理でした。スワップしまくり。

このブログサイトはJavaScriptを使っていますが、読み込んでいるJavaScriptは全てはてなが提供しているものであり、筆者が設置しているものではありません。