Intel MacでBonsai-8Bを動かす - 版の履歴

Administrator: /* bonsai のモデルをダウンロード */

2026-04-13T04:24:18Z

bonsai のモデルをダウンロード

← 古い版		2026年4月13日 (月) 04:24時点における版
33行目:		33行目:
	</source>		</source>

	## cli で動かす		=== cli で動かす ===
	<source lang=bash>		<source lang=bash>
	% ./llama.cpp/build/bin/llama-cli -m models/Bonsai-8B.gguf		% ./llama.cpp/build/bin/llama-cli -m models/Bonsai-8B.gguf
39行目:		39行目:
	チャットできるようになった。めっちゃ遅い。		チャットできるようになった。めっちゃ遅い。

	## Web UI / Web API を動かす		=== Web UI / Web API を動かす ===
	<source lang=bash>		<source lang=bash>
	% ./llama.cpp/build/bin/llama-server \		% ./llama.cpp/build/bin/llama-server \

Administrator: /* bonsai のモデルをダウンロード */

2026-04-13T04:23:40Z

bonsai のモデルをダウンロード

← 古い版		2026年4月13日 (月) 04:23時点における版
28行目:		28行目:

	=== bonsai のモデルをダウンロード ===		=== bonsai のモデルをダウンロード ===
			brewで入れたuvを使ってモデルをダウンロードする
	<source lang=bash>		<source lang=bash>
	~~% brew install uv~~
	% uvx hf download prism-ml/Bonsai-8B-gguf --local-dir ./models		% uvx hf download prism-ml/Bonsai-8B-gguf --local-dir ./models
	</source>		</source>
37行目:		37行目:
	% ./llama.cpp/build/bin/llama-cli -m models/Bonsai-8B.gguf		% ./llama.cpp/build/bin/llama-cli -m models/Bonsai-8B.gguf
	</source>		</source>
			チャットできるようになった。めっちゃ遅い。

	## Web UI / Web API を動かす		## Web UI / Web API を動かす
56行目:		57行目:
	{"models":[{"name":"bonsai-8b","model":"bonsai-8b","modified_at":"","size":"","digest":"","type":"model","description":"","tags":[""],"capabilities":["completion"],"parameters":"","details":{"parent_model":"","format":"gguf","family":"","families":[""],"parameter_size":"","quantization_level":""}}],"object":"list","data":[{"id":"bonsai-8b","aliases":["bonsai-8b"],"tags":[],"object":"model","created":1775728104,"owned_by":"llamacpp","meta":{"vocab_type":2,"n_vocab":151669,"n_ctx_train":65536,"n_embd":4096,"n_params":8188548096,"size":1152704128}}]}		{"models":[{"name":"bonsai-8b","model":"bonsai-8b","modified_at":"","size":"","digest":"","type":"model","description":"","tags":[""],"capabilities":["completion"],"parameters":"","details":{"parent_model":"","format":"gguf","family":"","families":[""],"parameter_size":"","quantization_level":""}}],"object":"list","data":[{"id":"bonsai-8b","aliases":["bonsai-8b"],"tags":[],"object":"model","created":1775728104,"owned_by":"llamacpp","meta":{"vocab_type":2,"n_vocab":151669,"n_ctx_train":65536,"n_embd":4096,"n_params":8188548096,"size":1152704128}}]}
	</source>		</source>

			OpenClawも試してみたが、思考数が多いと全く反応がなくなる。使い物にならない。

	== 結論 ==		== 結論 ==

Administrator: /* homebrew で必要なものを入れる */

2026-04-13T04:22:13Z

homebrew で必要なものを入れる

← 古い版		2026年4月13日 (月) 04:22時点における版
7行目:		7行目:
	=== homebrew で必要なものを入れる ===		=== homebrew で必要なものを入れる ===
	<source lang=bash>		<source lang=bash>
	% brew install cmake pkg-config openblas		% brew install cmake pkg-config openblas uv
	</source>		</source>

Administrator: ページの作成:「 == 環境 == * Mac Pro 2013 OCLP Sequoia * 古すぎてMetalが使えないのでOpenBLASとGGMLを使う。 == 手順 == === homebrew で必要なものを入れる === % brew install cmake pkg-config openblas === llama.cpp bonsai カスタム版を入れる === % git clone https://github.com/PrismML-Eng/llama.cpp % cmake -B build \ -DGGML_BLAS=ON \ -DGGML_BLAS_VENDOR=OpenBLAS \ -DCMAKE_PREFIX_PATH="/usr/lo…」

2026-04-13T04:21:55Z

ページの作成:「 == 環境 == * Mac Pro 2013 OCLP Sequoia * 古すぎてMetalが使えないのでOpenBLASとGGMLを使う。 == 手順 == === homebrew で必要なものを入れる === <source lang=bash> % brew install cmake pkg-config openblas </source> === llama.cpp bonsai カスタム版を入れる === <source lang=bash> % git clone https://github.com/PrismML-Eng/llama.cpp % cmake -B build \ -DGGML_BLAS=ON \ -DGGML_BLAS_VENDOR=OpenBLAS \ -DCMAKE_PREFIX_PATH="/usr/lo…」

新規ページ

== 環境 ==
* Mac Pro 2013 OCLP Sequoia
* 古すぎてMetalが使えないのでOpenBLASとGGMLを使う。

== 手順 ==
=== homebrew で必要なものを入れる ===
<source lang=bash>
% brew install cmake pkg-config openblas
</source>

=== llama.cpp bonsai カスタム版を入れる ===

<source lang=bash>
% git clone https://github.com/PrismML-Eng/llama.cpp

% cmake -B build \
-DGGML_BLAS=ON \
-DGGML_BLAS_VENDOR=OpenBLAS \
-DCMAKE_PREFIX_PATH="/usr/local/opt/openblas" \
-DBLAS_LIBRARIES="/usr/local/opt/openblas/lib/libopenblas.dylib" \
-DBLAS_INCLUDE_DIR="/usr/local/opt/openblas/include"

% cmake --build build --config Release --parallel $(sysctl -n hw.ncpu)

cd ..
</source>

=== bonsai のモデルをダウンロード ===
<source lang=bash>
% brew install uv
% uvx hf download prism-ml/Bonsai-8B-gguf --local-dir ./models
</source>

## cli で動かす
<source lang=bash>
% ./llama.cpp/build/bin/llama-cli -m models/Bonsai-8B.gguf
</source>

## Web UI / Web API を動かす
<source lang=bash>
% ./llama.cpp/build/bin/llama-server \
-m ./models/Bonsai-8B.gguf \
-ngl 99 \
--host 0.0.0.0 \
--port 18080 \
--api-key local-bonsai \
--alias bonsai-8b
</source>

Web APIが動いているか確認する
http://localhost:18080/v1/models

こんな感じの応答があれば動いている
<source lang="json">
{"models":[{"name":"bonsai-8b","model":"bonsai-8b","modified_at":"","size":"","digest":"","type":"model","description":"","tags":[""],"capabilities":["completion"],"parameters":"","details":{"parent_model":"","format":"gguf","family":"","families":[""],"parameter_size":"","quantization_level":""}}],"object":"list","data":[{"id":"bonsai-8b","aliases":["bonsai-8b"],"tags":[],"object":"model","created":1775728104,"owned_by":"llamacpp","meta":{"vocab_type":2,"n_vocab":151669,"n_ctx_train":65536,"n_embd":4096,"n_params":8188548096,"size":1152704128}}]}
</source>

== 結論 ==
これだけ古いMacを動かすのは、電気代の無駄であり、まったくエコではない。

なにも得られるものはない。

[[category: 人工知能]]
[[category: Mac]]