前陣子在逛Ollama的模型庫時，發現了有幾個模型的Ollama範例指令變了。
從最早單純的ollama run qwen3.5這種
變成了ollama launch claude --model=qwen3.5這種樣式
本來有點不以為意
後來因為接觸到claude code後，才驚覺這是用離線模型跑claude code的指令
然後才開始鑽研要怎麼使用
先說結論，現階段在claude code上用離線模型根本就是災難
連最基本的調用工具寫出檔案都有問題，根本連可用都稱不上
不過途中不死心，又找了其它幾套工具來使用
所以標題才會打上AI Agent，而不單指claude code
最後是勉強找到一套可以在公司電腦上運作的組合
就在此做個小記錄並分享一下
以下就進入詳細內容
如前面所說，一開始是試claude code這個軟體搭配其它模型測試
測試的結果就是不行，主因是無法寫出檔案，所以就是不可用
更詳細的過程與說明就是
我一共試了這些在ollama上標註支援tool的模型
qwen2.5-coder:7b與qwen2.5-coder:14b
qwen3-coder:30b，qwen3.5:9b，lfm2，glm-4.7-flash等都有試
都是用這段簡單的命令：
「這是一個Python計算機專案，最大10位數，只支援四則運算，然後用tkinter開發。
請寫出claude.md。強制使用工具。」
結果就是通通無法產生出claude.md這個檔案
拿上面產出來訊息來問線上AI為什麼
給的解答就是這些模型能力不足，產生不出完整驅動claude code的寫入工具(Write)的格式
所以最後的結果，不是直接把claude給的指令再顯示一次，不然就是沒完全沒反應
當然啦，以上的模型，如果不強制要求用工具寫的話
其實都可以給出算完整的claude.md文件內容
不過只有顯示，還要自己複製後寫入，那還不如直接用ollama跑就好
何必再裝claude code多此一舉咧
就這樣claude code出局了
好吧，山不轉路轉，只是呼叫工具失敗，說不定其它的程式可以
與ollama相容的Agent程式還有OpenAI的Codex，OpenCode與最新的龍蝦OpenClaw
想想Codex也是大公司出品的，說不定跟claude的狀況會類似
OpenClaw目前只有WSL支援，那就先試OpenCode
OpenCode狀況直接講結論，跟Claude code一樣，「不行」
雖然這次測試的OpenCode是最新的Windows桌面Beta版，應該少了不少功能
而且模型測試少了20b以上的大模型，只有qwen2.5-coder:7b與14b跟qwen3.5:9b
(因為運行這個的目標就是要在公司電腦上跑，所以那些大的就乾脆不測試了)
不過看著那些相似的訊息，調用不了工具的情況還是一樣的
那大型的方案就到此為止了，Codex也不想試了
換搞搞別的
接下來
或許是最近有在搜尋claude code的資料
手機的Google app有推薦我一個vibe-local的專案
https://github.com/ochyai/vibe-local
看起來相當輕量化，就決定先試試這一個了
先說結論，勉強算可以用
但一定要用Powershell模式運行就算了
只能跑Qwen3的模型真的是很〇〇╳╳
可以看到專案推薦模型表裡明顯最低推薦就是qwen3:1.7b的小模型
而我用qwen2.5-coder去跑，不管是7b或是12b都不能進行檔案的寫入
最可惜的是，就算是qwen3.5:9b能過第一關，寫出一個claude.md文件
但關鍵的第二關，寫程式碼卻不一定能會有產出，大多時候會沒有回應
有回應時的產出，則是不能用的程度
有趣的是，比較舊，且參數最小qwen3:1.7b卻可以兩關都過
雖然因為參數有限，寫出來是個有缺陷的程式，可說只跑了個框(空白視窗)出來
至少這程式是能無錯誤運行的，只是不完整而已
不得不再加碼測試一下，把砍掉的qwen3:8b重新下載下來測看看
.............無言，作者是怎麼測試的？
結果反而沒比qwen3:1.7b好，寫出的檔案會在頭尾帶'''的符號
而且產出的程式碼就算把'''給拿掉，還是錯誤，不能跑的狀況
最後是開qwen3-coder:30b來跑看看，這才比較正常
但這不是我要的模型
因為公司電腦又跑不了這模型，所以這個專案只能在家裡用啊，不行
上一個方案差了一點
就來問問Gemini還有哪些方案
除了OpenCode，它有推薦一個Aider的專案
最後就來試試這個吧
這個是純python專案
安裝上算簡單，使用上也是
只要先pip install aider-install後
再執行aider-install就會安裝這個專案了
執行前，要在系統裡先設定ollama專屬的環境變數OLLAMA_API_BASE
set OLLAMA_API_BASE=http://127.0.0.1:11434
這樣才能跑的了Ollama
如果沒設定，它進入後也會提醒你，並要求打開線上文件，叫你好好看一下說明書
然後這個專案也需要先裝好git，這個我電腦裡很早就有了，就沒上面的問題了
最後再執行aider --model ollama_chat/qwen3.5:9b就可以跑了
快速說結論，這次終於都成了
三個模型都能跑
只是有個不小的問題
在產出claude.md時，不會只產出claude.md
不知道是不是模型參數量太小(也就是比較笨)的關係
在產出時claude.md時，有時會連帶把文件的內容看起來像檔案的部分，也要求產出
例如，產生claude.md的內容有有提到範例代碼calculator.py時
它就會把後面的內容要輸出到前面這個檔名中，要求寫出calculator.py
.........
但至少能用了，用這三個模型各自都有跑出可用的計算機視窗
而且因為與git緊密結合
在完成檔案的時候，都會自行加註commit存入
真的是好幫手啊
沒有留言:
張貼留言