本地大型語言模型(LLM)使用一年心得

已經玩了超過一年的免費本地LLM
目前感受到整個發展其實已經差不多到一個穩定期了
雖然最近有幾次被驚嚇以為有什麼新突破
但實測下來都是令人失望的
加上Google主要競爭對手阿里巴巴差不多等同退出這領域
轉為閉源服務與開發超大參數(Qwen 3.8 2.4T參數最好本地跑得動啦)
然後Google也沒有再更新版次(連Gemini 3.5 Pro都快生不出來了)
應該就是進入一個穩定期了
就對這一整年，尤其是這半年玩起來的狀況寫個心得與小整理
(以下文章長，只有一張圖)

Claude code搭配llama.cpp跑本地模型

上一篇挑戰相關議題的文章是3月份寫的這一篇
那時的情況是，小參數21B以下就是不行
中等參數30B以上的，家裡最強電腦上慢得像龜一樣
跑的太勉強(5~7 tokens/秒)，也是跟沒用差不多
沒想到技術發展之快，5月初得知MOE有特殊用法時[1]
Claude Code搭配MOE模型就來到能用的範圍了
目前這篇寫的大部分設定都是那時候搞定的
不過對於我工作用的電腦沒屁用
因為MOE技術要卸載無法上VRAM的模型到一般記憶體中
只有16GB RAM的工作電腦辦不到這件事
家裡那台可以，但沒必要
在家跑Claude Code時，除了個人隱私外，都是沒機密性的東西
乾脆用Claude code直接連Opus或是Sonnet還比較好用
加上5月忙到6月中，就沒有更進一步寫成blog留存了

直到最近工作暫告一段落，又想回頭來測試這一塊
測了一下4月底發表，最近官方自己壓縮的Gemma4-E4B QAT模型發現算是可以跑了
讓我一開始開心了一下，也開啟這篇文章的撰寫
只是嚴格說來這算假象，小參數模型進步算非常大，但工具調用仍然不穩定
即便克服了工具問題了，以產出程式碼品質來說，它的下限仍然不到及格線
測到這裡，因為沒達成預期用Gemma4-E4B跑的目標，本來想把這篇給廢了
後來想想寫都寫了，其實上一篇也是失敗的記錄，還是繼續測下去
繼續測試後，要稱得上穩定可用，還是得更多參數的Gemma4-12B這種等級
可是工作用電腦其實跑不太動
有再降階換Qwen3.5-9B測試，不過程式碼產出的表現依然不穩定
看來就這樣了
就把資料整理整理，重改一下文章內容後推出
而之前也確實沒記錄Claude Code怎麼搭配llama.cpp(llama-server)
也趁這篇寫一下記錄
以下就是詳細的失敗記錄與Claude Code如何搭配llama-server的設定說明

Legend BB 第一彈 飛驅鳥大將軍

終於還是入手Legend BB這個系列啦
這次購入的是萬代PB商店中的特規品
天宮之國繼新世大將軍後，年輕一代的新大將軍
Legend BB 第一彈 飛驅鳥大將軍！

漫畫翻譯軟體Koharu的LLM使用補充說明

從月初的0.41版開始使用
現在已經一口氣改版到0.55版了
基本的操作介面並沒有什麼大改
所以上一篇操作說明的部分就不改動
但是關於LLM的部分算是一路大修到現在
所以這篇算是LLM功能的補充攻略

又又又重灌樹莓派1代啦

最近好像一年來一次啊
不過這次也沒辦法
某天發現樹莓派1的網站連不進去
本想說又是週期性當機啦
然後拔電重插數次都沒反應
接上螢幕，最後一行出現
end Kernel panic -- not syncing: VFS: unable to  mount root fs on unknown block(179,2)
Kernel panic，這看來就非常不妙，後面的理由就是無法載入root的fs(檔案系統)
斷電，把SD卡拿到其它台樹莓派讀也看不到EXT4的磁碟槽
這張SD卡確定掛點了
這是跟這台1代B版樹莓派一起購入的卡片
經過多年的使用與重灌
加上今年初多次刪除並重灌BBS的摧殘後
把到用到掛點了
感謝它多年的工作，該淘汰了

新的漫畫翻譯器Koharu

最近網友推薦一個新的漫畫翻譯器叫Koharu
GitHub - mayocream/koharu: ML-powered manga translator, written in Rust. · GitHub
在Manga-Image-Translator搞定後，終於有空試著玩玩看
這真的有驚豔到我，不但安裝簡易，幾乎不用佈署什麼環境
而且看這簡單易懂的操作介面，還是全繁體中文的

稍稍試一下，連說明書都不用看就用到那邊去
超棒的
這一定要推一下

人生最頂規的安全帽入手-SHOEI GT-AIR 3

沒錯，今年的生日禮物就是這個啦
SHOEI的旅行全罩帽GT-AIR3
感謝老弟幫忙與老婆資助讓我可以擁有這個好物
提早入手了一陣子了
順便也來介紹一下選購理由與使用心得