本地大型語言模型(LLM)使用一年心得

已經玩了超過一年的免費本地LLM
目前感受到整個發展其實已經差不多到一個穩定期了
雖然最近有幾次被驚嚇以為有什麼新突破
但實測下來都是令人失望的
加上Google主要競爭對手阿里巴巴差不多等同退出這領域
轉為閉源服務與開發超大參數(Qwen 3.8 2.4T參數最好本地跑得動啦)
然後Google也沒有再更新版次(連Gemini 3.5 Pro都快生不出來了)
應該就是進入一個穩定期了
就對這一整年，尤其是這半年玩起來的狀況寫個心得與小整理
(以下文章長，只有一張圖)

Claude code搭配llama.cpp跑本地模型

上一篇挑戰相關議題的文章是3月份寫的這一篇
那時的情況是，小參數21B以下就是不行
中等參數30B以上的，家裡最強電腦上慢得像龜一樣
跑的太勉強(5~7 tokens/秒)，也是跟沒用差不多
沒想到技術發展之快，5月初得知MOE有特殊用法時[1]
Claude Code搭配MOE模型就來到能用的範圍了
目前這篇寫的大部分設定都是那時候搞定的
不過對於我工作用的電腦沒屁用
因為MOE技術要卸載無法上VRAM的模型到一般記憶體中
只有16GB RAM的工作電腦辦不到這件事
家裡那台可以，但沒必要
在家跑Claude Code時，除了個人隱私外，都是沒機密性的東西
乾脆用Claude code直接連Opus或是Sonnet還比較好用
加上5月忙到6月中，就沒有更進一步寫成blog留存了

直到最近工作暫告一段落，又想回頭來測試這一塊
測了一下4月底發表，最近官方自己壓縮的Gemma4-E4B QAT模型發現算是可以跑了
讓我一開始開心了一下，也開啟這篇文章的撰寫
只是嚴格說來這算假象，小參數模型進步算非常大，但工具調用仍然不穩定
即便克服了工具問題了，以產出程式碼品質來說，它的上限仍然不到及格線
測到這裡，因為沒達成預期用Gemma4-E4B跑的目標，本來想把這篇給廢了
後來想想寫都寫了，其實上一篇也是失敗的記錄，還是繼續測下去
繼續測試後，要稱得上穩定可用，還是得更多參數的Gemma4-12B這種等級
可是工作用電腦其實跑不太動
有再降階換Qwen3.5-9B測試，不過程式碼產出的表現依然不穩定
看來就這樣了
就把資料整理整理，重改一下文章內容後推出
而之前也確實沒記錄Claude Code怎麼搭配llama.cpp(llama-server)
也趁這篇寫一下記錄
以下就是詳細的失敗記錄與Claude Code如何搭配llama-server的設定說明
還有後續不死心測試的補充

Legend BB 第一彈 飛驅鳥大將軍

終於還是入手Legend BB這個系列啦
這次購入的是萬代PB商店中的特規品
天宮之國繼新世大將軍後，年輕一代的新大將軍
Legend BB 第一彈 飛驅鳥大將軍！

漫畫翻譯軟體Koharu的LLM使用補充說明

從月初的0.41版開始使用
現在已經一口氣改版到0.55版了
基本的操作介面並沒有什麼大改
所以上一篇操作說明的部分就不改動
但是關於LLM的部分算是一路大修到現在
所以這篇算是LLM功能的補充攻略

又又又重灌樹莓派1代啦

最近好像一年來一次啊
不過這次也沒辦法
某天發現樹莓派1的網站連不進去
本想說又是週期性當機啦
然後拔電重插數次都沒反應
接上螢幕，最後一行出現
end Kernel panic -- not syncing: VFS: unable to  mount root fs on unknown block(179,2)
Kernel panic，這看來就非常不妙，後面的理由就是無法載入root的fs(檔案系統)
斷電，把SD卡拿到其它台樹莓派讀也看不到EXT4的磁碟槽
這張SD卡確定掛點了
這是跟這台1代B版樹莓派一起購入的卡片
經過多年的使用與重灌
加上今年初多次刪除並重灌BBS的摧殘後
把到用到掛點了
感謝它多年的工作，該淘汰了

新的漫畫翻譯器Koharu

最近網友推薦一個新的漫畫翻譯器叫Koharu
GitHub - mayocream/koharu: ML-powered manga translator, written in Rust. · GitHub
在Manga-Image-Translator搞定後，終於有空試著玩玩看
這真的有驚豔到我，不但安裝簡易，幾乎不用佈署什麼環境
而且看這簡單易懂的操作介面，還是全繁體中文的

稍稍試一下，連說明書都不用看就用到那邊去
超棒的
這一定要推一下

人生最頂規的安全帽入手-SHOEI GT-AIR 3

沒錯，今年的生日禮物就是這個啦
SHOEI的旅行全罩帽GT-AIR3
感謝老弟幫忙與老婆資助讓我可以擁有這個好物
提早入手了一陣子了
順便也來介紹一下選購理由與使用心得

再戰manga-image-translator

去年學著使用Manga-Imgae-Translator
雖然已經玩到要改程式這步了，但玩完後就沒在使用了
主要還是沒有明確要使用的目標
就沒有什麼動力了
今年有了個目標，就重開要來好好用用
然後對程式的修改就越改越多了...........................................

用Ollama的離線模型來跑AI Agent

前陣子在逛Ollama的模型庫時，發現了有幾個模型的Ollama範例指令變了。
從最早單純的ollama run qwen3.5這種
變成了ollama launch claude --model=qwen3.5這種樣式
本來有點不以為意
後來因為接觸到claude code後，才驚覺這是用離線模型跑claude code的指令
然後才開始鑽研要怎麼使用

先說結論，現階段在claude code上用離線模型根本就是災難
連最基本的調用工具寫出檔案都有問題，根本連可用都稱不上
不過途中不死心，又找了其它幾套工具來使用
所以標題才會打上AI Agent，而不單指claude code
最後是勉強找到一套可以在公司電腦上運作的組合
就在此做個小記錄並分享一下
以下就進入詳細內容

用LLAMA.CPP來跑離線模型與應用

在去年接觸了Ollama之後
它就成為了我離線LLM的主要應用來源
安裝與使用簡易是最大的優點
包含後來更易用的視窗對話功能，可以隨選模型
外加直接拖拉檔案進行上傳，而不是在命令列貼上檔案來源就是超方便的
然後我也靠著ollama本身就有的python支援
寫了一個簡易的翻譯用工具，協助我日常工作上的文件處理

不過好用歸好用
當我整理硬碟，發現它現在本體不含模型就佔了5GB之後
真的有點嚇到，怎麼這麼肥？
換言之，如果只是要拿來翻譯工具進行簡單的翻譯應用
不含模型就是先吃掉5GB去了
當然我用的不只這些，還有加減試很多東西
所以還會繼續使用Ollama
只是這容量對我弄出來的翻譯工具要移殖給他人用來說，阻力太強了

問了AI，給了解套方案，要用llama.cpp
https://github.com/ggml-org/llama.cpp

在樹莓派1代上架設使用WSS連線的BBS站(MapleBBS-itoc)

想想上一篇熟悉的MapleBBS沒搞出來實在有點可惜
所以在上一次失敗後，還是有慢慢地在試
終於在最近得到了完整的解法
這版本建置過程的完善度真是輸夢之大地太多了，畢竟太舊了
不過舊也有舊的好處，比較熟悉所以感覺好上手多了
兩個版本要選，我是會選這個MapleBBS 3.10 itoc版

以下我會針對這版本遇到的問題儘量簡短一一說明
然後因為要修改的東西太多了
會提供一個可以一口氣修改所有Makefile用的prepare.sh
這檔案把前置工作搞定後
接下來就可以套用原本的安裝程序進行輕鬆且完整的安裝
那麼開始啦

在樹莓派1代上架設使用WSS連線的BBS站(使用DreamBBS)

在2026新年第一篇PO這篇真的蠻瘋的
不過蠻懷念也蠻有趣的
總之在與Gemini進行對話時
標題這念頭就像突然被電波打到一樣
出現在我的腦中
稍稍想想，可行性應該是有的
就向Gemini繼續詢問其可行性後
以玩樂性質執行下去

這次使用夢之大地版本架設

吉他學習2025年回顧

時間過得好快
又到了年末
回顧一下去年這篇的計畫
吉他學習今年(2024)回顧
今年只能說失敗了
立下四首目標只完成了兩首
................
其實從Blog上文章狀況也能理解
AI太好玩了
大部分的心力投注在AI應用上了
自然留給吉他學習的部分就變少了
想玩的東西太多了，時間要是可以再多一點就好了

今年沒依計畫達標還是要好好回顧一下成果
還有設立明年的目標
期待明年可以練更多想彈的曲目

使用Gemini重學Android程式設計心得

翻了一下舊資料，自己動手寫Android程式已經十二年前啦
當年有寫了一個很簡單的連線程式，在工作上協助Debug
然後也一路挑戰到Java的JNI(Java Native Interface)運作
(撰寫Android NDK程式)
不過終究是與工作相關性太低
就算有想寫的東西，人家開發的都弄得比自己好，還免費
所以弄完那一個後就沒有繼續進行開發
即便中途還有再想著要重啟，但一安裝完Android Studio看著那變得陌生不已的介面
還是又默默地移除它，下次再說

最近，看著Google也推出了，用嘴(描述)就可以寫程式的Antigravity後
就又非常有興趣想要切入
因為用描述寫程式，可以不用太深入語法問題，只要專注於程式結構與目標
尤其我對Android舊官方語言的Java已經不是很熟，新推的kotlin更陌生
以往經驗來說從做中學是最速成，而且AI還可以帶教學說明細節
就決定來寫一個想做的APP

只是剛好看到Antigravity出狀況把人家的D槽給砍了
(Google開發平台Antigravity爆嚴重事故　用戶硬碟被無預警格式化)
加上它不是Android專屬的開發環境
無法預覽UI的板面，模擬執行，還有看LOG
最終還是使用Genimi+Android Studio進行開發與學習(？)

(以下文多只有心得，沒有程式碼與圖像)

Volkswagen Sharan 2.0 TDI CL 10年使用心得

一句：「要記得喔，下次驗車是半年後」
讓我驚覺，對喔，這台車已經10年了
除了感嘆時間怎麼會過的如此之快
另外一方面也覺得高興
這台車竟然還是如此健壯好開到感覺不出來已經10年了

畢竟購買當時福斯DSG的惡名昭彰不說
只要身為一台進口車，「傳說」，小毛病多到錢都會花得很兇狠
所以當初並不看好可以開很久
原訂目標使用目標只有先撐個10年，如果要一直修就不要了
目前看來是穩穩地達標啦
而且看來是比前一台國產的Focus還要健康
看來要達到再高階一點的目標15年應該不難
慶幸自己運氣還算好
5年前有寫過5年的使用心得
Volkswagen Sharan 2.0 TDI CL 5年使用心得
那麼這篇就來聊聊第二個5年來的一些維修保養與使用心得吧

超級戰隊系列結束播放

テレ朝「スーパー戦隊シリーズ」放送終了へ
看到這新聞時
只覺得這一天終究還是跑不掉
畢竟日本的三大特攝：奧特曼，假面騎士與超級戰隊系列
就只有超級戰隊這系列是沒有停過的
前兩個系列都有停超過10年才再開
但是還是覺得很可惜啊
從1975年開始到現在50年了咧，這可是段不短的時間
但在東映最新的回應是無可奉告而不是否認的情況下
スーパー戦隊：“終了報道”にテレビ朝日「今後の編成についてはお答えしていません」 - MANTANWEB（まんたんウェブ）
我想真的就是這樣了吧

就趁此時來回顧一下自己的戰隊史
還有期望戰隊有再起的一天吧

模型閒話-上色好工具：多樂繪丙烯麥克筆

大概在三個多月前接觸到這個品牌的訊息吧
在小小的同好圈中掀起一波小熱潮
在自己評估過後，就在最近入手了
一共買了24個一般色一盒，還有12個金屬色一盒
用起來的第一感想，真的讚！
難怪模型同好們讚不絕口

AI語音生成的新發展-帶情緒感的文字轉語音生成index TTS 2

index TTS2
這是無意間在討論區中看到的關鍵字
好奇查下去才發現，又是個功能強大的新AI應用
介紹官網在此
IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech
這套由中國BiliBlil開發的文字轉語音(Text To Speech)AI應用在9月8日發表了第2代
名稱就是開頭的index TTS2
它的強大之處包含了兩個以往不好做到與很難做到的功能
幾近零樣本的語音複製與可控制的帶情緒語音

先不講究專有名詞，直接看展示影片就會明白上面講的兩件事是什麼
首先第一個，讓子彈飛的經典對話，翻譯翻譯什麼叫驚喜

沒錯，幾近完美地複製原角色說話的聲紋與語氣
裡面的英語都是文字輸出後讓AI產出的
我覺得複製的部分還原了至少9分像了
帶情緒的部分更是與原語氣差不了多少

第二個，我選了展示的最後一個影片
著名的梗圖產生動畫，MyGO

會選這個是要展示除了英語外，index TTS2它要產生中文語音也沒問題
只是畢竟是中國開發的，要靠簡體字它才認得文字

網頁中還有其它展示啦
就不一一截取到這裡展示了
總之在連假前發現，驚嘆其功能
然後趁著連假稍微玩了一下，體驗一下這最新科技
寫一下這一篇小介紹

RG第15彈 RX-78-2 鋼彈 ver 2.0

我想這架的故事不用再多做太多介紹了
畢竟這就是所有鋼彈的始祖
只要認識鋼彈一陣子，大概都會順便認識這一隻
頭頂上顯眼的天線，極具識別的兩隻眼睛與面罩(排氣孔)
白色為底，藍紅黃交錯的配色
後繼的機體們或多或少都繼承了這些特微
這次組裝的就是，RX-78-2 鋼彈
第一代，初代鋼彈，以下簡稱初鋼

聖火降魔錄新一代的翻譯，維持萬紫千紅不好嗎？

 雖然應該是好一陣子不會再買聖火降魔錄(Fire Emblem)系列了
不過在昨晚的任天堂直面會中介紹的系列最新作，副標題：「萬紫千紅」
仍然吸引了我的目光
畢竟是放在最後的壓軸嘛

結果今天早上一起床看到巴哈姆特的新聞稿...
《聖火降魔錄 萬縷千絲》壓軸曝光 這次的舞台是「大劍鬥祭」？
這啥啊？？？
漢字不就是寫万紫千紅，跑這什麼鬼東西出來？？？