玩AI那邊的模型，傳統的組裝模型也不能忘
排了好久
終於輪到神威鋼彈(God Gundam)了
兩年前就說要買了
然後中間就一堆臨時要搶的模型插了進來
像是HG 艾爾蓋姆MKII，RG 托爾吉斯3也是，還有LBB的飛驅鳥大將軍
被插隊那麼多次，終於要照計畫(？)來了
說是這麼說，然而這次計畫依然趕不上變化
網友先是傳來訊息說，有便宜的閃光鋼彈，看我要不要
接著又說神威鋼彈也有便宜，要不要一起買？
在兩者合購不超過1200元的惡魔誘惑下
乾脆一次買了，也一次做出來，寫成一篇啦
這次購入的，是鋼彈中最異色的作品
前無古人後無來者的機動武鬥傳G鋼彈
當中的兩台主角機
GF13-017NJ Shining Gundam 閃光鋼彈
與
GF13-017NJII God Gundam 神威鋼彈
一開始標題是打救星啦
不過想想本地模型從來也沒到死絕，說救星，明顯是文不對題
那麼就是超新星啦
耀眼程度絕對是除了最近閉源大紅的Jev以外
AI應用的一個新里程碑
尤其是對本地模型來說更是如此
因為它把了一個大型模型(Qwen3.8-Flash-Next)從勘用，特化到了可用的境界
其速度提昇之大，看了讓人瞠目結舌
而且安裝使用還十分好上手
真的是超慶幸我現在剛好有足夠硬體可以跑
速度有多誇張呢？
同樣的硬體，預填速度從2位拉到3位數，解碼更是驚人的40 tk/s
然後上下文可達128K
而它跑的是125B等級的大模型
這就是Strata
https://github.com/Niko1221/Strata
這天還是來啦，只是比想像中的早了不少
玩本地AI模型到後來終究還是買了台新電腦
講真的，現在真不是買新機的好時機
因為記憶體與顯示卡價格在今年一路往上狂漲
所以之前一直在等等看，看何時可以往下
沒想到持續至今已經較過去平均價格溢價超過5成
如果要照我的需求，RTX5060 Ti 16GB顯示卡+32GB RAM條件
組個一台最低規格的桌機
現在10月份，金額已經來到6萬大關，還沒有包含螢幕、鍵盤與作業系統...
而這以前是能買台高階電腦的範圍耶
CPU、記憶體、SSD還是顯示卡，至少有一項有機會拉到很高的規格
如今這價位也只能勉強選個顯卡與RAM勘用的等級
那似乎再不買，未來一年左右只能是望新機而興嘆
可是真的要買嗎？
最後推了我一把的有兩件事，幾乎是一起發生
第一件事，剛好找到有5萬元左右的組可以滿足我的最低規格需求
第二件事，可說是實際的起爆劑，剛好看到印度Youtuber Codacus的影片
如去年那篇提到，家中電腦的GPU實在不夠力
所以ConmfyUI就只有去年體驗了一下下後就停了
直到最近有需求，幾經評估
就決定花點小錢來租用雲端算力服務，完成這個需求
不然買台看得上眼的新的電腦實在太貴太貴太貴了
當然，要讓ComfyUI跑得順不只有租算力平台的選項
還有官方營運平台ComfyCloud可以申請使用
那...之所以不考慮官方
圖的當然是更自由的應用，也就是想偶爾跑跑現在最新的LLM模型看看
只是這選項實現的佔比跟零差不多就是......
總之註冊與繳錢後，就斷斷續續在上面進行測試好一段時間
最近終於做出想要的成品的雛型
當然還要再修過，就在這裡留個設定上的記錄
已經玩了超過一年的免費本地LLM
目前感受到整個發展其實已經差不多到一個穩定期了
雖然最近有幾次被驚嚇以為有什麼新突破
但實測下來都是令人失望的
加上Google主要競爭對手阿里巴巴差不多等同退出這領域
轉為閉源服務與開發超大參數(Qwen 3.8 2.4T參數最好本地跑得動啦)
然後Google也沒有再更新版次(連Gemini 3.5 Pro都快生不出來了)
應該就是進入一個穩定期了
就對這一整年，尤其是這半年玩起來的狀況寫個心得與小整理
(以下文章長，只有一張圖)
上一篇挑戰相關議題的文章是3月份寫的這一篇
那時的情況是，小參數21B以下就是不行
中等參數30B以上的，家裡最強電腦上慢得像龜一樣
跑的太勉強(5~7 tokens/秒)，也是跟沒用差不多
沒想到技術發展之快，5月初得知MOE有特殊用法時[1]
Claude Code搭配MOE模型就來到能用的範圍了
目前這篇寫的大部分設定都是那時候搞定的
不過對於我工作用的電腦沒屁用
因為MOE技術要卸載無法上VRAM的模型到一般記憶體中
只有16GB RAM的工作電腦辦不到這件事
家裡那台可以，但沒必要
在家跑Claude Code時，除了個人隱私外，都是沒機密性的東西
乾脆用Claude code直接連Opus或是Sonnet還比較好用
加上5月忙到6月中，就沒有更進一步寫成blog留存了
直到最近工作暫告一段落，又想回頭來測試這一塊
測了一下4月底發表，最近官方自己壓縮的Gemma4-E4B QAT模型發現算是可以跑了
讓我一開始開心了一下，也開啟這篇文章的撰寫
只是嚴格說來這算假象，小參數模型進步算非常大，但工具調用仍然不穩定
即便克服了工具問題了，以產出程式碼品質來說，它的上限仍然不到及格線
測到這裡，因為沒達成預期用Gemma4-E4B跑的目標，本來想把這篇給廢了
後來想想寫都寫了，其實上一篇也是失敗的記錄，還是繼續測下去
繼續測試後，要稱得上穩定可用，還是得更多參數的Gemma4-12B這種等級
可是工作用電腦其實跑不太動
有再降階換Qwen3.5-9B測試，不過程式碼產出的表現依然不穩定
看來就這樣了
就把資料整理整理，重改一下文章內容後推出
而之前也確實沒記錄Claude Code怎麼搭配llama.cpp(llama-server)
也趁這篇寫一下記錄
以下就是詳細的失敗記錄與Claude Code如何搭配llama-server的設定說明
還有後續不死心測試的補充
終於還是入手Legend BB這個系列啦
這次購入的是萬代PB商店中的特規品
天宮之國繼新世大將軍後，年輕一代的新大將軍
Legend BB 第一彈 飛驅鳥大將軍！
從月初的0.41版開始使用
現在已經一口氣改版到0.55版了
基本的操作介面並沒有什麼大改
所以上一篇操作說明的部分就不改動
但是關於LLM的部分算是一路大修到現在
所以這篇算是LLM功能的補充攻略
最近好像一年來一次啊
不過這次也沒辦法
某天發現樹莓派1的網站連不進去
本想說又是週期性當機啦
然後拔電重插數次都沒反應
接上螢幕，最後一行出現
end Kernel panic -- not syncing: VFS: unable to mount root fs on unknown block(179,2)
Kernel panic，這看來就非常不妙，後面的理由就是無法載入root的fs(檔案系統)
斷電，把SD卡拿到其它台樹莓派讀也看不到EXT4的磁碟槽
這張SD卡確定掛點了
這是跟這台1代B版樹莓派一起購入的卡片
經過多年的使用與重灌
加上今年初多次刪除並重灌BBS的摧殘後
把到用到掛點了
感謝它多年的工作，該淘汰了
最近網友推薦一個新的漫畫翻譯器叫Koharu
GitHub - mayocream/koharu: ML-powered manga translator, written in Rust. · GitHub
在Manga-Image-Translator搞定後，終於有空試著玩玩看
這真的有驚豔到我，不但安裝簡易，幾乎不用佈署什麼環境
而且看這簡單易懂的操作介面，還是全繁體中文的
稍稍試一下，連說明書都不用看就用到那邊去
超棒的
這一定要推一下
沒錯，今年的生日禮物就是這個啦
SHOEI的旅行全罩帽GT-AIR3
感謝老弟幫忙與老婆資助讓我可以擁有這個好物
提早入手了一陣子了
順便也來介紹一下選購理由與使用心得
去年學著使用Manga-Imgae-Translator
雖然已經玩到要改程式這步了，但玩完後就沒在使用了
主要還是沒有明確要使用的目標
就沒有什麼動力了
今年有了個目標，就重開要來好好用用
然後對程式的修改就越改越多了...........................................
前陣子在逛Ollama的模型庫時，發現了有幾個模型的Ollama範例指令變了。
從最早單純的ollama run qwen3.5這種
變成了ollama launch claude --model=qwen3.5這種樣式
本來有點不以為意
後來因為接觸到claude code後，才驚覺這是用離線模型跑claude code的指令
然後才開始鑽研要怎麼使用
先說結論，現階段在claude code上用離線模型根本就是災難
連最基本的調用工具寫出檔案都有問題，根本連可用都稱不上
不過途中不死心，又找了其它幾套工具來使用
所以標題才會打上AI Agent，而不單指claude code
最後是勉強找到一套可以在公司電腦上運作的組合
就在此做個小記錄並分享一下
以下就進入詳細內容
在去年接觸了Ollama之後
它就成為了我離線LLM的主要應用來源
安裝與使用簡易是最大的優點
包含後來更易用的視窗對話功能，可以隨選模型
外加直接拖拉檔案進行上傳，而不是在命令列貼上檔案來源就是超方便的
然後我也靠著ollama本身就有的python支援
寫了一個簡易的翻譯用工具，協助我日常工作上的文件處理
不過好用歸好用
當我整理硬碟，發現它現在本體不含模型就佔了5GB之後
真的有點嚇到，怎麼這麼肥？
換言之，如果只是要拿來翻譯工具進行簡單的翻譯應用
不含模型就是先吃掉5GB去了
當然我用的不只這些，還有加減試很多東西
所以還會繼續使用Ollama
只是這容量對我弄出來的翻譯工具要移殖給他人用來說，阻力太強了
問了AI，給了解套方案，要用llama.cpp
https://github.com/ggml-org/llama.cpp
想想上一篇熟悉的MapleBBS沒搞出來實在有點可惜
所以在上一次失敗後，還是有慢慢地在試
終於在最近得到了完整的解法
這版本建置過程的完善度真是輸夢之大地太多了，畢竟太舊了
不過舊也有舊的好處，比較熟悉所以感覺好上手多了
兩個版本要選，我是會選這個MapleBBS 3.10 itoc版
以下我會針對這版本遇到的問題儘量簡短一一說明
然後因為要修改的東西太多了
會提供一個可以一口氣修改所有Makefile用的prepare.sh
這檔案把前置工作搞定後
接下來就可以套用原本的安裝程序進行輕鬆且完整的安裝
那麼開始啦
在2026新年第一篇PO這篇真的蠻瘋的
不過蠻懷念也蠻有趣的
總之在與Gemini進行對話時
標題這念頭就像突然被電波打到一樣
出現在我的腦中
稍稍想想，可行性應該是有的
就向Gemini繼續詢問其可行性後
以玩樂性質執行下去
 |
| 這次使用夢之大地版本架設 |
