在去年接觸了Ollama之後
它就成為了我離線LLM的主要應用來源
安裝與使用簡易是最大的優點
包含後來更易用的視窗對話功能，可以隨選模型
外加直接拖拉檔案進行上傳，而不是在命令列貼上檔案來源就是超方便的
然後我也靠著ollama本身就有的python支援
寫了一個簡易的翻譯用工具，協助我日常工作上的文件處理
不過好用歸好用
當我整理硬碟，發現它現在本體不含模型就佔了5GB之後
真的有點嚇到，怎麼這麼肥？
換言之，如果只是要拿來翻譯工具進行簡單的翻譯應用
不含模型就是先吃掉5GB去了
當然我用的不只這些，還有加減試很多東西
所以還會繼續使用Ollama
只是這容量對我弄出來的翻譯工具要移殖給他人用來說，阻力太強了
問了AI，給了解套方案，要用llama.cpp
https://github.com/ggml-org/llama.cpp
