Fine-Tune LFM2.5 350M with Ertas

LFM2.5 350M at a Glance

Overview

LFM2.5-350M 是 Liquid AI LFM2.5 家族中的中間規模，發布於 2026 年 3 月 31 日。它與 1.2B 共用完全相同的層結構：16 層，按 10 個雙閘控短程卷積區塊與 6 個分組查詢注意力區塊劃分，並享有同樣的 28 兆 token 預訓練預算。兩者的差別在參數量，而 350M 拿到的是完整訓練，不是縮水版本。

這一點比聽起來更重要。小模型通常相對其容量而言訓練不足，因為算力預算往往跟著參數量走。把 28T token 的預算投在 350M 參數上，才能產出一個 IFEval 76.96 的模型，高於體量更大的 Gemma 3 1B（63.49）與 Qwen3.5-0.8B（59.94）。

函式呼叫分數是最亮眼的部分。BFCLv3 的 44.11 與 BFCLv4 的 21.86 讓 350M 領先於 Granite 4.0-H-350M（43.07 與 13.28）、Qwen3.5-0.8B（35.08 與 18.70），並大幅領先自家前代 LFM2-350M（22.95 與 12.29）。在臨床結構化擷取基準 CaseReportBench 上，它取得 32.45，而 Qwen3.5-0.8B 為 13.83，Gemma 3 1B 為 2.28。

上下文視窗與家族其他成員一致，為 32,768 token，詞表為 65,536。量化到 Q4_K_M 後匯出體積為 229MB。在 iPhone 13 Mini 上透過 Cactus 引擎執行時占用 56MB，解碼 88 token/秒，這樣的占用可以直接放進一個行動應用程式，而不必展開一場關於下載體積的討論。

Liquid 推薦將其用於資料擷取、結構化輸出與工具使用，並建議避開知識密集型任務、程式設計、數學與創意寫作。Ertas 目錄收錄的鏡像位址為 `ErtasAI/LFM2.5-350M`。

Key Features

在 350M 參數上做函式呼叫，是選擇這個模型的理由。BFCLv3 的 44.11 與 230M 相差不到一分，也接近許多 1B 級模型的水準，而一代之前的 LFM2-350M 在同一基準上只有 22.95。模型預設在 `<|tool_call_start|>` 與 `<|tool_call_end|>` token 之間寫出 Python 式呼叫，也可透過系統提示詞切換為 JSON。

結構化擷取是與之搭配的強項。CaseReportBench 的 32.45 衡量的是從非結構化病例報告中擷取結構化臨床欄位的能力，350M 的成績是 Qwen3.5-0.8B（13.83）的兩倍以上。再結合 IFBench 的 40.69，這描繪出一個能穩定產出你所要求格式的模型。

單一檢查點的部署涵蓋面異常之廣。Liquid 公布了五個差異極大的目標上的實測：Apple M5 Max 透過 Mirai 解碼 564 token/秒；AMD Ryzen AI Max 395+ 透過 llama.cpp 解碼 313；iPhone 13 Mini 透過 Cactus 解碼 88，占用 56MB；Snapdragon 8 Elite NPU 透過 RunAnywhere 占用 169MB；樹莓派 5 解碼 30 token/秒，占用 300MB。在單張 H100 上，高並行時輸出吞吐可達 40,400 token/秒，也就是說同一個能放進樹莓派的模型也能承擔批次負載。

它涵蓋九種語言：英語、阿拉伯語、中文、法語、德語、日語、韓語、葡萄牙語與西班牙語。多語言指令遵循基準 Multi-IF 的成績是 44.92，高於 230M 的 37.70 與 Qwen3.5-0.8B 的 41.68。

規模的代價體現在：MMLU-Pro 20.01 與 GPQA Diamond 30.64。世界知識較為薄弱，這是 350M 參數下預期中的取捨。把事實放進提示詞裡。

Fine-Tuning with Ertas

LFM2.5 350M 在 Ertas Studio 的 T4 層級上微調，並且遠低於免費方案的 5B 參數上限。權重原生支援 bf16，訓練直接以 bf16 進行，不會退回 fp32。

適用於這個規模的配方是：學習率 3e-4 到 5e-4，批次大小 4，梯度累積 2，訓練 8 到 16 個輪次。在 350M 參數下，一次訓練結束得夠快，你可以在一個下午對資料集迭代好幾輪，而真正的工作也正是在那裡。

匯出結果可以是供 llama.cpp、Ollama 與 LM Studio 使用的 GGUF，也可以是 safetensors LoRA 轉接器。Q4_K_M 匯出約為 229MB，而 Qwen 2.5 0.5B 為 490MB，Gemma 3 1B 為 810MB。如果你的產品需要把模型下發給使用者，這個差距就是「使用者直接接受」與「使用者要考慮一下」之間的差距。

我們自己工作中的一個發現值得帶上。在打造 [Chatty Valley](/blog/chatty-valley-on-device-ai-mod-stardew-valley) 時，我們用同一份角色資料集分別微調了 350M 與 1.2B，並對兩者跑了同一套評測。350M 完美維持了角色的語氣與格式，產出的單句讀起來完全對味。隨後它跟丟了一段多輪隨性對話的線索，回答了一個沒有被問到的問題，還把同一個想法又重複了一遍，深怕你沒看見。

讓這件事代價高昂的是：所有自動化指標在兩種規模上都是乾淨的。無破折號率、越獄外洩率、句長分布、退化度與數字年齡外洩全部通過。這個失敗只有靠真正對話才看得見。如果你要為任何對話類用途微調 350M，請寫一套腳本化的多輪探針，並在相信指標面板之前先跑一遍。而對於單輪擷取與工具呼叫（也正是這個模型的定位），這個風險並不適用。

Use Cases

大批量結構化資料擷取是最契合的情境。每份文件都是獨立請求，事實來自模型面前的文字，關鍵在於每次都輸出正確的格式。IFBench 的 40.69 與 CaseReportBench 的 32.45 都指向這一點，而在單張 H100 上 40,400 token/秒的輸出吞吐，讓跨大規模語料執行它在經濟上完全成立。

邊緣代理中的工具呼叫是第二個情境。BFCLv3 的 44.11、原生 Python 式呼叫格式，以及可容納工具定義的 32,768 token 上下文，意味著一個本機代理可以在提示詞中攜帶一整組真實工具。搭配檢索，讓索引承擔事實的部分。

離線執行的行動應用程式功能與這個占用相稱。iPhone 13 Mini 上 56MB 記憶體、229MB 下載體積，足以讓分類、自動完成、裝置端內容摘要與表單填寫作為背景功能執行，而不必成為應用程式的主打賣點。

嵌入式與物聯網部署在這裡是實際可行的。Snapdragon 8 Elite NPU 上 169MB、樹莓派 5 上 300MB，涵蓋了大量無法舒適承載 1B 模型的硬體。

應當另尋他路的情境：多輪對話、角色類工作，以及任何需要世界知識、程式碼或數學的任務。若需要同家族中的對話深度，請上移到 [LFM2.5 1.2B](/models/lfm2-5-1-2b)。若在類似的單輪工作中需要更小的占用，[LFM2.5 230M](/models/lfm2-5-230m) 讓出的能力少得出人意料。

Hardware Requirements

推論，依據 Liquid AI 在五個目標上的實測。Apple M5 Max 透過 Mirai：預填充 44,800 token/秒，解碼 564，占用 1GB。AMD Ryzen AI Max 395+ 透過 llama.cpp：預填充 2,900，解碼 313，占用 434MB。Snapdragon 8 Elite NPU 透過 RunAnywhere：預填充 2,800，解碼 15，占用 169MB。iPhone 13 Mini 透過 Cactus 引擎：預填充 496，解碼 88，占用 56MB。樹莓派 5 透過 Cactus：預填充 200，解碼 30，占用 300MB。在單張 H100 上，高並行時輸出吞吐峰值為 40,400 token/秒。

匯出體積，讀取自 Liquid 公布的 GGUF 建置：Q4_0 為 219MB，Q4_K_M 為 229MB，Q5_K_M 為 260MB，Q6_K 為 293MB，Q8_0 為 379MB，BF16 為 712MB。在這個規模下值得試試 Q5_K_M 或 Q6_K，因為額外品質的絕對代價只有幾十 MB。

在 Ertas 上微調時，T4 層級綽綽有餘。它是入門層級，也是免費方案使用的層級。

若在 Ertas 之外於本機微調，350M 的 QLoRA 可放進 6GB 消費級 GPU，速度足以讓幾百行資料的一次完整訓練在幾分鐘內跑完。

Frequently Asked Questions

LFM2.5 350M 是什麼？

LFM2.5-350M 是 Liquid AI 於 2026 年 3 月 31 日發布的 3.5 億參數裝置端語言模型。它採用 16 層結構，按 10 個雙閘控卷積區塊與 6 個分組查詢注意力區塊劃分，上下文視窗為 32,768 token，預訓練量為 28 兆 token，與同家族的 1.2B 享有相同預算。

LFM2.5 350M 的函式呼叫能力如何？

在 Liquid AI 公布的結果中，它的 BFCLv3 為 44.11，BFCLv4 為 21.86。這讓它領先於 Granite 4.0-H-350M（43.07 與 13.28）、Qwen3.5-0.8B（35.08 與 18.70）、Gemma 3 1B IT（16.61 與 7.17），並約為自家前代 LFM2-350M（22.95 與 12.29）的兩倍。函式呼叫是這個模型被設計來做好的兩件事之一。

微調後的 LFM2.5 350M 匯出檔案有多大？

依據 Liquid AI 公布的 GGUF 建置，Q4_K_M 下約為 229MB。Q5_K_M 為 260MB，Q6_K 為 293MB，Q8_0 為 379MB。作為對照，Gemma 3 1B 在 Q4_K_M 下為 810MB，Qwen 2.5 0.5B 為 490MB。

LFM2.5 350M 能維持對話嗎？

單輪任務才是它的位置。在我們自己的測試中，微調後的 350M 完美維持了角色的語氣與格式，隨後卻在多輪隨性對話中跟丟了線索，對沒有被問到的問題給出流暢且完全符合人設的回答。我們跑過的所有自動化指標在 350M 與 1.2B 上都通過了，只有一套腳本化的對話探針才讓這個差別浮現。對於擷取、分類、結構化輸出與工具呼叫這類每次請求彼此獨立的任務，350M 是很好的選擇。若需要對話能力，請上移到 LFM2.5 1.2B。

什麼硬體可以執行 LFM2.5 350M？

Liquid AI 公布了五個目標上的實測：iPhone 13 Mini 占用 56MB、解碼 88 token/秒；Snapdragon 8 Elite NPU 占用 169MB；樹莓派 5 占用 300MB、解碼 30 token/秒；AMD Ryzen AI Max 395+ 占用 434MB、解碼 313 token/秒；Apple M5 Max 解碼 564 token/秒。在單張 H100 上，高並行時輸出吞吐可達 40,400 token/秒。

在 Ertas 上微調 LFM2.5 350M 是免費的嗎？

是的。它在 T4 GPU 層級上訓練，並且遠低於免費方案的 5B 參數上限。匯出可選 GGUF 或 safetensors LoRA 轉接器。