Msty + Ertas
在 Msty 的優雅桌面聊天介面中運行 Ertas 訓練的模型,具有內建模型管理、對話歷史和知識庫功能。
Overview
Msty 是一款桌面 AI 聊天應用程式,專為希望與本地語言模型互動時獲得精緻原生體驗的使用者設計。在 macOS、Windows 和 Linux 上可用,Msty 提供簡潔的對話介面,具有對話分支、訊息編輯、Markdown 渲染和程式碼語法高亮等功能。它支援多個模型後端,包括 Ollama、LM Studio 和直接 GGUF 檔案載入,使其成為最靈活 的本地 AI 客戶端之一。
除了聊天之外,Msty 還包括知識庫功能,讓使用者可以將文件附加到對話中以獲得上下文感知的回應。它管理模型下載、在推理期間提供效能指標,並在本地儲存所有對話歷史。對於需要每天在自己硬體上運行的 AI 助手的個人專業人士和小型團隊,Msty 提供了網頁聊天介面無法匹配的桌面原生體驗——具有離線功能、系統級鍵盤快捷鍵和與作業系統通知系統的整合。
How Ertas Integrates
Ertas 訓練的模型透過其 Ollama 後端整合與 Msty 無縫配合。在 Ertas Studio 中微調並將模型部署到 Ollama 後,Msty 自動發現並在模型選擇器中列出它。使用者可以在對話中途切換 Ertas 訓練的專家模型和通用模型,並排比較輸出。Msty 還支援直接載入 GGUF 檔案,因此您可以匯入 Ertas 匯出的模型而無需設定推理伺服器。
Ertas-Msty 工作流程非常適合需要特定領域 AI 輔助的知識工作者。金融分析師可以在 Ertas Studio 中微調財報和 SEC 文件的模型,載入 Msty,然後每天用於研究和分析——模型完全在筆記型電腦上運行,所有對話都在本地儲存。Msty 的知識庫功能增加了另一層:分析師可以將相關文件附加到對話中,結合微調模型的領域專業知識和即時文件上下文。這建立了一個既了解一般領域又了解手邊特定材料的私密個人化 AI 助手。
Getting Started
- 1
在 Ertas Studio 中微調您的模型
使用 Ertas Studio 中的資料訓練領域特定模型。以 GGUF 格式匯出完成的模型,選擇您偏好的量化級別。
- 2
透過 Ollama 部署或直接載入 GGUF
在 Ollama 中註冊模型以進行基於伺服器的推理,或直接將 GGUF 檔案載入 Msty 以獲得更簡單的設定。
- 3
在 Msty 中選擇您的模型
開啟 Msty 並從模型下拉選單中選擇您的 Ertas 訓練模型。使用 Ollama 時模型會自動出現;使用 GGUF 檔案時將 Msty 指向檔案位置。
- 4
附加知識庫文件
可選擇上傳與您工作相關的文件。Msty 將使用這些文件作為上下文,搭配微調模型的訓練知識。
- 5
開始使用您的個人化 AI 助手
使用領域調校的模型開始對話。使用對話分支探索不同方法,並存取完整對話歷史作為參考。
# Option 1: Deploy via Ollama (recommended)
ollama create ertas-analyst-7b -f ./Modelfile
# Msty auto-discovers Ollama models — just select it in the app
# Option 2: Direct GGUF loading in Msty
# 1. Download the GGUF file from Ertas Studio
# 2. Open Msty → Settings → Models → Add Local Model
# 3. Browse to: ~/models/ertas-analyst-7b-Q5_K_M.gguf
# 4. Msty loads the model with llama.cpp backend
# Either way, your fine-tuned model is ready
# in Msty's chat interface within secondsBenefits
- 原生桌面應用程式,具有系統整合和鍵盤快捷鍵
- 直接 GGUF 載入消除了對獨立推理伺服器的需求
- 對話分支用於探索多個回應路徑
- 知識庫附件結合微調智慧與文件上下文
- 所有對話在本地儲存,確保完全隱私
- 跨平台支援 macOS、Windows 和 Linux
Related Resources
Fine-Tuning
GGUF
Inference
LoRA
Quantization
Running AI Models Locally: The Complete Guide to Local LLM Inference
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
Self-Hosted AI for Indie Apps: Replace GPT-4 with Your Own Model
Fine-Tune AI Models Without Writing Code
AnythingLLM
Jan
llama.cpp
LM Studio
Ollama
Ertas for Legal
Ertas for Finance
Ertas for Content Creation
Ertas for Indie Developers & Vibe-Coded Apps
Ship AI that runs on your users' devices.
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.