Msty + Ertas
在 Msty 优雅的桌面聊天界面中运行 Ertas 训练的模型,具备内置模型管理、对话历史和知识库功能。
Overview
Msty 是一款桌面 AI 聊天应用,为希望获得精致原生体验的用户设计,用于与本地语言模型交互。在 macOS、Windows 和 Linux 上可用,Msty 提供简洁的对话界面,具备对话分支、消息编辑、Markdown 渲染和代码语法高亮等功能。它支持多种模型后端,包括 Ollama、LM Studio 和直接 GGUF 文件加载,是最灵活的本地 AI 客户端之一。
除聊天外,Msty 还包含知识库功能,让用户可以将文档附加到对话中以获得上下文感知的回复。它管理模型下载,在推理期间提供性能指标,并将所有对话历史存储在本地。对于需要在自己硬件上运行的日常 AI 助手的个人专业人士和小型团队,Msty 提供了 Web 聊天界面无法匹配的桌面原生体验——具备离线功能、系统级键盘快捷键和与操作系统通知系统的集成。
How Ertas Integrates
Ertas 训练的模型通过 Msty 的 Ollama 后端集成无缝工作。在 Ertas Studio 中微调并将模型部署到 Ollama 后,Msty 自动发现并在模型选择器中列出它。用户可以在对话中切换 Ertas 训练的专业模型和通用模型,并排比较输出。Msty 还支持直接加载 GGUF 文件,因此您甚至无需设置推理服务器即可导入 Ertas 导出的模型。
Ertas-Msty 工作流非常适合需要特定领域 AI 协助的知识工作者。一位金融分析师可以在 Ertas Studio 中针对收益报告和 SEC 文件微调模型,加载到 Msty 中,每天用于研究和分析——模型完全在他们的笔记本上运行,所有对话存储在本地。Msty 的知识库功能增加了另一层:分析师可以将相关文档附加到对话中,将微调模型的领域专业知识与实时文档上下文相结合。这创造了一个私密的、个性化的 AI 助手,既理解通用领域,又了解手头的具体材料。
Getting Started
- 1
在 Ertas Studio 中微调您的模型
在 Ertas Studio 中使用您的数据训练领域特定模型。以首选量化级别导出 GGUF 格式的完成模型。
- 2
通过 Ollama 部署或直接加载 GGUF
将模型注册到 Ollama 进行基于服务器的推理,或将 GGUF 文件直接加载到 Msty 中以获得更简单的设置。
- 3
在 Msty 中选择您的模型
打开 Msty 并从模型下拉菜单中选择您的 Ertas 训练模型。如果使用 Ollama,模型自动出现;如果使用 GGUF 文件,将 Msty 指向文件位置。
- 4
附加知识库文档
可选择上传与您工作相关的文档。Msty 将与微调模型的训练知识一起使用它们作为上下文。
- 5
开始使用您的个性化 AI 助手
与您的领域调优模型开始对话。使用对话分支探索不同的方法,并访问完整的对话历史以供参考。
# Option 1: Deploy via Ollama (recommended)
ollama create ertas-analyst-7b -f ./Modelfile
# Msty auto-discovers Ollama models — just select it in the app
# Option 2: Direct GGUF loading in Msty
# 1. Download the GGUF file from Ertas Studio
# 2. Open Msty → Settings → Models → Add Local Model
# 3. Browse to: ~/models/ertas-analyst-7b-Q5_K_M.gguf
# 4. Msty loads the model with llama.cpp backend
# Either way, your fine-tuned model is ready
# in Msty's chat interface within secondsBenefits
- 原生桌面应用,具备系统集成和键盘快捷键
- 直接 GGUF 加载无需单独的推理服务器
- 对话分支用于探索多个回复路径
- 知识库附件将微调智 能与文档上下文相结合
- 所有对话存储在本地,完全隐私
- 跨平台支持 macOS、Windows 和 Linux
Related Resources
GGUF
推理
微调
LoRA
量化(Quantization)
Running AI Models Locally: The Complete Guide to Local LLM Inference
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
Self-Hosted AI for Indie Apps: Replace GPT-4 with Your Own Model
Fine-Tune AI Without Code: 6 Visual Steps
Ollama
LM Studio
llama.cpp
Ertas for Indie Developers & Vibe-Coded Apps
Ertas for Content Creation
Ertas for Finance
Ertas for Legal
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.