Msty + Ertas
在 Msty 优雅的桌面聊天界面中运行 Ertas 训练的模型,具备内置模型管理、对话历史和知识库功能。
Overview
Msty 是一款桌面 AI 聊天应用,为希望获得精致原生体验的用户设计,用于与本地语言模型交互。在 macOS、Windows 和 Linux 上可用,Msty 提供简洁的对话界面,具备对话分支、消息编辑、Markdown 渲染和代码语法高亮等功能。它支持多种模型后端,包括 Ollama、LM Studio 和直接 GGUF 文件加载,是最灵活的本地 AI 客户端之一。
除聊天外,Msty 还包含知识库功能,让用户可以将文档附加到对话中以获得上下文感知的回复。它管理模型下载,在推理期间提供性能指标,并将所有对话历史存储在本地。对于需要在自己硬件上运行的日常 AI 助手的个人专业人士和小型团队,Msty 提供了 Web 聊天界面无法匹配的桌面原生体验——具备离线功能、系统级键盘快捷键和与操作系统通知系统的集成。
How Ertas Integrates
Ertas 训练的模型通过 Msty 的 Ollama 后端集成无缝工作。在 Ertas Studio 中微调并将模型部署到 Ollama 后,Msty 自动发现并在模型选择器中列出它。用户可以在对话中切换 Ertas 训练的专业模型和通用模型,并排比较输出。Msty 还支持直接加载 GGUF 文件,因此您甚至无需设置推理服务器即可导入 Ertas 导出的模型。
Ertas-Msty 工作流非常适合需要特定领域 AI 协助的知识工作者。一位金融分析师可以在 Ertas Studio 中针对收益报告和 SEC 文件微调模型,加载到 Msty 中,每天用于研究和分析——模型完全在他们的笔记本上运行,所有对话存储在本地。Msty 的知识库功能增加了另一层:分析师可以将相关文档附加到对话中,将微调模型的领域专业知识与实时文档上下文相结合。这创造了一个私密的、个性化的 AI 助手,既理解通用领域,又了解手头的具体材料。
Getting Started
- 1
在 Ertas Studio 中微调您的模型
在 Ertas Studio 中使用您的数据训练领域特定模型。以首选量化级别导出 GGUF 格式的完成模型。
- 2
通过 Ollama 部署或直接加载 GGUF
将模型注册到 Ollama 进行基于服务器的推理,或将 GGUF 文件直接加载到 Msty 中以获得更简单的设置。
- 3
在 Msty 中选择您的模型
打开 Msty 并从模型下拉菜单中选择您的 Ertas 训练模型。如果使用 Ollama,模型自动出现;如果使用 GGUF 文件,将 Msty 指向文件位置。
- 4
附加知识库文档
可选择上传与您工作相关的文档。Msty 将与微调模型的训练知识一起使用它们作为上下文。
- 5
开始使用您的个性化 AI 助手
与您的领域调优模型开始对话。使用对话分支探索不同的方法,并访问完整的对话历史以供参考。
# Option 1: Deploy via Ollama (recommended)
ollama create ertas-analyst-7b -f ./Modelfile
# Msty auto-discovers Ollama models — just select it in the app
# Option 2: Direct GGUF loading in Msty
# 1. Download the GGUF file from Ertas Studio
# 2. Open Msty → Settings → Models → Add Local Model
# 3. Browse to: ~/models/ertas-analyst-7b-Q5_K_M.gguf
# 4. Msty loads the model with llama.cpp backend
# Either way, your fine-tuned model is ready
# in Msty's chat interface within secondsBenefits
- 原生桌面应用,具备系统集成和键盘快捷键
- 直接 GGUF 加载无需单独的推理服务器
- 对话分支用于探索多个回复路径
- 知识库附件将微调智能与文档上下文相结合
- 所有对话存储在本地,完全隐私
- 跨平台支持 macOS、Windows 和 Linux
Related Resources
Fine-Tuning
GGUF
Inference
LoRA
Quantization
Running AI Models Locally: The Complete Guide to Local LLM Inference
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
Self-Hosted AI for Indie Apps: Replace GPT-4 with Your Own Model
Fine-Tune AI Models Without Writing Code
AnythingLLM
Jan
llama.cpp
LM Studio
Ollama
Ertas for Legal
Ertas for Finance
Ertas for Content Creation
Ertas for Indie Developers & Vibe-Coded Apps
Ship AI that runs on your users' devices.
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.