On Device LLM

设备端大语言模型是一款面向iPhone的本地优先人工智能工作台。开源语言和视觉模型通过苹果的MLX框架完全在设备上运行——无需服务器，无需API密钥，无需遥测，无需账户。

实时相机字幕
将相机对准任何物体。SmolVLM每隔几秒描述一次场景，将字幕实时流式传输到取景器上。将刷新间隔从500毫秒调整到30秒。在两个周期之间点击刷新图标可按需获取字幕。

语音对话
与设备端大语言模型进行免提聊天。行业标准的语音活动检测可忽略电视聊天和背景噪音；通过其正在监听的同一音频会话进行回复——不会出现开头的词被截断，也不会有延迟回复。

代码助手
从Qwen 2.5 Coder、Llama 3.2、Phi - 3.5、Gemma 2、Qwen3以及HuggingFace上数十个经MLX转换的模型中进行选择。该应用会自动选择适合你设备内存的模型（旧款iPhone上为15亿参数，Pro Max上可达70亿参数）。逐令牌流式输出，代码块语法高亮显示，对话可导出为Markdown格式。

强大工具
• 文档扫描仪——通过原生四角文档相机捕获多页代码
• 实时光学字符识别——实时识别屏幕、签名或白板上的文本
• A/B比较——并排运行两个模型，观察速度/质量权衡
• 基准测试——测量每秒令牌数、首个令牌生成时间、峰值内存、热影响
• 宏——将提示链接在一起（lint→重构→测试）
• 代码片段——保存可重复使用的提示模板
• 角色记忆——为每个角色记住不同的事实
• Mac桥接——连接你的Mac，将iPhone用作MLX推理服务器

可验证的隐私
• 每个模型都在设备上运行——你的提示信息永远不会离开手机
• 网络活动指示器会显示每个出站请求（仅模型下载）
• 对话采用静态加密存储
• 设置中一键“擦除所有设备数据”
• 无需分析SDK，无需注册，无需账户

针对你的设备进行优化
• 首次启动时会根据设备层级自动选择聊天模型和相机VLM
• Pro Max上为SmolVLM 22亿参数（bf16）；入门级iPhone上为SmolVLM 4位量化
• 当模型镜像无法访问时自动进行回退链
• 热感知——仅在关键情况下限制响应长度（与同类设备端应用匹配）
• 当应用进入后台时取消正在进行的Metal工作，这样iOS就不会终止它

要求
• iOS 18.0或更高版本
• 推荐：iPhone 12或更新机型
• 首次下载模型时建议使用Wi-Fi（最小约1.5GB）

开源模型。开放标准。你的数据不会存储在别人的服务器上。