fullmoon 介绍
Fullmoon 是一款 iOS 应用,使用户能够在完全离线的情况下直接在其 Apple 设备上与私有和本地的大语言模型 (LLMs) 聊天,针对 Apple 芯片进行了优化。
查看更多什么是 fullmoon
Fullmoon 是一款免费的开源应用,旨在将大语言模型的强大力量直接带到用户的 Apple 设备上。该应用支持 iOS、iPadOS、macOS 和 visionOS 平台,允许用户在本地与 LLMs(如 Llama-3.2 模型)互动,无需互联网连接。它提供了一个简单直观的界面,用于与 AI 模型聊天,同时确保对话的完全隐私。
fullmoon 是如何工作的?
Fullmoon 通过使用 Apple 的 Metal 3 图形框架和 Swift MLX 数组框架直接在设备上运行优化的语言模型来工作。目前支持两个主要模型:Llama-3.2-1B-Instruct-4bit (0.7GB) 和 Llama-3.2-3B-Instruct-4bit (1.8GB),这些模型被压缩到 4 位精度以实现高效的设备上运行。用户可以通过可调整的主题、字体和系统提示来定制他们的体验。该应用还与 Apple Shortcuts 集成,允许从本地模型获取的输出用于其他动作。
fullmoon 的优势
Fullmoon 的主要优势包括完全隐私,因为所有处理都在设备上本地进行,无需互联网连接,且与 Apple 的生态系统无缝集成。用户可以与 AI 模型聊天,无需担心数据隐私或服务器连接问题。该应用的开源性质确保了透明度,而对 Apple 芯片的优化则提供了高效的性能。自定义选项和 Shortcuts 集成使其适用于不同的使用场景,而免费提供则使高级 AI 技术对所有 Apple 设备用户都触手可及。
查看更多