使用Kuzco的系统要求是什么？

Kuzco需要iOS 15.0+、macOS 12.0+、Mac Catalyst 15.0+、Swift 5.9+和Xcode 15.0+。

Kuzco支持哪些模型架构？

Kuzco支持多种LLM架构，包括LLaMA 3、LLaMA General、Qwen、Mistral、Phi、Gemma、DeepSeek、Command-R、Yi和OpenChat模型。

为什么我的模型加载缓慢或崩溃？

常见原因包括：不兼容的.gguf模型文件、不正确的文件路径、RAM不足或不正确的架构检测。解决方案包括使用ModelProfile.validateModelFile()，确保正确的文件访问，并使用ModelProfile.createWithFallback()以获得更好的兼容性。

如何提高iOS设备上的性能？

为了提高性能，您可以：使用较小的量化模型（Q4_0、Q4_1），减少contextLength和processingBatchSize，增加Apple Silicon设备的gpuOffloadLayers，并实施适当的清理以进行内存管理。

Kuzco如何处理隐私？

Kuzco在本地设备上处理所有AI推理，无需网络依赖，从而确保完全的隐私且无数据泄露。

Kuzco

WebsiteFreeAI Code Assistant Large Language Models (LLMs)

Kuzco 是一个强大的 Swift 软件包，它支持直接在 iOS 和 macOS 应用程序中进行本地大型语言模型 (LLM) 推理，基于 llama.cpp 构建，具有零网络依赖性，可实现以隐私为中心的 AI 集成。

访问网站

推广此工具

https://github.com/jaredcassoutt/Kuzco?ref=producthunt&utm_source=aipure

概述
替代方案

产品信息

更新于：2025年08月19日

什么是 Kuzco

Kuzco 是一个多功能的 Swift 软件包，旨在将本地大型语言模型功能引入 iOS、macOS 和 Mac Catalyst 应用程序。它构建为经过实战检验的 llama.cpp 引擎的包装器，充当 Apple 开发生态系统和高级 AI 功能之间的桥梁。该软件包支持多种流行的 LLM 架构，包括 LLaMA、Mistral、Phi、Gemma、Qwen 等，使其成为希望在其应用程序中实现 AI 功能而无需依赖云服务的开发者的综合解决方案。

Kuzco 的主要功能

Kuzco是一个Swift包，支持在iOS、macOS和Mac Catalyst应用程序上进行设备端大型语言模型（LLM）推理。它基于llama.cpp构建，提供本地AI模型执行，无需网络依赖，确保隐私和可靠性。该包支持多种LLM架构，提供可自定义的配置，并具有现代Swift并发特性和流式响应。

设备端LLM处理: 使用llama.cpp在本地运行AI模型，无需互联网连接，支持各种架构，如LLaMA、Mistral、Phi、Gemma和Qwen

高级配置选项: 提供对上下文长度、批量大小、GPU层和CPU线程的微调功能，以优化不同设备的性能

现代Swift集成: 具有async/await原生支持，提供流式响应和全面的错误处理，可无缝集成到Swift应用程序中

自动架构检测: 从文件名智能检测模型架构，并提供回退支持，以提高兼容性和易用性

Kuzco 的使用场景

私有AI聊天机器人: 构建完全在设备上处理用户对话的聊天应用程序，确保用户隐私和离线功能

企业数据分析: 使用AI模型在本地处理敏感业务数据，而无需将信息暴露给外部服务器

移动AI应用程序: 创建具有AI功能的iOS应用程序，无论互联网连接如何，都能可靠地工作

教育工具: 开发可以提供AI驱动的辅导和反馈，同时保持学生隐私的学习应用程序

优点

通过设备端处理实现完全隐私

无需网络依赖

针对Apple设备的高性能优化

全面的开发者友好型API

缺点

需要足够的设备资源来运行模型

仅限于iOS/macOS平台

与基于云的解决方案相比，性能可能较慢

如何使用 Kuzco

通过 Swift Package Manager 安装 Kuzco: 通过添加软件包 URL "https://github.com/jaredcassoutt/Kuzco.git" 将 Kuzco 添加到您的项目中，并选择版本 1.0.0+ 的“Up to Next Major”

导入和初始化: 将 "import Kuzco" 添加到您的 Swift 文件中，并使用 "let kuzco = Kuzco.shared" 进行初始化

创建模型配置文件: 使用您的模型 ID 和路径创建一个 ModelProfile：let profile = ModelProfile(id: 'my-model', sourcePath: '/path/to/your/model.gguf')

加载模型: 使用以下代码加载模型实例：let (instance, loadStream) = await kuzco.instance(for: profile)

监控加载进度: 通过 loadStream 跟踪加载进度，并在继续之前等待 .ready 阶段

创建对话轮次: 为您的对话创建对话轮次：let turns = [Turn(role: .user, text: userMessage)]

生成响应: 使用 predict() 和您所需的设置生成响应：let stream = try await instance.predict(turns: turns, systemPrompt: 'You are a helpful assistant.')

处理响应: 通过迭代令牌来处理流式响应：for try await (content, isComplete, _) in predictionStream { print(content) }

可选：配置高级设置: 如果需要，可以使用 InstanceSettings（contextLength、batchSize、gpuOffloadLayers、cpuThreads）和 PredictionConfig（temperature、topK、topP、repeatPenalty、maxTokens）自定义性能