使用 Kuzco 的系統需求是什麼？

Kuzco 需要 iOS 15.0+、macOS 12.0+、Mac Catalyst 15.0+、Swift 5.9+ 和 Xcode 15.0+。

Kuzco 支援哪些模型架構？

Kuzco 支援多種 LLM 架構，包括 LLaMA 3、LLaMA General、Qwen、Mistral、Phi、Gemma、DeepSeek、Command-R、Yi 和 OpenChat 模型。

為什麼我的模型載入速度慢或崩潰？

常見原因包括：不相容的 .gguf 模型檔案、不正確的檔案路徑、RAM 不足或不正確的架構偵測。解決方案包括使用 ModelProfile.validateModelFile()、確保正確的檔案存取，以及使用 ModelProfile.createWithFallback() 以獲得更好的相容性。

如何提高 iOS 裝置上的效能？

為了提高效能，您可以：使用較小的量化模型 (Q4_0、Q4_1)、減少 contextLength 和 processingBatchSize、增加 Apple Silicon 裝置的 gpuOffloadLayers，以及實作適當的記憶體管理清理。

Kuzco 如何處理隱私？

Kuzco 在本地裝置上處理所有 AI 推論，無需網路依賴，確保完全的隱私且沒有資料洩漏。

Kuzco

WebsiteFreeAI Code Assistant Large Language Models (LLMs)

Kuzco 是一個強大的 Swift 軟件包，它支持直接在 iOS 和 macOS 應用程序中進行本地大型語言模型 (LLM) 推理，該軟件包構建在 llama.cpp 之上，具有零網絡依賴性，可實現以隱私為中心的 AI 集成。

訪問網站

宣傳此工具

https://github.com/jaredcassoutt/Kuzco?ref=producthunt&utm_source=aipure

概覽
替代方案

產品資訊

更新時間：2025年08月19日

什麼是 Kuzco

Kuzco 是一個多功能的 Swift 軟件包，旨在將本地大型語言模型功能引入 iOS、macOS 和 Mac Catalyst 應用程序。它構建為經過實戰考驗的 llama.cpp 引擎的包裝器，充當 Apple 開發生態系統和高級 AI 功能之間的橋樑。該軟件包支持多種流行的 LLM 架構，包括 LLaMA、Mistral、Phi、Gemma、Qwen 等，使其成為希望在其應用程序中實現 AI 功能而無需依賴雲服務的開發人員的綜合解決方案。

Kuzco 的主要功能

Kuzco 是一個 Swift 套件，可在 iOS、macOS 和 Mac Catalyst 應用程式上實現裝置上的大型語言模型 (LLM) 推論。它基於 llama.cpp 構建，提供本地 AI 模型執行，無需網路依賴，確保隱私和可靠性。該套件支援多種 LLM 架構，提供可自訂的配置，並具有現代 Swift 並發和串流回應。

裝置上的 LLM 處理: 使用 llama.cpp 在本地執行 AI 模型，無需網路連線，支援 LLaMA、Mistral、Phi、Gemma 和 Qwen 等各種架構

進階配置選項: 為上下文長度、批次大小、GPU 層和 CPU 執行緒提供微調功能，以優化不同裝置的效能

現代 Swift 整合: 具有 async/await 原生支援，具有串流回應和全面的錯誤處理，可無縫整合到 Swift 應用程式中

自動架構檢測: 從檔案名稱智慧檢測模型架構，並提供後備支援，以提高相容性和易用性

Kuzco 的使用案例

私有 AI 聊天機器人: 構建完全在裝置上處理使用者對話的聊天應用程式，確保使用者隱私和離線功能

企業資料分析: 使用 AI 模型在本地處理敏感的業務資料，而不會將資訊暴露給外部伺服器

行動 AI 應用程式: 建立具有 AI 功能的 iOS 應用程式，無論網路連線如何，都能可靠地工作

教育工具: 開發可以提供 AI 驅動的輔導和回饋，同時保持學生隱私的學習應用程式

優點

透過裝置上的處理實現完全隱私

無需網路依賴

針對 Apple 裝置的高效能優化

全面的開發人員友善 API

缺點

需要足夠的裝置資源才能執行模型

僅限於 iOS/macOS 平台

與基於雲端的解決方案相比，效能可能較慢

如何使用 Kuzco

通過 Swift Package Manager 安裝 Kuzco: 通過添加軟件包 URL "https://github.com/jaredcassoutt/Kuzco.git" 將 Kuzco 添加到您的項目，然後選擇 "Up to Next Major"，版本為 1.0.0+

導入和初始化: 將 "import Kuzco" 添加到您的 Swift 文件中，並使用 "let kuzco = Kuzco.shared" 進行初始化

創建模型配置文件: 使用您模型的 ID 和路徑創建一個 ModelProfile：let profile = ModelProfile(id: 'my-model', sourcePath: '/path/to/your/model.gguf')

加載模型: 使用以下命令加載模型實例：let (instance, loadStream) = await kuzco.instance(for: profile)

監控加載進度: 通過 loadStream 跟踪加載進度，並在繼續之前等待 .ready 階段

創建對話輪次: 為您的對話創建對話輪次：let turns = [Turn(role: .user, text: userMessage)]

生成響應: 使用 predict() 生成響應，並使用您所需的設置：let stream = try await instance.predict(turns: turns, systemPrompt: 'You are a helpful assistant.')

處理響應: 通過迭代令牌來處理流式響應：for try await (content, isComplete, _) in predictionStream { print(content) }

可選：配置高級設置: 如果需要，可以使用 InstanceSettings（contextLength、batchSize、gpuOffloadLayers、cpuThreads）和 PredictionConfig（temperature、topK、topP、repeatPenalty、maxTokens）自定義性能