Каковы системные требования для использования Kuzco?

Kuzco требует iOS 15.0+, macOS 12.0+, Mac Catalyst 15.0+, Swift 5.9+ и Xcode 15.0+.

Какие архитектуры моделей поддерживает Kuzco?

Kuzco поддерживает несколько архитектур LLM, включая LLaMA 3, LLaMA General, Qwen, Mistral, Phi, Gemma, DeepSeek, Command-R, Yi и OpenChat.

Почему моя модель загружается медленно или аварийно завершает работу?

Распространенные причины включают: несовместимые файлы моделей .gguf, неверные пути к файлам, недостаточное количество оперативной памяти или неправильное определение архитектуры. Решения включают использование ModelProfile.validateModelFile(), обеспечение надлежащего доступа к файлам и использование ModelProfile.createWithFallback() для лучшей совместимости.

Как я могу повысить производительность на устройствах iOS?

Чтобы повысить производительность, вы можете: использовать модели меньшего размера с квантованием (Q4_0, Q4_1), уменьшить contextLength и processingBatchSize, увеличить gpuOffloadLayers для устройств Apple Silicon и реализовать надлежащую очистку для управления памятью.

Как обеспечивается конфиденциальность в Kuzco?

Kuzco обрабатывает все выводы ИИ локально на устройстве без сетевой зависимости, обеспечивая полную конфиденциальность и отсутствие утечки данных.

Kuzco

WebsiteFreeAI Code Assistant Large Language Models (LLMs)

Kuzco - это мощный Swift-пакет, который обеспечивает локальный вывод больших языковых моделей (LLM) непосредственно в приложениях iOS и macOS, построенный на llama.cpp с нулевой зависимостью от сети для интеграции ИИ, ориентированной на конфиденциальность.

Посетить сайт

Прорекламировать этот инструмент

https://github.com/jaredcassoutt/Kuzco?ref=producthunt&utm_source=aipure

Обзор
Альтернативы

Информация о продукте

Обновлено:19/08/2025

Что такое Kuzco

Kuzco - это универсальный Swift-пакет, предназначенный для предоставления локальных возможностей больших языковых моделей в приложениях iOS, macOS и Mac Catalyst. Созданный как оболочка вокруг проверенного временем движка llama.cpp, он служит мостом между экосистемой разработки Apple и расширенными функциями ИИ. Пакет поддерживает несколько популярных архитектур LLM, включая LLaMA, Mistral, Phi, Gemma, Qwen и другие, что делает его комплексным решением для разработчиков, стремящихся внедрить функции ИИ в свои приложения, не полагаясь на облачные сервисы.

Ключевые особенности Kuzco

Kuzco - это Swift-пакет, который обеспечивает вывод больших языковых моделей (LLM) на устройстве для приложений iOS, macOS и Mac Catalyst. Построенный на базе llama.cpp, он обеспечивает локальное выполнение AI-моделей без сетевой зависимости, гарантируя конфиденциальность и надежность. Пакет поддерживает несколько архитектур LLM, предлагает настраиваемые конфигурации и обладает современной параллельностью Swift с потоковой передачей ответов.

Обработка LLM на устройстве: Запускает AI-модели локально без подключения к интернету с использованием llama.cpp, поддерживая различные архитектуры, такие как LLaMA, Mistral, Phi, Gemma и Qwen

Расширенные параметры конфигурации: Предоставляет возможности тонкой настройки длины контекста, размера пакета, слоев GPU и потоков CPU для оптимизации производительности для различных устройств

Современная интеграция Swift: Обеспечивает встроенную поддержку async/await с потоковой передачей ответов и всесторонней обработкой ошибок для плавной интеграции в Swift-приложения

Автоматическое определение архитектуры: Интеллектуальное определение архитектур моделей из имен файлов с резервной поддержкой для лучшей совместимости и простоты использования

Варианты использования Kuzco

Приватные AI-чатботы: Создавайте чат-приложения, которые обрабатывают разговоры пользователей полностью на устройстве, обеспечивая конфиденциальность пользователей и автономную функциональность

Анализ корпоративных данных: Обрабатывайте конфиденциальные бизнес-данные локально с использованием AI-моделей, не раскрывая информацию внешним серверам

Мобильные AI-приложения: Создавайте iOS-приложения с возможностями AI, которые надежно работают независимо от подключения к интернету

Образовательные инструменты: Разрабатывайте обучающие приложения, которые могут предоставлять AI-поддержку и обратную связь, сохраняя при этом конфиденциальность студентов

Преимущества

Полная конфиденциальность благодаря обработке на устройстве

Не требуется сетевая зависимость

Высокая оптимизация производительности для устройств Apple

Всесторонний и удобный для разработчиков API

Недостатки

Требует достаточных ресурсов устройства для запуска моделей

Ограничено только платформами iOS/macOS

Может иметь более низкую производительность по сравнению с облачными решениями

Как использовать Kuzco

Установите Kuzco через Swift Package Manager: Добавьте Kuzco в свой проект, добавив URL-адрес пакета \'https://github.com/jaredcassoutt/Kuzco.git\' и выберите \'Up to Next Major\' с версией 1.0.0+

Импортируйте и инициализируйте: Добавьте \'import Kuzco\' в свой Swift-файл и инициализируйте с помощью \'let kuzco = Kuzco.shared\'

Создайте профиль модели: Создайте ModelProfile с идентификатором и путем вашей модели: let profile = ModelProfile(id: \'my-model\', sourcePath: \'/path/to/your/model.gguf\')

Загрузите модель: Загрузите экземпляр модели, используя: let (instance, loadStream) = await kuzco.instance(for: profile)

Отслеживайте прогресс загрузки: Отслеживайте прогресс загрузки через loadStream и дождитесь стадии .ready перед продолжением

Создайте ходы разговора: Создайте ходы разговора для вашего диалога: let turns = [Turn(role: .user, text: userMessage)]

Сгенерируйте ответ: Сгенерируйте ответ, используя predict() с желаемыми настройками: let stream = try await instance.predict(turns: turns, systemPrompt: \'You are a helpful assistant.\')

Обработайте ответ: Обработайте потоковый ответ, перебирая токены: for try await (content, isComplete, _) in predictionStream { print(content) }

Дополнительно: настройте расширенные параметры: Настройте производительность с помощью InstanceSettings (contextLength, batchSize, gpuOffloadLayers, cpuThreads) и PredictionConfig (temperature, topK, topP, repeatPenalty, maxTokens), если это необходимо

Часто задаваемые вопросы о Kuzco

Kuzco - это Swift-пакет, который позволяет запускать большие языковые модели (LLM) непосредственно на приложениях iOS, macOS и Mac Catalyst. Он построен на основе llama.cpp и обеспечивает работу ИИ на устройстве без сетевой зависимости, гарантируя конфиденциальность и скорость.

Последние ИИ-инструменты, похожие на Kuzco

Gait

FreemiumAI Code Assistant AI Team Collaboration

Gait — это инструмент для сотрудничества, который интегрирует генерацию кода с поддержкой ИИ с системой контроля версий, позволяя командам эффективно отслеживать, понимать и делиться контекстом кода, сгенерированного ИИ.

invoices.dev

PaidAI Code Assistant AI Developer Tools

invoices.dev - это автоматизированная платформа для выставления счетов, которая генерирует счета напрямую из коммитов Git разработчиков, с возможностями интеграции с GitHub, Slack, Linear и Google-услугами.

EasyRFP

Contact for PricingAI Code Assistant AI Data Mining

EasyRFP — это ИИ-технология для вычислений на краю, которая упрощает ответы на RFP (запросы предложений) и позволяет проводить реальное время полевой фенотипизации с использованием технологий глубокого обучения.

Cart.ai

Contact for PricingAI Code Assistant AI Task Management

Cart.ai — это платформа на основе ИИ, предоставляющая комплексные решения для автоматизации бизнеса, включая программирование, управление отношениями с клиентами, редактирование видео, настройку электронной коммерции и разработку пользовательских решений на основе ИИ с поддержкой 24/7.

Kuzco