Kuzco est un puissant package Swift qui permet l'inférence locale de modèles de langage étendu (LLM) directement dans les applications iOS et macOS, construit sur llama.cpp sans dépendance réseau pour une intégration de l'IA axée sur la confidentialité.
https://github.com/jaredcassoutt/Kuzco?ref=producthunt&utm_source=aipure
Kuzco

Informations sur le produit

Mis à jour:Aug 19, 2025

Qu'est-ce que Kuzco

Kuzco est un package Swift polyvalent conçu pour apporter des capacités de modèle de langage étendu local aux applications iOS, macOS et Mac Catalyst. Construit comme un wrapper autour du moteur llama.cpp éprouvé, il sert de pont entre l'écosystème de développement d'Apple et les fonctionnalités d'IA avancées. Le package prend en charge plusieurs architectures LLM populaires, notamment LLaMA, Mistral, Phi, Gemma, Qwen et autres, ce qui en fait une solution complète pour les développeurs cherchant à implémenter des fonctionnalités d'IA dans leurs applications sans dépendre des services cloud.

Caractéristiques principales de Kuzco

Kuzco est un package Swift qui permet l'inférence de modèles de langage de grande taille (LLM) sur l'appareil pour les applications iOS, macOS et Mac Catalyst. Construit sur llama.cpp, il fournit une exécution locale du modèle d'IA sans aucune dépendance réseau, garantissant la confidentialité et la fiabilité. Le package prend en charge plusieurs architectures LLM, offre des configurations personnalisables et propose une concurrence Swift moderne avec des réponses en streaming.
Traitement LLM sur l'Appareil: Exécute les modèles d'IA localement sans connectivité Internet en utilisant llama.cpp, prenant en charge diverses architectures telles que LLaMA, Mistral, Phi, Gemma et Qwen
Options de Configuration Avancées: Fournit des capacités de réglage fin pour la longueur du contexte, la taille du lot, les couches GPU et les threads CPU afin d'optimiser les performances pour différents appareils
Intégration Swift Moderne: Offre une prise en charge native async/await avec des réponses en streaming et une gestion complète des erreurs pour une intégration transparente dans les applications Swift
Détection Automatique de l'Architecture: Détection intelligente des architectures de modèles à partir des noms de fichiers avec prise en charge de secours pour une meilleure compatibilité et une plus grande facilité d'utilisation

Cas d'utilisation de Kuzco

Chatbots IA Privés: Créez des applications de chat qui traitent les conversations des utilisateurs entièrement sur l'appareil, garantissant la confidentialité des utilisateurs et la fonctionnalité hors ligne
Analyse des Données d'Entreprise: Traitez les données commerciales sensibles localement à l'aide de modèles d'IA sans exposer les informations à des serveurs externes
Applications d'IA Mobiles: Créez des applications iOS avec des capacités d'IA qui fonctionnent de manière fiable, quelle que soit la connectivité Internet
Outils Éducatifs: Développez des applications d'apprentissage qui peuvent fournir un tutorat et des commentaires basés sur l'IA tout en préservant la confidentialité des étudiants

Avantages

Confidentialité complète avec le traitement sur l'appareil
Aucune dépendance réseau requise
Optimisation des hautes performances pour les appareils Apple
API complète et conviviale pour les développeurs

Inconvénients

Nécessite suffisamment de ressources de l'appareil pour exécuter les modèles
Limité aux plateformes iOS/macOS uniquement
Peut avoir des performances plus lentes par rapport aux solutions basées sur le cloud

Comment utiliser Kuzco

Installer Kuzco via Swift Package Manager: Ajoutez Kuzco à votre projet en ajoutant l'URL du package 'https://github.com/jaredcassoutt/Kuzco.git' et sélectionnez 'Jusqu'à la prochaine version majeure' avec la version 1.0.0+
Importer et initialiser: Ajoutez 'import Kuzco' à votre fichier Swift et initialisez avec 'let kuzco = Kuzco.shared'
Créer un profil de modèle: Créez un ModelProfile avec l'ID et le chemin de votre modèle : let profile = ModelProfile(id: 'my-model', sourcePath: '/path/to/your/model.gguf')
Charger le modèle: Chargez l'instance du modèle en utilisant : let (instance, loadStream) = await kuzco.instance(for: profile)
Surveiller la progression du chargement: Suivez la progression du chargement via le loadStream et attendez l'étape .ready avant de continuer
Créer des tours de conversation: Créez des tours de conversation pour votre dialogue : let turns = [Turn(role: .user, text: userMessage)]
Générer une réponse: Générez une réponse en utilisant predict() avec les paramètres souhaités : let stream = try await instance.predict(turns: turns, systemPrompt: 'Vous êtes un assistant serviable.')
Traiter la réponse: Traitez la réponse en streaming en itérant sur les jetons : for try await (content, isComplete, _) in predictionStream { print(content) }
Facultatif : configurer les paramètres avancés: Personnalisez les performances avec InstanceSettings (contextLength, batchSize, gpuOffloadLayers, cpuThreads) et PredictionConfig (temperature, topK, topP, repeatPenalty, maxTokens) si nécessaire

FAQ de Kuzco

Kuzco est un paquet Swift qui permet d'exécuter des grands modèles de langage (LLM) directement sur les applications iOS, macOS et Mac Catalyst. Il est construit sur llama.cpp et permet une IA sur l'appareil sans dépendance réseau, assurant la confidentialité et la rapidité.

Derniers outils d'IA similaires à Kuzco

Gait
Gait
Gait est un outil de collaboration qui intègre la génération de code assistée par l'IA avec le contrôle de version, permettant aux équipes de suivre, comprendre et partager efficacement le contexte du code généré par l'IA.
invoices.dev
invoices.dev
invoices.dev est une plateforme de facturation automatisée qui génère des factures directement à partir des commits Git des développeurs, avec des capacités d'intégration pour GitHub, Slack, Linear et les services Google.
EasyRFP
EasyRFP
EasyRFP est un outil de calcul en périphérie alimenté par l'IA qui rationalise les réponses aux RFP (demande de proposition) et permet le phénotypage des champs en temps réel grâce à la technologie d'apprentissage profond.
Cart.ai
Cart.ai
Cart.ai is an AI-powered service platform that provides comprehensive business automation solutions including coding, customer relations management, video editing, e-commerce setup, and custom AI development with 24/7 support.