ChatGLM Introduction

Les modèles ChatGLM sont basés sur l'architecture du modèle de langage général (GLM) et utilisent des techniques d'entraînement avancées telles que le réglage fin supervisé, le bootstrapping par feedback et l'apprentissage par renforcement avec feedback humain. Le dernier ChatGLM3-6B incorpore un ensemble de données d'entraînement plus diversifié, des étapes d'entraînement étendues et des stratégies d'entraînement améliorées. Il prend en charge les dialogues multi-tours et introduit de nouvelles fonctionnalités comme l'invocation d'outils (Function Call), l'exécution de code (Code Interpreter) et des tâches complexes d'Agent. Les modèles peuvent être déployés sur du matériel grand public grâce à des techniques de quantification, nécessitant aussi peu que 6 Go de mémoire GPU pour le niveau de quantification INT4. ChatGLM propose également différentes versions optimisées pour des tâches spécifiques, comme le dialogue de texte long (ChatGLM3-6B-32K) et un modèle de base (ChatGLM3-6B-Base) pour un réglage fin supplémentaire.