ChatGLM Введение

Модели ChatGLM основаны на архитектуре General Language Model (GLM) и используют передовые методы обучения, такие как контролируемая тонкая настройка, бутстраппинг с обратной связью и обучение с подкреплением с человеческим отзывом. Последняя ChatGLM3-6B включает более разнообразный набор данных для обучения, расширенные шаги обучения и улучшенные стратегии обучения. Она поддерживает многоходовые диалоги и вводит новые функции, такие как вызов инструментов (Function Call), выполнение кода (Code Interpreter) и сложные задачи Agent. Модели могут быть развернуты на потребительском оборудовании благодаря методам квантования, требуя всего 6 ГБ видеопамяти для уровня квантования INT4. ChatGLM также предлагает различные версии, оптимизированные для конкретных задач, таких как длинный текст диалога (ChatGLM3-6B-32K) и базовая модель (ChatGLM3-6B-Base) для дальнейшей тонкой настройки.