Часто задаваемые вопросы о Collaborative Language Model Runner

Question 1

Что такое Petals?

Accepted Answer

Petals - это открытая система, которая позволяет пользователям совместно запускать крупномасштабные языковые модели (с более чем 100 миллиардами параметров) в распределенном режиме, подобно BitTorrent. Она позволяет запускать модели, такие как BLOOM-176B, для вывода и тонкой настройки, имея пользователей, загружающих небольшие части модели и объединяющих усилия с другими.

Question 2

Как работает Petals?

Accepted Answer

Petals работает, разделяя крупномасштабные языковые модели между несколькими пользователями. Каждый пользователь загружает небольшую часть модели, затем сотрудничает с другими, обслуживающими оставшиеся части, для запуска вывода или тонкой настройки. Этот распределенный подход позволяет запускать массивные модели на потребительском оборудовании.

Question 3

Каковы преимущества использования Petals?

Accepted Answer

Petals предлагает несколько преимуществ: 1) Он позволяет запускать огромные языковые модели на потребительском оборудовании. 2) Он в 10 раз быстрее, чем выгрузка для тонкой настройки и вывода. 3) Он обеспечивает большую гибкость, чем типичные API, позволяя индивидуальную тонкую настройку, методы выборки и доступ к скрытым состояниям. 4) Он является открытым исходным кодом и управляется сообществом.

Question 4

Бесплатен ли Petals для использования?

Accepted Answer

Да, Petals бесплатен и является открытым исходным кодом. Однако пользователям рекомендуется вносить свои ресурсы GPU в сеть, чтобы помочь запускать распределенные модели.

Question 5

Какие модели можно запускать на Petals?

Accepted Answer

Petals поддерживает запуск крупномасштабных языковых моделей, таких как BLOOM-176B, Llama 3.1 (до 405B), Mixtral (8x22B) и Falcon (40B+). Доступные модели можно проверить на панели управления Petals.

Question 6

Безопасно ли использовать Petals для конфиденциальных данных?

Accepted Answer

Нет, не рекомендуется использовать публичный рой Petals для конфиденциальных данных. Публичный рой предназначен только для исследований и академического использования. Для конфиденциальных данных пользователи могут настроить частный рой среди доверенных сторон.

Collaborative Language Model Runner Как использовать

Дополнительная информация

Как использовать Collaborative Language Model Runner