Collaborative Language Model Runner 介绍

WebsiteFreeLarge Language Models (LLMs)Multi-purpose Tools

Petals 是一个开源系统，通过在多个用户之间分布模型部分，实现大型语言模型的协作推理和微调。

什么是 Collaborative Language Model Runner

Petals 是一个创新框架，允许用户协作运行和微调超过 1000 亿参数的大型语言模型 (LLMs)。作为 BigScience 项目的一部分开发，Petals 旨在通过创建一个去中心化网络，让用户贡献其计算资源，从而使强大的 LLMs 如 BLOOM-176B 的访问民主化。该系统克服了通常阻止个别研究人员使用如此庞大模型的硬件限制，使先进的 NLP 能力更广泛地可及。

Collaborative Language Model Runner 是如何工作的？

Petals 通过将大型语言模型分割成多个用户设备上的较小部分来运行。当用户想要运行推理或微调模型时，他们只需在本地加载模型的一小部分，并与托管其余部分的其他用户连接。这创建了一个用于快速、交互式模型执行的协作管道。系统透明地处理形成服务器链、维护缓存和从故障中恢复的复杂性。Petals 基于 PyTorch 和 Hugging Face Transformers 构建，允许用户使用各种微调和采样方法，执行自定义模型路径，并访问隐藏状态——提供类似 API 的便利性和本地执行的灵活性。

Collaborative Language Model Runner 的优势

Petals 为从事大型语言模型研究与开发的科研人员和开发者提供了多项关键优势。它使得用户无需昂贵的硬件即可访问最先进的 LLMs，推动了 AI 研究的民主化。该系统提供的灵活性超越了典型的 API，允许用户微调模型、访问内部状态并实现自定义算法。Petals 支持推理和训练任务，适用于多种 NLP 应用。通过利用分布式计算，其处理速度相比卸载技术更快。此外，Petals 还培育了一个协作生态系统，用户可以贡献资源并可能共同改进模型，推动自然语言处理领域的发展。