Petals는 어떻게 작동하나요?

Petals는 여러 사용자 간에 대규모 언어 모델을 분할하여 작동합니다. 각 사용자는 모델의 작은 부분을 로드한 다음, 나머지 부분을 제공하는 다른 사용자와 협력하여 추론 또는 미세 조정을 실행합니다. 이 분산 접근 방식은 소비자 하드웨어에서 대규모 모델을 실행할 수 있게 합니다.

Petals를 사용할 때의 장점은 무엇인가요?

Petals는 여러 가지 장점을 제공합니다: 1) 소비자 하드웨어에서 대규모 언어 모델을 실행할 수 있습니다. 2) 미세 조정 및 추론을 위해 오프로드하는 것보다 최대 10배 빠릅니다. 3) 일반 API보다 더 많은 유연성을 제공하여 사용자 정의 미세 조정, 샘플링 방법 및 숨겨진 상태에 대한 접근을 허용합니다. 4) 오픈 소스이며 커뮤니티 주도입니다.

Petals는 무료로 사용할 수 있나요?

네, Petals는 무료이며 오픈 소스입니다. 그러나 사용자는 분산 모델을 실행하는 데 도움을 주기 위해 네트워크에 GPU 리소스를 기여하도록 권장됩니다.

Petals에서 실행할 수 있는 모델은 무엇인가요?

Petals는 BLOOM-176B, Llama 3.1(최대 405B), Mixtral(8x22B), Falcon(40B+)와 같은 대규모 언어 모델을 실행하는 것을 지원합니다. 사용 가능한 모델은 Petals 건강 대시보드에서 확인할 수 있습니다.

민감한 데이터에 대해 Petals를 사용하는 것이 안전한가요?

아니요, 민감한 데이터에 대해 공개 Petals 스웜을 사용하는 것은 권장되지 않습니다. 공개 스웜은 연구 및 학술 용도로만 설계되었습니다. 민감한 데이터의 경우, 사용자는 신뢰할 수 있는 당사자 간에 개인 스웜을 설정할 수 있습니다.

Collaborative Language Model Runner

WebsiteFreeLarge Language Models (LLMs)Multi-purpose Tools

Petals는 대형 언어 모델의 협업 추론 및 미세 조정을 가능하게 하는 오픈 소스 시스템으로, 모델 부분을 여러 사용자에게 분산합니다.

웹사이트 방문

이 도구 광고하기

https://petals.ml/?utm_source=aipure

개요
분석
대안

제품 정보

업데이트됨:Dec 16, 2024

Collaborative Language Model Runner이란?

Petals는 사용자가 1000억 개 이상의 매개변수를 가진 대형 언어 모델(LLM)을 협력적으로 실행하고 미세 조정할 수 있도록 하는 혁신적인 프레임워크입니다. BigScience 프로젝트의 일환으로 개발된 Petals는 사용자가 자신의 컴퓨팅 자원을 기여할 수 있는 분산 네트워크를 생성하여 BLOOM-176B와 같은 강력한 LLM에 대한 접근을 민주화하는 것을 목표로 합니다. 이 시스템은 일반적으로 개별 연구자가 이러한 대규모 모델을 활용하는 것을 방해하는 하드웨어 한계를 극복하여 고급 NLP 기능을 더 넓은 청중에게 접근 가능하게 만듭니다.

Collaborative Language Model Runner의 주요 기능

Petals는 1000억 개 이상의 매개변수를 가진 대형 언어 모델(LLM)의 협업 추론 및 미세 조정을 가능하게 하는 오픈 소스 분산 시스템입니다. 사용자는 모델의 일부만 로컬에 로드하고 나머지 부분을 제공하는 다른 사용자와 팀을 이루어 이 모델을 실행할 수 있어 고급 하드웨어 요구 사항 없이 LLM에 접근할 수 있습니다.

분산 모델 실행: BitTorrent 스타일 네트워크에서 여러 머신에 걸쳐 대형 언어 모델을 분할하여 실행합니다.

유연한 API: 사용자 정의 미세 조정, 샘플링 방법 및 모델 내부 접근을 허용하는 PyTorch 기반 API를 제공합니다.

효율적인 추론: 전통적인 오프로드 기술보다 최대 10배 빠른 추론을 가능하게 합니다.

협업 미세 조정: 사용자가 분산 리소스를 사용하여 대형 모델을 협업하여 미세 조정할 수 있도록 합니다.

Collaborative Language Model Runner의 사용 사례

연구 및 실험: 비싼 하드웨어 없이 대형 언어 모델로 실험할 수 있도록 연구자에게 기회를 제공합니다.

인터랙티브 AI 애플리케이션: 지연 시간을 줄여 챗봇과 같은 인터랙티브 AI 애플리케이션 구축을 지원합니다.

민주화된 AI 접근: 강력한 언어 모델을 더 넓은 범위의 사용자와 조직이 접근할 수 있도록 합니다.

맞춤형 모델 적응: 특정 도메인이나 작업을 위해 대형 모델을 협업하여 미세 조정할 수 있습니다.

장점

대형 언어 모델 사용을 위한 하드웨어 비용을 줄입니다

유연한 연구 및 실험을 가능하게 합니다

오프로드와 비교하여 추론 속도를 향상시킵니다

단점

커뮤니티 참여 및 자원 공유에 의존합니다

민감한 데이터를 처리할 때 개인 정보 보호 문제를 가질 수 있습니다

성능은 네트워크 조건 및 사용 가능한 피어에 따라 달라집니다

Collaborative Language Model Runner 사용 방법

Petals 설치: pip를 사용하여 Petals와 그 종속성을 설치합니다: pip install git+https://github.com/bigscience-workshop/petals

필요한 모듈 가져오기: Petals와 Transformers에서 필요한 모듈을 가져옵니다: from transformers import AutoTokenizer; from petals import AutoDistributedModelForCausalLM

모델 선택: Petals 네트워크에서 사용할 수 있는 대형 언어 모델을 선택합니다, 예: 'meta-llama/Meta-Llama-3.1-405B-Instruct'

토크나이저 및 모델 초기화: 토크나이저 및 모델 객체를 생성합니다: tokenizer = AutoTokenizer.from_pretrained(model_name); model = AutoDistributedModelForCausalLM.from_pretrained(model_name)

입력 준비: 입력 텍스트를 토큰화합니다: inputs = tokenizer(prompt, return_tensors='pt')

출력 생성: 모델을 사용하여 입력에 기반한 텍스트를 생성합니다: outputs = model.generate(**inputs, max_new_tokens=100)

출력 디코드: 생성된 토큰 ID를 다시 텍스트로 디코드합니다: generated_text = tokenizer.decode(outputs[0])

선택 사항: 자원 기여: 네트워크 확장을 돕기 위해 GPU를 공유하는 Petals 서버를 실행할 수 있습니다: python -m petals.cli.run_server model_name

Collaborative Language Model Runner 자주 묻는 질문

Petals는 사용자가 BitTorrent와 유사하게 분산 방식으로 대규모 언어 모델(100B+ 매개변수)을 공동으로 실행할 수 있도록 하는 오픈 소스 시스템입니다. 사용자가 모델의 작은 부분을 로드하고 다른 사용자와 팀을 이루어 BLOOM-176B와 같은 모델을 추론 및 미세 조정할 수 있게 합니다.