Collaborative Language Model Runner Nasıl Kullanılır
Petals, model parçalarını birden fazla kullanıcı arasında dağıtarak büyük dil modellerinin işbirlikçi çıkarım ve ince ayarını sağlayan açık kaynaklı bir sistemdir.
Daha Fazla GösterCollaborative Language Model Runner Nasıl Kullanılır
Petals'ı yükleyin: Pip kullanarak Petals ve bağımlılıklarını yükleyin: pip install git+https://github.com/bigscience-workshop/petals
Gerekli modülleri içe aktarın: Petals ve Transformers'tan gerekli modülleri içe aktarın: from transformers import AutoTokenizer; from petals import AutoDistributedModelForCausalLM
Bir model seçin: Petals ağında mevcut olan büyük bir dil modelini seçin, örneğin 'meta-llama/Meta-Llama-3.1-405B-Instruct'
Tokenleştirici ve modeli başlatın: Tokenleştirici ve model nesnelerini oluşturun: tokenizer = AutoTokenizer.from_pretrained(model_name); model = AutoDistributedModelForCausalLM.from_pretrained(model_name)
Girişi hazırlayın: Girdi metninizi tokenleştirin: inputs = tokenizer(prompt, return_tensors='pt')
Çıktıyı oluşturun: Girdi temelinde metin oluşturmak için modeli kullanın: outputs = model.generate(**inputs, max_new_tokens=100)
Çıktıyı çözümleyin: Üretilen token kimliklerini metne geri çözümleyin: generated_text = tokenizer.decode(outputs[0])
İsteğe bağlı: Kaynak katkısında bulunun: Ağı genişletmeye yardımcı olmak için GPU'nuzu paylaşmak için bir Petals sunucusu çalıştırabilirsiniz: python -m petals.cli.run_server model_name
Collaborative Language Model Runner SSS
Petals, kullanıcıların büyük dil modellerini (100B+ parametre) dağıtık bir şekilde işbirliği yaparak çalıştırmalarına olanak tanıyan açık kaynaklı bir sistemdir. Kullanıcıların modelin küçük parçalarını yükleyip diğerleriyle işbirliği yaparak BLOOM-176B gibi modelleri çıkarım ve ince ayar için çalıştırmalarını sağlar.
Daha Fazla Göster