Meta Llama 3.3 70B Nasıl Kullanılır

Erişim Al: Llama 3.3 70B için kapalı depoya erişim almak için HuggingFace'teki erişim talep formunu doldurun. Ücretsiz olarak oluşturulabilen bir HuggingFace READ token'ı oluşturun.

Bağımlılıkları Yükle: Transformers kütüphanesi ve PyTorch dahil gerekli bağımlılıkları yükleyin.

Modeli Yükle: Aşağıdaki kodu kullanarak modeli içe aktarın ve yükleyin: import transformers import torch model_id = 'meta-llama/Llama-3.3-70B-Instruct' pipeline = transformers.pipeline('text-generation', model=model_id, model_kwargs={'torch_dtype': torch.bfloat16}, device_map='auto')

Girdi Mesajlarını Biçimlendir: 'role' ve 'content' anahtarları ile bir sözlükler listesi olarak girdi mesajlarınızı yapılandırın. Örneğin: messages = [ {'role': 'system', 'content': 'Siz yardımcı bir asistansınız'}, {'role': 'user', 'content': 'Buraya sorunuz gelecek'} ]

Çıktı Üret: Mesajları pipeline'a geçirerek metin oluşturun: outputs = pipeline(messages, max_new_tokens=256) print(outputs[0]['generated_text'])

Donanım Gereksinimleri: Yeterli GPU belleğine sahip olduğunuzdan emin olun. Model, Llama 3.1 405B'ye kıyasla önemli ölçüde daha az hesaplama kaynağı gerektirirken benzer performans sunmaktadır.

Kullanım Politikasına Uyun: Meta'nın https://www.llama.com/llama3_3/use-policy adresinde bulunan Kabul Edilebilir Kullanım Politikasına uyun ve kullanımın geçerli yasalar ve düzenlemelere uygun olmasını sağlayın.