运行 Llama 3.3 70B 的硬件要求是什么？

对于使用 Q5_K_M 量化技术的 70B 模型，它需要大约 5.4 GB 的模型内存，加上用于上下文的额外 VRAM。在上下文有限（<28k）的情况下，它应该能够在 16 GB 的 VRAM 中运行。

Llama 3.3 70B 与更大的模型相比如何？

在 HumanEval 等基准测试中，70B 模型的得分为 80/100，而 405B 模型的得分接近 90/100，显示出具有竞争力的性能，同时更加高效。

Llama 3.3 70B 包括哪些技术改进？

它使用了 Grouped-Query Attention (GQA) 技术以提高推理的可扩展性，并且使用了新的训练数据和更大的上下文窗口进行了更新。

使用 Llama 3.3 70B 的许可要求是什么？

它需要一个可在 llama.meta.com/llama3/license 获取的自定义商业许可。用户必须遵守 Meta 的可接受使用政策以及适用的法律和法规，包括贸易合规法律。

Llama 3.3 70B 可以微调为其他语言吗？

是的，开发人员可以在遵守 Llama 3 社区许可和可接受使用政策的前提下，对 Llama 3 模型进行微调，以支持英语以外的其他语言。

Meta Llama 3.3 70B

Q: 什么是 Meta Llama 3.3 70B？

Meta Llama 3.3 70B 是由 Meta AI 创建的预训练和指令调优的生成式大语言模型 (LLM)。它是一个可以处理和生成文本的多语言模型。

Q: Llama 3.3 70B 与更大的模型相比如何？

在 HumanEval 等基准测试中，70B 模型的得分为 80/100，而 405B 模型的得分接近 90/100，显示出具有竞争力的性能，同时更加高效。

Q: Llama 3.3 70B 包括哪些技术改进？

它使用了 Grouped-Query Attention (GQA) 技术以提高推理的可扩展性，并且使用了新的训练数据和更大的上下文窗口进行了更新。

Q: 使用 Llama 3.3 70B 的许可要求是什么？

它需要一个可在 llama.meta.com/llama3/license 获取的自定义商业许可。用户必须遵守 Meta 的可接受使用政策以及适用的法律和法规，包括贸易合规法律。

Q: Llama 3.3 70B 可以微调为其他语言吗？

是的，开发人员可以在遵守 Llama 3 社区许可和可接受使用政策的前提下，对 Llama 3 模型进行微调，以支持英语以外的其他语言。

WebsiteLarge Language Models (LLMs)Multi-purpose Tools

Meta 的 Llama 3.3 70B 是一款最先进的语言模型，其性能与较大的 Llama 3.1 405B 模型相当，但计算成本仅为五分之一，使高质量的 AI 更加容易获得。

社交和电子邮件：

访问网站

推广此工具

https://llama3.dev/?utm_source=aipure

概述
分析
官方帖子
文章
替代方案

产品信息

更新于：2024年12月16日

什么是 Meta Llama 3.3 70B

Meta Llama 3.3 70B 是 Meta 的 Llama 系列大型语言模型的最新迭代，作为 2024 年的最终模型发布。继 Llama 3.1（8B、70B、405B）和 Llama 3.2（多模态变体）之后，这个 70B 参数的纯文本模型在高效 AI 模型设计方面取得了显著进展。它保持了其较大前身的高性能标准，同时大幅减少了硬件需求，使其更适用于广泛部署。

Meta Llama 3.3 70B 的主要功能

Meta Llama 3.3 70B 是一个突破性的大型语言模型，其性能与规模大得多的 Llama 3.1 405B 模型相当，但体积和计算成本仅为五分之一。它利用了先进的后训练技术和优化的架构，在推理、数学和一般知识任务中取得了最先进的成果，同时保持了高效率和开发人员的易用性。

高效性能: 在使用仅 70B 参数的情况下，实现了与 Llama 3.1 405B 相似的性能指标，使其显著更资源高效

先进基准: 在 MMLU Chat (0-shot, CoT) 中得分为 86.0，在 BFCL v2 (0-shot) 中得分为 77.3，展示了在一般知识和工具使用任务中的强大能力

成本效益的推理: 每百万 token 的生成成本低至 0.01 美元，使其在生产部署中极具经济性

多语言支持: 支持多种语言，并且可以在保持安全性和责任性的同时进行微调以支持更多语言

Meta Llama 3.3 70B 的使用场景

文档处理: 在多种语言的文档摘要和分析方面表现出色，如成功实施的日文文档处理

AI 应用开发: 适用于需要高质量语言处理且无需过多计算资源的文本应用开发

研究与分析: 适用于需要高级推理和知识处理能力的学术和科学研究

优点

与大型模型相比，计算需求显著减少

性能与大型模型相当

生产部署成本效益高

缺点

仍需要相当的计算资源（尽管比 405B 模型少）

在某些任务中与 Llama 3.1 405B 存在一些性能差距

如何使用 Meta Llama 3.3 70B

获取访问权限: 在 HuggingFace 上填写访问请求表单，以获取 Llama 3.3 70B 的受保护仓库的访问权限。生成一个免费的 HuggingFace READ 令牌。

安装依赖项: 安装所需的依赖项，包括 transformers 库和 PyTorch。

加载模型: 使用以下代码导入并加载模型： import transformers import torch model_id = 'meta-llama/Llama-3.3-70B-Instruct' pipeline = transformers.pipeline('text-generation', model=model_id, model_kwargs={'torch_dtype': torch.bfloat16}, device_map='auto')

格式化输入消息: 将输入消息结构化为包含 'role' 和 'content' 键的字典列表。例如： messages = [ {'role': 'system', 'content': '你是一个乐于助人的助手'}, {'role': 'user', 'content': '你的问题'} ]

生成输出: 通过将消息传递给管道生成文本： outputs = pipeline(messages, max_new_tokens=256) print(outputs[0]['generated_text'])

硬件要求: 确保你有足够的 GPU 内存。该模型所需的计算资源显著少于 Llama 3.1 405B，但性能相当。

遵守使用政策: 遵守 Meta 的可接受使用政策，该政策可在 https://www.llama.com/llama3_3/use-policy 查阅，并确保使用符合相关法律法规。