Llama在当地环境中运行Llama 3大型模型：可行性和实践指南
2025-06-24 12:39:35
来源：新华网
简介：
Llama 是由 Meta（前身为 Facebook）人工智能研究团队开发开源的大型语言模型（LLM），对商业用途开放它对整个人工智能领域产生了深远的影响。之前发布的Llama，支持4096个上下文 2模型后Meta 性能更好的进一步推出 Meta Llama 3系列语言模型，包括8B（80亿参数）70B（模型;700亿参数）模型。Llama 3 70B 性能可与之媲美。 Gemini 1.5 Pro。，全面超越 Claude 大杯，而 400B+ 另一方面，模型预计将与 Claude 超大杯和新版。 GPT-4 Turbo。掰手腕。
在各种测试基准中c;Llama 3系列模型展示了其卓越的性能，在实用性和安全性评估方面，它们可与市场上其他流行的闭源模型媲美，甚至超越了某些方面。Meta Llama 3系列发布，不但巩固了其在大型语言模型领域的竞争地位，并为研究人员、开发人员和企业提供了强大的工具，促进语言理解和生成技术的进一步发展。
项目地址：
https://github.com/meta-llama/llama3。
llama2和llama3的区别。
llama3和GPT4的区别。
| 指标。 | Llama 3。 | GPT-4。 |
|---|---|---|
| 模型规模。 | 70B、400B+ | 100B、175B、500B。 |
| 参数类型。 | Transformer。 | Transformer。 |
| 训练目标。 | Masked Language Modeling、Perplexity。 | Masked Language Modeling、Perplexity。 |
| 训练数据。 | Books、WebText。 | Books、WebText。 |
| 性能。 | SOTA（问答、文本摘要、机器翻译等） | SOTA（问答、文本摘要、机器翻译等） |
| 开源。 | 是。 | 否。 |
Llama 3 的亮点。
向所有人开放：Meta 通过开源 Llama 3 轻量版，让前沿的 AI 技术触手可及。无论是开发人员、研究人员还是对开发人员 AI 技术好奇的小伙伴，可自由探索、创造和实验。 Llama 3 易于使用的提供 API，方便研究人员和开发人员使用。
模型规模大：Llama 3 400B+ 模型的参数规模达到了 4000 亿，属于大型语言模型。
即将融入各种应用： Llama 3 现在已经赋能了 Meta AI，Meta AI体验地址：https://www.meta.ai/。
在 Windows 上使用 Ollama，运行Llama3模型。
访问https://ollama.com/download/windows页面下载。OllamaSetup.exe。安装程序。
安装后，根据自己的计算机配置安装相应的模型参数(运行) 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存)。
我在这里运行的是Llama3:8b，可见�汉语还是有些问题。
| Model。 | Parameters。 | Size。 | Download。 |
|---|---|---|---|
| Llama 3。 | 8B。 | 4.7GB。 | ollama run llama3。 |
| Llama 3。 | 70B。 | 40GB。 | ollama run llama3:70b。 |
| Mistral。 | 7B。 | 4.1GB。 | ollama run mistral。 |
| Dolphin Phi。 | 2.7B。 | 1.6GB。 | ollama run dolphin-phi。 |
| Phi-2。 | 2.7B。 | 1.7GB。 | ollama run phi。 |
| Neural Chat。 | 7B。 | 4.1GB。 | ollama run neural-chat。 |
| Starling。 | 7B。 | 4.1GB。 | ollama run starling-lm。 |
| Code Llama。 | 7B。 | 3.8GB。 | ollama run codellama。 |
| Llama 2 Uncensored。 | 7B。 | 3.8GB。 | ollama run llama2-uncensored。 |
| Llama 2 13B。 | 13B。 | 7.3GB。 | ollama run llama2:13b。 |
| Llama 2 70B。 | 70B。 | 39GB。 | ollama run llama2:70b。 |
| Orca Mini。 | 3B。 | 1.9GB。 | ollama run orca-mini。 |
| LLaVA。 | 7B。 | 4.5GB。 | ollama run llava。 |
| Gemma。 | 2B。 | 1.4GB。 | ollama run gemma:2b。 |
| Gemma。 | 7B。 | 4.8GB。 | ollama run gemma:7b。 |
| Solar。 | 10.7B。 | 6.1GB。 | ollama run solar。 |
Hugging Face 使用。
访问：https://huggingface.co/chat/ 然后切换。Models。
Replicate 使用。
8B 模型：https://replicate.com/meta/meta-llama-3-8b。
70B 模型：https://replicate.com/meta/meta-llama-3-70b。
本文由博客一文多发平台 OpenWrite 发布！
