科技行业：Llama 2升级迭代效果显著有望加速应用端落地-230730（16页）.pdf

1、中 泰 证 券 研 究 所 专 业 领 先 深 度 诚 信 证券研究报告 2 0 2 3.7.3 0 Llama 2：升级迭代效果显著，有望加速应用端落地 分析师：闻学臣 执业证书编号：S0740519090007 2 图表：Llama1和Llama2的模型结构对比 资料来源：Llama2：Open Foundation and Fine-Tuned Chat Models、中泰证券研究所 2023年年7月月19日，日，Meta发布了发布了Llama2开源预训练大模型。开源预训练大模型。该模型是Llama1的更新版本，在公开可用的数据集上进行训练。与LLaMA相比，预训练语料库的大小增大约40

2、%，达到了2.0T。同时模型的上下文长度增加到了4k tokens，并采用了分组查询注意力机制（GQA,grouped-query attention）。Llama 2有有7B、13B、34B和和70B的四个版本，的四个版本，在多项基准测试中表现优异。在多项基准测试中表现优异。特别是在阅读理解和常识推理方面，70亿参数规模的Llama 2预训练模型的表现已经可以与当前顶尖的预训练语言模型GPT-3.5和PaLM-540B相媲美。Llama 2-Chat是Llama 2的微调版本，经过了多轮微调和优化以适用于对话任务。Meta发布了该模型的7亿、13亿和70亿参数规模的变体。Llama2：最大规

3、模：最大规模70B，部分任务评分可媲美，部分任务评分可媲美GPT-3.5和和PaLM-540B 模型名称 参数规模 内容长度 分组查询注意力 GQA 训练Tokens 学习率 Learning Rate Llama1 7B 2k 1万亿 3.0 E4 13B 2k 1万亿 3.0 E4 33B 2k 1.4万亿 1.5E-4 65B 2k 1.4万亿 1.5E-4 Llama2 7B 4k 2万亿 3.0E4 13B 4k 2万亿 3.0E4 34B 4k 2万亿 1.5E-4 70B 4k 2万亿 1.5E-4 相比Llama1，内容长度加倍，训练数据量达到2万亿tokens OYeXlVl

4、YjZeVCX9YgV8OdNaQmOmMtRsRkPmMqPlOtQoP9PrRwPxNsPzRNZqRmP3 图表：Llama2系列模型预训练损失情况 资料来源：Llama2：Open Foundation and Fine-Tuned Chat Models、中泰证券研究所 图表：Llama2系列模型预训练消耗算力（单位：万GPU小时）资料来源：Llama2：Open Foundation and Fine-Tuned Chat Models、中泰证券研究所 Llama 2的预训练过程持续约的预训练过程持续约4个月个月，主要在主要在Meta自建的自建的AI研究超级计算集群研究超级计算集群

5、(RSC)和内部生产集群上完成。和内部生产集群上完成。所有模型训练总耗时约330万GPU小时。Llama 2使用来自公开数据源的预训练数据使用来自公开数据源的预训练数据，总计总计2万亿万亿tokens，其中，其中不包含任何不包含任何Meta用户数据。用户数据。预训练数据主要以英语为主，占比近90%，代码占比约8.4%，其次是德语、法语等其他语言的语料数据。高质量预训练：数据高质量预训练：数据集包含集包含2万亿万亿tokens，英语语料占比近，英语语料占比近90%18.43 36.86 103.83 172.03 0204060801001201401601802007B13B34B70BLan

6、guage Percent Language Percent en 89.70%uk 0.07%unknown 8.38%ko 0.06%de 0.17%ca 0.04%fr 0.16%sr 0.04%sv 0.15%id 0.03%zh 0.13%cs 0.03%es 0.13%fi 0.03%ru 0.13%hu 0.03%nl 0.12%no 0.03%it 0.11%ro 0.03%ja 0.10%bg 0.02%pl 0.09%da 0.02%pt 0.09%sl 0.01%vi 0.08%hr 0.01%英语训练数据占比89.70%。Unknown主要指代码数据，占比8.38%。4