返回顶部
返回首页 会员充值 我的足迹 返回上一页
具身智能
情绪经济
商业航天
十五五
银发经济

盘古大模型最佳实践

增量预训练后Loss曲线平稳下降、微调后意图识别准确率显著提升、盐度异常数据导致科学计算模型损失波动——华为云《盘古大模型最佳实践》用近200页篇幅系统拆解了大模型开发的完整链路。从提示词写作到数据集构建,从模型训练到调优再到Agent应用,这份报告为开发者和企业提供了兼具理论深度与实战价值的开发指南。

提示词写作——从基础到进阶的五步方法论

提示词的五个核心要素

提示词是与大模型进行交互的输入,其核心要素包括指令(要求模型执行的具体任务)、说明(对任务要求的补充说明)、上下文(提供角色、示例、外部信息)。提示工程是指在不更新模型参数的前提下,通过设计和优化提示词引导大模型生成目标结果。

报告提出“打基础→补说明→搭结构→排顺序→补预设”五步方法论。打基础是制定明确主题的提示词;补说明是分点列举要求、正负向要求分离、规范输出格式;搭结构是用换行分隔内容;排顺序是将关键信息放在结尾;补预设是做好情境预设防止误回答。

CoT思维链与进阶技巧

对于复杂推理问题,通过给大模型示例或鼓励模型解释推理过程,可以生成更准确的结果。单样本/多样本方法在提示词中提供示例让模型先学习;零样本方法采用“分步骤解决问题”引导分步推理;自治性是同一问题多次回答取一致性最高的结果。

智能客服意图匹配案例中,通过分点列举要求、预设不匹配策略,模型从编造选项转变为准确返回“NA”。面试题目生成案例中,提供人设、明确问题范围与示例、优化输出格式,模型生成结构化面试问题。

数据集构建——增量预训练与微调数据集全流程

增量预训练数据集六步构建

增量预训练数据集构建分为获取源数据、预处理数据、导入数据、加工数据集、评估数据集、配比并发布数据集六个步骤。推荐开源数据集包括FineWeb Edu(1.3万亿token)、OpenNewsArchive(880万篇中文新闻)、CCI3.0-HQ(500GB高质量中文文本)、IndustryCorpus2(31个行业类别)。

数据要求为JSONL格式,每行一个JSON字符串只包含“text”字段。加工算子包括符号标准化、异常字符过滤、个人数据脱敏、敏感词过滤、问答对去重。数据配比时行业数据和通用数据比例建议在1:4至1:9之间。

微调数据集问答数据构建

微调数据集为问答数据,格式为JSONL,每行包含context(问题)和target(回答),system字段支持人设。推荐开源数据集包括中文Smoltalk(70万+记录)、OpenThoughts3-1.2M(85万数学+25万代码+10万科学问题)、Fino1_Reasoning_Path_FinQA(金融推理)。行业指令数据和通用指令数据比例建议控制在1:3左右。

模型训练——增量预训练、微调与蒸馏

增量预训练让模型学习领域知识

以金融场景为例,增量预训练可将金融领域最新知识与通用语言知识融合。使用CCI3.0-HQ、FineWeb Edu、IndustryCorpus2数据集,配比比例1:6,训练参数热身比例0.01、数据批量大小32、学习率0.000005、训练轮数1。正常Loss曲线应随迭代步数增加呈下降趋势直至稳定。

微调提升特定任务能力

以催收意图识别为例,微调数据集配比31万条通用数据+8万条行业数据,训练参数学习率0.00002、训练轮数3。微调后模型思考过程明显改善——从将用户抱怨误识别为投诉转变为准确识别为咨询。

模型蒸馏能力迁移

模型蒸馏将教师模型知识迁移到学生模型。使用DeepSeek-R1-32K作为教师,对500条场景数据进行蒸馏,配比1500条通用+1500条金融指令数据,学生模型Pangu-NLP-N1-Reasoner-128K全量微调。

Agent应用——零代码与低代码构建工作流

零代码构建AI研读研究助手

AI研读研究助手工作流包含开始节点、判断节点、插件节点、知识检索节点、大模型节点、变量聚合节点、结束节点。用户上传文档后提问,Agent自动完成文档读取、知识检索和答案生成。

低代码构建智能助教工作流

语文知识智能助教工作流包含开始节点、大模型节点(问题提取)、知识检索节点、判断节点、润色输出节点、AI输出节点、代码节点、结束节点。代码节点需通过args字典获取输入变量,不能直接引用变量名。
点击阅读报告原文: 华为云:2026盘古大模型最佳实践报告(186页)
相关报告