智谱AI_GLM大模型：场景落地的探索与实践.pdf

1、GLM大模型：场景落地的探索与实践智谱AI 解决方案架构师 孙万礼关于 智谱AI愿 景让机器像人一样思考市场理念Model as a Service经营情况研发人员占比70%全自研模型架构-GLM(自回归填空训练架构)x0 x1x2x3x4x5x6x7x8Transformerx3x4x7x8预测标：Cat输本：VQVAE离散化图像 Tokenizer平铺输图像：Text TokenBOIImage Token Image TokenImage Token z|本 Tokenizer20*20=400 Image tokens采样掩码区域 MMLU、LAMBADA 等国际测评超过GPT-3,O

2、PT,PaLMCOCO、VQA等14项国际多模态测评10项第一、4项第二10B的参数量的WebGLM性能逼近175BWeb GPT获得十倍的效率优势WebGPT（13B）WebGPT（175B）Preplexity.aiWebGLM（10B）02030405010本项目方法60Human-Level自回归填空预训练架构多模态预训练框架智谱 AI全自研模型架构-GLM智谱 AI 已建立全自主、多模态、高可用的千亿级大模型完整技术体系全面对标 Open AI 产品线GLMGPTVSChatGPT对话DALL.E文生图Codex代码WebGPT搜索增强GPT-4V图片理解GPT-4 ALL Tool

3、s GPTsSoraChatGLM 对话CogView 文生图CodeGeeX 代码WebGLM 搜索增强CogVLM 图片理解GLM-4All Tools GLMsCogVideoX智谱AI大模型产品矩阵语言大模型ChatGLM系列模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。CodeGeeX系列多编程语言代码生成大模型。CodeGeeX-4-proCodeGeeX-4-std代码大模型多模态大模型多模态系列模型都经过大规模预训练，能理解图片属性、场景和画面风格，可生成真实、独特的高质量图片和视频。CogVLM-VideoCogViewGLM-1.5B端侧模型GLM-3B端

4、侧模型GLM-4-9B开源GLM-4-flashGLM-4-airGLM-4-airxGLM-4-0520Character GLM超拟人对话模型CogVLM图生文CogVideoX文生视频文生图视频生文最经济最具性价比高性能最新旗舰CogView效果展示CogVLM效果展示CogVideoX效果展示文生视频图生视频GLM大模型多场景赋能能源制造工业知识问答工业质检报告生成智能工单处理智能产线故障检测流程合规助手智能交互终端市场分析报告生成智能汽车智能驾驶座舱客户标签提取销售金牌话术分析销售话术陪练营销话术质检智能客服售后坐席辅助医疗健康AI 营养师智能导诊、在线问诊报告解读、病历录入医学信息

5、解锁康复计划生成医嘱质量监控AI 回访金融证券金融数智营销助手员工金融数智知识助手财务早报生成、研报咨询总结信贷风控报告审核定期财务报告生成智能投研报告消费零售广告文案生成消费者数据分析新品研发调研报告智能购物推荐助手消费者评论摘要智能客服销售学习助手文化旅游旅行日程编排租车推荐助手景区客服、酒店客服随身导游 APP景区智能导览游记辅助写作、照片生成游记旅行社宣传文案撰写游戏娱乐自动生成剧情、任务、角色自动生成场景图片更真实自然的互动 NPC 构建对话类游戏如狼人杀 AI 对战网友互动问答游戏社区运营宣传文案生成通用办公会议纪要生成周报生成、报告生成新闻资讯收集整理多语言智能翻译企业内部知识问

6、答简历信息抽取智能人岗匹配通用大模型场景落地的技术路线LM+PromptLM+RAGLM+SFT/LoraLM+Function借助大模型通用能力+提示词要求，即可达到很好效果的场景通过RAG，将大模型和私域知识库结合，实现私域知识问答通用大模型不能满足特定场景需求，需要微调训练才能满足要求通过大模型function call，实现与现有系统API打通大模型+prompt案例大模型+RAG案例技术人员本地私有化部署ChatGLM企业内容知识问答系统通用搜索引擎无法满足在显示面板制造等专业领域知识收集查找相关需求。挑