MoE的理念起源（专家和门控网络系统）
2024-07-02 08:16:43
316
相关数据
其它1
2024公司发布MoE具身大模型萤石蓝海大模型
2025-09-08 13:56:29
102
原图定位
行业数据1
MoE模型训练时仅激活一部分专家及参数
2025-06-10 13:45:05
172
原图定位
行业数据1
MoE模型训练时仅激活一部分专家及参数
2025-05-22 13:39:26
201
原图定位
行业数据1
元象MoE效果超越同期多个同类模型
2025-05-06 13:44:48
196
原图定位
产业概述1
MoE架构下GPU通信机制的迭代历程
2025-03-17 13:47:35
206
原图定位
行业数据1
图7.EPLB两层混合专家（MoE）模型示例
2025-03-03 13:45:46
231
原图定位
行业数据1
MoE模型训练时仅激活一部分专家及参数
2025-02-08 13:45:10
283
原图定位
行业数据1
DeepSeekMoE与传统MoE架构比较
2025-02-06 15:57:05
265
原图定位
行业数据1
发布会上英伟达表示GB200的GPT-MoE推理性能能够达到H200的30倍
2024-11-29 09:56:51
331
原图定位
其它1
Jamba架构（左）吸收了Mamba+Transformer+MoE多种技术
2024-07-02 08:16:43
361
原图定位
其它1
国内外典型MoE模型比较
2024-07-02 08:16:43
387
原图定位
其它1
国内外典型MoE模型比较
2024-06-05 08:15:02
573
原图定位
其它1
2024年更新的部分重点大模型产品，其中采用MoE架构的显著增多
2024-05-31 08:15:49
455
原图定位
其它1
V-MoE与ViT图像处理性能对比
2023-12-11 08:15:39
293
原图定位
行业数据1
国资委79号文件央国企信创替代方案
2024-10-10 08:15:13
21487
原图定位
最新数据
行业数据1
图11 联合国全球数字和可持续贸易便利化调查评分，2025年
2026-04-03 08:30:00
25
原图定位
行业数据1
图10 印度尼西亚针对其前10大出口产品进入美国市场的主要竞争者及其最新的相应关税水平
2026-04-03 08:30:00
24
原图定位
行业数据1
图9 “最坏情况”贸易战对价格的影响，2025 到 2030 年
2026-04-03 08:30:00
18
原图定位
行业数据1
图 8 “最坏情况”贸易战对印度尼西亚前10大农业食品下游需求部门的影响，2025年至2030年
2026-04-03 08:30:00
13
原图定位
行业数据1
图6 印尼对美国的农业出口，2010年至2024年
2026-04-03 08:30:00
18
原图定位
行业数据1
图7 受到美国互惠关税影响最大的五种农业食品产品
2026-04-03 08:30:00
15
原图定位
Google 是 MoE 架构的早期探索者之一，OpenAI 实现了 MoE 的商业化落地。MoE 的理念起源于 1991 年的论文《Adaptive Mixture of Local Experts》。在 ChatGPT 问世之前，Google 已经有了较深入的 MoE 研究，典型代表是 20 年的 Gshard 和 21 年的开源 1.6 万亿Switch-Transformer 模型。23 年 3 月 GPT-4 问世，OpenAI 继续走了闭源路线，没有公布模型参数。但是据 SemiAnalysis 信息，GPT-4 的参数约 1.8 万亿，采用 MoE 架构，专家 数为 16， 每次推理调用两个专家，生成 1 个 token 约激 活 2800 亿参数（GPT-3 为 1750亿参数），消耗 560 TFLOPs 算力。在 GTC 2024 演讲上，黄仁勋展示了 GB200 训练 GPT模型示意图，给出的参数也是 GPT-MoE-1.8T，交叉印证。
其它
原图定位
相关数据
最新数据
原图定位
