在面对不同模态数据的推理时,我们认为,CPU 与 GPU 的分工也各有不同,因此,同时部署 CPU 和 GPU 能提供最大的运算支撑。例如,在处理语音、语言和文本数据的推理时,AI 模型需逐个识别目标文字,计算有序,因此或更适合使用擅长串行运算的 CPU 进行运算支持;但在处理图像、视频等数据的推理时(对比人类的操作,每一个像素是同时进入眼睛),需要大规模并行运算,或更适宜由 GPU 负责,例如英伟达 L4 GPU 可将 AI 视频性能提高 120 倍,据英伟达测试,L4 与基于 CPU 的传统基础设施相比能源效率提高 99%。