面向人-机-环境协同共生的模型、系统及应用-马月昕.pdf

1、China3DV 2025汇 报 人：马 月 昕上海科技大学面向人面向人-机机-环境协同共生的模型、系统及应用环境协同共生的模型、系统及应用面向人-机-环境协同共生的模型、系统及应用（2024年度工作）系统系统以人为中心的实时感知、重建、预测系统模型模型多模态三维场景感知基础模型应用应用类人具身智能应用面向人-机-环境协同共生的模型、系统及应用面向人-机-环境协同共生的模型、系统及应用系统系统以人为中心的实时感知、重建、预测系统模型模型多模态三维场景感知基础模型应用应用类人具身智能应用模型模型多模态三维场景感知基础模型多模态特征空间对齐LLMsVFMsLVLMsChatGPTQianwenLL

2、aMA2GPT-4CLIPSAMDeepSeekV3DeepSeekR1语言图像点云提出有效的多模态特征空间对齐的技术范式，将大模型的通识能力迁移到三维点云，进行开放世界下的三维感知。多模态三维视觉语言定位(ECCV24)多模态三维感知基础模型(CVPR24)多模态无标签三维感知(NeurIPS24)多模态三维感知域迁移(ECCV24)模型模型 突破三维数据瓶颈，迈向通用三维感知突破三维数据瓶颈，迈向通用三维感知多模态三维场景感知基础模型模型模型 突破三维数据瓶颈，迈向通用三维感知突破三维数据瓶颈，迈向通用三维感知多模态三维场景感知基础模型Multi-SpaceAlignments Towar

3、ds Universal LiDAR Segmentation,Liu et al.CVPR,2024一个模型，一套参数解决多模态，多数据集，多任务下的三维场景感知面向人-机-环境协同共生的模型、系统及应用系统系统以人为中心的实时感知、重建、预测系统模型模型多模态三维场景感知基础模型应用应用类人具身智能应用系统系统以人为中心的实时感知、重建、预测系统三维检测及识别人体动作捕捉人体动作预测通用人体表征大规模预训练以人为中心的以人为中心的实时实时感知、重建、预测系统感知、重建、预测系统提出第一个第一个面向以人为中心任务的通用人体表征 (CVPR24)提出第一个第一个以人为中心的三维场景感知预训练模

4、型(CVPR24)提出第一个第一个基于激光雷达点云的大场景人体步态识别算法(ACM MM24 Best Paper Candidate)提出第一个第一个基于激光雷达的大场景多人动作捕捉实时算法(CVPR24 Highlight，ECCV24 Oral)提出第一个第一个三维场景下基于原始传感器信号的人体动作预测算法(MM24 Oral)系统展示系统展示 实时、鲁棒、精准、轻量化、易部署实时、鲁棒、精准、轻量化、易部署落地应用展示落地应用展示 智慧体育智慧体育 （已服务于国家队训练）（已服务于国家队训练）面向人-机-环境协同共生的模型、系统及应用系统系统以人为中心的实时感知、重建、预测系统模型模型多模态三维场景感知基础模型应用应用类人具身智能应用应用应用 人形机器人人形机器人具身智能应用将捕获的人类行为迁移到类人机器人上，助力人机协同共生应用应用 五指灵巧手五指灵巧手具身智能应用将捕获的人类行为迁移到类人机器人上，助力人机协同与共生(IJCAI24 Oral)面向人-机-环境协同共生的模型、系统及应用1.多模态三维场景感知基础模型3.具身智能应用通用人体表征三维检测及识别人体动作捕捉人体动作预测大规模预训练2.2.以人为中心的以人为中心的实时实时感知、重建、预测系统感知、重建、预测系统快乐科研快乐科研幸福生活幸福生活