4王宏志-哈工大的数据科学与大数据专业建设.pdf
1、海量数据计算研究中心Massive Data Computing Lab HIT哈尔滨工业大学的数据科学与大数据技术专业建设哈尔滨工业大学 王宏志http:/ 人工处理规模大、变化快的数据难度越来越大l 大数据需要“沙里淘金”求解大数据计算问题的过程能行可计算否软件系统用计算机语言实现算法算法设计与分析可计算否?计算问题数据量资源约束时间约束面向大数据计算的算法与数据结构知识面向大数据计算的系统知识现实世界数据分析任务建模知识与能力“现实”到“模型”业务调研准备数据浏览数据定义模式模型评估变量选择计算参数数据驱动业务的逻辑思维能力“模型”到“算法”资源限制 内存不足 外存算法 空间亚线性算法
2、处理器计算能力不足 并行算法 实时性要求 问题计算复杂度下界难以满足要求 时间亚线性算法面向大数据计算的算法知识“好算法”与“好系统”面向大数据计算的分布式系统知识 面向大数据计算的数据管理知识 面向大数据计算的程序设计知识适合的大数据计算软硬件平台设计高效的大数据存取结构数据存储结构数据分布策略数据索引方法编写适用于大数据的“好程序”避免使用系统垃圾回收机制减少内存拷贝减少数据重分布次数减小重分布数据量专业区分度独特的学科基础和内涵大数据表达理论、大数据计算理论与技术、大数据应用基础理论不同于计算机科学与技术、软件工程等学科不仅要掌握计算方法和工具,还要认知数据本身的现象和规律、数据管理和处
3、理的基础理论、全生命周期的数据管理方法和系统等专门知识不同于商业智能和统计学不仅包含统计和商业智能的方法和模型,还包括算法设计与分析和计算系统的设计、研发、运维、评测、优化、应用等独特的专业课程设置突出数据科学基础课程教学裁剪传统计算机统类课程强调大数据管理与处理的全生命周期充分结合行业,突出实用性独特的能力要求数据密集型计算系统的设计、构建、运维及应用的能力数据密集型计算平台的开发及应用能力大数据理论、系统及应用的创新能力面向数据密集型问题,将现实问题抽象为数据计算模型的能力建立由多源异构数据到全面智能应用的建模及求解算法能力大数据开发项目的过程数据诉求需求模型架构算法系统稳定的系统从大数据
4、项目看大数据人才某智慧城市项目从数据和诉求到需求从需求到模型从需求到架构从模型和架构到算法回归算法 最小二乘 Lasso回归.分类算法 SVM 决策树 聚类算法 Kmeans DBSCAN.从算法到系统回归算法最小二乘Lasso回归.分类算法SVM决策树聚类算法KmeansDBSCAN.从系统到稳定运行的系统20172018201920202021培养目标 面向世界科技前沿和国家重大需求,瞄准数据科学与大数据技术的未来原创性、革命性、颠覆性、交叉性技术,秉承“规格严格、功夫到家”的校训,着力培养信念执著、品德优良、知识丰富、本领过硬、具有国际视野、引领未来发展的新时代杰出人才。以掌握迎接第四次





点击查看更多