地点:厦门大学海韵园科研1号楼106教室
主办单位:厦门大学
扫一扫访问本网页
班主任:夏小云 老师
班长:周华涛
副班长:刘伟
组织委员:刘君玲
学习委员:张瑞
第21期学员名单
陶继平 厦门大学自动化系副教授
陶继平,男,1980年出生,博士。2010年毕业于上海交通大学控制科学与工程专业,获得工学博士学位。现任厦门大学自动化系副教授,兼任厦门市自动学会副秘书长、厦门市物流协会信息化专业委员会委员,曾为厦门大学云计算与大数据研究中心主要建设者和骨干成员。陶继平的主要研究兴趣包括运筹与优化算法理论及其在生产调度、多机器人规划、云计算、大数据分析等方面的应用。作为项目负责人主持1项国家自然科学青年基金项目(No. 11201391),已发表学术论文20多篇。作为主要参与人参与了国家自然科学基金、福建省自然科学基金等国家及省部级课题6项。
第21期全国高校大数据课程教师培训交流班课程表
(7月24日全天注册报到,25日-31日上课)
每天6节课,上午3节,下午3节,每节课45分钟
上午:9:00-9:45;10:00-10:45;11:00-11:45
下午:2:30-3:15;3:15-3:30(茶歇);3:30-4:15;4:30-5:15
课程主题
培训内容
培训讲师
第1天
大数据概述
l 大数据时代和大数据概念
l 大数据的影响及关键技术
l 大数据计算模式
l 代表性大数据技术
分布式处理架构Hadoop
l Hadoop项目结构
l 实战:Hadoop的安装与使用
l 现场指导答疑
第2天
分布式文件系统HDFS原理与实践
l HDFS体系结构
l HDFS存储原理
l 实战:HDFS初级编程实践
l 现场指导答疑
分布式数据库HBase原理与实践
l HBase与传统关系数据库的对比分析
l HBase访问接口
l HBase数据模型
l HBase实现原理
l 实战:HBase安装与简单编程实践
l 现场指导答疑
第3天
MapReduce原理
与实践
l MapReduce工作流程概述
l MapReduce各个执行阶段
l Shuffle过程详解
l 实例分析
l 实战:MapReduce初级编程实践
l 现场指导答疑
Scala语言基础(一)
l Scala基础
l 类、对象、继承、特质、模式匹配
第4天
Scala语言基础(二)
l 针对集合的操作(遍历操作、map操作和flatMap操作、filter操作、reduce操作、fold操作)
l 函数式编程实例WordCount
Spark设计与运行原理
l Spark运行架构
l RDD的设计与运行原理
l Spark的部署模式
第5天
Spark安装和使用方法
l 第一个Spark应用程序:WordCount
l 使用开发工具IntelliJ IDEA和Eclipse编写Spark应用程序
l Spark集群环境搭建
l 在集群上运行Spark应用程序
RDD编程实践
l 键值对RDD
l 数据读写(文件数据读写、读写HBase数据)
第6天
Spark SQL原理和实践
l DataFrame与RDD的区别
l DataFrame的创建
l 从RDD转换得到DataFrame
l 读取和保存数据
Spark Streaming原理和实践
l Spark Streaming简介
l DStream操作概述
l 输入源
l 转换操作
第7天
大数据教学研讨会
参观企业
第21期班长作诗一首:
厦大七日求知路,数据教学倚天出。谁与争锋台风来,我自横刀踏坦途。子雨授课精彩独,小云服务全力助。长风破浪会有时,披荆斩棘亮剑赴。