大数据运维 (Hadoop/Spark)
发布时间: 2018-06-27 13:29
讲解hadoop和spark的工作原理和部署方法,测试大数据程序的执行,对各种任务和资源进行管理。
课程简介:
讲解hadoop和spark的工作原理和部署方法,测试大数据程序的执行,对各种任务和资源进行管理。
学员要求:
学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验,对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。
课程长度:3天(21学时)
课程内容:
Day 1
|
1、单节点的hadoop安装部署和测试
2、hadoop命令
3、文件系统管理工具
4、多节点的hadoop的安装部署和测试
|
Day 2
|
1、hadoop存储结点的管理
2、集群扩容和缩减
3、Yarn的配置
4、MapReduce编程模型和代码测试
5、计算任务管理
|
Day 3
|
1、Spark的部署
2、spark的存储管理
3、spark的编程模型和代码测试
4、Spark的计算任务管理
|