Spark3+Clickhouse+Hadoop大数据实战课程

价格:¥399.00
讲师:小米先生
 收藏

数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。

本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。

学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。

课程涉及内容:

Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)

Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)

Ø  Spark特征处理及模型预测

Ø  Spark实时数据分析(Structed Stream)原理及实战

Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)

Ø  Clickhouse核心原理及实战

Ø  Clickhouse engine详解

Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析

Ø  catboost训练房价预测机器学习模型

Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测

Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporter

Ø  Spark性能优化

Ø  Spark工程师面试宝典

课程组件:


集群监控:


课程大纲
讲师简介
现任算法工程师,主攻NLP自然语言处理,在Spark内核方面有深入的研究,参与Scala基础入门,Spark内核及性能优化相关书籍部分内容的编写工作。 目前在物联网公司参加公司大数据平台建设及数据挖掘工作,在大数据领域有着丰富的实战经验。