对于想转行或学习大数据的Python学员，基于已有的Python知识，学习Python大数据，你们拥有巨大的优势。大部分框架使用类Java语言实现，对于Python学员，PySpark是使用Python作为开发语言的程序员的福音，借助PySpark，Python开发人员可以轻松胜任大数据，冲击高薪。

本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。

软件版本：

• Hadoop2.7.3

• Spark2.3.0

• Scala2.11.8

• Python2.7.12

• Jdk-8u101-linux-x64

• Docker 1.12.6

• Apache-hive-2.3.2-bin

• Mysql-5.5.45-linux2.6-x86_64

• Mysql-connector-java-5.1.37-bin

• 内容涉及：

• pyspark 基础模块

• pyspark.sql 模块

• pyspark.ml 基于DataFrame的机器学习模块

• pyspark.mllib package 基于RDD的机器学习模块

• 中间还会涉及到云计算中的docker容器技术，课程的学习环境就是使用Docker三个容器搭建的分布式环境

• pyspark中Numpy、Pandas、Scikit-learn的互操作和相互对比