龙果小程序
龙果小程序

学院首页 > 课程列表 > 大数据全栈高手速成--Spark2.0精讲(全场景项目实战)

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

大数据全栈高手速成--Spark2.0精讲(全场景项目实战)

1 - (免费) 为什么选择python spark开发 00:20:00分钟
2 - (免费) spark 2.0新特性_1.spark2新特性介绍 00:27:25分钟 |
3 - (免费) spark 2.1新特性_2.spark 2开发环境的安装以及体会wordcount 00:19:58分钟 |
4 - spark core rdd精讲_1.spark core rdd详解 00:23:17分钟
5 - spark core rdd精讲_2.生成rdd的方法总结 00:12:49分钟
6 - spark core rdd精讲_3.详解rdd三类算子 00:14:08分钟
7 - spark core rdd精讲_4.重新解读wordcount 00:07:02分钟
8 - spark rdd开发实战_spark-rdd完整案例(用户画像) 00:22:53分钟
9 - spark sql开发实战 _1.sparksql详解和优劣势分析 00:31:23分钟
10 - spark sql开发实战_2.操作hive数据库 00:06:19分钟
11 - spark sql开发实战_3.操作mysql数据库 00:08:53分钟
12 - spark sql开发实战_4.用户转化率分析项目实战 00:20:44分钟
13 - spark dataframe精讲_1.dataframe详解和优劣势分析 00:12:37分钟
14 - spark dataframe精讲_2.DataFrame API使用详解 00:22:29分钟
15 - spark dataframe精讲_3.DataFrame API使用详解(2) 00:15:22分钟
16 - dataframe实战(物联网项目)_1.json数据的处理 00:11:05分钟
17 - dataframe实战(物联网项目)_2.Schema的使用 00:06:54分钟
18 - dataframe实战(物联网项目)_3.处理复杂的数据结构 00:12:20分钟
19 - dataframe实战(物联网项目)_4.dataframe 实战(物联网传感器数据) 00:08:48分钟
20 - dataframe实战_1.如何处理重复数据 00:13:01分钟
21 - dataframe实战_2.如何处理缺失值 00:14:49分钟
22 - dataframe实战_3.如何处理异常值 00:10:42分钟
23 - dataframe实战_4.数据的描述统计 00:10:45分钟
24 - spark streaming精讲_1.spark streaming架构.术语.streaming context 00:30:25分钟
25 - spark streaming精讲_2.spark streaming架构.术语(2) 00:20:02分钟
26 - spark streaming精讲_3.详解spark streaming开发框架.演示 00:18:16分钟
27 - spark stream + kafka实战_1.spark streaming kafka开发详解 00:13:12分钟
28 - spark stream + kafka实战_2.环境配置介绍.安装zookeeper 00:06:26分钟
29 - spark stream + kafka实战_3.安装配置kafka 00:05:47分钟
30 - spark stream + kafka实战_4.验证kafka安装成功 00:06:00分钟
31 - spark stream + kafka实战_5.spark-streaming-kafka-library 00:07:58分钟
32 - spark stream + kafka实战_6.spark-streaming-kafka-demo 00:16:03分钟
33 - spark stream + kafka实战_7.spark streaming windows 00:27:30分钟
34 - spark stream + kafka实战_8.和外部数据交互 00:14:47分钟
35 - spark stream + kafka实战_9.高可用和数据完整行 00:19:03分钟
36 - spark 机器学习实战_1.逻辑回归.背景介绍.数据预处理 00:22:17分钟
37 - spark 机器学习实战_2.逻辑回归.特征筛选(不同类型的变量的相关性分析) 00:23:42分钟
38 - spark 机器学习实战_3.逻辑回归.训练模型和模型效果评估 00:13:14分钟
39 - spark 机器学习实战_4.推荐系统 als实战 00:30:02分钟
40 - spark运行机制详解_1.map reduce 1.0回顾 00:24:23分钟
41 - spark运行机制详解_2..map reduce 2.0 yarn的架构 00:10:17分钟
42 - spark运行机制详解_3.详解spark on yarn的两种模式 00:31:06分钟
43 - spark运行机制详解_4.任务的提交.spark submit详解 00:09:32分钟
44 - spark运行机制详解_5.spark context内部工作细节 00:18:32分钟
45 - spark运行机制详解_6.高级任务提交方法 00:14:58分钟

大数据全栈高手速成--Spark2.0精讲(全场景项目实战)

优惠价: 699

难    度:高级

课    时: 45

讲    师:大圣老师

     购买咨询

课程大纲
  • 第1节

    为什么选择python spark开发

    [免费观看]
    00:20:00分钟 |
  • 第2节

    spark 2.0新特性_1.spark2新特性介绍

    [免费观看]
    00:27:25分钟 |
  • 第3节

    spark 2.1新特性_2.spark 2开发环境的安装以及体会wordcount

    [免费观看]
    00:19:58分钟 |
  • 第4节

    spark core rdd精讲_1.spark core rdd详解

    00:23:17分钟 |
  • 第5节

    spark core rdd精讲_2.生成rdd的方法总结

    00:12:49分钟 |
  • 第6节

    spark core rdd精讲_3.详解rdd三类算子

    00:14:08分钟 |
  • 第7节

    spark core rdd精讲_4.重新解读wordcount

    00:07:02分钟 |
  • 第8节

    spark rdd开发实战_spark-rdd完整案例(用户画像)

    00:22:53分钟 |
  • 第9节

    spark sql开发实战 _1.sparksql详解和优劣势分析

    00:31:23分钟 |
  • 第10节

    spark sql开发实战_2.操作hive数据库

    00:06:19分钟 |
  • 第11节

    spark sql开发实战_3.操作mysql数据库

    00:08:53分钟 |
  • 第12节

    spark sql开发实战_4.用户转化率分析项目实战

    00:20:44分钟 |
  • 第13节

    spark dataframe精讲_1.dataframe详解和优劣势分析

    00:12:37分钟 |
  • 第14节

    spark dataframe精讲_2.DataFrame API使用详解

    00:22:29分钟 |
  • 第15节

    spark dataframe精讲_3.DataFrame API使用详解(2)

    00:15:22分钟 |
  • 第16节

    dataframe实战(物联网项目)_1.json数据的处理

    00:11:05分钟 |
  • 第17节

    dataframe实战(物联网项目)_2.Schema的使用

    00:06:54分钟 |
  • 第18节

    dataframe实战(物联网项目)_3.处理复杂的数据结构

    00:12:20分钟 |
  • 第19节

    dataframe实战(物联网项目)_4.dataframe 实战(物联网传感器数据)

    00:08:48分钟 |
  • 第20节

    dataframe实战_1.如何处理重复数据

    00:13:01分钟 |
  • 第21节

    dataframe实战_2.如何处理缺失值

    00:14:49分钟 |
  • 第22节

    dataframe实战_3.如何处理异常值

    00:10:42分钟 |
  • 第23节

    dataframe实战_4.数据的描述统计

    00:10:45分钟 |
  • 第24节

    spark streaming精讲_1.spark streaming架构.术语.streaming context

    00:30:25分钟 |
  • 第25节

    spark streaming精讲_2.spark streaming架构.术语(2)

    00:20:02分钟 |
  • 第26节

    spark streaming精讲_3.详解spark streaming开发框架.演示

    00:18:16分钟 |
  • 第27节

    spark stream + kafka实战_1.spark streaming kafka开发详解

    00:13:12分钟 |
  • 第28节

    spark stream + kafka实战_2.环境配置介绍.安装zookeeper

    00:06:26分钟 |
  • 第29节

    spark stream + kafka实战_3.安装配置kafka

    00:05:47分钟 |
  • 第30节

    spark stream + kafka实战_4.验证kafka安装成功

    00:06:00分钟 |
  • 第31节

    spark stream + kafka实战_5.spark-streaming-kafka-library

    00:07:58分钟 |
  • 第32节

    spark stream + kafka实战_6.spark-streaming-kafka-demo

    00:16:03分钟 |
  • 第33节

    spark stream + kafka实战_7.spark streaming windows

    00:27:30分钟 |
  • 第34节

    spark stream + kafka实战_8.和外部数据交互

    00:14:47分钟 |
  • 第35节

    spark stream + kafka实战_9.高可用和数据完整行

    00:19:03分钟 |
  • 第36节

    spark 机器学习实战_1.逻辑回归.背景介绍.数据预处理

    00:22:17分钟 |
  • 第37节

    spark 机器学习实战_2.逻辑回归.特征筛选(不同类型的变量的相关性分析)

    00:23:42分钟 |
  • 第38节

    spark 机器学习实战_3.逻辑回归.训练模型和模型效果评估

    00:13:14分钟 |
  • 第39节

    spark 机器学习实战_4.推荐系统 als实战

    00:30:02分钟 |
  • 第40节

    spark运行机制详解_1.map reduce 1.0回顾

    00:24:23分钟 |
  • 第41节

    spark运行机制详解_2..map reduce 2.0 yarn的架构

    00:10:17分钟 |
  • 第42节

    spark运行机制详解_3.详解spark on yarn的两种模式

    00:31:06分钟 |
  • 第43节

    spark运行机制详解_4.任务的提交.spark submit详解

    00:09:32分钟 |
  • 第44节

    spark运行机制详解_5.spark context内部工作细节

    00:18:32分钟 |
  • 第45节

    spark运行机制详解_6.高级任务提交方法

    00:14:58分钟 |
课程介绍

深入大数据架构师之路系列教程地址:http://www.roncoo.com/course/view/96f40d99866546a68f87a10e9bbf28fa


为什么要学习spark,天下武功,唯快不破
运行速度快,开发速度快是Spark最耀眼的特点,Spark号称在磁盘上的运行速度是MapReduce的10倍以上,在内存上的运行速度是MapReduce的100以上;这不仅仅是Spark是基于内存计算,更因为是Spark采用了DAG算法减少了大量的IO开销。

All-In-One的解决方案
谈到Spark,大多数的人首先想到的是内存计算框架,计算速度很快等概念。但对于企业来说,更吸引其眼光的应该是Spark的All-In-One的解决方案。我们来看看Spark Stack:

Spark在企业中的应用场景:
应用于离线批处理的Spark RDD、Spark DataFrame
应用于流式计算的Spark Streaming
应用于即席查询(Ad-hoc)的Spark SQL
应用于机器学习(数据挖掘)的MLlib和ml

Spark2.*已经在统一规划上面的各个组件,随着Spark生态的完善和扩展,Spark将能应付各种大数据处理场景。这意味着采用Spark将减少人力和资金的投入,降低的系统的复杂性,减轻维护的工作量

为什么是Python

市面上的Spark教程和视频,都是用java和scala进行讲解的。为什么要选择python呢?

在人工智能时代, Python 才是编程语言的不二之选。2017 年 9 月 Stack Overflow 发布的统计数据表明是 Python 是增长量最快的编程语言。10 月 GitHub 年度开发者报告中,Python 超过 Java,排在编程语言 Top 15 的第二位。

和java比起来,python有如下优势
1. 异常快捷的开发速度,代码量巨少
2. 丰富的数据处理包,不管正则也好,html解析啦,xml解析啦,用起来非常方便
3. 内部类型使用成本巨低,不需要额外怎么操作(java,c++用个map都很费劲)
4. 绝大多数公司的数据处理工作是不需要面对非常大的数据的
5. 巨大的数据不是语言所能解决的,需要处理数据的框架(hadoop, mpi。。。。)6. 编码问题处理起来太太太方便了,还在坚持用Java做大数据开发,你落伍了。

本课程基于最新的spark 2讲解,内容涵盖了企业中大数据处理的四大场景:
离线批处理
流式计算
SQL处理
机器学习
一门课程就打通python 大数据的任督二脉,意不意外,惊不惊喜!!!小伙伴们,快来加入吧。


课程大纲
  • 第1节

    为什么选择python spark开发

    [免费观看]
    00:20:00分钟 |
  • 第2节

    spark 2.0新特性_1.spark2新特性介绍

    [免费观看]
    00:27:25分钟 |
  • 第3节

    spark 2.1新特性_2.spark 2开发环境的安装以及体会wordcount

    [免费观看]
    00:19:58分钟 |
  • 第4节

    spark core rdd精讲_1.spark core rdd详解

    00:23:17分钟 |
  • 第5节

    spark core rdd精讲_2.生成rdd的方法总结

    00:12:49分钟 |
  • 第6节

    spark core rdd精讲_3.详解rdd三类算子

    00:14:08分钟 |
  • 第7节

    spark core rdd精讲_4.重新解读wordcount

    00:07:02分钟 |
  • 第8节

    spark rdd开发实战_spark-rdd完整案例(用户画像)

    00:22:53分钟 |
  • 第9节

    spark sql开发实战 _1.sparksql详解和优劣势分析

    00:31:23分钟 |
  • 第10节

    spark sql开发实战_2.操作hive数据库

    00:06:19分钟 |
  • 第11节

    spark sql开发实战_3.操作mysql数据库

    00:08:53分钟 |
  • 第12节

    spark sql开发实战_4.用户转化率分析项目实战

    00:20:44分钟 |
  • 第13节

    spark dataframe精讲_1.dataframe详解和优劣势分析

    00:12:37分钟 |
  • 第14节

    spark dataframe精讲_2.DataFrame API使用详解

    00:22:29分钟 |
  • 第15节

    spark dataframe精讲_3.DataFrame API使用详解(2)

    00:15:22分钟 |
  • 第16节

    dataframe实战(物联网项目)_1.json数据的处理

    00:11:05分钟 |
  • 第17节

    dataframe实战(物联网项目)_2.Schema的使用

    00:06:54分钟 |
  • 第18节

    dataframe实战(物联网项目)_3.处理复杂的数据结构

    00:12:20分钟 |
  • 第19节

    dataframe实战(物联网项目)_4.dataframe 实战(物联网传感器数据)

    00:08:48分钟 |
  • 第20节

    dataframe实战_1.如何处理重复数据

    00:13:01分钟 |
  • 第21节

    dataframe实战_2.如何处理缺失值

    00:14:49分钟 |
  • 第22节

    dataframe实战_3.如何处理异常值

    00:10:42分钟 |
  • 第23节

    dataframe实战_4.数据的描述统计

    00:10:45分钟 |
  • 第24节

    spark streaming精讲_1.spark streaming架构.术语.streaming context

    00:30:25分钟 |
  • 第25节

    spark streaming精讲_2.spark streaming架构.术语(2)

    00:20:02分钟 |
  • 第26节

    spark streaming精讲_3.详解spark streaming开发框架.演示

    00:18:16分钟 |
  • 第27节

    spark stream + kafka实战_1.spark streaming kafka开发详解

    00:13:12分钟 |
  • 第28节

    spark stream + kafka实战_2.环境配置介绍.安装zookeeper

    00:06:26分钟 |
  • 第29节

    spark stream + kafka实战_3.安装配置kafka

    00:05:47分钟 |
  • 第30节

    spark stream + kafka实战_4.验证kafka安装成功

    00:06:00分钟 |
  • 第31节

    spark stream + kafka实战_5.spark-streaming-kafka-library

    00:07:58分钟 |
  • 第32节

    spark stream + kafka实战_6.spark-streaming-kafka-demo

    00:16:03分钟 |
  • 第33节

    spark stream + kafka实战_7.spark streaming windows

    00:27:30分钟 |
  • 第34节

    spark stream + kafka实战_8.和外部数据交互

    00:14:47分钟 |
  • 第35节

    spark stream + kafka实战_9.高可用和数据完整行

    00:19:03分钟 |
  • 第36节

    spark 机器学习实战_1.逻辑回归.背景介绍.数据预处理

    00:22:17分钟 |
  • 第37节

    spark 机器学习实战_2.逻辑回归.特征筛选(不同类型的变量的相关性分析)

    00:23:42分钟 |
  • 第38节

    spark 机器学习实战_3.逻辑回归.训练模型和模型效果评估

    00:13:14分钟 |
  • 第39节

    spark 机器学习实战_4.推荐系统 als实战

    00:30:02分钟 |
  • 第40节

    spark运行机制详解_1.map reduce 1.0回顾

    00:24:23分钟 |
  • 第41节

    spark运行机制详解_2..map reduce 2.0 yarn的架构

    00:10:17分钟 |
  • 第42节

    spark运行机制详解_3.详解spark on yarn的两种模式

    00:31:06分钟 |
  • 第43节

    spark运行机制详解_4.任务的提交.spark submit详解

    00:09:32分钟 |
  • 第44节

    spark运行机制详解_5.spark context内部工作细节

    00:18:32分钟 |
  • 第45节

    spark运行机制详解_6.高级任务提交方法

    00:14:58分钟 |

相关课程

讲师简介

十余年专职数据相关工作,曾就职yahaoo、阿里大数据团队,现就职于某互联网金融公司,负责金融大数据的建设工作。

学员动态

数据加载中,请稍后...