龙果小程序
龙果小程序

学院首页 > 课程列表 > 基于Flink流处理的动态实时电商实时分析系统

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

基于Flink流处理的动态实时电商实时分析系统

1 - (免费) 0、课程说明 00:18:54分钟
2 - (免费) 1、项目架构设计 00:07:19分钟
3 - (免费) 2、springboot 构建上报服务 00:15:34分钟
4 - 3、spring boot上报服务完善代码编写 00:09:19分钟
5 - 4、模拟数据上报代码编写 00:21:31分钟
6 - 5、kafka环境搭建 00:09:37分钟
7 - 6、上报服务之spring boot 集成kafka 00:22:53分钟
8 - 7、上报服务之集成kafka之windows环境发送失败问题解决 00:08:48分钟
9 - 8、实时分析服务之flink streaming之kafka整合代码讲解 00:26:51分钟
10 - 9、模拟电商浏览记录代码编写 00:27:53分钟
11 - 10、电商浏览记录联调上报服务代码编写 00:27:28分钟
12 - 11、频道分析之实时热点排行flink代码编写1 00:20:44分钟
13 - 12、频道分析之实时热点排行flink代码编写2 00:34:06分钟
14 - 13、频道分析之实时热点排行flink代码编写3 00:19:30分钟
15 - 14、频道分析之实时热点排行flink代码编写4以及联调测试 00:11:44分钟
16 - 15、频道分析之redis环境搭建 00:05:28分钟
17 - 16、频道分析之jedis使用以及flink整合jedis代码编写 00:23:30分钟
18 - 17、频道分析之联调redis测试讲解 00:11:30分钟
19 - 18、flink单机部署以及flink程序打包讲解 00:25:12分钟
20 - 19、提交flink任务讲解以及flink控制台查看日志讲解 00:12:50分钟
21 - 20、springboot 构建前端展示服务 00:12:51分钟
22 - 21、前端查询服务整合redis 00:06:38分钟
23 - 22、 flink分析优化以及分析结果整合前端服务 00:47:42分钟
24 - 23、 flink分析之hadoop环境搭建 00:13:10分钟
25 - 24、 flink分析之hbase环境搭建 00:06:33分钟
26 - 25、 flink分析之hbase工具类代码编写以及业务整合 00:23:47分钟
27 - 26、 flink分析之频道浏览pv,uv代码编写1 00:14:25分钟
28 - 27、 flink分析之flatmap实现频道浏览pv,uv时间周期分析 00:21:22分钟
29 - 28、 flink分析之封装dao层结合hbase进行判重代码编写 00:16:22分钟
30 - 29、 flink分析之分析用户访问状态代码编写1 00:21:47分钟
31 - 30、 flink分析之分析用户访问状态代码编写2 00:18:21分钟
32 - 31、 flink分析之map代码逻辑改造以及reduce代码编写 00:18:07分钟
33 - 32、 flink分析之map和reduce代码改造以及reduce分析结果保存代码编写 00:15:58分钟
34 - 33、 flink分析之模拟真实上报联调测试以及调试 00:30:54分钟
35 - 34、 flink分析之项目打包提交到flink集群讲解 00:27:59分钟
36 - 35、 flink分析之bug调试以及优化1 00:33:01分钟
37 - 36、 flink分析之bug调试以及优化2 00:18:32分钟
38 - 37、flink分析之hadoop window环境运行配置及flink Watermark 00:13:51分钟
39 - 38、flink分析之flink集群运行任务演示 00:13:28分钟
40 - 39、flink分析之频道新鲜度map逻辑代码编写 00:12:26分钟
41 - 40、flink分析之频道新鲜度reduce逻辑代码编写 00:05:15分钟
42 - 41、flink分析之频道新鲜度reduce sink代码编写 00:06:25分钟
43 - 42、 flink分析之频道浏览地区分布分析代码编写1 00:15:08分钟
44 - 43、 flink分析之频道浏览地区分布分析代码编写2 00:29:34分钟
45 - 44、flink分析之用户网络分析代码编写1 00:17:05分钟
46 - 45、flink分析之用户网络分析代码编写2 00:16:58分钟
47 - 46、flink分析之用户浏览器使用分析代码编写1 00:10:14分钟
48 - 47、flink分析之用户浏览器使用分析代码编写2 00:09:31分钟
49 - 48、flink分析之真实业务数据构建1 00:20:52分钟
50 - 49、flink分析之真实业务数据构建2 00:08:22分钟
51 - 50、flink分析之hive环境搭建 00:12:33分钟
52 - 51、flink分析之hive环境搭建补充 00:05:11分钟
53 - 52、flink分析之sqoop同步业务数据之hive表创建 00:11:38分钟
54 - 53、flink分析之sqoop同步业务数据之sqoop安装以及sqoop脚本同步数据 00:23:43分钟
55 - 54、flink分析之flink batch实现产品成交分析代码编写1 00:20:55分钟
56 - 55、flink分析之flink batch实现产品成交分析代码编写2 00:22:43分钟
57 - 56、spring boot构建接口服务 00:06:32分钟
58 - 57、spring boot接口服务整合hbase实现接口查询 00:09:46分钟
59 - 58、spring cloud整合前端服务调用接口服务代码编写1 00:13:59分钟
60 - 59、spring cloud整合前端服务调用接口服务代码编写2 00:12:04分钟
61 - 60、spring cloud整合前端服务调用接口服务代码编写3 00:07:35分钟
62 - 61、flink分析之flink table 实现订单分析代码编写1 00:07:03分钟
63 - 62、flink分析之flink table 实现订单分析代码编写2 00:16:13分钟
64 - 63、flink分析之flink table订单分析效果演示讲解1 00:14:38分钟
65 - 64、flink分析之flink table订单分析效果演示以及代码调试优化讲解 00:12:08分钟
66 - 65、flink分析之flink table订单分析效果演示以及代码调试优化讲解补充1 00:04:04分钟

基于Flink流处理的动态实时电商实时分析系统

优惠价: 699

难    度:高级

课    时: 66

讲    师:友凡

     购买咨询

课程大纲
  • 第1节

    0、课程说明

    [免费观看]
    00:18:54分钟 |
  • 第2节

    1、项目架构设计

    [免费观看]
    00:07:19分钟 |
  • 第3节

    2、springboot 构建上报服务

    [免费观看]
    00:15:34分钟 |
  • 第4节

    3、spring boot上报服务完善代码编写

    00:09:19分钟 |
  • 第5节

    4、模拟数据上报代码编写

    00:21:31分钟 |
  • 第6节

    5、kafka环境搭建

    00:09:37分钟 |
  • 第7节

    6、上报服务之spring boot 集成kafka

    00:22:53分钟 |
  • 第8节

    7、上报服务之集成kafka之windows环境发送失败问题解决

    00:08:48分钟 |
  • 第9节

    8、实时分析服务之flink streaming之kafka整合代码讲解

    00:26:51分钟 |
  • 第10节

    9、模拟电商浏览记录代码编写

    00:27:53分钟 |
  • 第11节

    10、电商浏览记录联调上报服务代码编写

    00:27:28分钟 |
  • 第12节

    11、频道分析之实时热点排行flink代码编写1

    00:20:44分钟 |
  • 第13节

    12、频道分析之实时热点排行flink代码编写2

    00:34:06分钟 |
  • 第14节

    13、频道分析之实时热点排行flink代码编写3

    00:19:30分钟 |
  • 第15节

    14、频道分析之实时热点排行flink代码编写4以及联调测试

    00:11:44分钟 |
  • 第16节

    15、频道分析之redis环境搭建

    00:05:28分钟 |
  • 第17节

    16、频道分析之jedis使用以及flink整合jedis代码编写

    00:23:30分钟 |
  • 第18节

    17、频道分析之联调redis测试讲解

    00:11:30分钟 |
  • 第19节

    18、flink单机部署以及flink程序打包讲解

    00:25:12分钟 |
  • 第20节

    19、提交flink任务讲解以及flink控制台查看日志讲解

    00:12:50分钟 |
  • 第21节

    20、springboot 构建前端展示服务

    00:12:51分钟 |
  • 第22节

    21、前端查询服务整合redis

    00:06:38分钟 |
  • 第23节

    22、 flink分析优化以及分析结果整合前端服务

    00:47:42分钟 |
  • 第24节

    23、 flink分析之hadoop环境搭建

    00:13:10分钟 |
  • 第25节

    24、 flink分析之hbase环境搭建

    00:06:33分钟 |
  • 第26节

    25、 flink分析之hbase工具类代码编写以及业务整合

    00:23:47分钟 |
  • 第27节

    26、 flink分析之频道浏览pv,uv代码编写1

    00:14:25分钟 |
  • 第28节

    27、 flink分析之flatmap实现频道浏览pv,uv时间周期分析

    00:21:22分钟 |
  • 第29节

    28、 flink分析之封装dao层结合hbase进行判重代码编写

    00:16:22分钟 |
  • 第30节

    29、 flink分析之分析用户访问状态代码编写1

    00:21:47分钟 |
  • 第31节

    30、 flink分析之分析用户访问状态代码编写2

    00:18:21分钟 |
  • 第32节

    31、 flink分析之map代码逻辑改造以及reduce代码编写

    00:18:07分钟 |
  • 第33节

    32、 flink分析之map和reduce代码改造以及reduce分析结果保存代码编写

    00:15:58分钟 |
  • 第34节

    33、 flink分析之模拟真实上报联调测试以及调试

    00:30:54分钟 |
  • 第35节

    34、 flink分析之项目打包提交到flink集群讲解

    00:27:59分钟 |
  • 第36节

    35、 flink分析之bug调试以及优化1

    00:33:01分钟 |
  • 第37节

    36、 flink分析之bug调试以及优化2

    00:18:32分钟 |
  • 第38节

    37、flink分析之hadoop window环境运行配置及flink Watermark

    00:13:51分钟 |
  • 第39节

    38、flink分析之flink集群运行任务演示

    00:13:28分钟 |
  • 第40节

    39、flink分析之频道新鲜度map逻辑代码编写

    00:12:26分钟 |
  • 第41节

    40、flink分析之频道新鲜度reduce逻辑代码编写

    00:05:15分钟 |
  • 第42节

    41、flink分析之频道新鲜度reduce sink代码编写

    00:06:25分钟 |
  • 第43节

    42、 flink分析之频道浏览地区分布分析代码编写1

    00:15:08分钟 |
  • 第44节

    43、 flink分析之频道浏览地区分布分析代码编写2

    00:29:34分钟 |
  • 第45节

    44、flink分析之用户网络分析代码编写1

    00:17:05分钟 |
  • 第46节

    45、flink分析之用户网络分析代码编写2

    00:16:58分钟 |
  • 第47节

    46、flink分析之用户浏览器使用分析代码编写1

    00:10:14分钟 |
  • 第48节

    47、flink分析之用户浏览器使用分析代码编写2

    00:09:31分钟 |
  • 第49节

    48、flink分析之真实业务数据构建1

    00:20:52分钟 |
  • 第50节

    49、flink分析之真实业务数据构建2

    00:08:22分钟 |
  • 第51节

    50、flink分析之hive环境搭建

    00:12:33分钟 |
  • 第52节

    51、flink分析之hive环境搭建补充

    00:05:11分钟 |
  • 第53节

    52、flink分析之sqoop同步业务数据之hive表创建

    00:11:38分钟 |
  • 第54节

    53、flink分析之sqoop同步业务数据之sqoop安装以及sqoop脚本同步数据

    00:23:43分钟 |
  • 第55节

    54、flink分析之flink batch实现产品成交分析代码编写1

    00:20:55分钟 |
  • 第56节

    55、flink分析之flink batch实现产品成交分析代码编写2

    00:22:43分钟 |
  • 第57节

    56、spring boot构建接口服务

    00:06:32分钟 |
  • 第58节

    57、spring boot接口服务整合hbase实现接口查询

    00:09:46分钟 |
  • 第59节

    58、spring cloud整合前端服务调用接口服务代码编写1

    00:13:59分钟 |
  • 第60节

    59、spring cloud整合前端服务调用接口服务代码编写2

    00:12:04分钟 |
  • 第61节

    60、spring cloud整合前端服务调用接口服务代码编写3

    00:07:35分钟 |
  • 第62节

    61、flink分析之flink table 实现订单分析代码编写1

    00:07:03分钟 |
  • 第63节

    62、flink分析之flink table 实现订单分析代码编写2

    00:16:13分钟 |
  • 第64节

    63、flink分析之flink table订单分析效果演示讲解1

    00:14:38分钟 |
  • 第65节

    64、flink分析之flink table订单分析效果演示以及代码调试优化讲解

    00:12:08分钟 |
  • 第66节

    65、flink分析之flink table订单分析效果演示以及代码调试优化讲解补充1

    00:04:04分钟 |
课程介绍

在开始学习前给大家说下什么是Flink? 

1.Flink是一个针对流数据和批数据的分布式处理引擎,主要用Java代码实现。 

2.Apache Flink作为Apache的顶级项目,Flink集众多优点于一身,包括快速、可靠可扩展、完全兼容Hadoop、使用简便、表现卓越。 

通过以上的描述大家对Flink有了一个基本的认识,本套课程不会讲解基础内容,因此建议有Flink基础的同学进行认购。 

开始学习前建议大家认真阅读下文: 

随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处理之中往往是相同的。但是,用户用于批处理和流处理的两套计算引擎是不同的。  

因此,用户通常需要写两套代码。毫无疑问,这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里就在想,我们能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里选择Flink的背景和初衷。


随着互联网不断发展,数据量不断的增加,大数据也是快速的发展起来了。对于电商系统,拥有着庞大的数据量,对于这么庞大的数据,传统的分析已经满足不了需求。对于电商来说,大数据数据分析是很重要的,它承载着公司的战略部署,以及运营、用户体验等多方面的作用。因此企业对大数据人才的需求会持续旺盛,优秀的大数据人才年收入在50-100万。  

目前经过10多年的发展大数据技术也在不断的更新和进步中,大数据计算引擎经历了几个过程,从一代的Hadoop Mapreduce、二代的基于有向无环图的TeZ,OOZIE等,到三代的基于内存计算的Spark,再到最新的第四代Flink。 早期的Hadoop开发通过搭建环境收入都可以轻松破万,到如今Flink的崛起,相信更多的先机者会看到Flink的机遇。对于Flink巨头们早已经应用的非常成熟,比如阿里、Uber、美团等互联网巨头,因此Flink使用会越来越多,这是趋势,现在很多公司都在往Flink转换,足以可见Flink技术的先进和强大。 


本课程将基于真实的电商分析系统构建,通过Flink实现真正的实时分析,该系统会从无到有一步一步带大家实现,让大家在实操中快速掌握Flink技术。


课程所涵盖的知识点包括:Flink、Kafka、Flume、Sqoop、SpringMVC、Redis、HDFS、Mapreduce、Hbase、Hive、SpringBoot、SpringCloud等等 


分析指标包含:频道分析、产品分析、用户分析、活动效果分析、营销分析、购物车分析、订单分析等 


课程所用到的 

开发环境为:Window7 

开发工具为:IDEA 

开发版本为:Flink1.6.1、Hadoop2.6.0、Hbase1.0.0、Hive1.1.0 


学完该课程大家会对Flink有非常深入的了解,同时可以体会到Flink的强大之处,以及可以结合自己公司的业务进行使用,减少自己研究和学习Flink的时间。         




课程大纲
  • 第1节

    0、课程说明

    [免费观看]
    00:18:54分钟 |
  • 第2节

    1、项目架构设计

    [免费观看]
    00:07:19分钟 |
  • 第3节

    2、springboot 构建上报服务

    [免费观看]
    00:15:34分钟 |
  • 第4节

    3、spring boot上报服务完善代码编写

    00:09:19分钟 |
  • 第5节

    4、模拟数据上报代码编写

    00:21:31分钟 |
  • 第6节

    5、kafka环境搭建

    00:09:37分钟 |
  • 第7节

    6、上报服务之spring boot 集成kafka

    00:22:53分钟 |
  • 第8节

    7、上报服务之集成kafka之windows环境发送失败问题解决

    00:08:48分钟 |
  • 第9节

    8、实时分析服务之flink streaming之kafka整合代码讲解

    00:26:51分钟 |
  • 第10节

    9、模拟电商浏览记录代码编写

    00:27:53分钟 |
  • 第11节

    10、电商浏览记录联调上报服务代码编写

    00:27:28分钟 |
  • 第12节

    11、频道分析之实时热点排行flink代码编写1

    00:20:44分钟 |
  • 第13节

    12、频道分析之实时热点排行flink代码编写2

    00:34:06分钟 |
  • 第14节

    13、频道分析之实时热点排行flink代码编写3

    00:19:30分钟 |
  • 第15节

    14、频道分析之实时热点排行flink代码编写4以及联调测试

    00:11:44分钟 |
  • 第16节

    15、频道分析之redis环境搭建

    00:05:28分钟 |
  • 第17节

    16、频道分析之jedis使用以及flink整合jedis代码编写

    00:23:30分钟 |
  • 第18节

    17、频道分析之联调redis测试讲解

    00:11:30分钟 |
  • 第19节

    18、flink单机部署以及flink程序打包讲解

    00:25:12分钟 |
  • 第20节

    19、提交flink任务讲解以及flink控制台查看日志讲解

    00:12:50分钟 |
  • 第21节

    20、springboot 构建前端展示服务

    00:12:51分钟 |
  • 第22节

    21、前端查询服务整合redis

    00:06:38分钟 |
  • 第23节

    22、 flink分析优化以及分析结果整合前端服务

    00:47:42分钟 |
  • 第24节

    23、 flink分析之hadoop环境搭建

    00:13:10分钟 |
  • 第25节

    24、 flink分析之hbase环境搭建

    00:06:33分钟 |
  • 第26节

    25、 flink分析之hbase工具类代码编写以及业务整合

    00:23:47分钟 |
  • 第27节

    26、 flink分析之频道浏览pv,uv代码编写1

    00:14:25分钟 |
  • 第28节

    27、 flink分析之flatmap实现频道浏览pv,uv时间周期分析

    00:21:22分钟 |
  • 第29节

    28、 flink分析之封装dao层结合hbase进行判重代码编写

    00:16:22分钟 |
  • 第30节

    29、 flink分析之分析用户访问状态代码编写1

    00:21:47分钟 |
  • 第31节

    30、 flink分析之分析用户访问状态代码编写2

    00:18:21分钟 |
  • 第32节

    31、 flink分析之map代码逻辑改造以及reduce代码编写

    00:18:07分钟 |
  • 第33节

    32、 flink分析之map和reduce代码改造以及reduce分析结果保存代码编写

    00:15:58分钟 |
  • 第34节

    33、 flink分析之模拟真实上报联调测试以及调试

    00:30:54分钟 |
  • 第35节

    34、 flink分析之项目打包提交到flink集群讲解

    00:27:59分钟 |
  • 第36节

    35、 flink分析之bug调试以及优化1

    00:33:01分钟 |
  • 第37节

    36、 flink分析之bug调试以及优化2

    00:18:32分钟 |
  • 第38节

    37、flink分析之hadoop window环境运行配置及flink Watermark

    00:13:51分钟 |
  • 第39节

    38、flink分析之flink集群运行任务演示

    00:13:28分钟 |
  • 第40节

    39、flink分析之频道新鲜度map逻辑代码编写

    00:12:26分钟 |
  • 第41节

    40、flink分析之频道新鲜度reduce逻辑代码编写

    00:05:15分钟 |
  • 第42节

    41、flink分析之频道新鲜度reduce sink代码编写

    00:06:25分钟 |
  • 第43节

    42、 flink分析之频道浏览地区分布分析代码编写1

    00:15:08分钟 |
  • 第44节

    43、 flink分析之频道浏览地区分布分析代码编写2

    00:29:34分钟 |
  • 第45节

    44、flink分析之用户网络分析代码编写1

    00:17:05分钟 |
  • 第46节

    45、flink分析之用户网络分析代码编写2

    00:16:58分钟 |
  • 第47节

    46、flink分析之用户浏览器使用分析代码编写1

    00:10:14分钟 |
  • 第48节

    47、flink分析之用户浏览器使用分析代码编写2

    00:09:31分钟 |
  • 第49节

    48、flink分析之真实业务数据构建1

    00:20:52分钟 |
  • 第50节

    49、flink分析之真实业务数据构建2

    00:08:22分钟 |
  • 第51节

    50、flink分析之hive环境搭建

    00:12:33分钟 |
  • 第52节

    51、flink分析之hive环境搭建补充

    00:05:11分钟 |
  • 第53节

    52、flink分析之sqoop同步业务数据之hive表创建

    00:11:38分钟 |
  • 第54节

    53、flink分析之sqoop同步业务数据之sqoop安装以及sqoop脚本同步数据

    00:23:43分钟 |
  • 第55节

    54、flink分析之flink batch实现产品成交分析代码编写1

    00:20:55分钟 |
  • 第56节

    55、flink分析之flink batch实现产品成交分析代码编写2

    00:22:43分钟 |
  • 第57节

    56、spring boot构建接口服务

    00:06:32分钟 |
  • 第58节

    57、spring boot接口服务整合hbase实现接口查询

    00:09:46分钟 |
  • 第59节

    58、spring cloud整合前端服务调用接口服务代码编写1

    00:13:59分钟 |
  • 第60节

    59、spring cloud整合前端服务调用接口服务代码编写2

    00:12:04分钟 |
  • 第61节

    60、spring cloud整合前端服务调用接口服务代码编写3

    00:07:35分钟 |
  • 第62节

    61、flink分析之flink table 实现订单分析代码编写1

    00:07:03分钟 |
  • 第63节

    62、flink分析之flink table 实现订单分析代码编写2

    00:16:13分钟 |
  • 第64节

    63、flink分析之flink table订单分析效果演示讲解1

    00:14:38分钟 |
  • 第65节

    64、flink分析之flink table订单分析效果演示以及代码调试优化讲解

    00:12:08分钟 |
  • 第66节

    65、flink分析之flink table订单分析效果演示以及代码调试优化讲解补充1

    00:04:04分钟 |

相关课程

讲师简介

多年移动互联网产品设计和开发经验,带领团队完成多个知名互联网产品,历任多家知名公司Java和大数据架构师,负责过多个大型Java和大数据系统的架构和开发。精通Java、Go、Python、Hadoop、Storm、Spark、Docker、NoSQL等语言和大数据技术,IT一线行业8年实战经验,目前已经出品《秒杀系统》《分布式任务调度》《数据统计分析系统》等教程,教程案例全部均来自真实工业界开发场景。对分布式、高并发、高可用、微服务、缓存、虚拟化、海量数据处理有丰富的实战经验和解决方案。

学员动态

数据加载中,请稍后...