下载安卓APP
龙果安卓APP

学院首页 > 课程列表 > 大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)

1 - (免费) 0、大数据项目说明 00:22:27分钟 |
2 - (免费) 1、大数据案例业务术语和使用 00:12:41分钟
3 - (免费) 2、大数据案例andriod的sdk使用和项目逻辑架构讲解 00:20:04分钟
4 - 3、大数据案例项目管理工具maven讲解 00:27:36分钟
5 - 4、大数据案例上报服务代码编写1 00:33:29分钟
6 - 5、大数据案例上报服务代码编写2 00:18:46分钟
7 - 6、大数据案例上报服务代码编写3 00:19:17分钟
8 - 7、大数据案例消息传输讲解 00:30:51分钟
9 - 8、大数据案例消息传输讲解以及整合代码编写 00:31:56分钟
10 - 9、大数据案例消息整合上报服务代码编写 00:16:25分钟
11 - 10、大数据案例流式计算框架选型之storm讲解 00:17:38分钟
12 - 11、大数据案例流式计算框架选型之storm基础环境搭建 00:14:45分钟
13 - 12、大数据案例流式计算框架选型之storm集群环境搭建 00:19:06分钟
14 - 13、大数据案例流式计算框架选型之storm开发讲解1 00:27:19分钟
15 - 14、大数据案例流式计算框架选型之storm开发讲解2 00:11:34分钟
16 - 15、大数据案例流式计算框架之spark讲解 00:24:17分钟
17 - 16、大数据案例流式计算框架之spark代码讲解1 00:19:59分钟
18 - 17、大数据案例流式计算框架之spark代码讲解2 00:11:04分钟
19 - 18、大数据案例流式计算框架选型说明以及项目spark代码整合讲解 00:35:18分钟
20 - 19、大数据案例spark业务代码讲解 00:21:04分钟
21 - 20、大数据案例之kafka集群搭建 00:17:52分钟
22 - 21、大数据案例之上报服务和spark streming实时计算服务联调测试 00:21:09分钟
23 - 22、大数据案例存储引擎之Mongo环境搭建以及增删改查讲解 00:27:27分钟
24 - 23、大数据案例存储引擎之mongo复杂的增删改查讲解 00:11:33分钟
25 - 24、大数据案例存储引擎之mongo聚合以及索引和查询计划讲解 00:26:38分钟
26 - 25、大数据案例存储引擎之mongo主从复制讲解 00:13:18分钟
27 - 26、大数据案例存储引擎之mongo副本集和分片讲解 00:29:09分钟
28 - 27、大数据案例存储引擎之mongo代码讲解1 00:26:41分钟
29 - 28、大数据案例存储引擎之mongo代码讲解2 00:10:48分钟
30 - 29、大数据案例sparkstreaming整合mongo代码编写讲解1 00:33:41分钟
31 - 30、大数据案例sparkstreaming整合mongo代码编写讲解2 00:17:03分钟
32 - 31、大数据案例sparkstreaming整合mongo代码编写讲解3 00:08:59分钟
33 - 32、大数据案例sparkstreaming整合mongo代码编写讲解4 00:15:02分钟
34 - 33、大数据案例sparkingstreaming整合mongo之mongo的linux集群搭建 00:16:54分钟
35 - 34、大数据案例sparkingstreaming整合mongo之代码优化 00:20:25分钟
36 - 35、大数据案例sparkingstreaming和mongo联调测试 00:18:23分钟
37 - 36、大数据案例之flume讲解 00:21:30分钟
38 - 37、大数据案例之flume补充讲解 00:06:54分钟
39 - 38、大数据案例之hadoop ha集群搭建 00:36:43分钟
40 - 39、大数据案例之flume以及hdfs进行业务整合 00:14:57分钟
41 - 40、大数据案例之crontab定时任务讲解 00:17:00分钟
42 - 41、大数据案例之hive环境搭建 00:22:20分钟
43 - 42、大数据案例之hive进行业务整合 00:20:31分钟
44 - 43、大数据案例之hive,crontab业务整合 00:05:51分钟
45 - 44、大数据案例之hive,crontab业务整合补充 00:05:51分钟
46 - 45、大数据案例之hive自定义函数解决复杂业务 00:31:49分钟
47 - 46、大数据案例之hive自定义函数解决复杂业务补充 00:14:08分钟
48 - 47、大数据案例之hbase集群环境搭建 00:30:32分钟
49 - 48、大数据案例之app错误分析 00:33:49分钟
50 - 49、大数据案例错误热点词定制分析 00:30:12分钟
51 - 50、大数据案例hbase选型讲解以及hbase使用讲解 00:15:40分钟
52 - 51、大数据案例之hbase、hive业务整合 00:33:32分钟
53 - 52、大数据案例之hbase、hive业务整合补充 00:03:33分钟
54 - 53、大数据案例之hbase、hive定时任务讲解 00:21:39分钟
55 - 54、大数据案例hbase,hive动态参数实现自动分析当天的数据1 00:10:57分钟
56 - 55、大数据案例hbase,hive动态参数实现自动分析当天的数据2 00:06:16分钟

大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)

优惠价: 1299

难    度:高级

课    时: 56

讲    师:友凡

     购买咨询

课程大纲
  • 第1节

    0、大数据项目说明

    [免费观看]
    00:22:27分钟 |
  • 第2节

    1、大数据案例业务术语和使用

    [免费观看]
    00:12:41分钟 |
  • 第3节

    2、大数据案例andriod的sdk使用和项目逻辑架构讲解

    [免费观看]
    00:20:04分钟 |
  • 第4节

    3、大数据案例项目管理工具maven讲解

    00:27:36分钟 |
  • 第5节

    4、大数据案例上报服务代码编写1

    00:33:29分钟 |
  • 第6节

    5、大数据案例上报服务代码编写2

    00:18:46分钟 |
  • 第7节

    6、大数据案例上报服务代码编写3

    00:19:17分钟 |
  • 第8节

    7、大数据案例消息传输讲解

    00:30:51分钟 |
  • 第9节

    8、大数据案例消息传输讲解以及整合代码编写

    00:31:56分钟 |
  • 第10节

    9、大数据案例消息整合上报服务代码编写

    00:16:25分钟 |
  • 第11节

    10、大数据案例流式计算框架选型之storm讲解

    00:17:38分钟 |
  • 第12节

    11、大数据案例流式计算框架选型之storm基础环境搭建

    00:14:45分钟 |
  • 第13节

    12、大数据案例流式计算框架选型之storm集群环境搭建

    00:19:06分钟 |
  • 第14节

    13、大数据案例流式计算框架选型之storm开发讲解1

    00:27:19分钟 |
  • 第15节

    14、大数据案例流式计算框架选型之storm开发讲解2

    00:11:34分钟 |
  • 第16节

    15、大数据案例流式计算框架之spark讲解

    00:24:17分钟 |
  • 第17节

    16、大数据案例流式计算框架之spark代码讲解1

    00:19:59分钟 |
  • 第18节

    17、大数据案例流式计算框架之spark代码讲解2

    00:11:04分钟 |
  • 第19节

    18、大数据案例流式计算框架选型说明以及项目spark代码整合讲解

    00:35:18分钟 |
  • 第20节

    19、大数据案例spark业务代码讲解

    00:21:04分钟 |
  • 第21节

    20、大数据案例之kafka集群搭建

    00:17:52分钟 |
  • 第22节

    21、大数据案例之上报服务和spark streming实时计算服务联调测试

    00:21:09分钟 |
  • 第23节

    22、大数据案例存储引擎之Mongo环境搭建以及增删改查讲解

    00:27:27分钟 |
  • 第24节

    23、大数据案例存储引擎之mongo复杂的增删改查讲解

    00:11:33分钟 |
  • 第25节

    24、大数据案例存储引擎之mongo聚合以及索引和查询计划讲解

    00:26:38分钟 |
  • 第26节

    25、大数据案例存储引擎之mongo主从复制讲解

    00:13:18分钟 |
  • 第27节

    26、大数据案例存储引擎之mongo副本集和分片讲解

    00:29:09分钟 |
  • 第28节

    27、大数据案例存储引擎之mongo代码讲解1

    00:26:41分钟 |
  • 第29节

    28、大数据案例存储引擎之mongo代码讲解2

    00:10:48分钟 |
  • 第30节

    29、大数据案例sparkstreaming整合mongo代码编写讲解1

    00:33:41分钟 |
  • 第31节

    30、大数据案例sparkstreaming整合mongo代码编写讲解2

    00:17:03分钟 |
  • 第32节

    31、大数据案例sparkstreaming整合mongo代码编写讲解3

    00:08:59分钟 |
  • 第33节

    32、大数据案例sparkstreaming整合mongo代码编写讲解4

    00:15:02分钟 |
  • 第34节

    33、大数据案例sparkingstreaming整合mongo之mongo的linux集群搭建

    00:16:54分钟 |
  • 第35节

    34、大数据案例sparkingstreaming整合mongo之代码优化

    00:20:25分钟 |
  • 第36节

    35、大数据案例sparkingstreaming和mongo联调测试

    00:18:23分钟 |
  • 第37节

    36、大数据案例之flume讲解

    00:21:30分钟 |
  • 第38节

    37、大数据案例之flume补充讲解

    00:06:54分钟 |
  • 第39节

    38、大数据案例之hadoop ha集群搭建

    00:36:43分钟 |
  • 第40节

    39、大数据案例之flume以及hdfs进行业务整合

    00:14:57分钟 |
  • 第41节

    40、大数据案例之crontab定时任务讲解

    00:17:00分钟 |
  • 第42节

    41、大数据案例之hive环境搭建

    00:22:20分钟 |
  • 第43节

    42、大数据案例之hive进行业务整合

    00:20:31分钟 |
  • 第44节

    43、大数据案例之hive,crontab业务整合

    00:05:51分钟 |
  • 第45节

    44、大数据案例之hive,crontab业务整合补充

    00:05:51分钟 |
  • 第46节

    45、大数据案例之hive自定义函数解决复杂业务

    00:31:49分钟 |
  • 第47节

    46、大数据案例之hive自定义函数解决复杂业务补充

    00:14:08分钟 |
  • 第48节

    47、大数据案例之hbase集群环境搭建

    00:30:32分钟 |
  • 第49节

    48、大数据案例之app错误分析

    00:33:49分钟 |
  • 第50节

    49、大数据案例错误热点词定制分析

    00:30:12分钟 |
  • 第51节

    50、大数据案例hbase选型讲解以及hbase使用讲解

    00:15:40分钟 |
  • 第52节

    51、大数据案例之hbase、hive业务整合

    00:33:32分钟 |
  • 第53节

    52、大数据案例之hbase、hive业务整合补充

    00:03:33分钟 |
  • 第54节

    53、大数据案例之hbase、hive定时任务讲解

    00:21:39分钟 |
  • 第55节

    54、大数据案例hbase,hive动态参数实现自动分析当天的数据1

    00:10:57分钟 |
  • 第56节

    55、大数据案例hbase,hive动态参数实现自动分析当天的数据2

    00:06:16分钟 |
课程介绍

本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。


数据统计分析系统架构图


课程说明

本课程将通过一个真实的企业级云产品项目进行讲解,该项目是国内专业的移动应用统计分析平台,每天触达14亿活跃设备,每月覆盖80%以上新增手机消费者,几乎覆盖全部iOS消费者,通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据,以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。


课程所用到的开发环境和用到的技术:

系统:window7,

开发工具是:eclipse,IDEA,

本课程项目是一个综合项目,技术涵盖java web,大数据,虚拟化,linux服务器等

具体包含: spring,spark,spark streaming,spark mlib,hive,flume,kafka,hadoop,hbase,mongodb,dubbo,分布式缓存,redis,docker,nginx,easyui,highcharts等等。

此课程是按照真实企业级开发项目流程进行讲解,通过学习此课程可以体会到真实的大型大数据项目开发流程,学完此课程可以熟练掌握大数据技术,java web技术,docker虚拟化技术,分布式技术,缓存技术,linux等。


(一)项目总体需求分析
1.项目背景

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢?要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。

2.项目需求

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢,要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为,只需要接入提供的sdk,就可以轻松的了解用户的行为,享受大数据技术带来的时代变革。通过该产品可以了解到:app的应用趋势,app的渠道推广情况,用户留存情况,用户的行为分析,用户属性分析,应用错误分析,用户数据挖掘,并且需要实时去展示这些分析结果。

3.系统功能

可以查看该app的用户活跃度,每个时段的新增用户,app的终端使用分类情况,沉默用户,和忠诚用户的统计和查看等。

(二)项目架构设计及技术选型

1.项目整体架构设计

2.软件选型

(三)项目整体环境搭建

1.机器选型、节点规划等。

2.集群环境搭建

(四)相关项目内容

1.物理架构,逻辑架构

2.上报数据服务的设计与开发

3.实时处理数据的环境搭建和程序开发

4.日志收集系统设计

5.离线任务的设计和开发

6.高并发,缓存,虚拟化等 

 

未经作者允许进行翻录和倒卖的,将进行相关的法律维权。


分布式任务调度解决方案

http://www.roncoo.com/course/view/e2b459016e2e477dbd5d67c8b23fe86d





课程大纲
  • 第1节

    0、大数据项目说明

    [免费观看]
    00:22:27分钟 |
  • 第2节

    1、大数据案例业务术语和使用

    [免费观看]
    00:12:41分钟 |
  • 第3节

    2、大数据案例andriod的sdk使用和项目逻辑架构讲解

    [免费观看]
    00:20:04分钟 |
  • 第4节

    3、大数据案例项目管理工具maven讲解

    00:27:36分钟 |
  • 第5节

    4、大数据案例上报服务代码编写1

    00:33:29分钟 |
  • 第6节

    5、大数据案例上报服务代码编写2

    00:18:46分钟 |
  • 第7节

    6、大数据案例上报服务代码编写3

    00:19:17分钟 |
  • 第8节

    7、大数据案例消息传输讲解

    00:30:51分钟 |
  • 第9节

    8、大数据案例消息传输讲解以及整合代码编写

    00:31:56分钟 |
  • 第10节

    9、大数据案例消息整合上报服务代码编写

    00:16:25分钟 |
  • 第11节

    10、大数据案例流式计算框架选型之storm讲解

    00:17:38分钟 |
  • 第12节

    11、大数据案例流式计算框架选型之storm基础环境搭建

    00:14:45分钟 |
  • 第13节

    12、大数据案例流式计算框架选型之storm集群环境搭建

    00:19:06分钟 |
  • 第14节

    13、大数据案例流式计算框架选型之storm开发讲解1

    00:27:19分钟 |
  • 第15节

    14、大数据案例流式计算框架选型之storm开发讲解2

    00:11:34分钟 |
  • 第16节

    15、大数据案例流式计算框架之spark讲解

    00:24:17分钟 |
  • 第17节

    16、大数据案例流式计算框架之spark代码讲解1

    00:19:59分钟 |
  • 第18节

    17、大数据案例流式计算框架之spark代码讲解2

    00:11:04分钟 |
  • 第19节

    18、大数据案例流式计算框架选型说明以及项目spark代码整合讲解

    00:35:18分钟 |
  • 第20节

    19、大数据案例spark业务代码讲解

    00:21:04分钟 |
  • 第21节

    20、大数据案例之kafka集群搭建

    00:17:52分钟 |
  • 第22节

    21、大数据案例之上报服务和spark streming实时计算服务联调测试

    00:21:09分钟 |
  • 第23节

    22、大数据案例存储引擎之Mongo环境搭建以及增删改查讲解

    00:27:27分钟 |
  • 第24节

    23、大数据案例存储引擎之mongo复杂的增删改查讲解

    00:11:33分钟 |
  • 第25节

    24、大数据案例存储引擎之mongo聚合以及索引和查询计划讲解

    00:26:38分钟 |
  • 第26节

    25、大数据案例存储引擎之mongo主从复制讲解

    00:13:18分钟 |
  • 第27节

    26、大数据案例存储引擎之mongo副本集和分片讲解

    00:29:09分钟 |
  • 第28节

    27、大数据案例存储引擎之mongo代码讲解1

    00:26:41分钟 |
  • 第29节

    28、大数据案例存储引擎之mongo代码讲解2

    00:10:48分钟 |
  • 第30节

    29、大数据案例sparkstreaming整合mongo代码编写讲解1

    00:33:41分钟 |
  • 第31节

    30、大数据案例sparkstreaming整合mongo代码编写讲解2

    00:17:03分钟 |
  • 第32节

    31、大数据案例sparkstreaming整合mongo代码编写讲解3

    00:08:59分钟 |
  • 第33节

    32、大数据案例sparkstreaming整合mongo代码编写讲解4

    00:15:02分钟 |
  • 第34节

    33、大数据案例sparkingstreaming整合mongo之mongo的linux集群搭建

    00:16:54分钟 |
  • 第35节

    34、大数据案例sparkingstreaming整合mongo之代码优化

    00:20:25分钟 |
  • 第36节

    35、大数据案例sparkingstreaming和mongo联调测试

    00:18:23分钟 |
  • 第37节

    36、大数据案例之flume讲解

    00:21:30分钟 |
  • 第38节

    37、大数据案例之flume补充讲解

    00:06:54分钟 |
  • 第39节

    38、大数据案例之hadoop ha集群搭建

    00:36:43分钟 |
  • 第40节

    39、大数据案例之flume以及hdfs进行业务整合

    00:14:57分钟 |
  • 第41节

    40、大数据案例之crontab定时任务讲解

    00:17:00分钟 |
  • 第42节

    41、大数据案例之hive环境搭建

    00:22:20分钟 |
  • 第43节

    42、大数据案例之hive进行业务整合

    00:20:31分钟 |
  • 第44节

    43、大数据案例之hive,crontab业务整合

    00:05:51分钟 |
  • 第45节

    44、大数据案例之hive,crontab业务整合补充

    00:05:51分钟 |
  • 第46节

    45、大数据案例之hive自定义函数解决复杂业务

    00:31:49分钟 |
  • 第47节

    46、大数据案例之hive自定义函数解决复杂业务补充

    00:14:08分钟 |
  • 第48节

    47、大数据案例之hbase集群环境搭建

    00:30:32分钟 |
  • 第49节

    48、大数据案例之app错误分析

    00:33:49分钟 |
  • 第50节

    49、大数据案例错误热点词定制分析

    00:30:12分钟 |
  • 第51节

    50、大数据案例hbase选型讲解以及hbase使用讲解

    00:15:40分钟 |
  • 第52节

    51、大数据案例之hbase、hive业务整合

    00:33:32分钟 |
  • 第53节

    52、大数据案例之hbase、hive业务整合补充

    00:03:33分钟 |
  • 第54节

    53、大数据案例之hbase、hive定时任务讲解

    00:21:39分钟 |
  • 第55节

    54、大数据案例hbase,hive动态参数实现自动分析当天的数据1

    00:10:57分钟 |
  • 第56节

    55、大数据案例hbase,hive动态参数实现自动分析当天的数据2

    00:06:16分钟 |

相关课程

讲师简介

多年移动互联网产品设计和开发经验,带领团队完成多个知名互联网产品,历任多家知名公司Java和大数据架构师,精通Java、大数据、Go、Python等语言和技术,IT一线行业8年实战经验,目前为某知名网大数据架构师。

学员动态

数据加载中,请稍后...