下载安卓APP
龙果安卓APP

学院首页 > 课程列表 > 大数据-基于Spark的机器学习-智能客户系统项目实战

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

大数据-基于Spark的机器学习-智能客户系统项目实战

1 - (免费) 项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟
2 - (免费) scala和IDE的安装以及使用以及maven插件的安装 00:07:04分钟
3 - (免费) Centos环境准备(java环境、hosts配置、防火墙关闭) 00:06:24分钟
4 - (免费) scala基础知识讲解-1 00:08:51分钟
5 - (免费) scala基础知识讲解-函数和闭包-2 00:30:07分钟
6 - (免费) scala基础知识讲解-数组和集合-3.1 00:48:33分钟
7 - (免费) scala基础知识讲解-数组和集合-3.2 00:14:16分钟
8 - scala基础知识讲解-类和对象-4 00:23:06分钟
9 - scala基础知识讲解-特征和模式匹配-5 00:13:46分钟
10 - scala基础知识讲解-正则表达式和异常处理-6 00:12:41分钟
11 - scala基础知识讲解-知识回顾 00:15:58分钟
12 - nosql数据库mongodb安装 00:04:57分钟
13 - spring data for mongodb-简单连接mongodb 00:07:52分钟
14 - spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作) 00:36:20分钟
15 - spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作 00:36:17分钟
16 - spring data for mongodb-分页查询 00:13:32分钟
17 - zookeeper集群安装 00:13:41分钟
18 - zookeeper基本介绍-1 00:22:36分钟
19 - zookeeper工作原理-选举流程(basic paxos算法)-2 00:24:27分钟
20 - zookeeper工作原理-选举流程(fast paxos算法)-3 00:31:16分钟
21 - kafka-背景及架构介绍 00:12:28分钟
22 - kafka集群安装以及测试 00:14:29分钟
23 - kafka数据发送与接收实现-java 00:31:28分钟
24 - hdfs单机安装部署 00:18:51分钟
25 - 连接hdfs查询存储-java 00:35:45分钟
26 - 机器学习基本线性代数介绍 00:05:08分钟
27 - IKAnalyzer中文分词工具介绍 00:17:54分钟
28 - IKAnalyzer中文分词工具结合java应用 00:16:29分钟
29 - Spark以及生态圈介绍 00:11:45分钟
30 - Spark运行架构介绍及原理之job,stage,task 00:26:19分钟
31 - Spark编程模型RDD设计以及运行原理 00:15:48分钟
32 - 纯手写第一个Spark应用程序:WordCount 00:23:57分钟
33 - RDD常用函数介绍 00:29:22分钟
34 - Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化 00:12:54分钟
35 - Spark Streaming介绍 00:12:56分钟
36 - Spark Streaming+Kafka集成操作 00:18:44分钟
37 - avro结合maven使用,实现序列化和反序列化 00:21:07分钟
38 - (免费) Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习) 00:13:59分钟
39 - (免费) 特征抽取:TF-IDF原理介绍 00:17:49分钟
40 - (免费) 特征提取:TF-IDF代码实现计算 00:26:37分钟
41 - 聚类算法:KMEANS原理介绍 00:20:55分钟
42 - 聚类算法:KMEANS代码实现计算 00:20:03分钟
43 - 其它Spark ML算法简单介绍 00:03:48分钟
44 - Spark连接Mongodb代码实现 00:13:08分钟
45 - Mesos总体架构介绍 00:08:25分钟
46 - Mesos安装部署 00:12:04分钟
47 - Spark on Mesos安装部署 00:11:12分钟
48 - 系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中) 00:03:57分钟
49 - 项目代码:父类工程,管理各个jar的版本 00:03:47分钟
50 - 项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化 00:04:46分钟
51 - 项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka 00:06:23分钟
52 - 项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb 00:03:28分钟
53 - 项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs 00:05:34分钟
54 - 项目代码:机器学习集合jar,主要用来存放record 00:02:56分钟
55 - 项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算 00:07:11分钟
56 - 项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算 00:04:35分钟
57 - 项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka 00:01:51分钟
58 - Spark on Mesos部署提交参数介绍 00:08:17分钟
59 - Spark代码提交到Mesos运行(Spark-submit) 00:07:13分钟
60 - 项目整体流程跑通,结果展示 00:06:54分钟
61 - Spark调优介绍 00:08:01分钟
62 - 基于Spark的机器学习项目-智能客户系统实战课程总结 00:04:12分钟
63 - 实际工作及面试注意问题 00:03:45分钟

大数据-基于Spark的机器学习-智能客户系统项目实战

优惠价: 699 ¥899

难    度:中级

课    时: 63

讲    师:走在大数据的边缘

学习人数:1544

     购买咨询

课程大纲
  • 第1节

    项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中

    [免费观看]
    00:09:43分钟 |
  • 第2节

    scala和IDE的安装以及使用以及maven插件的安装

    [免费观看]
    00:07:04分钟 |
  • 第3节

    Centos环境准备(java环境、hosts配置、防火墙关闭)

    [免费观看]
    00:06:24分钟 |
  • 第4节

    scala基础知识讲解-1

    [免费观看]
    00:08:51分钟 |
  • 第5节

    scala基础知识讲解-函数和闭包-2

    [免费观看]
    00:30:07分钟 |
  • 第6节

    scala基础知识讲解-数组和集合-3.1

    [免费观看]
    00:48:33分钟 |
  • 第7节

    scala基础知识讲解-数组和集合-3.2

    [免费观看]
    00:14:16分钟 |
  • 第8节

    scala基础知识讲解-类和对象-4

    00:23:06分钟 |
  • 第9节

    scala基础知识讲解-特征和模式匹配-5

    00:13:46分钟 |
  • 第10节

    scala基础知识讲解-正则表达式和异常处理-6

    00:12:41分钟 |
  • 第11节

    scala基础知识讲解-知识回顾

    00:15:58分钟 |
  • 第12节

    nosql数据库mongodb安装

    00:04:57分钟 |
  • 第13节

    spring data for mongodb-简单连接mongodb

    00:07:52分钟 |
  • 第14节

    spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)

    00:36:20分钟 |
  • 第15节

    spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作

    00:36:17分钟 |
  • 第16节

    spring data for mongodb-分页查询

    00:13:32分钟 |
  • 第17节

    zookeeper集群安装

    00:13:41分钟 |
  • 第18节

    zookeeper基本介绍-1

    00:22:36分钟 |
  • 第19节

    zookeeper工作原理-选举流程(basic paxos算法)-2

    00:24:27分钟 |
  • 第20节

    zookeeper工作原理-选举流程(fast paxos算法)-3

    00:31:16分钟 |
  • 第21节

    kafka-背景及架构介绍

    00:12:28分钟 |
  • 第22节

    kafka集群安装以及测试

    00:14:29分钟 |
  • 第23节

    kafka数据发送与接收实现-java

    00:31:28分钟 |
  • 第24节

    hdfs单机安装部署

    00:18:51分钟 |
  • 第25节

    连接hdfs查询存储-java

    00:35:45分钟 |
  • 第26节

    机器学习基本线性代数介绍

    00:05:08分钟 |
  • 第27节

    IKAnalyzer中文分词工具介绍

    00:17:54分钟 |
  • 第28节

    IKAnalyzer中文分词工具结合java应用

    00:16:29分钟 |
  • 第29节

    Spark以及生态圈介绍

    00:11:45分钟 |
  • 第30节

    Spark运行架构介绍及原理之job,stage,task

    00:26:19分钟 |
  • 第31节

    Spark编程模型RDD设计以及运行原理

    00:15:48分钟 |
  • 第32节

    纯手写第一个Spark应用程序:WordCount

    00:23:57分钟 |
  • 第33节

    RDD常用函数介绍

    00:29:22分钟 |
  • 第34节

    Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化

    00:12:54分钟 |
  • 第35节

    Spark Streaming介绍

    00:12:56分钟 |
  • 第36节

    Spark Streaming+Kafka集成操作

    00:18:44分钟 |
  • 第37节

    avro结合maven使用,实现序列化和反序列化

    00:21:07分钟 |
  • 第38节

    Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习)

    [免费观看]
    00:13:59分钟 |
  • 第39节

    特征抽取:TF-IDF原理介绍

    [免费观看]
    00:17:49分钟 |
  • 第40节

    特征提取:TF-IDF代码实现计算

    [免费观看]
    00:26:37分钟 |
  • 第41节

    聚类算法:KMEANS原理介绍

    00:20:55分钟 |
  • 第42节

    聚类算法:KMEANS代码实现计算

    00:20:03分钟 |
  • 第43节

    其它Spark ML算法简单介绍

    00:03:48分钟 |
  • 第44节

    Spark连接Mongodb代码实现

    00:13:08分钟 |
  • 第45节

    Mesos总体架构介绍

    00:08:25分钟 |
  • 第46节

    Mesos安装部署

    00:12:04分钟 |
  • 第47节

    Spark on Mesos安装部署

    00:11:12分钟 |
  • 第48节

    系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)

    00:03:57分钟 |
  • 第49节

    项目代码:父类工程,管理各个jar的版本

    00:03:47分钟 |
  • 第50节

    项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化

    00:04:46分钟 |
  • 第51节

    项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka

    00:06:23分钟 |
  • 第52节

    项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb

    00:03:28分钟 |
  • 第53节

    项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs

    00:05:34分钟 |
  • 第54节

    项目代码:机器学习集合jar,主要用来存放record

    00:02:56分钟 |
  • 第55节

    项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算

    00:07:11分钟 |
  • 第56节

    项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算

    00:04:35分钟 |
  • 第57节

    项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka

    00:01:51分钟 |
  • 第58节

    Spark on Mesos部署提交参数介绍

    00:08:17分钟 |
  • 第59节

    Spark代码提交到Mesos运行(Spark-submit)

    00:07:13分钟 |
  • 第60节

    项目整体流程跑通,结果展示

    00:06:54分钟 |
  • 第61节

    Spark调优介绍

    00:08:01分钟 |
  • 第62节

    基于Spark的机器学习项目-智能客户系统实战课程总结

    00:04:12分钟 |
  • 第63节

    实际工作及面试注意问题

    00:03:45分钟 |
课程介绍


项目背景:
1、现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注。

2、大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,从 2016 年趋势看,机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。

因此我们对CRM进行了改造,主要有如下部分:
1、企业信息、商品信息来自互联网,机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。


根据图识,项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase,然后通过ETL工具初步转化筛选将数据存到mongodb,抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习,前端采用React Native,Native,后端采用Dubbo+Spring+java,机器学习采用Spark进行实现,本项目机器学习-spark代码运行在mesos上。

本课程我们只针对以上图示的浅蓝色部分内容(即与机器学习相关的内容),通过用真实的智能客户项目系统作为案例(案例附带源码,可以直接做二次开发),主要根据项目实例穿讲机器学习以及相关知识,包括有:数据提取,数据清洗以及分词,数据特征值提取、机器学习模型计算、数据分类等等,进行详细讲解。

本课程所需掌握的技术:java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb,由于每个技术需要掌握的程度不一样,对于我们用到的一些开源技术,课程中将会是简单介绍如何使用,不会着重讲解。课程重点讲解spark ml、spark Streaming,以及如何使用这些技术进行项目的实战,贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解



 

课程大纲
  • 第1节

    项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中

    [免费观看]
    00:09:43分钟 |
  • 第2节

    scala和IDE的安装以及使用以及maven插件的安装

    [免费观看]
    00:07:04分钟 |
  • 第3节

    Centos环境准备(java环境、hosts配置、防火墙关闭)

    [免费观看]
    00:06:24分钟 |
  • 第4节

    scala基础知识讲解-1

    [免费观看]
    00:08:51分钟 |
  • 第5节

    scala基础知识讲解-函数和闭包-2

    [免费观看]
    00:30:07分钟 |
  • 第6节

    scala基础知识讲解-数组和集合-3.1

    [免费观看]
    00:48:33分钟 |
  • 第7节

    scala基础知识讲解-数组和集合-3.2

    [免费观看]
    00:14:16分钟 |
  • 第8节

    scala基础知识讲解-类和对象-4

    00:23:06分钟 |
  • 第9节

    scala基础知识讲解-特征和模式匹配-5

    00:13:46分钟 |
  • 第10节

    scala基础知识讲解-正则表达式和异常处理-6

    00:12:41分钟 |
  • 第11节

    scala基础知识讲解-知识回顾

    00:15:58分钟 |
  • 第12节

    nosql数据库mongodb安装

    00:04:57分钟 |
  • 第13节

    spring data for mongodb-简单连接mongodb

    00:07:52分钟 |
  • 第14节

    spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)

    00:36:20分钟 |
  • 第15节

    spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作

    00:36:17分钟 |
  • 第16节

    spring data for mongodb-分页查询

    00:13:32分钟 |
  • 第17节

    zookeeper集群安装

    00:13:41分钟 |
  • 第18节

    zookeeper基本介绍-1

    00:22:36分钟 |
  • 第19节

    zookeeper工作原理-选举流程(basic paxos算法)-2

    00:24:27分钟 |
  • 第20节

    zookeeper工作原理-选举流程(fast paxos算法)-3

    00:31:16分钟 |
  • 第21节

    kafka-背景及架构介绍

    00:12:28分钟 |
  • 第22节

    kafka集群安装以及测试

    00:14:29分钟 |
  • 第23节

    kafka数据发送与接收实现-java

    00:31:28分钟 |
  • 第24节

    hdfs单机安装部署

    00:18:51分钟 |
  • 第25节

    连接hdfs查询存储-java

    00:35:45分钟 |
  • 第26节

    机器学习基本线性代数介绍

    00:05:08分钟 |
  • 第27节

    IKAnalyzer中文分词工具介绍

    00:17:54分钟 |
  • 第28节

    IKAnalyzer中文分词工具结合java应用

    00:16:29分钟 |
  • 第29节

    Spark以及生态圈介绍

    00:11:45分钟 |
  • 第30节

    Spark运行架构介绍及原理之job,stage,task

    00:26:19分钟 |
  • 第31节

    Spark编程模型RDD设计以及运行原理

    00:15:48分钟 |
  • 第32节

    纯手写第一个Spark应用程序:WordCount

    00:23:57分钟 |
  • 第33节

    RDD常用函数介绍

    00:29:22分钟 |
  • 第34节

    Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化

    00:12:54分钟 |
  • 第35节

    Spark Streaming介绍

    00:12:56分钟 |
  • 第36节

    Spark Streaming+Kafka集成操作

    00:18:44分钟 |
  • 第37节

    avro结合maven使用,实现序列化和反序列化

    00:21:07分钟 |
  • 第38节

    Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习)

    [免费观看]
    00:13:59分钟 |
  • 第39节

    特征抽取:TF-IDF原理介绍

    [免费观看]
    00:17:49分钟 |
  • 第40节

    特征提取:TF-IDF代码实现计算

    [免费观看]
    00:26:37分钟 |
  • 第41节

    聚类算法:KMEANS原理介绍

    00:20:55分钟 |
  • 第42节

    聚类算法:KMEANS代码实现计算

    00:20:03分钟 |
  • 第43节

    其它Spark ML算法简单介绍

    00:03:48分钟 |
  • 第44节

    Spark连接Mongodb代码实现

    00:13:08分钟 |
  • 第45节

    Mesos总体架构介绍

    00:08:25分钟 |
  • 第46节

    Mesos安装部署

    00:12:04分钟 |
  • 第47节

    Spark on Mesos安装部署

    00:11:12分钟 |
  • 第48节

    系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)

    00:03:57分钟 |
  • 第49节

    项目代码:父类工程,管理各个jar的版本

    00:03:47分钟 |
  • 第50节

    项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化

    00:04:46分钟 |
  • 第51节

    项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka

    00:06:23分钟 |
  • 第52节

    项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb

    00:03:28分钟 |
  • 第53节

    项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs

    00:05:34分钟 |
  • 第54节

    项目代码:机器学习集合jar,主要用来存放record

    00:02:56分钟 |
  • 第55节

    项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算

    00:07:11分钟 |
  • 第56节

    项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算

    00:04:35分钟 |
  • 第57节

    项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka

    00:01:51分钟 |
  • 第58节

    Spark on Mesos部署提交参数介绍

    00:08:17分钟 |
  • 第59节

    Spark代码提交到Mesos运行(Spark-submit)

    00:07:13分钟 |
  • 第60节

    项目整体流程跑通,结果展示

    00:06:54分钟 |
  • 第61节

    Spark调优介绍

    00:08:01分钟 |
  • 第62节

    基于Spark的机器学习项目-智能客户系统实战课程总结

    00:04:12分钟 |
  • 第63节

    实际工作及面试注意问题

    00:03:45分钟 |

相关课程

讲师简介

在知名互联网公司工作负责后台研发,之后深入到机器学习领域,主要是基于spark的机器学习。近几年一直带领团队研发机器学习项目,以及负责公司代码及服务架构。主要熟悉spark、hadoop、mongodb、flume、kafka、zookeeper等一些开源技术,熟悉scala、java、C#等一些编程语言。

学员动态

数据加载中,请稍后...