下载安卓APP
龙果安卓APP

学院首页 > 课程列表 > 汪文君Apache Flume实战视频

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

汪文君Apache Flume实战视频

1 - (免费) 汪文君Flume深入浅出实战视频-01-ApacheFlume的介绍 00:14:52分钟
2 - (免费) 汪文君Flume深入浅出实战视频-02-环境搭建,快速入门,快速启动一个Agent 00:24:39分钟
3 - (免费) 汪文君Flume深入浅出实战视频-03-Apache Flume的配置,Avro Agent的详细介绍 00:17:07分钟
4 - (免费) 汪文君Flume深入浅出实战视频-04-Apache Flume Agent的四种架构介绍 00:21:46分钟
5 - (免费) 汪文君Flume深入浅出实战视频-05-Apache Flume如何保证数据不丢失,源码级别的分析 00:36:41分钟
6 - 汪文君Flume深入浅出实战视频-06-Apache Flume Avro Source详细介绍以及IpFilter功能介绍 00:14:20分钟
7 - 汪文君Flume深入浅出实战视频-07-Apache Flume ExecSource和SeqSource实战讲解 00:23:58分钟
8 - 汪文君Flume深入浅出实战视频-08-Apache Flume SpoolingSource实战讲解 00:23:10分钟
9 - 汪文君Flume深入浅出实战视频-09-Apache Flume TailDirSource,NetCatSource实战讲解 00:26:27分钟
10 - 汪文君Flume深入浅出实战视频-10-Apache Flume SyslogSource(TCP,UDP,multiport)实战讲解 00:24:18分钟
11 - 汪文君Flume深入浅出实战视频-11-Apache Flume HttpSource以及SSL加密source实战讲解 00:25:10分钟
12 - 汪文君Flume深入浅出实战视频-12-Apache Flume MemoryChannel,PseudoChannel详细介绍 00:17:45分钟
13 - 汪文君Flume深入浅出实战视频-13-Apache Flume JdbcChannel的详细介绍,以及解决包冲突的问题 00:18:55分钟
14 - 汪文君Flume深入浅出实战视频-14-Apache Flume FileChannel和SpillableMemoryChannel实战讲解 00:22:07分钟
15 - 汪文君Flume深入浅出实战视频-15-Apache Flume Selector之Replicating多路复制实战详解 00:22:07分钟
16 - 汪文君Flume深入浅出实战视频-16-Apache Flume Selector之Multiplexing多路复用实战详解 00:23:31分钟
17 - 汪文君Flume深入浅出实战视频-17-Apache Flume NullSink,LoggerSink,AvroSink回顾 00:11:22分钟
18 - 汪文君Flume深入浅出实战视频-18-Apache Flume FileRollSink实战讲解 00:13:09分钟
19 - 汪文君Flume深入浅出实战视频-19-Apache Flume HdfsSink实战讲解 00:23:48分钟
20 - 汪文君Flume深入浅出实战视频-20-Apache Flume Agent使用sinkgroup实现高可用failover功能实战讲解 00:25:05分钟
21 - 汪文君Flume深入浅出实战视频-21-Apache Flume Agent使用sinkgroup实现负载均衡loadbalance功能实战讲解 00:09:59分钟
22 - 汪文君Flume深入浅出实战视频-22-Apache Flume HiveSink实战讲解(期间踩了很多坑) 00:24:39分钟
23 - 汪文君Flume深入浅出实战视频-23-Apache Flume Interceptors介绍以及Timestamp Interceptor实战讲解 00:18:08分钟
24 - 汪文君Flume深入浅出实战视频-24-Apache Flume HostInterceptors,StaticInterceptors,UUIDInterceptors实战详解 00:20:03分钟
25 - 汪文君Flume深入浅出实战视频-25-Apache Flume SearchAndReplace Interceptors实战详解 00:10:26分钟
26 - 汪文君Flume深入浅出实战视频-26-Apache Flume Regex Filtering Interceptor实战详解(非常重要) 00:24:00分钟
27 - 汪文君Flume深入浅出实战视频-27-Apache Flume Regex Extractor Interceptor实战详解 00:09:19分钟
28 - 汪文君Flume深入浅出实战视频-28-Apache Flume Monitoring by JMX实战详解 00:16:45分钟
29 - 汪文君Flume深入浅出实战视频-29-Apache Flume Monitoring by HTTP实战详解 00:10:01分钟
30 - 汪文君Flume深入浅出实战视频-30-Apache Flume自定义Source实战练习,自定义Flume插件 00:40:31分钟
31 - 汪文君Flume深入浅出实战视频-31-Apache Flume自定义Sink实战练习,自定义Flume插件 00:17:14分钟
32 - 汪文君Flume深入浅出实战视频-32-Apache Flume自定义Interceptors实战练习,自定义Flume插件 00:16:37分钟
33 - 汪文君Flume深入浅出实战视频-33-InfluxDB介绍,安装,Console操作,Http操作,Admin Panel 00:17:59分钟
34 - 汪文君Flume深入浅出实战视频-34-Grafana的介绍以及创建一个Panel 00:14:36分钟
35 - 汪文君Flume深入浅出实战视频-35-Apache Flume综合实战练习之功能需求描述 00:06:31分钟
36 - 汪文君Flume深入浅出实战视频-36-Apache Flume综合实战练习之InfluxDbSink插件开发 00:36:21分钟
37 - 汪文君Flume深入浅出实战视频-37-Apache Flume综合实战练习之配置调试InfluxDbSink插件 00:15:16分钟
38 - 汪文君Flume深入浅出实战视频-38-Apache Flume综合实战练习之通过JMX获取程序CPU,内存的实时使用情况 00:16:42分钟
39 - 汪文君Flume深入浅出实战视频-39-Apache Flume综合实战练习之JmxPerformanceSource插件开发及调试 00:33:06分钟
40 - 汪文君Flume深入浅出实战视频-40-Apache Flume综合实战练习之配置Granfana显示Flume采集过来的性能数据 00:09:08分钟
41 - 汪文君Flume深入浅出实战视频-41-Apache Flume综合实战练习之统计分析业务受理数据 00:30:04分钟
42 - 汪文君Flume深入浅出实战视频-42-Apache Flume总结 00:05:45分钟

汪文君Apache Flume实战视频

优惠价: 158

难    度:中级

课    时: 42

讲    师:汪文君

     购买咨询

课程大纲
  • 第1节

    汪文君Flume深入浅出实战视频-01-ApacheFlume的介绍

    [免费观看]
    00:14:52分钟 |
  • 第2节

    汪文君Flume深入浅出实战视频-02-环境搭建,快速入门,快速启动一个Agent

    [免费观看]
    00:24:39分钟 |
  • 第3节

    汪文君Flume深入浅出实战视频-03-Apache Flume的配置,Avro Agent的详细介绍

    [免费观看]
    00:17:07分钟 |
  • 第4节

    汪文君Flume深入浅出实战视频-04-Apache Flume Agent的四种架构介绍

    [免费观看]
    00:21:46分钟 |
  • 第5节

    汪文君Flume深入浅出实战视频-05-Apache Flume如何保证数据不丢失,源码级别的分析

    [免费观看]
    00:36:41分钟 |
  • 第6节

    汪文君Flume深入浅出实战视频-06-Apache Flume Avro Source详细介绍以及IpFilter功能介绍

    00:14:20分钟 |
  • 第7节

    汪文君Flume深入浅出实战视频-07-Apache Flume ExecSource和SeqSource实战讲解

    00:23:58分钟 |
  • 第8节

    汪文君Flume深入浅出实战视频-08-Apache Flume SpoolingSource实战讲解

    00:23:10分钟 |
  • 第9节

    汪文君Flume深入浅出实战视频-09-Apache Flume TailDirSource,NetCatSource实战讲解

    00:26:27分钟 |
  • 第10节

    汪文君Flume深入浅出实战视频-10-Apache Flume SyslogSource(TCP,UDP,multiport)实战讲解

    00:24:18分钟 |
  • 第11节

    汪文君Flume深入浅出实战视频-11-Apache Flume HttpSource以及SSL加密source实战讲解

    00:25:10分钟 |
  • 第12节

    汪文君Flume深入浅出实战视频-12-Apache Flume MemoryChannel,PseudoChannel详细介绍

    00:17:45分钟 |
  • 第13节

    汪文君Flume深入浅出实战视频-13-Apache Flume JdbcChannel的详细介绍,以及解决包冲突的问题

    00:18:55分钟 |
  • 第14节

    汪文君Flume深入浅出实战视频-14-Apache Flume FileChannel和SpillableMemoryChannel实战讲解

    00:22:07分钟 |
  • 第15节

    汪文君Flume深入浅出实战视频-15-Apache Flume Selector之Replicating多路复制实战详解

    00:22:07分钟 |
  • 第16节

    汪文君Flume深入浅出实战视频-16-Apache Flume Selector之Multiplexing多路复用实战详解

    00:23:31分钟 |
  • 第17节

    汪文君Flume深入浅出实战视频-17-Apache Flume NullSink,LoggerSink,AvroSink回顾

    00:11:22分钟 |
  • 第18节

    汪文君Flume深入浅出实战视频-18-Apache Flume FileRollSink实战讲解

    00:13:09分钟 |
  • 第19节

    汪文君Flume深入浅出实战视频-19-Apache Flume HdfsSink实战讲解

    00:23:48分钟 |
  • 第20节

    汪文君Flume深入浅出实战视频-20-Apache Flume Agent使用sinkgroup实现高可用failover功能实战讲解

    00:25:05分钟 |
  • 第21节

    汪文君Flume深入浅出实战视频-21-Apache Flume Agent使用sinkgroup实现负载均衡loadbalance功能实战讲解

    00:09:59分钟 |
  • 第22节

    汪文君Flume深入浅出实战视频-22-Apache Flume HiveSink实战讲解(期间踩了很多坑)

    00:24:39分钟 |
  • 第23节

    汪文君Flume深入浅出实战视频-23-Apache Flume Interceptors介绍以及Timestamp Interceptor实战讲解

    00:18:08分钟 |
  • 第24节

    汪文君Flume深入浅出实战视频-24-Apache Flume HostInterceptors,StaticInterceptors,UUIDInterceptors实战详解

    00:20:03分钟 |
  • 第25节

    汪文君Flume深入浅出实战视频-25-Apache Flume SearchAndReplace Interceptors实战详解

    00:10:26分钟 |
  • 第26节

    汪文君Flume深入浅出实战视频-26-Apache Flume Regex Filtering Interceptor实战详解(非常重要)

    00:24:00分钟 |
  • 第27节

    汪文君Flume深入浅出实战视频-27-Apache Flume Regex Extractor Interceptor实战详解

    00:09:19分钟 |
  • 第28节

    汪文君Flume深入浅出实战视频-28-Apache Flume Monitoring by JMX实战详解

    00:16:45分钟 |
  • 第29节

    汪文君Flume深入浅出实战视频-29-Apache Flume Monitoring by HTTP实战详解

    00:10:01分钟 |
  • 第30节

    汪文君Flume深入浅出实战视频-30-Apache Flume自定义Source实战练习,自定义Flume插件

    00:40:31分钟 |
  • 第31节

    汪文君Flume深入浅出实战视频-31-Apache Flume自定义Sink实战练习,自定义Flume插件

    00:17:14分钟 |
  • 第32节

    汪文君Flume深入浅出实战视频-32-Apache Flume自定义Interceptors实战练习,自定义Flume插件

    00:16:37分钟 |
  • 第33节

    汪文君Flume深入浅出实战视频-33-InfluxDB介绍,安装,Console操作,Http操作,Admin Panel

    00:17:59分钟 |
  • 第34节

    汪文君Flume深入浅出实战视频-34-Grafana的介绍以及创建一个Panel

    00:14:36分钟 |
  • 第35节

    汪文君Flume深入浅出实战视频-35-Apache Flume综合实战练习之功能需求描述

    00:06:31分钟 |
  • 第36节

    汪文君Flume深入浅出实战视频-36-Apache Flume综合实战练习之InfluxDbSink插件开发

    00:36:21分钟 |
  • 第37节

    汪文君Flume深入浅出实战视频-37-Apache Flume综合实战练习之配置调试InfluxDbSink插件

    00:15:16分钟 |
  • 第38节

    汪文君Flume深入浅出实战视频-38-Apache Flume综合实战练习之通过JMX获取程序CPU,内存的实时使用情况

    00:16:42分钟 |
  • 第39节

    汪文君Flume深入浅出实战视频-39-Apache Flume综合实战练习之JmxPerformanceSource插件开发及调试

    00:33:06分钟 |
  • 第40节

    汪文君Flume深入浅出实战视频-40-Apache Flume综合实战练习之配置Granfana显示Flume采集过来的性能数据

    00:09:08分钟 |
  • 第41节

    汪文君Flume深入浅出实战视频-41-Apache Flume综合实战练习之统计分析业务受理数据

    00:30:04分钟 |
  • 第42节

    汪文君Flume深入浅出实战视频-42-Apache Flume总结

    00:05:45分钟 |
课程介绍

温馨提示:凡是购买了本课程的学员,可凭订单信息联系客服申请加入(汪文君课程付费学员群:638440824)


Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。 

Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 。Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统),支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。 

Flume-og采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。
Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper,变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理(称为 Runner)。 在 Flume-og 中,读入线程同样做写出工作(除了故障重试)。如果写出慢的话(不是完全失败),它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。


Agent主要由:source,channel,sink三个组件组成.
Source:
从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channal,Flume提供多种数据接收的方式,比如Avro,Thrift,twitter1%等
Channel:
channel是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着一共桥梁的作用,channal是一个完整的事务,这一点保证了数据在收发的时候的一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memort channel等.
sink:

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase.



课程大纲
  • 第1节

    汪文君Flume深入浅出实战视频-01-ApacheFlume的介绍

    [免费观看]
    00:14:52分钟 |
  • 第2节

    汪文君Flume深入浅出实战视频-02-环境搭建,快速入门,快速启动一个Agent

    [免费观看]
    00:24:39分钟 |
  • 第3节

    汪文君Flume深入浅出实战视频-03-Apache Flume的配置,Avro Agent的详细介绍

    [免费观看]
    00:17:07分钟 |
  • 第4节

    汪文君Flume深入浅出实战视频-04-Apache Flume Agent的四种架构介绍

    [免费观看]
    00:21:46分钟 |
  • 第5节

    汪文君Flume深入浅出实战视频-05-Apache Flume如何保证数据不丢失,源码级别的分析

    [免费观看]
    00:36:41分钟 |
  • 第6节

    汪文君Flume深入浅出实战视频-06-Apache Flume Avro Source详细介绍以及IpFilter功能介绍

    00:14:20分钟 |
  • 第7节

    汪文君Flume深入浅出实战视频-07-Apache Flume ExecSource和SeqSource实战讲解

    00:23:58分钟 |
  • 第8节

    汪文君Flume深入浅出实战视频-08-Apache Flume SpoolingSource实战讲解

    00:23:10分钟 |
  • 第9节

    汪文君Flume深入浅出实战视频-09-Apache Flume TailDirSource,NetCatSource实战讲解

    00:26:27分钟 |
  • 第10节

    汪文君Flume深入浅出实战视频-10-Apache Flume SyslogSource(TCP,UDP,multiport)实战讲解

    00:24:18分钟 |
  • 第11节

    汪文君Flume深入浅出实战视频-11-Apache Flume HttpSource以及SSL加密source实战讲解

    00:25:10分钟 |
  • 第12节

    汪文君Flume深入浅出实战视频-12-Apache Flume MemoryChannel,PseudoChannel详细介绍

    00:17:45分钟 |
  • 第13节

    汪文君Flume深入浅出实战视频-13-Apache Flume JdbcChannel的详细介绍,以及解决包冲突的问题

    00:18:55分钟 |
  • 第14节

    汪文君Flume深入浅出实战视频-14-Apache Flume FileChannel和SpillableMemoryChannel实战讲解

    00:22:07分钟 |
  • 第15节

    汪文君Flume深入浅出实战视频-15-Apache Flume Selector之Replicating多路复制实战详解

    00:22:07分钟 |
  • 第16节

    汪文君Flume深入浅出实战视频-16-Apache Flume Selector之Multiplexing多路复用实战详解

    00:23:31分钟 |
  • 第17节

    汪文君Flume深入浅出实战视频-17-Apache Flume NullSink,LoggerSink,AvroSink回顾

    00:11:22分钟 |
  • 第18节

    汪文君Flume深入浅出实战视频-18-Apache Flume FileRollSink实战讲解

    00:13:09分钟 |
  • 第19节

    汪文君Flume深入浅出实战视频-19-Apache Flume HdfsSink实战讲解

    00:23:48分钟 |
  • 第20节

    汪文君Flume深入浅出实战视频-20-Apache Flume Agent使用sinkgroup实现高可用failover功能实战讲解

    00:25:05分钟 |
  • 第21节

    汪文君Flume深入浅出实战视频-21-Apache Flume Agent使用sinkgroup实现负载均衡loadbalance功能实战讲解

    00:09:59分钟 |
  • 第22节

    汪文君Flume深入浅出实战视频-22-Apache Flume HiveSink实战讲解(期间踩了很多坑)

    00:24:39分钟 |
  • 第23节

    汪文君Flume深入浅出实战视频-23-Apache Flume Interceptors介绍以及Timestamp Interceptor实战讲解

    00:18:08分钟 |
  • 第24节

    汪文君Flume深入浅出实战视频-24-Apache Flume HostInterceptors,StaticInterceptors,UUIDInterceptors实战详解

    00:20:03分钟 |
  • 第25节

    汪文君Flume深入浅出实战视频-25-Apache Flume SearchAndReplace Interceptors实战详解

    00:10:26分钟 |
  • 第26节

    汪文君Flume深入浅出实战视频-26-Apache Flume Regex Filtering Interceptor实战详解(非常重要)

    00:24:00分钟 |
  • 第27节

    汪文君Flume深入浅出实战视频-27-Apache Flume Regex Extractor Interceptor实战详解

    00:09:19分钟 |
  • 第28节

    汪文君Flume深入浅出实战视频-28-Apache Flume Monitoring by JMX实战详解

    00:16:45分钟 |
  • 第29节

    汪文君Flume深入浅出实战视频-29-Apache Flume Monitoring by HTTP实战详解

    00:10:01分钟 |
  • 第30节

    汪文君Flume深入浅出实战视频-30-Apache Flume自定义Source实战练习,自定义Flume插件

    00:40:31分钟 |
  • 第31节

    汪文君Flume深入浅出实战视频-31-Apache Flume自定义Sink实战练习,自定义Flume插件

    00:17:14分钟 |
  • 第32节

    汪文君Flume深入浅出实战视频-32-Apache Flume自定义Interceptors实战练习,自定义Flume插件

    00:16:37分钟 |
  • 第33节

    汪文君Flume深入浅出实战视频-33-InfluxDB介绍,安装,Console操作,Http操作,Admin Panel

    00:17:59分钟 |
  • 第34节

    汪文君Flume深入浅出实战视频-34-Grafana的介绍以及创建一个Panel

    00:14:36分钟 |
  • 第35节

    汪文君Flume深入浅出实战视频-35-Apache Flume综合实战练习之功能需求描述

    00:06:31分钟 |
  • 第36节

    汪文君Flume深入浅出实战视频-36-Apache Flume综合实战练习之InfluxDbSink插件开发

    00:36:21分钟 |
  • 第37节

    汪文君Flume深入浅出实战视频-37-Apache Flume综合实战练习之配置调试InfluxDbSink插件

    00:15:16分钟 |
  • 第38节

    汪文君Flume深入浅出实战视频-38-Apache Flume综合实战练习之通过JMX获取程序CPU,内存的实时使用情况

    00:16:42分钟 |
  • 第39节

    汪文君Flume深入浅出实战视频-39-Apache Flume综合实战练习之JmxPerformanceSource插件开发及调试

    00:33:06分钟 |
  • 第40节

    汪文君Flume深入浅出实战视频-40-Apache Flume综合实战练习之配置Granfana显示Flume采集过来的性能数据

    00:09:08分钟 |
  • 第41节

    汪文君Flume深入浅出实战视频-41-Apache Flume综合实战练习之统计分析业务受理数据

    00:30:04分钟 |
  • 第42节

    汪文君Flume深入浅出实战视频-42-Apache Flume总结

    00:05:45分钟 |

相关课程

讲师简介

十年的软件开发以及项目管理经验,擅长高并发程序设计,以及大数据分布式程序架构

学员动态

数据加载中,请稍后...