下载安卓APP
龙果安卓APP

学院首页 > 课程列表 > 大数据日志传输之Kafka实战

  • 章节
  • 提问
  • 手机观看

    扫码下载安卓APP

    龙果安卓APP

大数据日志传输之Kafka实战

1 - (免费) kafka实战之kafka课程简介 00:28:10分钟
2 - (免费) kafka实战之集群架构核心组件讲解 00:40:25分钟
3 - (免费) kafka实战之画图讲解集群架构 00:07:01分钟
4 - kafka实战之日志分段存储以及索引的设计 00:18:36分钟
5 - kafka过期日志清除和压缩标记清除算法 00:12:58分钟
6 - Kafka文件存储优化和zero-copy系统调用提高吞吐量 00:24:30分钟
7 - kafka实战集群容错之分区副本分配算法以及副本迁移动态平衡分区 00:26:46分钟
8 - kafka实战之伪集群搭建 00:18:16分钟
9 - kafka实战之集群操作以及元数据剖析实战 00:16:26分钟
10 - kafka实战之 java Consumer实战assign 00:15:34分钟
11 - kafka实战之 java Consumer实战subscribe 00:03:59分钟
12 - kafka实战之java Consumer 实战手动commit 00:06:23分钟
13 - kafka实战之 java Consumer 实战手动按照分区commit 00:08:17分钟
14 - kafka实战之 java Consumer 实战reblance 00:11:16分钟
15 - kafka实战之 java Consumer实战Flow Control 00:04:54分钟
16 - kafka实战之 java Consumer实战数据回溯手动指定timestamp和offset 00:10:39分钟
17 - kafka实战之 java Producer实战和CallBack 00:13:01分钟
18 - kafka实战之 java Producer实战拦截器 00:04:51分钟
19 - kafka实战之 java producer自定义partition 00:10:45分钟
20 - kafka实战之kafka集成protobuf序列化 00:35:38分钟
21 - kafka实战之kafka集成protobuf反序列化 00:10:35分钟
22 - kafka实战之分布式集群安装 00:26:45分钟
23 - kafka实战之性能基准测试实战 待更新
24 - Kafka实战之集成企业级框架springboot集成kafka 00:25:39分钟
25 - Kafka实战之集成数据收集框架FLume 待更新
26 - Kafka实战之集成实时计算框架框架SparkStreaming 待更新
27 - Kafka实战之集成实时计算框架Storm 待更新
28 - Kafka实战之集成数据收集框架Camel 待更新
29 - Kafka实战幂等性消息保证数据一致性设计 待更新
30 - Kafka实战exactly-once保证数据一致性剖析 待更新
31 - Kafka实战集群监控 Kafka Manage 待更新
32 - Kafka实战集群监控KafkaOffsetMonitor 待更新
33 - kafka项目实战电商项目的用户行为画像(1) 待更新
34 - kafka项目实战电商项目的用户行为画像(2) 待更新
35 - kafka实战集群安全配置 待更新
36 - Kafka集群调优实战 待更新
37 - kafka实战集群故障troubleshooting 待更新
38 - kafka源码解析(1) 待更新

大数据日志传输之Kafka实战

优惠价: 399

难    度:中级

课    时: 38

讲    师:anto

     购买咨询

课程大纲
  • 第1节

    kafka实战之kafka课程简介

    [免费观看]
    00:28:10分钟 |
  • 第2节

    kafka实战之集群架构核心组件讲解

    [免费观看]
    00:40:25分钟 |
  • 第3节

    kafka实战之画图讲解集群架构

    [免费观看]
    00:07:01分钟 |
  • 第4节

    kafka实战之日志分段存储以及索引的设计

    00:18:36分钟 |
  • 第5节

    kafka过期日志清除和压缩标记清除算法

    00:12:58分钟 |
  • 第6节

    Kafka文件存储优化和zero-copy系统调用提高吞吐量

    00:24:30分钟 |
  • 第7节

    kafka实战集群容错之分区副本分配算法以及副本迁移动态平衡分区

    00:26:46分钟 |
  • 第8节

    kafka实战之伪集群搭建

    00:18:16分钟 |
  • 第9节

    kafka实战之集群操作以及元数据剖析实战

    00:16:26分钟 |
  • 第10节

    kafka实战之 java Consumer实战assign

    00:15:34分钟 |
  • 第11节

    kafka实战之 java Consumer实战subscribe

    00:03:59分钟 |
  • 第12节

    kafka实战之java Consumer 实战手动commit

    00:06:23分钟 |
  • 第13节

    kafka实战之 java Consumer 实战手动按照分区commit

    00:08:17分钟 |
  • 第14节

    kafka实战之 java Consumer 实战reblance

    00:11:16分钟 |
  • 第15节

    kafka实战之 java Consumer实战Flow Control

    00:04:54分钟 |
  • 第16节

    kafka实战之 java Consumer实战数据回溯手动指定timestamp和offset

    00:10:39分钟 |
  • 第17节

    kafka实战之 java Producer实战和CallBack

    00:13:01分钟 |
  • 第18节

    kafka实战之 java Producer实战拦截器

    00:04:51分钟 |
  • 第19节

    kafka实战之 java producer自定义partition

    00:10:45分钟 |
  • 第20节

    kafka实战之kafka集成protobuf序列化

    00:35:38分钟 |
  • 第21节

    kafka实战之kafka集成protobuf反序列化

    00:10:35分钟 |
  • 第22节

    kafka实战之分布式集群安装

    00:26:45分钟 |
  • 第23节

    kafka实战之性能基准测试实战

    待更新
  • 第24节

    Kafka实战之集成企业级框架springboot集成kafka

    00:25:39分钟 |
  • 第25节

    Kafka实战之集成数据收集框架FLume

    待更新
  • 第26节

    Kafka实战之集成实时计算框架框架SparkStreaming

    待更新
  • 第27节

    Kafka实战之集成实时计算框架Storm

    待更新
  • 第28节

    Kafka实战之集成数据收集框架Camel

    待更新
  • 第29节

    Kafka实战幂等性消息保证数据一致性设计

    待更新
  • 第30节

    Kafka实战exactly-once保证数据一致性剖析

    待更新
  • 第31节

    Kafka实战集群监控 Kafka Manage

    待更新
  • 第32节

    Kafka实战集群监控KafkaOffsetMonitor

    待更新
  • 第33节

    kafka项目实战电商项目的用户行为画像(1)

    待更新
  • 第34节

    kafka项目实战电商项目的用户行为画像(2)

    待更新
  • 第35节

    kafka实战集群安全配置

    待更新
  • 第36节

    Kafka集群调优实战

    待更新
  • 第37节

    kafka实战集群故障troubleshooting

    待更新
  • 第38节

    kafka源码解析(1)

    待更新
课程介绍

大数据技术越来越被广泛应用,在互联网技术中Elasticsearch,redis,solr,Kafka等都被不断用到了系统架构中.作为一个技术追求者,不断补充新的技术来充实自己,让自己的架构设计层次不被技术而局限. 让你在系统架构时更的心应手.希望本课程Kafka高级实战能够帮助到大家.


Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。

Kafka 在系统设计已经将消息的接受,消息的存储,消息的查询,消息的传输等做了很多优化.

首先,kafka的开发者们认为不需要在内存里缓存什么数据,操作系统的文件缓存已经足够完善和强大,顺序读写的性能是非常高效的。kafka的数据只会顺序append,数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器,这样服务器就不用记录消息的投递过程,每个客户端都自己知道自己下一次应该从什么地方什么位置读取消息,消息的投递过程也是采用客户端主动pull的模型,这样大大减轻了服务器的负担。Kafka还强调减少数据的序列化和拷贝开销,它会将一些消息组织成Message Set做批量存储和发送,并且客户端在pull数据的时候,尽量以zero-copy的方式传输,利用sendfile(对应java里的 FileChannel.transferTo/transferFrom)这样的高级IO函数来减少拷贝开销。可见,kafka是一个精心设计,特定于某些应用的MQ系统,这种偏向特定领域的MQ系统我估计会越来越多,垂直化的产品策略值的考虑。


本套课程围绕Kafka架构详细讲解kafka的核心 架构组件,broker,consumer,producer,以及日志的分段存储,稀疏索引,副本平衡,重分区, 数据同步,Kafka的核心组控制器和消费者控制器等机制.全面讲解java 最新版的api ,指定分区消费,流控制,手动commit,异步Callback,同步的按照Partition进行批量commit等.实战集成Springboot,spring,以及会讲解到最新的exactly-once, 集成序列化框架protobuf,集群的架构容错,集群的调优,以及数据回溯,实战kafka集群的安全,分布式集群搭建,集成各种常用的框架Apache Camel ,Spark Streaming, Storm.Kafka的核心源码讲解.以及Kafka的实战调优.



课程大纲
  • 第1节

    kafka实战之kafka课程简介

    [免费观看]
    00:28:10分钟 |
  • 第2节

    kafka实战之集群架构核心组件讲解

    [免费观看]
    00:40:25分钟 |
  • 第3节

    kafka实战之画图讲解集群架构

    [免费观看]
    00:07:01分钟 |
  • 第4节

    kafka实战之日志分段存储以及索引的设计

    00:18:36分钟 |
  • 第5节

    kafka过期日志清除和压缩标记清除算法

    00:12:58分钟 |
  • 第6节

    Kafka文件存储优化和zero-copy系统调用提高吞吐量

    00:24:30分钟 |
  • 第7节

    kafka实战集群容错之分区副本分配算法以及副本迁移动态平衡分区

    00:26:46分钟 |
  • 第8节

    kafka实战之伪集群搭建

    00:18:16分钟 |
  • 第9节

    kafka实战之集群操作以及元数据剖析实战

    00:16:26分钟 |
  • 第10节

    kafka实战之 java Consumer实战assign

    00:15:34分钟 |
  • 第11节

    kafka实战之 java Consumer实战subscribe

    00:03:59分钟 |
  • 第12节

    kafka实战之java Consumer 实战手动commit

    00:06:23分钟 |
  • 第13节

    kafka实战之 java Consumer 实战手动按照分区commit

    00:08:17分钟 |
  • 第14节

    kafka实战之 java Consumer 实战reblance

    00:11:16分钟 |
  • 第15节

    kafka实战之 java Consumer实战Flow Control

    00:04:54分钟 |
  • 第16节

    kafka实战之 java Consumer实战数据回溯手动指定timestamp和offset

    00:10:39分钟 |
  • 第17节

    kafka实战之 java Producer实战和CallBack

    00:13:01分钟 |
  • 第18节

    kafka实战之 java Producer实战拦截器

    00:04:51分钟 |
  • 第19节

    kafka实战之 java producer自定义partition

    00:10:45分钟 |
  • 第20节

    kafka实战之kafka集成protobuf序列化

    00:35:38分钟 |
  • 第21节

    kafka实战之kafka集成protobuf反序列化

    00:10:35分钟 |
  • 第22节

    kafka实战之分布式集群安装

    00:26:45分钟 |
  • 第23节

    kafka实战之性能基准测试实战

    待更新
  • 第24节

    Kafka实战之集成企业级框架springboot集成kafka

    00:25:39分钟 |
  • 第25节

    Kafka实战之集成数据收集框架FLume

    待更新
  • 第26节

    Kafka实战之集成实时计算框架框架SparkStreaming

    待更新
  • 第27节

    Kafka实战之集成实时计算框架Storm

    待更新
  • 第28节

    Kafka实战之集成数据收集框架Camel

    待更新
  • 第29节

    Kafka实战幂等性消息保证数据一致性设计

    待更新
  • 第30节

    Kafka实战exactly-once保证数据一致性剖析

    待更新
  • 第31节

    Kafka实战集群监控 Kafka Manage

    待更新
  • 第32节

    Kafka实战集群监控KafkaOffsetMonitor

    待更新
  • 第33节

    kafka项目实战电商项目的用户行为画像(1)

    待更新
  • 第34节

    kafka项目实战电商项目的用户行为画像(2)

    待更新
  • 第35节

    kafka实战集群安全配置

    待更新
  • 第36节

    Kafka集群调优实战

    待更新
  • 第37节

    kafka实战集群故障troubleshooting

    待更新
  • 第38节

    kafka源码解析(1)

    待更新

相关课程

讲师简介

本人从事软件研发多年,工作主要负责大数据系统架构设计和技术落地,擅长系统设计,如大数据离线系统,大数据分析系统,秒级实时计算系统,分布式并行计算。热爱技术,乐于分享!

学员动态

数据加载中,请稍后...