本篇文章为大家展示了Kafka的消息记录留存策略及配置是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
创新互联-专业网站定制、快速模板网站建设、高性价比洪湖网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式洪湖网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖洪湖地区。费用合理售后完善,十载实体公司更值得信赖。
broker中的几个重要配置项
log.retention.check.interval.ms
log.retention.hours
log.segment.bytes
log.roll.hours
消息记录留存执行基本逻辑
kafka的消息存放在segment文件中
kafka处理过期数据的操作对象是segment,处理方式为压缩或删除,或压缩与删除联合
写入数据
1.1 当前partition收到producer第一条要记录的消息, 如果没有segment,则kafka会新建segment
1.2 检查要写入的segment最后一条插入数据的时间戳: 如果大小大于log.segment.bytes配置的大小,则不再写入,并创建新的segment,并将写入游标指向新建的segment
1.3 检查要写入的segment文件的大小: 如果segment的创建时间距当前时间大于log.roll.hours配置的时间,则不再写入,并创建新的segment,并将写入游标指向新建的segment
1.4 写入数据到segment文件
定时检查并处理过期segment文件
2.1 kafka根据log.retention.check.interval.ms配置项发起定时任务: 定时检查所有的segment
2.2 检查segment是否符合执行过期处理的条件,如果segment最近时间戳距现在时间大于log.retention.hours配置时间,则会删除该segment文件
上述内容就是Kafka的消息记录留存策略及配置是怎样的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
分享题目:Kafka的消息记录留存策略及配置是怎样的
文章位置:http://scyingshan.cn/article/johsdd.html