正文 

当前位置： 首页 > 技术 > java教程

干货分享！kafka消息不丢失

程序员超时空 程序员超时空     2022-12-11     602

关键词：

拼多多（三面）

面试前

面完蚂蚁后，早就听闻拼多多这个独角兽，决定也去面一把。首先我在脉脉找了一个拼多多的HR，加了微信聊了下，发了简历便开始我的拼多多面试之旅。这里要非常感谢拼多多HR小姐姐，从面试内推到offer确认一直都在帮我，人真的很nice。

拼多多：一面

  1. 为啥蚂蚁只待了三个月？没转正？
  2. Java中的HashMap、TreeMap解释下？
  3. TreeMap查询写入的时间复杂度多少？
  4. HashMap多线程有什么问题？
  5. CAS和synchronize有什么区别？都用synchronize不行么？
  6. 如果要保证线程安全怎么办？(ConcurrentHashMap)
  7. ConcurrentHashMap怎么实现线程安全的？
  8. get需要加锁么，为什么？
  9. volatile的作用是什么？
  10. 底层怎么实现的？
  11. 在多核CPU下，可见性怎么保证？
  12. 聊项目，系统之间是怎么交互的？
  13. 系统并发多少，怎么优化？
  14. 给我一张纸，画了一个九方格，都填了数字，给一个MN矩阵，从1开始逆时针打印这MN个数，要求时间复杂度尽可能低
  15. 可以先说下你的思路(想起来了，说了什么时候要变换方向的条件，向右、向下、向左、向上，依此循环)
  16. 有什么想问我的？

拼多多：二面

  1. 自我介绍下
  2. 手上还有其他offer么？
  3. 部门组织结构是怎样的？
  4. 系统有哪些模块，每个模块用了哪些技术，数据怎么流转的？
  5. 链路追踪的信息是怎么传递的？
  6. SpanId怎么保证唯一性？
  7. RpcContext是在什么维度传递的？
  8. Dubbo的远程调用怎么实现的？
  9. Spring的单例是怎么实现的？
  10. 为什么要单独实现一个服务治理框架？
  11. 谁主导的？内部还在使用么？
  12. 逆向有想过怎么做成通用么？
  13. 有什么想问的么？

拼多多：三面

二面老大面完后就直接HR面了，主要问了些职业发展、是否有其他offer、以及入职意向等问题，顺便说了下公司的福利待遇等，都比较常规啦。不过要说的是手上有其他offer或者大厂经历会有一定加分。

拼多多面试小结

拼多多的面试流程就简单许多，毕竟是一个成立三年多的公司。面试难度中规中矩，只要基础扎实应该不是问题。但不得不说工作强度很大，开始面试前HR就提前和我确认能否接受这样强度的工作，想来的老铁还是要做好准备

字节跳动

面试前

头条的面试是三家里最专业的，每次面试前有专门的HR和你约时间，确定OK后再进行面试。每次都是通过视频面试，因为都是之前都是电话面或现场面，所以视频面试还是有点不自然。也有人觉得视频面试体验很赞，当然萝卜青菜各有所爱。最坑的二面的时候对方面试官的网络老是掉线，最后很冤枉的挂了（当然有一些点答得不好也是原因之一）。所以还是有点遗憾的。

字节跳动：一面

  1. 先自我介绍下
  2. 聊项目，逆向系统是什么意思
  3. 聊项目，逆向系统用了哪些技术
  4. 线程池的线程数怎么确定？
  5. 如果是IO操作为主怎么确定？
  6. 如果计算型操作又怎么确定？
  7. Redis熟悉么，了解哪些数据结构?
  8. 跳表的查询过程是怎么样的，查询和插入的时间复杂度?
  9. 红黑树了解么，时间复杂度?
  10. 既然两个数据结构时间复杂度都是O(logN)，zset为什么不用红黑树
  11. 点了点头，说下Dubbo的原理?
  12. CAS了解么？
  13. 那我们做一道题吧，数组A，2*n个元素，n个奇数、n个偶数，设计一个算法，使得数组奇数下标位置放置的都是奇数，偶数下标位置放置的都是偶数
  14. 先说下你的思路
  15. 下一个奇数？怎么找？
  16. 有思路么？
  17. 你这样时间复杂度有点高，如果要求O(N)要怎么做
  18. 时间差不多了，先到这吧。你有什么想问我的？

字节跳动：二面

  1. 面试官和蔼很多，你先介绍下自己吧
  2. 你对服务治理怎么理解的？
  3. 项目中的限流怎么实现的？
  4. 具体怎么实现的？
  5. 如果突然很多线程同时请求令牌，有什么问题？
  6. 怎么解决呢？
  7. 如果不用消息队列怎么解决？
  8. 分布式追踪的上下文是怎么存储和传递的？
  9. Dubbo的RpcContext是怎么传递的？
  10. 你说的内存泄漏具体是怎么产生的？
  11. 线程池的线程是不是必须手动remove才可以回收value？
  12. 那你说的内存泄漏是指主线程还是线程池？
  13. 可是主线程不是都退出了，引用的对象不应该会主动回收么？
  14. 那你说下SpringMVC不同用户登录的信息怎么保证线程安全的？
  15. 这个直接用ThreadLocal不就可以么，你见过SpringMVC有锁实现的代码么？
  16. 我们聊聊mysql吧，说下索引结构
  17. 为什么使用B+树？
  18. 什么是索引覆盖？
  19. Java为什么要设计双亲委派模型？
  20. 什么时候需要自定义类加载器？
  21. 我们做一道题吧，手写一个对象池
  22. 有什么想问我的么？

字节跳动面试小结

头条的面试确实很专业，每次面试官会提前给你发一个视频链接，然后准点开始面试，而且考察的点都比较全。

面试官都有一个特点，会抓住一个值得深入的点或者你没说清楚的点深入下去直到你把这个点讲清楚，不然面试官会觉得你并没有真正理解。二面面试官给了我一点建议，研究技术的时候一定要去研究产生的背景，弄明白在什么场景解决什么特定的问题，其实很多技术内部都是相通的。很诚恳，还是很感谢这位面试官大大。

总结

总的来说，面试是有套路的，一面基础，二面架构，三面个人。

最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友，点击这里即可免费获取

链图片转存中…(img-1ajCpuYu-1627033626412)]

[外链图片转存中…(img-RZgb5bAX-1627033626415)]

[外链图片转存中…(img-GGOHisLU-1627033626416)]

kafka消息丢失与消费精确一次性

消息丢失的场景如果KafkaProducer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。如果在消息过程中... 查看详情

干货分享！kafka开发

垃圾回收算法垃圾回收算法的实现设计到大量的程序细节，并且每一个平台的虚拟机操作内存的方式都有不同，所以不需要去了解算法的具体实现。复制算法将可用内存按容量划分为大小相等的两块，每次只使用其中... 查看详情

kafka消息丢失与消费精确一次性

消息丢失的场景如果KafkaProducer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。如果在消息过程中发生了... 查看详情

干货kafka事务特性分析

特性背景消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。华为云DMS率先提供Kafka1.1.0的专享版服务，支持消息事务特性。 &... 查看详情

干货kafka事务特性分析

特性背景消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。华为云DMS率先提供Kafka1.1.0的专享版服务，支持消息事务特性。支持... 查看详情

kafka快速入门——kafka高级功能(代码片段)

Kafka快速入门（四）——Kafka高级功能一、Kafka无消息丢失配置1、Kafka消息丢失简介Kafka只针对已提交消息（committedmessage）做有限度的持久化保证。当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后，会通知生产者程... 查看详情

kafka如何保证消息不丢失？半分钟的答案和半个小时的答案有点不一样。

文章目录一、Kafka在哪些场景下有丢消息的可能？二、面试流经典答法三、为什么金融场景没人会用Kafka？总结​kafka如何保证消息不丢失？这是面试最常问到的问题。但是其实这是一个最体现综合实力的开放性题目。... 查看详情

kafka如何保证消息不丢失？半分钟的答案和半个小时的答案有点不一样。

文章目录一、Kafka在哪些场景下有丢消息的可能？二、面试流经典答法三、为什么金融场景没人会用Kafka？总结​kafka如何保证消息不丢失？这是面试最常问到的问题。但是其实这是一个最体现综合实力的开放性题目。... 查看详情

2021年大数据kafka：kafka如何保证数据不丢失

...何保证数据不丢失一、如何保证生产者数据不丢失1）消息生产分为同步模式和异步模式2）消息确认分为三个状态3）在同步模式下4）在异步模式下二、如何保证broke 查看详情

2021年大数据kafka：kafka如何保证数据不丢失

...何保证数据不丢失一、如何保证生产者数据不丢失1）消息生产分为同步模式和异步模式2）消息确认分为三个状态3）在同步模式下4）在异步模式下二、如何保证broker端数据不丢失broker端:三、如何保证消费端数据... 查看详情

面试题百日百刷-kafka篇

...取你想要的,接下来的是今日的面试题：1.如何保证Kafka的消息有序Kafka对于消息的重复、丢失、错误以及顺序没有严格的要求。Kafka只能保证一个partition中的消息被某个consumer消费时是顺序的，事实上，从Topic角度来说，当有多个pa... 查看详情

聊聊kafka：kafka消息丢失的场景以及最佳实践(代码片段)

...间写，并且组里有个同事使用Kafka不当，导致线上消息丢失，在修复一些线上的数据，人都麻了。事情是这样，有个Kafka消费者实例，部署到线上去，消费到了线上的数据，而新版本做了新的逻辑... 查看详情

kafka零数据丢失的配置方案

...失，acks值应该设置为哪个参数呢？0：代表生产者只要把消息发送出去以后就认为消息发送成功了，这种方式有可能会导致数据丢失，因为有可能消息发送到服务端以后服务端存储失败了。1：代表生产者把消息发送到服务端，服... 查看详情

kafka实现无消息丢失与精确一次语义（exactlyonce）处理(代码片段)

...且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。但... 查看详情

kafka如何保证数据不丢失？不重复？(代码片段)

        一般我们在用到这种消息中件的时候，肯定会考虑要怎样才能保证数据不丢失，在面试中也会问到相关的问题。但凡遇到这种问题，是指3个方面的数据不丢失，即：producerconsumer 端数据不丢失 brok... 查看详情

Kafka 集群丢失或重复消息

】Kafka集群丢失或重复消息【英文标题】：Kafkaclusterlosesorduplicatesmessages【发布时间】：2020-01-1400:51:59【问题描述】：在调整Java的KafkaIOIT以处理大型数据集时，我遇到了一个问题。我想通过一个Kafka主题推送100M条记录，验证数据... 查看详情

kafka-语义&重复消费&丢失数据&分区有序(代码片段)

记录下和kafka相关的语义、不重复消息、不丢失数据、分区有序的内容，文中很多理解参考文末博文、书籍还有某前辈。kafka语义kafka中有三种语义，它对理解下面的不重复消费有帮助。最多一次（atmostonce）：消息最多被处理一... 查看详情

面试官：kafka为什么会丢消息？(代码片段)

1、如何知道有消息丢失？2、哪些环节可能丢消息？3、如何确保消息不丢失？引入MQ消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）系统解耦：上下游系统之间的通信相互依赖，利用... 查看详情