Les garanties de fiabilité de Kafka sont un pilier du streaming de données moderne, mais l'obtention d'une sémantique exactly-once nécessite une configuration minutieuse à chaque étape. Cet article détaille le côté producteur avec des producteurs idempotents et acks=all, le côté broker avec la réplication et la gestion ISR, et le côté consommateur avec les lectures transactionnelles et la gestion des offsets. Pour les ingénieurs exploitant Kafka en production, comprendre ces mécanismes est essentiel pour éviter la perte ou la duplication de données. L'article couvre également les pièges courants comme les élections de leader non propres et les tentatives mal configurées. Bien que le contenu soit de type tutoriel, les principes sous-jacents sont intemporels et directement applicables à la conception de systèmes. Nous le recommandons comme référence pour les équipes concevant des pipelines tolérants aux pannes, mais notons que l'article original peut nécessiter une adaptation aux versions spécifiques de Kafka et aux configurations de cluster.
Un guide pratique pour garantir que les messages Kafka ne soient ni perdus ni dupliqués dans l'ensemble du pipeline, avec des configurations prêtes pour la production.