Brokers, Replication और KRaft

सुरक्षा के लिए copies

Kafka cluster brokers (servers) का समूह है। हर partition का एक replication factor होता है (आम तौर पर 3): एक broker leader replica रखता है जो उस partition की सारी reads और writes सँभालता है, और बाक़ी follower replicas उसकी copy रखते हैं। जो followers पूरी तरह साथ चल रहे हैं वे in-sync replicas (ISR) बनाते हैं। Leader विफल हो तो ISR का कोई सदस्य नया leader बनता है। Cluster metadata (कौन-सा broker किस partition का leader है) KRaft से सँभाली जाती है, जो Kafka का अपना consensus protocol है; Kafka 4.0 में ZooKeeper हटा दिया गया, इसलिए नए clusters KRaft उपयोग करते हैं।

असली broker से partition ढाँचा

मैंने Docker में single-node Kafka 3.9.0 (KRaft) चलाया और kafka-topics.sh --describe चलाया। हर partition का leader, replicas और ISR दिखता है। एक broker के साथ replication factor 1 है, इसलिए हर partition का leader broker 1 है और ISR में सिर्फ़ वही है। असली cluster में कई broker IDs दिखते।

kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders

Output:

Topic: orders	TopicId: aWjqjntwSYmI_PLyTqQcLA	PartitionCount: 6	ReplicationFactor: 1	Configs: segment.bytes=1073741824
	Topic: orders	Partition: 0	Leader: 1	Replicas: 1	Isr: 1
	Topic: orders	Partition: 1	Leader: 1	Replicas: 1	Isr: 1

Production में replication factor 3

Factor 1 (laptop के लिए ठीक) का मतलब उस broker के जाने पर डेटा जाना। अलग racks या availability zones में तीन replicas आम production आधार है।

त्वरित जाँच: ISR क्या है?

• Producer buffer
• Consumers की सूची
• एक तरह का topic
• वे replicas जो leader के साथ पूरी तरह साथ चल रहे हैं