Kafka Connect

कोड की जगह configuration

Kafka Connect स्केलेबल, दोष-सहिष्णु डेटा integration का framework है। Source connectors डेटा को Kafka में खींचते हैं (जैसे Debezium change data capture से database का change log), और sink connectors topics को Elasticsearch, S3, warehouse या दूसरे database जैसे systems में भेजते हैं। आप connector को JSON से configure करते हैं और Connect cluster पर चलाते हैं; वह offsets, retries, scaling और schema रूपांतरण सँभालता है। आम systems के लिए हाथ के लिखे जोड़ की जगह मेंटेन किया गया connector चुनें।

डेटा ले जाएँ और प्रोसेस करें

Connect डेटा अंदर-बाहर ले जाता है, और stream processors बहते समय उसे बदलते हैं।

Sink connector config (उदाहरण)

यह JSON Connect REST API को POST करें। Class नाम और options आपके install किए connector पर निर्भर हैं।

{
  "name": "orders-to-s3",
  "config": {
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",
    "topics": "sales.order.placed.v1",
    "s3.bucket.name": "lake-raw",
    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.parquet.ParquetFormat",
    "flush.size": "10000",
    "tasks.max": "4"
  }
}

त्वरित जाँच: Kafka Connect किसलिए है?

• कोड format करना
• Disks encrypt करना
• Brokers बदलना
• Connectors से Kafka और अन्य systems के बीच डेटा ले जाना