Apache Kafka: от нуля до продакшена

🤔 Что такое Apache Kafka

Apache Kafka — это распределённая платформа потоковой передачи данных (distributed streaming platform). Проще говоря, это очень быстрый и надёжный почтовый сервис для ваших приложений.

Kafka изначально была разработана в LinkedIn в 2011 году для обработки триллионов сообщений в день. Позже передана Apache Software Foundation и стала open-source. Сегодня её используют Netflix, Uber, Spotify, Airbnb и более 80% компаний из Fortune 100.

Kafka в одном предложении

Kafka — это распределённый журнал сообщений, который позволяет приложениям публиковать, хранить и обрабатывать потоки записей в реальном времени.

🎯 Зачем нужна Kafka

Представьте: у вас интернет-магазин. Пользователь делает заказ. Что происходит?

Без Kafka (синхронный подход)

Сервис заказов напрямую вызывает: сервис оплаты → сервис склада → сервис доставки → сервис уведомлений → сервис аналитики. Если один упал — всё встало.

С Kafka (асинхронный подход)

Сервис заказов публикует событие "Создан заказ" в Kafka. Все остальные сервисы подписаны и обрабатывают независимо. Упал склад? Заказ всё равно принят, склад обработает, когда встанет.

Главные проблемы, которые решает Kafka

🧱 Ключевые концепции

Чтобы работать с Kafka, нужно понимать несколько базовых терминов. Без паники — их немного.

📌 Topic (Топик)

Топик — это категория или "канал", куда публикуются сообщения. Как папка для писем. Например: orders, user-events, payments.

📨 Message (Сообщение)

Сообщение — единица данных в Kafka. Состоит из:

• Key — ключ (опционально), определяет партицию
• Value — само содержимое (JSON, Avro, bytes)
• Timestamp — время создания
• Headers — метаданные

📦 Partition (Партиция)

Партиция — это часть топика. Топик разбивается на партиции для параллельной обработки. Сообщения в одной партиции упорядочены.

🏭 Producer (Продюсер)

Producer — приложение, которое отправляет сообщения в Kafka. Знает только о топике, куда писать.

👥 Consumer (Консьюмер)

Consumer — приложение, которое читает сообщения из Kafka. Подписывается на топик и обрабатывает события.

👥 Consumer Group

Consumer Group — группа consumer'ов, которые вместе обрабатывают топик. Kafka распределяет партиции между ними. Если один упал — его партиции достанутся другим.

📍 Offset (Смещение)

Offset — позиция сообщения в партиции. Это как номер страницы в книге. Consumer помнит свой offset и продолжает с него после перезапуска.

🖥️ Broker

Broker — сервер Kafka. Кластер обычно состоит из нескольких брокеров для отказоустойчивости.

Kafka Cluster
├── Broker 1
├── Broker 2  
└── Broker 3

Topic: orders (3 partitions, replication factor: 2)
├── Partition 0: [msg0, msg3, msg6, msg9...]  → Broker 1 (leader), Broker 2 (replica)
├── Partition 1: [msg1, msg4, msg7, msg10...] → Broker 2 (leader), Broker 3 (replica)
└── Partition 2: [msg2, msg5, msg8, msg11...] → Broker 3 (leader), Broker 1 (replica)

Consumer Group: order-processors
├── Consumer A → читает Partition 0
├── Consumer B → читает Partition 1
└── Consumer C → читает Partition 2

🏗️ Архитектура Kafka

Kafka спроектирована для высокой пропускной способности, низкой задержки и отказоустойчивости. Вот как это достигается:

Распределённый лог

В основе Kafka — append-only log. Сообщения только добавляются в конец, никогда не изменяются. Это позволяет:

• Очень быстро писать (sequential I/O)
• Читать с любой позиции (offset)
• Хранить данные неделями/месяцами

Репликация

Каждая партиция имеет leader и несколько replicas. Все записи идут в leader, replicas синхронизируются. Если leader умирает — одна из replica становится новым leader.

ZooKeeper vs KRaft

Раньше Kafka использовала ZooKeeper для координации кластера (выбор leader, хранение метаданных). С версии 3.0 появился режим KRaft — встроенный консенсус без внешних зависимостей.

Гарантии доставки

🚀 Быстрый старт

Самый простой способ запустить Kafka локально — использовать Docker. Никаких танцев с бубном.

version: '3.8'

services:
kafka:
image: confluentinc/cp-kafka:7.5.0
hostname: kafka
container_name: kafka
ports:
  - "9092:9092"
environment:
  KAFKA_NODE_ID: 1
  KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT'
  KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://localhost:9092'
  KAFKA_PROCESS_ROLES: 'broker,controller'
  KAFKA_CONTROLLER_QUORUM_VOTERS: '1@kafka:29093'
  KAFKA_LISTENERS: 'PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:29093'
  KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
  KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
  CLUSTER_ID: 'MkU3OEVBNTcwNTJENDM2Qk'

kafka-ui:
image: provectuslabs/kafka-ui:latest
container_name: kafka-ui
ports:
  - "8080:8080"
environment:
  KAFKA_CLUSTERS_0_NAME: local
  KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9092
depends_on:
  - kafka

💻 Примеры кода

Рассмотрим, как работать с Kafka на разных языках. Начнём с самых популярных.

Python (kafka-python)

from kafka import KafkaProducer
import json

# Создаём producer
producer = KafkaProducer(
bootstrap_servers=['localhost:9092'],
value_serializer=lambda v: json.dumps(v).encode('utf-8')
)

# Отправляем сообщение
order = {
'order_id': 12345,
'user_id': 67890,
'product': 'iPhone 15',
'amount': 999.99
}

producer.send('orders', value=order)
producer.flush()  # Дожидаемся отправки

print('Order sent!')

from kafka import KafkaConsumer
import json

# Создаём consumer
consumer = KafkaConsumer(
'orders',
bootstrap_servers=['localhost:9092'],
auto_offset_reset='earliest',  # Читать с начала, если нет сохранённого offset
group_id='order-processors',
value_deserializer=lambda m: json.loads(m.decode('utf-8'))
)

# Читаем сообщения
for message in consumer:
order = message.value
print(f"Received order: {order['order_id']} - {order['product']}")

# Обработка заказа...
process_order(order)

Node.js (kafkajs)

const { Kafka} = require('kafkajs');

const kafka = new Kafka({
    clientId: 'order-service',
    brokers: ['localhost:9092']
});

const producer = kafka.producer();

async function sendOrder() {
    await producer.connect();

    const order = {
        order_id: 12345,
        user_id: 67890,
        product: 'MacBook Pro',
        amount: 2499.99
    };

    await producer.send({
        topic: 'orders',
        messages: [
            { value: JSON.stringify(order) }
        ]
    });

    console.log('Order sent!');
    await producer.disconnect();
}

sendOrder();

const { Kafka } = require('kafkajs');

const kafka = new Kafka({
    clientId: 'order-processor',
    brokers: ['localhost:9092']
});

const consumer = kafka.consumer({ groupId: 'order-processors' });

async function consumeOrders() {
    await consumer.connect();
    await consumer.subscribe({ topic: 'orders', fromBeginning: true });

    await consumer.run({
        eachMessage: async ({ topic, partition, message }) => {
            const order = JSON.parse(message.value.toString());
            console.log(`Received: ${order.order_id} - ${order.product}`);

            // Обработка заказа...
            await processOrder(order);
        }
    });
}

consumeOrders();

Java (Spring Kafka)

@Service
public class OrderProducer {

    private final KafkaTemplate<String, Order> kafkaTemplate;

    public OrderProducer(KafkaTemplate<String, Order> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public void sendOrder(Order order) {
        kafkaTemplate.send("orders", order.getOrderId(), order);
        log.info("Order sent: {}", order.getOrderId());
    }
}

@Service
public class OrderConsumer {

    @KafkaListener(topics = "orders", groupId = "order-processors")
    public void consume(Order order) {
        log.info("Received order: {} - {}", order.getOrderId(), order.getProduct());

        // Обработка заказа
        orderService.process(order);
    }
}

✅ Когда использовать Kafka

Kafka — мощный инструмент, но не серебряная пуля. Вот сценарии, где она реально нужна:

Шкала масштаба: когда Kafka оправдана

🚫 Когда НЕ использовать Kafka

Важно понимать, что Kafka — это не универсальное решение. Вот случаи, когда она избыточна или не подходит:

Честный чек-лист: нужна ли вам Kafka?

Отвечайте честно:

Обязательные условия (нужны ВСЕ):
[ ] У вас микросервисная архитектура (5+ сервисов)
[ ] Сервисам нужно обмениваться событиями асинхронно
[ ] Вы готовы поддерживать Kafka (или платить за managed)

Дополнительные факторы (достаточно 2-3):
[ ] Нагрузка > 1000 сообщений в секунду
[ ] Нужно хранить события для replay/audit
[ ] Несколько consumer'ов читают одни данные
[ ] Критично не потерять сообщения
[ ] Нужна потоковая обработка (Kafka Streams)

Результат:
- Все обязательные + 2 дополнительных → Kafka подходит
- Не все обязательные → Рассмотрите альтернативы
- 0 дополнительных → Точно не Kafka

🔄 Альтернативы Kafka

Kafka — не единственное решение. Вот популярные альтернативы и когда их выбрать.

Сравнительная таблица

❓ Частые вопросы (FAQ)