Cómo instalar Apache Kafka en Debian 10

En este tutorial, le mostraremos cómo instalar Apache Kafka en Debian 10. Para aquellos de ustedes que no lo sabían, Apache Kafka es una plataforma de transmisión de eventos distribuida de código abierto utilizada por miles de empresas para canalizaciones de datos de alto rendimiento, análisis de transmisión, integración de datos y aplicaciones de misión crítica.

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que está ejecutando en la cuenta de root, de lo contrario, es posible que deba agregar ‘sudo‘a los comandos para obtener privilegios de root. Le mostraré paso a paso la instalación del Apache Kafka en Debian 10 (Buster).

Instalar en pc Apache Kafka en Debian 10 Buster

Paso 1. Antes de ejecutar el tutorial a continuación, es importante asegurarse de que su sistema esté actualizado ejecutando lo siguiente apt comandos en la terminal:

sudo apt update

Paso 2. Instalar Java.

Ahora instale Java usando el siguiente comando:

sudo apt install default-jdk

Verifique la versión de Java ejecutando el siguiente comando:

java -version

Paso 3. Instalación Apache Kafka en Debian 10.

Ahora ejecutamos el siguiente comando para descargar Apache Paquetes de Kafka desde el sitio web oficial:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Luego, extraiga el archivo de almacenamiento descargado:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Paso 4. Cree archivos de unidad de Systemd.

Ahora creamos systemd archivos de unidad para el servicio Zookeeper y Kafka. Esto ayudará a administrar los servicios de Kafka para comenzar o dejar de usar el systemctl mando:

nano /etc/systemd/system/zookeeper.service

Agregue el siguiente archivo:

[Unit]
Description=Apache Zookeeper server
Documentation=https://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

A continuación, para crear un Kafka systemd archivo de unidad usando el siguiente comando:

nano /etc/systemd/system/kafka.service

Agregue el contenido siguiente:

[Unit]
Description=Apache Kafka Server
Documentation=https://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Save los archivos y vuelva a cargar el systemd demonio para aplicar nuevos cambios:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Paso 5. Cree un tema en Kafka.

Primero, cree un tema llamado “MakeTopic” con una sola partición con una sola réplica:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Después de eso, puede ver los temas creados en Kafka con el siguiente comando que se ejecuta:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Paso 6. Envíe mensajes a Kafka.

Ahora ejecutamos el productor y luego escribimos algunos mensajes en la consola para enviarlos al servidor:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Paso 7. Uso de Kafka Consumer.

Apache Kafka también tiene un consumidor de línea de comandos para leer datos del clúster de Kafka y mostrar mensajes en la salida estándar.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

¡Felicidades! Has instalado con éxito Apache Kafka. Gracias por utilizar este tutorial para instalar la última versión del Apache Kafka en el sistema Debian. Para obtener ayuda adicional o información útil, le recomendamos que consulte el oficial Apache Sitio web de Kafka.