Kafka iestatīšana: 4 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:55

Ievads:

Apache Kafka ir atvērtā koda mērogojama un augstas caurlaidības ziņojumapmaiņas sistēma, ko izstrādājis Apache Software Foundation, kas uzrakstīts Scala. Apache Kafka ir īpaši izstrādāts, lai viens klasteris varētu kalpot par centrālo datu mugurkaulu lielā vidē. Tam ir daudz lielāka caurlaidspēja salīdzinājumā ar citām ziņojumu starpnieku sistēmām, piemēram, ActiveMQ un RabbitMQ. Tas spēj efektīvi apstrādāt lielu reāllaika datu apjomu. Jūs varat izvietot Kafka vienā Apache serverī vai izplatītā kopu vidē.

Iespējas:

Kafka vispārīgās iezīmes ir šādas:

Pastāvīgs ziņojums diskā, kas nodrošina pastāvīgu veiktspēju.

Augsta caurlaidspēja ar diska struktūrām, kas atbalsta simtiem tūkstošu ziņojumu sekundē.

Izkliedētā sistēma viegli mērogojas bez dīkstāves.

Atbalsta vairākus abonentus un automātiski līdzsvaro patērētājus neveiksmes laikā.

Šī apmācība parāda, kā instalēt un konfigurēt Apache Kafka Ubuntu 16.04 serverī.

Prasības

Ubuntu 16.04 serveris.

Jūsu serverī ir iestatīts lietotāja konts, kas nav root lietotājs ar superlietotāja privilēģijām.

1. darbība. Darba sākšana un Java instalēšana

1) Sāksim pārliecināties, vai jūsu Ubuntu 16.04 serveris ir pilnībā atjaunināts

Jūs varat atjaunināt savu serveri, izpildot šādas komandas:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java instalēšana

Pārbaudiet, vai jūsu datorā ir jau instalēta java vai java noklusējuma versija, izmantojot šādu komandu:-

java -versija

Pat ja jums ir java, bet zemāka versija, jums tas būs jājaunina.

Java var instalēt šādi:-

sudo apt-get install default-jdk

VAI

Jūs varat instalēt Oracle JDK 8, izmantojot Webupd8 komandas PPA repozitoriju.

Lai pievienotu krātuvi, palaidiet šādu komandu:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

2. darbība: instalējiet Zookeeper

Kas ir Zookeeper?

Zookeeper ir centralizēts pakalpojums konfigurācijas informācijas uzturēšanai, nosaukumu piešķiršanai, izplatītas sinhronizācijas nodrošināšanai un grupas pakalpojumu sniegšanai. Visus šāda veida pakalpojumus vienā vai otrā veidā izmanto izplatītas lietojumprogrammas. Katru reizi, kad tie tiek ieviesti, ir jāiegulda liels darbs, lai novērstu neizbēgamas kļūdas un sacensību apstākļus. Tā kā šāda veida pakalpojumus ir grūti ieviest, sākotnēji lietojumprogrammas parasti ar tiem taupās, kas pārmaiņu laikā padara tos trauslus un grūti pārvaldāmus. Pat ja tas tiek darīts pareizi, dažādu šo pakalpojumu ieviešana rada vadības sarežģītību, kad lietojumprogrammas tiek izvietotas.

Pirms Apache Kafka instalēšanas jums ir jābūt pieejamam un darbojas zookeeper. ZooKeeper ir atvērtā koda pakalpojums konfigurācijas informācijas uzturēšanai, dalītas sinhronizācijas nodrošināšanai, nosaukumu piešķiršanai un grupas pakalpojumu sniegšanai.

1) Pēc noklusējuma Zookeeper pakotne ir pieejama Ubuntu noklusējuma krātuvē

To var instalēt, palaižot šādu komandu:-

sudo apt-get install zookeeperd

Kad instalēšana ir pabeigta, tā tiks automātiski palaista kā dēmons. Pēc noklusējuma Zookeeper darbosies 2181. portā.

To var pārbaudīt, izpildot šādu komandu:

netstat -ant | grep: 2181

Izejai vajadzētu parādīt, ka ports 2181 tiek klausīts.

3. darbība: instalējiet un palaidiet Kafka serveri

Tagad, kad ir instalēta Java un ZooKeeper, ir pienācis laiks lejupielādēt un iegūt Kafka no Apache vietnes.

1) Jūs varat izmantot curl vai wget, lai lejupielādētu Kafka: (Kafka versija 0.10.1.1)

Palaidiet šādu komandu, lai lejupielādētu kafka iestatījumus:-

čokurošanās -O

VAI

wget

2) Izveidojiet Kafka direktoriju

Pēc tam izveidojiet direktoriju Kafka instalēšanai:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Izsaiņojiet lejupielādēto mapi

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Mainiet lietotājvārdu atbilstoši savam lietotājvārdam

4) Palaidiet kafka serveri

Nākamais solis ir palaist Kafka serveri, to var palaist, palaižot skriptu kafka-server-start.sh, kas atrodas direktorijā /opt/kafka/kafka_2.11-0.10.1.1/bin/, izmantojot šādu komandu:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Pārbaudiet, vai Kafka serveris darbojas labi

Tagad jums ir Kafka serveris, kas darbojas un klausās portā 9092.

Tagad mēs varam pārbaudīt klausīšanās portus:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4. darbība: pārbaudiet savu Kafka serveri

Tagad ir pienācis laiks pārbaudīt, vai Kafka serveris darbojas pareizi.

1) Izveidojiet jaunu tēmu

Lai pārbaudītu Kafka, izveidojiet Apache Kafka tēmas paraugu ar nosaukumu "testēšana", izmantojot šādu komandu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --izveidot-tēmas pārbaudi-zookeeper lokālais saimnieks: 2181-nodalījumi 1-izpausmes koeficients 1

2) Pārbaudiet, vai jūsu tēma ir veiksmīgi izveidota

Tagad lūdziet Zookeeper uzskaitīt pieejamās Apache Kafka tēmas, izpildot šādu komandu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publicējiet ziņojumu, izmantojot izveidoto tēmu

atbalss "sveika pasaule" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-brokeru saraksts localhost: 9092-tēmas pārbaude

4) Saņemiet ziņojumu par izveidoto tēmu

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-bootstrap-server localhost: 9092-tēmas pārbaude-no sākuma

5) Lai nosūtītu failu, izmantojot kafku virs tēmas

kafka-console-producer.sh-brokeru saraksts localhost: 9092-tēmu pārbaude