Nastavitev Kafke: 4 koraki

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:04

Uvod:

Apache Kafka je odprtokodni razširljiv in visoko zmogljiv sistem sporočanja, ki ga je razvila Apache Software Foundation, napisana v Scali. Apache Kafka je posebej zasnovan tako, da posamezni gruči služi kot osrednja podatkovna hrbtenica za veliko okolje. Ima veliko večjo prepustnost v primerjavi z drugimi sistemi posrednikov sporočil, kot sta ActiveMQ in RabbitMQ. Sposoben je učinkovito obdelati velike količine podatkov v realnem času. Kafko lahko uvedete na enem strežniku Apache ali v porazdeljenem okolju v gruči.

Lastnosti:

Splošne značilnosti Kafke so naslednje:

Sporočilo o vztrajanju na disku, ki zagotavlja stalno delovanje.

Visoka zmogljivost z diskovnimi strukturami, ki podpirajo več sto tisoč sporočil na sekundo.

Razdeljen sistem se enostavno prilagodi brez zastojev.

Podpira več naročnikov in samodejno uravnoteži potrošnike med napako.

Ta vadnica prikazuje, kako namestiti in konfigurirati Apache Kafka na strežniku Ubuntu 16.04.

Zahteve

Strežnik Ubuntu 16.04.

Nekorenski uporabniški račun s super uporabniškimi pravicami, nastavljenimi na vašem strežniku.

1. korak: Začetek in namestitev Jave

1) Začnimo poskrbeti, da je vaš strežnik Ubuntu 16.04 popolnoma posodobljen

Strežnik lahko posodobite z naslednjimi ukazi:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Namestitev Jave

Z naslednjim ukazom preverite, ali je v vaši napravi že nameščena java ali ima privzeto različico jave:-

java -verzija

Tudi če imate javo, vendar nižjo različico, jo boste morali nadgraditi.

Javo lahko namestite tako:

sudo apt-get install default-jdk

ALI

Oracle JDK 8 lahko namestite s skladiščem PPA skupine Webupd8.

Če želite dodati skladišče, zaženite naslednji ukaz:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Korak: Namestite Zookeeper

Kaj je Zookeeper?

Zookeeper je centralizirana storitev za vzdrževanje konfiguracijskih informacij, poimenovanje, distribuirano sinhronizacijo in zagotavljanje skupinskih storitev. Vse te vrste storitev v takšni ali drugačni obliki uporabljajo distribuirane aplikacije. Vsakič, ko se izvajajo, je veliko dela namenjenega odpravljanju napak in pogojem dirke, ki so neizogibni. Zaradi težav pri izvajanju tovrstnih storitev jih aplikacije sprva običajno skoparijo, zaradi česar so ob spremembah krhke in jih je težko upravljati. Tudi če so izvedene pravilno, različne implementacije teh storitev vodijo do zapletenosti upravljanja pri uvajanju aplikacij.

Preden namestite Apache Kafka, morate imeti na voljo in teči zookeeperja. ZooKeeper je odprtokodna storitev za vzdrževanje konfiguracijskih informacij, distribuirano sinhronizacijo, poimenovanje in zagotavljanje skupinskih storitev.

1) Privzeto je paket Zookeeper na voljo v privzetem skladišču Ubuntu

Namestite ga lahko z naslednjim ukazom:-

sudo apt-get install zookeeperd

Ko je namestitev končana, se bo samodejno zagnala kot demon. Zookeeper bo privzeto deloval na vratih 2181.

Lahko ga preizkusite z naslednjim ukazom:

netstat -ant | grep: 2181

Izjava mora pokazati, da se posluša vrata 2181.

3. korak: Namestite in zaženite strežnik Kafka

Zdaj, ko sta nameščena Java in ZooKeeper, je čas, da prenesete in izvlečete Kafko s spletnega mesta Apache.

1) Za prenos Kafke lahko uporabite curl ali wget: (različica Kafka 0.10.1.1)

Za prenos nastavitve kafke zaženite naslednji ukaz:-

curl -O

ALI

wget

2) Ustvarite imenik za Kafko

Nato ustvarite imenik za namestitev Kafke:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Odpakirajte preneseno mapo

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Spremenite uporabniško ime glede na svoje uporabniško ime

4) Zaženite strežnik kafka

Naslednji korak je zagon strežnika Kafka, ki ga lahko zaženete tako, da zaženete skript kafka-server-start.sh, ki se nahaja v imeniku /opt/kafka/kafka_2.11-0.10.1.1/bin/ z naslednjim ukazom:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Preverite, ali strežnik Kafka dobro deluje

Zdaj imate strežnik Kafka, ki deluje in posluša na vratih 9092.

Zdaj lahko preverimo vrata za poslušanje:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4. korak: Preizkusite svoj strežnik Kafka

Zdaj je čas, da preverite, ali strežnik Kafka deluje pravilno.

1) Ustvarite novo temo

Če želite preizkusiti Kafko, ustvarite vzorčno temo z imenom "testing" v Apache Kafki z naslednjim ukazom:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Preverite, ali je bila vaša tema uspešno ustvarjena

Zdaj prosite Zookeeperja, da navede razpoložljive teme v Apache Kafki, tako da izvedete naslednji ukaz:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Objavite sporočilo z ustvarjeno temo

odmev "pozdravljen svet" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-lokalni posrednik na seznamu posrednikov: 9092 --tematsko testiranje

4) Prejmite sporočilo o ustvarjeni temi

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-lokalni zagonski strežnik zagonskega strežnika: 9092 --tematsko testiranje-od začetka

5) Za pošiljanje datoteke z uporabo kafke na določeno temo

kafka-console-producer.sh-localhost-list localhost: 9092 –tematsko testiranje