Stiùireadh API sruthadh
Foillsichte
2023-07-07
LAOIDH
4.2

Ro-ràdh

Tha an iùl seo ag innse mar a tharraing thu dàta bho Paragon Active Assurance tro API sruthadh an toraidh.
Tha an API a bharrachd air an neach-dèiligidh sruthadh air an toirt a-steach don stàladh Paragon Active Assurance.
Ach, tha feum air beagan rèiteachaidh mus urrainn dhut an API a chleachdadh. Tha seo air a chòmhdach anns an “Configuring the Streaming API” air duilleag 1 caibideil.

A’ rèiteachadh an Streaming API

Thairisview
Tha a’ chaibideil seo a’ mìneachadh mar a chuireas tu an Streaming API air dòigh gus leigeil le ballrachd a thoirt do theachdaireachdan meatrach tro Kafka.
pr
Gu h-ìosal thèid sinn tro:

• Mar a bheir thu comas don Streaming API
• Mar a chuireas tu Kafka air dòigh gus èisteachd ri teachdaichean bhon taobh a-muigh
• Mar a chuireas tu Kafka air dòigh gus ACLs a chleachdadh agus crioptachadh SSL a stèidheachadh airson an luchd-dèiligidh sin

Tha Kafka na àrd-ùrlar sruthadh tachartais a leigeas le glacadh fìor-ùine de dhàta a chaidh a chuir bho dhiofar stòran tachartais (mothachaidhean, stòran-dàta, innealan gluasadach) ann an cruth sruthan tachartais, a bharrachd air stòradh seasmhach de na sruthan tachartais sin airson an toirt air ais agus an làimhseachadh nas fhaide air adhart.
Le Kafka tha e comasach an tachartas a riaghladh a’ sruthadh bho cheann gu ceann ann an dòigh sgaoilte, làn scalable, elastagach, fulangach ri lochdan agus tèarainte.
NOTA: Faodar Kafka a rèiteachadh ann an iomadh dòigh eadar-dhealaichte agus chaidh a dhealbhadh airson scalability agus siostaman gun fheum. Chan eil an sgrìobhainn seo a’ cuimseachadh ach air mar a nì thu rèiteachadh gus feum a dhèanamh den fheart Streaming API a lorgar ann an Ionad Smachd Dearbhadh Gnìomhach Paragon. Airson rèiteachaidhean nas adhartaiche bheir sinn iomradh air na sgrìobhainnean oifigeil Kafka: kafka.apache.org/26/documentation.html.

Briathrachas

• Kafka: Àrd-ùrlar sruthadh tachartais.
• Cuspair: Cruinneachadh de thachartasan Kafka.
• Neach-clàraidh / neach-cleachdaidh Kafka: Pàirt le uallach airson faighinn air ais tachartasan a tha air an stòradh ann an cuspair Kafka.
• Brocer Kafka: Frithealaiche còmhdach stòraidh de bhuidheann Kafka.
• SSL / TLS: Tha SSL na phròtacal tèarainte a chaidh a leasachadh airson fiosrachadh a chuir gu tèarainte thairis air an eadar-lìn. Tha TLS a’ leantainn SSL, a chaidh a thoirt a-steach ann an 1999.
• SASL: Frèam a bheir seachad uidheamachdan airson dearbhadh luchd-cleachdaidh, sgrùdadh iomlanachd dàta, agus crioptachadh.
• Fo-sgrìobhaiche sruthadh API: Co-phàirt le uallach airson faighinn air ais tachartasan air an stòradh ann an cuspairean a tha air am mìneachadh ann am Paragon Active Assurance agus a’ ciallachadh ruigsinneachd a-muigh.
• Ùghdarras Teisteanas: Buidheann earbsach a bhios a’ toirt a-mach agus a’ toirt air ais prìomh theisteanasan poblach.
• Teisteanas freumh Ùghdarras Teisteanas: Teisteanas iuchair phoblach a chomharraicheas Ùghdarras Teisteanas.

Mar a tha an Streaming API ag obair
Mar a chaidh ainmeachadh roimhe, tha an Streaming API a’ leigeil le teachdaichean bhon taobh a-muigh fiosrachadh fhaighinn air ais mu mheatairean bho Kafka.
Thèid a h-uile meatrach a chruinnich na riochdairean deuchainn rè gnìomh deuchainn no sgrùdaidh a chuir gu seirbheis Stream.
Às deidh ìre giollachd, bidh an t-seirbheis Stream a’ foillseachadh na meatrach sin air Kafka còmhla ri meata-dàta a bharrachd.Cuspairean Kafka
Tha bun-bheachd aig Kafka air cuspairean ris am bi an dàta gu lèir air fhoillseachadh. Ann am Paragon Active Assurance tha mòran de chuspairean Kafka mar sin rim faighinn; ge-tà, chan eil ach fo-sheata dhiubh sin ann airson ruigsinneachd bhon taobh a-muigh.
Tha dà chuspair sònraichte aig gach cunntas Paragon Active Assurance san Ionad Smachd. Gu h-ìosal, is e ACCOUNT ainm goirid a’ chunntais:

• paa.public.cunntasan.{ACCOUNT}.metrics
• Tha a h-uile teachdaireachd meatrach airson a’ chunntas a chaidh a thoirt seachad air fhoillseachadh don chuspair seo
• Meudan mòra de dhàta
• Àrd tricead ùrachadh
• paa.public.accounts.{ACCOUNT}.metadata
• A’ toirt a-steach meata-dàta co-cheangailte ris an dàta meatrach, airson exampleis an deuchainn, sgrùdadh no àidseant deuchainn co-cheangailte ris na meatrach
• Meudan beaga de dhàta
• Tricead ùrachadh ìosal

A’ comasachadh an Streaming API
NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd a’ cleachdadh sudo.
Leis gu bheil an Streaming API a’ cur beagan a bharrachd ris an Ionad Smachd, chan eil e air a chomasachadh gu bunaiteach. Gus an API a chomasachadh, feumaidh sinn an-toiseach leigeil le foillseachadh meatrach gu Kafka sa phrìomh rèiteachadh file:

• /etc/netrounds/netrounds.conf

KAFKA_METRICS_ENABLED = Fìor
RABHADH: Le bhith a’ comasachadh am feart seo dh’ fhaodadh sin buaidh a thoirt air coileanadh Ionad Smachd. Dèan cinnteach gu bheil thu air do eisimpleir a thomhas a rèir sin.
An ath rud, gus na meatrach sin a chuir air adhart gu na cuspairean ceart Kafka:

• /etc/netrounds/metrics.yaml

streaming-api: fìor
Gus na seirbheisean Streaming API a chomasachadh agus a thòiseachadh, ruith:
Tha seirbheisean sudo ncc a’ comasachadh metrics timescaleb
Bidh seirbheisean sudo ncc a’ tòiseachadh metrics timescaleb
Mu dheireadh, ath-thòisich na seirbheisean:
seirbheisean sudo ncc ath-thòiseachadh
A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd
NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.
Faodaidh tu a-nis dearbhadh gu bheil thu a’ faighinn meatrach air na cuspairean ceart Kafka. Gus seo a dhèanamh, stàlaich an goireas kafkacat:
sudo apt-faigh ùrachadh
sudo apt-faigh stàladh kafkacat
Ma tha deuchainn no monitor agad a’ ruith san Ionad Smachd, bu chòir dhut a bhith comasach air kafkacat a chleachdadh gus meatrach agus meata-dàta fhaighinn air na cuspairean sin.
Cuir ainm goirid a’ chunntais agad an àite mo chunntas (seo a chì thu san Ionad Smachd agad URL):
às-mhalairt METRICS_TOPIC=paa.public.accounts.myaccount.metrics
às-mhalairt METADATA_TOPIC=paa.public.accounts.myaccount.metadata
Bu chòir dhut a-nis meatrach fhaicinn le bhith a’ ruith an àithne seo:
kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e
Gu view meata-dàta, ruith an àithne a leanas (thoir an aire nach ùraich seo cho tric):
kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e
NOTA:
kafkacat” Client Examples ”air duilleag 14
Bidh seo a’ dearbhadh gu bheil API Streaming obrach againn bhon taobh a-staigh den Ionad Smachd. Ach, is coltaiche gu bheil ùidh agad faighinn chun dàta bho neach-dèiligidh bhon taobh a-muigh na àite. Tha an ath earrann ag innse mar a dh’fhosglas tu Kafka airson ruigsinneachd bhon taobh a-muigh.
A’ fosgladh Kafka airson luchd-aoigheachd a-muigh
NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.
Gu gnàthach tha Kafka a tha a’ ruith air an Ionad Smachd air a rèiteachadh gus èisteachd ri localhost a-mhàin airson a chleachdadh a-staigh.
Tha e comasach Kafka fhosgladh airson teachdaichean bhon taobh a-muigh le bhith ag atharrachadh roghainnean Kafka.
A’ ceangal ri Kafka: Caveats
Rabhadh: Feuch an leugh thu seo gu faiceallach, leis gu bheil e furasta faighinn a-steach do chùisean ceangail le Kafka mura h-eil thu air na bun-bheachdan sin a thuigsinn.
Ann an suidheachadh an Ionad Smachd a tha air a mhìneachadh san sgrìobhainn seo, chan eil ann ach aon broker Kafka.
Ach, thoir an aire gu bheil còir aig broker Kafka a ruith mar phàirt de bhuidheann Kafka a dh’ fhaodadh a bhith air a dhèanamh suas de mhòran brocairean Kafka.
Nuair a cheanglas tu ri broker Kafka, bidh an neach-dèiligidh Kafka a’ stèidheachadh ceangal tùsail. Tron cheangal seo tillidh am broker Kafka liosta de “luchd-èisteachd sanasachd”, a tha na liosta de aon no barrachd brocairean Kafka.
Nuair a gheibh e an liosta seo, dì-cheangail an neach-dèiligidh Kafka, agus an uairsin ath-cheangail e ri aon den luchd-èisteachd sanasachd sin. Feumaidh ainmean aoigheachd no seòlaidhean IP a bhith aig an luchd-èisteachd sanas a tha ruigsinneach don neach-dèiligidh Kafka, air neo cha dèan an neach-dèiligidh ceangal.
Ma thèid crioptachadh SSL a chleachdadh, a’ toirt a-steach teisteanas SSL a tha ceangailte ri ainm aoigheachd sònraichte, tha e eadhon nas cudromaiche gum faigh an neach-dèiligidh Kafka an seòladh ceart airson ceangal ris, oir air dhòigh eile dh’ fhaodadh an ceangal a bhith air a dhiùltadh.
Leugh tuilleadh mu luchd-èisteachd Kafka an seo: www.confluent.io/blog/kafka-listeners-explained
Crioptachadh SSL/TLSE
Gus dèanamh cinnteach nach fhaigh ach teachdaichean earbsach cothrom air Kafka agus an Streaming API, feumaidh sinn na leanas a rèiteachadh:

• Dearbhadh: Feumaidh teachdaichean ainm-cleachdaidh agus facal-faire a thoirt seachad tro cheangal tèarainte SSL / TLS eadar an neach-dèiligidh agus Kafka.
• Ùghdarrachadh: Faodaidh teachdaichean dearbhte gnìomhan a choileanadh a tha air an riaghladh le ACLn.

Seo an còrrview:
*) Dearbhadh ainm-cleachdaidh / facal-faire air a dhèanamh air seanal crioptaichte SSL

Gus làn thuigse fhaighinn air mar a tha crioptachadh SSL / TLS ag obair airson Kafka, thoir sùil air na sgrìobhainnean oifigeil: docs.confluent.io/platform/current/kafka/encryption.html
Teisteanas SSL / TLS seachadview
NOTA: Anns an fho-earrann seo cleachdaidh sinn am briathrachas a leanas:
Teisteanas: Teisteanas SSL air a shoidhnigeadh le Ùghdarras Teisteanas (CA). Tha aon aig gach broker Kafka.
Keystore: Am prìomh stòr file a tha a’ stòradh an teisteanais. Am prìomh stòr file anns a bheil iuchair phrìobhaideach an teisteanais; mar sin, feumar a chumail gu sàbhailte.
Stòr Urras: A file anns a bheil na teisteanasan CA earbsach.
Gus an dearbhadh a stèidheachadh eadar neach-dèiligidh taobh a-muigh agus Kafka a tha a’ ruith san Ionad Smachd, feumaidh stòr-iuchrach a bhith aig gach taobh le teisteanas co-cheangailte air a shoidhnigeadh le Ùghdarras Teisteanas (CA) còmhla ri teisteanas freumh CA.
A bharrachd air an seo, feumaidh stòr earbsa a bhith aig an neach-dèiligidh le teisteanas freumh CA.
Tha an teisteanas freumh CA cumanta don neach-dèiligidh Kafka agus Kafka.
Cruthachadh nan teisteanasan riatanach
Tha seo air a chòmhdach san “Eàrr-ràdh” air duilleag 17.
Rèiteachadh Kafka Broker SSL/TLS san Ionad Smachd
NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.
NOTA: Mus lean thu air adhart, feumaidh tu am prìomh stòr anns a bheil an teisteanas SSL a chruthachadh le bhith a’ leantainn an stiùiridh san “Pàipear-taice” air duilleag 17. Tha na slighean gu h-ìosal a’ tighinn bhon stiùireadh seo.
Tha am prìomh stòr SSL a file Air a stòradh air an diosg leis an file leudachadh .jks.
Aon uair ‘s gu bheil na teisteanasan riatanach air an cruthachadh airson gach cuid broker Kafka agus an neach-dèiligidh Kafka a tha rim faighinn, faodaidh tu leantainn air adhart le bhith a’ rèiteachadh broker Kafka a tha a ’ruith san Ionad Smachd. Feumaidh fios a bhith agad air na leanas:

• : An t-ainm aoigheachd poblach aig an Ionad Smachd; feumaidh seo a bhith so-ruigsinneach agus ruigsinneach le teachdaichean Kafka.
• : Am facal-faire keystore a chaidh a thoirt seachad nuair a chruthaicheas tu an teisteanas SSL.
• agus : Seo na faclan-faire a tha thu airson a shuidheachadh airson an rianaire agus an neach-cleachdaidh fa leth. Thoir an aire gum faod thu barrachd luchd-cleachdaidh a chur ris, mar a tha air a chomharrachadh san t-seannample.

Deasaich no cuir ris (le ruigsinneachd sudo) na feartan gu h-ìosal ann an /etc/kafka/server.properties, a’ cuir a-steach na caochladairean gu h-àrd mar a chithear:
RABHADH: Na toir air falbh PLAINTEXT: // localhost: 9092; brisidh seo gnìomhachd an Ionaid Smachd oir cha bhith e comasach dha seirbheisean a-staigh conaltradh.

…
# Na seòlaidhean air am bi broker Kafka ag èisteachd.
listeners=PLAINTEXT: // localhost: 9092, SASL_SSL: // 0.0.0.0:9093
# Is iad seo na h-aoighean a chaidh an sanasachadh air ais gu ceangal teachdaiche sam bith.
sanasachd.listeners=PLAINTEXT: // localhost: 9092, SASL_SSL: // :9093
…
####### CUSTOM CONFIG
# SSL CONFIGURATION
ssl.endpoint.identification.algorithm=
ssl.keystore.location=/var/ssl/private/kafka.server.keystore.jks
ssl.keystore.password=
ssl.key.password=
ssl.client.auth=chan eil gin
ssl.protocol=TLSv1.2
# rèiteachadh SASL
sasl.enabled.mechanisms=PLAIN
listener.name.sasl_ssl.plain.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginMo
tha feum air \
ainm neach-cleachdaidh = "rianaire" \
facal-faire =” ” \
user_admin=” ” \
user_client =” ”;
# NOTE faodar barrachd luchd-cleachdaidh a chur ris le user_ =
# Ùghdarrachadh, tionndaidh ACLn air
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
super.users=Cleachdaiche:admin

A’ stèidheachadh liostaichean smachd ruigsinneachd (ACLs)
A’ tionndadh air ACLs air localhost
RABHADH: Feumaidh sinn an toiseach ACLn a stèidheachadh airson localhost, gus am faigh an Ionad Smachd fhèin cothrom air Kafka fhathast. Mura tèid seo a dhèanamh, brisidh cùisean.

######## inntrigidhean ACLs airson luchd-cleachdaidh gun urra
/usr/lib/kafka/bin/kafka-acls.sh \
-ùghdar kafka.security.authorizer.AclAuthorizer \
-authorizer-properties zookeeper.connect = localhost: 2181 \
-cuir - cead-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -cluster
/usr/lib/kafka/bin/kafka-acls.sh \
-ùghdar kafka.security.authorizer.AclAuthorizer \
-authorizer-properties zookeeper.connect = localhost: 2181 \
-cuir - cead-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -cuspair '*'
/usr/lib/kafka/bin/kafka-acls.sh \
-ùghdar kafka.security.authorizer.AclAuthorizer \
-authorizer-properties zookeeper.connect = localhost: 2181 \
-cuir -ceadaich-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -group '*'

Feumaidh sinn an uairsin ACLn a chomasachadh airson ruigsinneachd taobh a-muigh a leughadh a-mhàin, gus am bi cead aig luchd-cleachdaidh bhon taobh a-muigh na cuspairean paa.public.* a leughadh.
NOTA: Airson smachd nas mionaidiche, thoir sùil air na sgrìobhainnean oifigeil Kafka.

######## inntrigidhean ACLS airson luchd-cleachdaidh bhon taobh a-muigh
/usr/lib/kafka/bin/kafka-acls.sh \
-ùghdar kafka.security.authorizer.AclAuthorizer \
-authorizer-properties zookeeper.connect = localhost: 2181 \
-add - cead-prìomh chleachdaiche:* -operation read -operation thoir cunntas air \
-buidheann 'NCC'
/usr/lib/kafka/bin/kafka-acls.sh \
-ùghdar kafka.security.authorizer.AclAuthorizer \
-authorizer-properties zookeeper.connect = localhost: 2181 \
-add - cead-prìomh chleachdaiche:* -operation read -operation thoir cunntas air \
- cuspair paa.public. -seòrsa goireas-pàtran ro-shuidhichte

Nuair a bhios tu deiseil le seo, feumaidh tu na seirbheisean ath-thòiseachadh:
seirbheisean sudo ncc ath-thòiseachadh
Gus dearbhadh gun urrainn do neach-dèiligidh ceangal tèarainte a stèidheachadh, ruith an àithne a leanas air coimpiutair teachdaiche taobh a-muigh (chan ann air frithealaiche an Ionaid Smachd). Gu h-ìosal, 's e PUBLIC_HOSTNAME ainm òstair an Ionaid Smachd:
openssl s_client -debug -connect ${PUBLIC_HOSTNAME}:9093 -tls1_2 | grep “Tha taic ri ath-rèiteachadh tèarainte”
Ann an toradh an àithne bu chòir dhut teisteanas an fhrithealaiche fhaicinn a bharrachd air na leanas:
Tha taic ri IS ath-rèiteachadh tèarainte
Gus dèanamh cinnteach gun d’ fhuair seirbheisean a-staigh cothrom air frithealaiche Kafka, thoir sùil air an loga a leanasfiles:

• /var/log/kafka/server.log
• /var/log/kafka/kafka-authorizer.log

A’ dearbhadh Ceangal Cliant Taobh a-muigh
caochan
NOTA: Tha an stiùireadh seo gu bhith air a ruith air coimpiutair teachdaiche (chan ann air frithealaiche an Ionaid Smachd).
NOTA: Gus fiosrachadh meatrach a thaisbeanadh, dèan cinnteach gu bheil co-dhiù aon monitor a’ ruith san Ionad Smachd.
Gus ceanglaichean mar neach-dèiligidh taobh a-muigh a dhearbhadh agus a dhearbhadh, tha e comasach an goireas kafkacat a chaidh a chuir a-steach san roinn “A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd ”air duilleag 4 a chleachdadh.
Dèan na ceumannan a leanas:
NOTA: Gu h-ìosal, is e CLIENT_USER an cleachdaiche a chaidh a shònrachadh roimhe san fhaidhle file /etc/kafka/server.properties san Ionad Smachd: is e sin, user_client agus am facal-faire a chaidh a shuidheachadh an sin.
Feumaidh an teisteanas freumh CA a chleachdar gus ainm a chuir ri teisteanas SSL taobh an fhrithealaiche a bhith an làthair air a’ chliant.

• Cruthaich a file client.properties leis an t-susbaint a leanas:

security.protocol=SASL_SSL
ssl.ca.location={PATH_TO_CA_CERT}
sasl.mechanisms=PLAIN
sasl.username={CLIENT_USER}
sasl.password={CLIENT_PASSWORD}
càite

• Is e {PATH_TO_CA_CERT} an t-àite far a bheil an teisteanas freumha CA a chleachd am broker Kafka
• Tha {CLIENT_USER} agus {CLIENT_PASSWORD} nan teisteanasan cleachdaiche airson a’ chliant.
• Ruith an àithne a leanas gus an teachdaireachd a chaidh a chaitheamh le kafkacat fhaicinn:

às-phortadh KAFKA_FQDN=
às-mhalairt METRICS_TOPIC=cunntasan paa.public. .meatrachd
kafkacat -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e
far a bheil {METRICS_TOPIC} mar ainm air a’ chuspair Kafka leis an ro-leasachan “paa.public.”.

NOTA: Chan eil dreachan nas sine de kafkacat a’ toirt seachad an roghainn -F airson roghainnean teachdaiche a leughadh bho a file. Ma tha thu a’ cleachdadh a leithid de dhreach, feumaidh tu na h-aon shuidheachaidhean a thoirt seachad bhon loidhne-àithne mar a chithear gu h-ìosal.

kafkacat -b ${KAFKA_FQDN}:9093 \
-X security.protocol=SASL_SSL\
-X ssl.ca.location={PATH_TO_CA_CERT} \
-X sasl.mechanisms=PLAIN \
-X sasl.username={CLIENT_USER} \
-X sasl.password={CLIENT_PASSWORD} \
-t ${METRICS_TOPIC} -C -e
Gus an ceangal a dhì-bhugachadh, faodaidh tu an roghainn -d a chleachdadh:

Debug conaltradh luchd-cleachdaidh
kafkacat -d neach-cleachdaidh -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e
# Conaltradh broker Debug
kafkacat -d broker -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e

Dèan cinnteach gun toir thu iomradh air na sgrìobhainnean airson leabharlann teachdaiche Kafka a thathas a’ cleachdadh, oir faodaidh na togalaichean a bhith eadar-dhealaichte bhon fheadhainn ann an togalaichean.
Cruth teachdaireachd
Tha na teachdaireachdan a thathar a’ cleachdadh airson na cuspairean meatrach agus meata-dàta air an t-sreathachadh ann an cruth buffers Protocol (protobuf) (faic luchd-leasachaidh.google.com/protocol-buffers). Tha sgeamaichean nam brathan seo a’ cumail ris a’ chruth a leanas:

Sgeama Metrics Protobuf

co-chòrdadh = "proto3";
ion-phortaich “google/protobuf/timestamp.proto";
pasgan paa.streamingapi;
roghainn go_package = ".;paa_streamingapi";
Metrics teachdaireachd {
google.protobuf.Timestamp uairamp = 1;
mapa luachan = 2;
int32 stream_id = 3;
}
/**
* Faodaidh luach meatrach a bhith an dàrna cuid na shlànaighear no fleòdradh.
*/
teachdaireachd MetricValue {
aon de sheòrsa {
int64 int_val = 1;
fleòdradh float_val = 2;
}
}

Sgeama Metadata Protobuf

co-chòrdadh = "proto3";
pasgan paa.streamingapi;
roghainn go_package = ".;paa_streamingapi";
teachdaireachd Metadata {
int32 stream_id = 1;
sreang stream_name = 2;
mapa tags = 13;
}

Cliant Examples

NOTA: Tha na h-òrdughan sin an dùil ruith air teachdaiche bhon taobh a-muigh, airson example do laptop no a leithid, agus chan ann san Ionad Smachd.
NOTA: Gus am bi fiosrachadh meatrach air a thaisbeanadh, dèan cinnteach gu bheil co-dhiù aon monitor a’ ruith san Ionad Smachd.
Tha tarball an Ionaid Smachd a’ toirt a-steach an tasglann paa-streaming-api-client-examples.tar.gz (client-examples), anns a bheil example sgriobt Python a’ sealltainn mar a chleachdas tu an Streaming API.
A 'stàladh agus a' rèiteachadh Client Examples
Lorgaidh tu client-examples ann am pasgan Ionad Smachd Dearbhadh Gnìomhach Paragon:

às-phortadh CC_VERSION=4.2.0
cd ./paa-control-center_${CC_VERSION}
ls paa-streaming-api-client-examples*
Gus client-ex a stàladhampnas lugha air a’ choimpiutair teachdaiche taobh a-muigh agad, lean air adhart mar a leanas:
# Cruthaich eòlaire airson a bhith a’ toirt a-mach susbaint an neach-dèiligidh examples tarball
mkdir paa-streaming-api-client-examples
# Thoir a-mach susbaint an neach-dèiligidh examples tarball
tar xzf paa-streaming-api-client-examples.tar.gz -C paa-streaming-api-client-examples
# Rach don eòlaire a chaidh a chruthachadh às ùr
cd paa-streaming-api-client-examples
cliant-exampfeumaidh les Docker a ruith. Gheibhear stiùireadh luchdachadh sìos agus stàlaidh airson Docker aig https://docs.docker.com/engine/install.

A 'cleachdadh Client Examples
Tha an neach-dèiligidh-examples faodaidh innealan ruith ann am modh bunaiteach no adhartach gus exampnas lugha de iom-fhillteachd eadar-dhealaichte. Anns an dà chùis, tha e comasach cuideachd an exampnas lugha le rèiteachadh file anns a bheil feartan a bharrachd airson tuilleadh gnàthachaidh a dhèanamh air taobh an neach-dèiligidh.
Modh bunaiteach
Ann am modh bunaiteach, tha na meatrach agus am meata-dàta air an sruthadh air leth. Chun na crìche seo, bidh an neach-dèiligidh ag èisteachd ri gach cuspair Kafka a tha ri fhaighinn airson ruigsinneachd taobh a-muigh agus dìreach a ’clò-bhualadh na teachdaireachdan a fhuair iad chun consol.
Gus tòiseachadh air an examples, ruith:
./build.sh run-basic -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME
cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.
Gus crìoch a chur air coileanadh an t-seannample, brùth Ctrl + C. (Dh’ fhaodadh gum bi beagan dàil ann mus stad an cur gu bàs leis gu bheil an neach-dèiligidh a’ feitheamh ri tachartas ùine.)
Modh adhartach
NOTA: Tha metrics air an taisbeanadh a-mhàin airson sgrùdairean HTTP a tha a’ ruith san Ionad Smachd.
Tha coileanadh ann am modh adhartach a’ sealltainn a’ cho-dhàimh eadar teachdaireachdan meatrach agus meata-dàta. Tha seo comasach le taing don làthaireachd anns gach teachdaireachd meatrach de raon ID sruth a tha a’ toirt iomradh air an teachdaireachd meata-dàta co-fhreagarrach.
Gus am faidhle adhartach examples, ruith:
./build.sh run-adhartach -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME
cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.
Gus crìoch a chur air coileanadh an t-seannample, brùth Ctrl + C. (Dh’ fhaodadh gum bi beagan dàil ann mus stad an cur gu bàs leis gu bheil an neach-dèiligidh a’ feitheamh ri tachartas ùine.)
Suidheachaidhean a bharrachd
Tha e comasach an exampnas lugha le rèiteachadh a bharrachd den neach-dèiligidh a’ cleachdadh an -config-file roghainn air a leantainn le a file ainm anns a bheil feartan san fhoirm key = luach.
./build.sh run-adhartach \
-kafka-brokers localhost: 9092 \
-cunntas ACCOUNT_SHORTNAME \
-config-file client_config.properties

NOTA: Uile files air a bheil iomradh san àithne gu h-àrd a bhith suidhichte anns an eòlaire gnàthach agus air a chuir air adhart a’ cleachdadh dìreach slighean càirdeach. Tha seo a’ buntainn an dà chuid ris an –config-file argamaid agus ris a h-uile inntrigeadh san rèiteachadh file a tha ag innse file àiteachan.
A’ dearbhadh dearbhadh teachdaiche taobh a-muigh
Gus dearbhadh teachdaiche a dhearbhadh bho thaobh a-muigh an Ionaid Smachd a’ cleachdadh client-examples, dèan na ceumannan a leanas:

• Bho phasgan Ionad Smachd Dearbhadh Gnìomhach Paragon, gluais chun paa-streaming-api-clientexampnas pasgan:
  cd paa-streaming-api-client-examples
• Dèan lethbhreac den teisteanas CA root teisteanas ca-cert a-steach don eòlaire làithreach.
• Cruthaich client.properties file leis an t-susbaint a leanas:
  security.protocol=SASL_SSL
  ssl.ca.location=ca-cert
  sasl.mechanism=PLAIN
  sasl.username={CLIENT_USER}
  sasl.password={CLIENT_PASSWORD}
  far a bheil {CLIENT_USER} agus {CLIENT_PASSWORD} nan teisteanasan cleachdaiche airson a’ chliant.
• Ruith bunaiteach examples:
  às-phortadh KAFKA_FQDN=
  ./build.sh run-basic -kafka-brokers ${KAFKA_FQDN}: 9093 \
  -cunntas ACCOUNT_SHORTNAME
  -config-file luchd-dèiligidh.properties
  cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.
• Ruith adhartach examples:
  às-phortadh KAFKA_FQDN=
  ./build.sh run-adhartach -kafka-brokers ${KAFKA_FQDN}: 9093 \
  -cunntas ACCOUNT_SHORTNAME
  -config-file luchd-dèiligidh.properties

Pàipear-taice
Anns an eàrr-ràdh seo tha sinn a’ mìneachadh mar a chruthaicheas tu:

• stòr-iuchrach file airson teisteanas SSL broker Kafka a stòradh
• stòr-urrais file airson an teisteanas freumh Ùghdarras Teisteanas (CA) a stòradh a chaidh a chleachdadh gus ainm a chuir ri teisteanas broker Kafka.

A 'cruthachadh teisteanas Kafka Broker
A’ cruthachadh teisteanas a’ cleachdadh fìor ùghdarras teisteanais (air a mholadh)
Thathas a’ moladh gum faigh thu fìor theisteanas SSL bho CA earbsach.
Aon uair ‘s gu bheil thu air CA a cho-dhùnadh, dèan lethbhreac den teisteanas freumh CA aca file air do shlighe fhèin mar a chithear gu h-ìosal:
às-mhalairt CA_PATH = ~/my-ca
mkdir ${CA_PATH}
cp ca-cert ${CA_PATH}
Cruthaich an t-Ùghdarras Teisteanas agad fhèin
NOTA: Mar as trice bu chòir do theisteanas a bhith air a shoidhnigeadh le fìor Ùghdarras Teisteanas; faic am fo-earrann roimhe. Chan eil anns na leanas ach example.
An seo bidh sinn a’ cruthachadh an teisteanas freumh Ùghdarras Teisteanas (CA) againn fhèin file dligheach airson 999 latha (chan eil e air a mholadh ann an cinneasachadh):
# Cruthaich eòlaire airson an CA a stòradh
às-mhalairt CA_PATH = ~/my-ca
mkdir ${CA_PATH}
# Cruthaich an teisteanas CA
openssl req -new -x509 -keyout ${CA_PATH}/ca-key -out ${CA_PATH}/ca-cert -days 999

A 'cruthachadh an Client Truststore
A-nis faodaidh tu stòr earbsa a chruthachadh file anns a bheil an ca-cert a chaidh a chruthachadh gu h-àrd. Seo file bidh feum air an neach-dèiligidh Kafka a gheibh cothrom air an Streaming API:

keytool -keystore kafka.client.truststore.jks \
-alias CARroot \
-in-mhalairt -file ${CA_PATH}/ca-cert

A-nis gu bheil an teisteanas CA anns an truststore, bidh earbsa aig an neach-dèiligidh ann an teisteanas sam bith a tha air a shoidhnigeadh leis.
Bu chòir dhut lethbhreac a dhèanamh den file kafka.client.truststore.jks gu àite aithnichte air a’ choimpiutair teachdaiche agad agus comharraich e anns na roghainnean.
A 'cruthachadh an Keystore airson Broker Kafka
Gus teisteanas SSL broker Kafka a ghineadh agus an uairsin am prìomh stòr kafka.server.keystore.jks, lean air adhart mar a leanas:
A 'cruthachadh an teisteanas SSL
Gu h-ìosal, is e 999 an àireamh de làithean dligheachd a’ phrìomh stòr, agus is e FQDN ainm àrainn làn-theisteanas an neach-dèiligidh (ainm aoigheachd poblach an nód).
NOTA: Tha e cudromach gum bi an FQDN a’ maidseadh an dearbh ainm aoigheachd a chleachdas an neach-dèiligidh Kafka gus ceangal ris an Ionad Smachd.
sudo mkdir -p /var/ssl/private
sudo chown -R $ USER: /var/ssl/private
cd /var/ssl/prìobhaideach
às-mhalairt FQDN=
keytool -keystore kafka.server.keystore.jks \
-alias frithealaiche \
-dligheachd 999 \
-genkey -keyalg RSA -ext SAN=dns: ${FQDN}
Cruthaich iarrtas soidhnigeadh teisteanais agus a stòradh ann an file ainmichte cert-server-iarrtas:
keytool -keystore kafka.server.keystore.jks \
-alias frithealaiche \
-certreq \
-file cert-server-iarrtas

Bu chòir dhut a-nis am faidhle a chuir file cert-server-iarraidh chun Ùghdarras Teisteanas (CA) agad ma tha thu a’ cleachdadh fear fìor. Tillidh iad an uairsin an teisteanas soidhnichte. Bheir sinn iomradh air seo mar cert-server-signed gu h-ìosal.
A’ soidhnigeadh an Teisteanas SSL a’ cleachdadh Teisteanas CA fèin-chruthaichte
NOTA: A-rithist, chan eilear a’ moladh an CA agad fhèin a chleachdadh ann an siostam cinneasachaidh.
Cuir d’ ainm ris an teisteanas a’ cleachdadh an CA tro mheadhan an file cert-server-request, a bheir a-mach an teisteanas soidhnichte cert-server-soidhnigeadh. Faic gu h-ìosal; Is e ca-password am facal-faire a chaidh a shuidheachadh nuair a chruthaicheas tu an teisteanas CA.

cd /var/ssl/prìobhaideach
openssl x509 -req \
-CA ${CA_PATH}/ca-cert \
-CAkey ${CA_PATH}/ca-key \
-in cert-server-iarrtas \
-out cert-server-signed \
-làithean 999 -CAcreaterial \
-passin pas: {ca-password}

A’ toirt a-steach an Teisteanas Soidhnichte a-steach don Keystore
Cuir a-steach an teisteanas freumh ca-cert a-steach don phrìomh stòr:
keytool -keystore kafka.server.keystore.jks \
-alias ca-cert \
-in-mhalairt \
-file ${CA_PATH}/ca-cert
Cuir a-steach an teisteanas soidhnichte ris an canar cert-server-signed:
keytool -keystore kafka.server.keystore.jks \
-alias frithealaiche \
-in-mhalairt \
-file cert-server-soidhnigeadh
Tha an file bu chòir kafka.server.keystore.jks a chopaigeadh gu àite aithnichte air frithealaiche an Ionaid Smachd, agus an uairsin air ainmeachadh ann an /etc/kafka/server.properties.

A’ cleachdadh an Streaming API

Coitcheann
Bidh an API sruthadh a’ faighinn an dà chuid dàta deuchainn agus sgrùdaidh. Chan eil e comasach aon de na roinnean sin a shònrachadh.
Cha bhith an API sruthadh a’ faighinn dàta bho dheuchainnean stèidhichte air sgriobt (an fheadhainn a tha air an riochdachadh le ceart-cheàrnach an àite pìos jigsaw anns an Ionad Smachd GUI), leithid deuchainnean gnìomhachaidh seirbheis Ethernet agus deuchainnean follaiseachd.

Ainmean nan cuspairean Kafka
Tha na h-ainmean cuspair Kafka airson an API sruthadh mar a leanas, far a bheil %s an t-ainm goirid air cunntas an Ionaid Smachd (air a chomharrachadh nuair a chruthaicheas tu a’ chunntas):

const (
exporterName = "kafka"
metadataTopicTpl = “paa.public.accounts.%s.metadata”
metricsTopicTpl = “paa.public.accounts.%s.metrics”
)

Exampnas lugha de bhith a’ cleachdadh an Streaming API
Tha an t-examplorgar na tha a’ leantainn anns an tarball paa-streaming-api-client-examples.tar.gz a tha taobh a-staigh tarball an Ionaid Smachd.
An toiseach, tha example bhith a’ sealltainn mar a tha na meatrach agus am meata-dàta air an sruthadh air leth agus dìreach clò-bhuail na teachdaireachdan a fhuaireadh chun consol. Faodaidh tu a ruith mar a leanas:
sudo ./build.sh run-basic -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME
Tha sean-fhear nas adhartaiche ann cuideachdample far a bheil teachdaireachdan meatrach agus meata-dàta co-cheangailte. Cleachd an àithne seo airson a ruith:
sudo ./build.sh run-adhartach -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME
Feumaidh tu sudo a chleachdadh gus òrdughan Docker a ruith mar an fheadhainn gu h-àrd. Gu roghnach, faodaidh tu na ceumannan iar-stàladh Linux a leantainn gus a bhith comasach air òrdughan Docker a ruith às aonais sudo. Airson mion-fhiosrachadh, rachaibh gu docs.docker.com/engine/install/linux-postinstall.

Tha Juniper Networks, suaicheantas Juniper Networks, Juniper, agus Junos nan comharran-malairt clàraichte aig Juniper Networks, Inc. anns na Stàitean Aonaichte agus dùthchannan eile. Is ann leis na sealbhadairean aca a tha a h-uile comharra-malairt, comharra seirbheis, comharra clàraichte, no comharran seirbheis clàraichte. Chan eil Juniper Networks a’ gabhail uallach sam bith airson mearachd sam bith san sgrìobhainn seo. Tha Juniper Networks a’ glèidheadh ​​na còrach am foillseachadh seo atharrachadh, atharrachadh, a ghluasad no ath-sgrùdadh air dhòigh eile gun rabhadh. Còraichean glèidhte © 2023 Juniper Networks, Inc.

Sgrìobhainnean/Goireasan

Juniper NETWORKS Streaming API Active Assurance [pdfStiùireadh Cleachdaiche A’ sruthadh Dearbhadh Gnìomhach API, Dearbhadh Gnìomhach API, Dearbhadh Gnìomhach, Dearbhadh

Iomraidhean

• Leabhar-làimhe cleachdaiche