Bathar-bog API Sruth Juniper NETWORKS

Fiosrachadh toraidh

Sònrachaidhean

• Ainm Bathar: Paragon Active Assurance
• Tionndadh: 4.1
• Ceann-latha foillseachaidh: 2023-03-15

Ro-ràdh:
Tha an iùl seo a’ toirt seachad stiùireadh air mar a tharraing thu dàta bho Paragon Active Assurance a’ cleachdadh API sruthadh an toraidh. Tha an neach-dèiligidh sruthadh agus API air an toirt a-steach don stàladh Paragon Active Assurance, ach tha feum air beagan rèiteachaidh mus cleachd thu an API. Tha am pròiseas rèiteachaidh air a chòmhdach anns an roinn “Configuring the Streaming API”.

A’ rèiteachadh an API Streaming:
Tha na ceumannan a leanas a’ mìneachadh a’ phròiseas gus an API sruthadh a rèiteachadh:

Thairisview
Tha Kafka na àrd-ùrlar sruthadh tachartais a chaidh a dhealbhadh airson glacadh agus stòradh dàta fìor-ùine bho dhiofar stòran. Tha e a’ comasachadh sruthan tachartais a riaghladh ann an dòigh sgaoilte, scalable, fulangach air lochdan agus tèarainte. Tha an iùl seo a’ cuimseachadh air a bhith a’ rèiteachadh Kafka gus am feart Streaming API a chleachdadh ann am Paragon Active Assurance Control Center.

Briathrachas
Tha an Streaming API a’ leigeil le teachdaichean bhon taobh a-muigh fiosrachadh meatrach fhaighinn air ais bho Kafka. Bithear a’ cur metrics a chruinnich na riochdairean deuchainn rè gnìomh deuchainn no sgrùdaidh gu seirbheis Stream. Às deidh giullachd, bidh an t-seirbheis Stream a’ foillseachadh na meatrach sin air Kafka còmhla ri meata-dàta a bharrachd.

A’ comasachadh an Streaming API
Gus an API Streaming a chomasachadh, lean na ceumannan seo:

1. Ruith na h-òrdughan a leanas air frithealaiche an Ionaid Smachd a’ cleachdadh sudo:

KAFKA_METRICS_ENABLED = Tha fìor sheirbheisean sudo ncc a’ comasachadh raon-ama metrics seirbheisean sudo ncc tòiseachadh clàr-ama b metrics sudo ncc seirbheisean ath-thòiseachadh

A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd:
Gus dearbhadh gu bheil thu a’ faighinn meatrach air na cuspairean ceart Kafka:

1. Stàlaich an goireas kafkacat leis na h-òrdughan a leanas:
   sudo apt-faigh ùrachadh
   sudo apt-faigh stàladh kafkacat

2. Cuir ainm goirid a’ chunntais agad an àite “myaccount” san fhaidhle
   Ionad-smachd URL:
   às-mhalairt METRICS_TOPIC=paa.public.accounts.myaccount.metrics
   às-mhalairt METADATA_TOPIC=paa.public.accounts.myaccount.metadata

3. Ruith an àithne a leanas gu view meatrach:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e
   Thoir an aire: Seallaidh an àithne gu h-àrd na meatrach.
4. Gu view meata-dàta, ruith an òrdugh a leanas:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

Thoir an aire: Seallaidh an àithne gu h-àrd meata-dàta, ach chan ùraich e cho tric.

Cliant Examples
Airson cliant examples agus tuilleadh fiosrachaidh, thoir sùil air duilleag 14 den leabhar-làimhe neach-cleachdaidh.

Ceistean Cumanta (Ceistean Bitheanta)

• Q: Dè a th 'ann an Dearbhadh Gnìomhach Paragon?
  A: Is e toradh a th’ ann am Paragon Active Assurance a bheir seachad comasan sgrùdaidh is deuchainn.
• C: Dè a th 'ann an Streaming API?
  A: Tha an Streaming API na fheart ann am Paragon Active Assurance a leigeas le teachdaichean bhon taobh a-muigh fiosrachadh meatrach fhaighinn air ais bho Kafka.
• C: Ciamar a bheir mi comas don Streaming API?
  A: Gus an API Streaming a chomasachadh, lean na ceumannan a tha air am mìneachadh anns an earrainn “A’ comasachadh an API Streaming" de leabhar-làimhe an neach-cleachdaidh.
• C: Ciamar as urrainn dhomh dearbhadh gu bheil an Streaming API ag obair?
  A: Thoir sùil air an earrann “A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd ”airson stiùireadh air mar a nì thu dearbhadh air gnìomhachd an API Streaming.

Ro-ràdh

Tha an iùl seo ag innse mar a tharraing thu dàta bho Paragon Active Assurance tro API sruthadh an toraidh.
Tha an API a bharrachd air an neach-dèiligidh sruthadh air an toirt a-steach don stàladh Paragon Active Assurance. Ach, tha feum air beagan rèiteachaidh mus urrainn dhut an API a chleachdadh. Tha seo air a chòmhdach anns an “Configuring the Streaming API” air duilleag 1 caibideil.

Thairisview
Tha a’ chaibideil seo a’ mìneachadh mar a chuireas tu an Streaming API air dòigh gus leigeil le ballrachd a thoirt do theachdaireachdan meatrach tro Kafka.
pr
Gu h-ìosal thèid sinn tro:

• Mar a bheir thu comas don Streaming API
• Mar a chuireas tu Kafka air dòigh gus èisteachd ri teachdaichean bhon taobh a-muigh
• Mar a chuireas tu Kafka air dòigh gus ACLs a chleachdadh agus crioptachadh SSL a stèidheachadh airson an luchd-dèiligidh sin

Dè th' ann an Kafka?
Tha Kafka na àrd-ùrlar sruthadh tachartais a leigeas le glacadh fìor-ùine de dhàta a chaidh a chuir bho dhiofar stòran tachartais (mothachaidhean, stòran-dàta, innealan gluasadach) ann an cruth sruthan tachartais, a bharrachd air stòradh seasmhach de na sruthan tachartais sin airson an toirt air ais agus an làimhseachadh nas fhaide air adhart.
Le Kafka tha e comasach an tachartas a riaghladh a’ sruthadh bho cheann gu ceann ann an dòigh sgaoilte, làn scalable, elastagach, fulangach ri lochdan agus tèarainte.

NOTA: Faodar Kafka a rèiteachadh ann an iomadh dòigh eadar-dhealaichte agus chaidh a dhealbhadh airson scalability agus siostaman gun fheum. Chan eil an sgrìobhainn seo a’ cuimseachadh ach air mar a nì thu rèiteachadh gus feum a dhèanamh den fheart Streaming API a lorgar ann an Ionad Smachd Dearbhadh Gnìomhach Paragon. Airson rèiteachaidhean nas adhartaiche bidh sinn a’ toirt iomradh air na sgrìobhainnean oifigeil Kafka: kafka.apache.org/26/documentation.html.

Briathrachas

• Kafka: Àrd-ùrlar sruthadh tachartais.
• Cuspair: Cruinneachadh de thachartasan Kafka.
• Neach-clàraidh / neach-cleachdaidh Kafka: Pàirt le uallach airson faighinn air ais tachartasan a tha air an stòradh ann an cuspair Kafka.
• Brocer Kafka: Frithealaiche còmhdach stòraidh de bhuidheann Kafka.
• SSL / TLS: Tha SSL na phròtacal tèarainte a chaidh a leasachadh airson fiosrachadh a chuir gu tèarainte thairis air an eadar-lìn. Tha TLS a’ leantainn SSL, a chaidh a thoirt a-steach ann an 1999.
• SASL: Frèam a bheir seachad uidheamachdan airson dearbhadh luchd-cleachdaidh, sgrùdadh iomlanachd dàta, agus crioptachadh.
• Fo-sgrìobhaiche sruthadh API: Co-phàirt le uallach airson faighinn air ais tachartasan air an stòradh ann an cuspairean a tha air am mìneachadh ann am Paragon Active Assurance agus a’ ciallachadh ruigsinneachd a-muigh.
• Ùghdarras Teisteanas: Buidheann earbsach a bhios a’ toirt a-mach agus a’ toirt air ais prìomh theisteanasan poblach.
• Teisteanas freumh Ùghdarras Teisteanas: Teisteanas iuchair phoblach a chomharraicheas Ùghdarras Teisteanas.

Mar a tha an Streaming API ag obair
Mar a chaidh ainmeachadh roimhe, tha an Streaming API a’ leigeil le teachdaichean bhon taobh a-muigh fiosrachadh fhaighinn air ais mu mheatairean bho Kafka.

Thèid a h-uile meatrach a chruinnich na riochdairean deuchainn rè gnìomh deuchainn no sgrùdaidh a chuir gu seirbheis Stream. Às deidh ìre giollachd, bidh an t-seirbheis Stream a’ foillseachadh na meatrach sin air Kafka còmhla ri meata-dàta a bharrachd.

Cuspairean Kafka
Tha bun-bheachd aig Kafka air cuspairean ris am bi an dàta gu lèir air fhoillseachadh. Ann am Paragon Active Assurance tha mòran de chuspairean Kafka mar sin rim faighinn; ge-tà, chan eil ach fo-sheata dhiubh sin ann airson ruigsinneachd bhon taobh a-muigh.
Tha dà chuspair sònraichte aig gach cunntas Paragon Active Assurance san Ionad Smachd. Gu h-ìosal, is e ACCOUNT ainm goirid a’ chunntais:

• paa.public.cunntasan.{ACCOUNT}.metrics
  • Tha a h-uile teachdaireachd meatrach airson a’ chunntas a chaidh a thoirt seachad air fhoillseachadh don chuspair seo
  • Meudan mòra de dhàta
  • Àrd tricead ùrachadh
• paa.public.accounts.{ACCOUNT}.metadata
  • A’ toirt a-steach meata-dàta co-cheangailte ris an dàta meatrach, airson exampleis an deuchainn, sgrùdadh no àidseant deuchainn co-cheangailte ris na meatrach
  • Meudan beaga de dhàta
  • Tricead ùrachadh ìosal

A’ comasachadh an Streaming API

NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd a’ cleachdadh sudo.

Leis gu bheil an Streaming API a’ cur beagan a bharrachd ris an Ionad Smachd, chan eil e air a chomasachadh gu bunaiteach. Gus an API a chomasachadh, feumaidh sinn an-toiseach leigeil le foillseachadh meatrach gu Kafka sa phrìomh rèiteachadh file:

• /etc/netrounds/netrounds.conf

KAFKA_METRICS_ENABLED = Fìor

RABHADH: Le bhith a’ comasachadh am feart seo dh’ fhaodadh sin buaidh a thoirt air coileanadh Ionad Smachd. Dèan cinnteach gu bheil thu air do eisimpleir a thomhas a rèir sin.

An ath rud, gus na meatrach sin a chuir air adhart gu na cuspairean ceart Kafka:

• /etc/netrounds/metrics.yaml

streaming-api: fìor

Gus na seirbheisean Streaming API a chomasachadh agus a thòiseachadh, ruith:

• Tha seirbheisean sudo ncc a’ comasachadh metrics timescaleb
• Bidh seirbheisean sudo ncc a’ tòiseachadh metrics timescaleb

Mu dheireadh, ath-thòisich na seirbheisean:

• seirbheisean sudo ncc ath-thòiseachadh

A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd

NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.

Faodaidh tu a-nis dearbhadh gu bheil thu a’ faighinn meatrach air na cuspairean ceart Kafka. Gus seo a dhèanamh, stàlaich an goireas kafkacat:

• sudo apt-faigh ùrachadh
• sudo apt-faigh stàladh kafkacat

Ma tha deuchainn no monitor agad a’ ruith san Ionad Smachd, bu chòir dhut a bhith comasach air kafkacat a chleachdadh gus meatrach agus meata-dàta fhaighinn air na cuspairean sin.
Cuir ainm goirid a’ chunntais agad an àite mo chunntas (seo a chì thu san Ionad Smachd agad URL):

• às-mhalairt METRICS_TOPIC=paa.public.accounts.myaccount.metrics
• às-mhalairt METADATA_TOPIC=paa.public.accounts.myaccount.metadata

Bu chòir dhut a-nis meatrach fhaicinn le bhith a’ ruith an àithne seo:

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e

Gu view meata-dàta, ruith an àithne a leanas (thoir an aire nach ùraich seo cho tric):

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

NOTA:
kafkacat” Client Examples ”air duilleag 14

Bidh seo a’ dearbhadh gu bheil API Streaming obrach againn bhon taobh a-staigh den Ionad Smachd. Ach, is coltaiche gu bheil ùidh agad faighinn chun dàta bho neach-dèiligidh bhon taobh a-muigh na àite. Tha an ath earrann ag innse mar a dh’fhosglas tu Kafka airson ruigsinneachd bhon taobh a-muigh.

A’ fosgladh Kafka airson luchd-aoigheachd a-muigh

NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.

Gu gnàthach tha Kafka a tha a’ ruith air an Ionad Smachd air a rèiteachadh gus èisteachd ri localhost a-mhàin airson a chleachdadh a-staigh. Tha e comasach Kafka fhosgladh airson teachdaichean bhon taobh a-muigh le bhith ag atharrachadh roghainnean Kafka.

A’ ceangal ri Kafka: Caveats

Rabhadh: Feuch an leugh thu seo gu faiceallach, leis gu bheil e furasta faighinn a-steach do chùisean ceangail le Kafka mura h-eil thu air na bun-bheachdan sin a thuigsinn.

Ann an suidheachadh an Ionad Smachd a tha air a mhìneachadh san sgrìobhainn seo, chan eil ann ach aon broker Kafka.
Ach, thoir an aire gu bheil còir aig broker Kafka a ruith mar phàirt de bhuidheann Kafka a dh’ fhaodadh a bhith air a dhèanamh suas de mhòran brocairean Kafka.
Nuair a cheanglas tu ri broker Kafka, bidh an neach-dèiligidh Kafka a’ stèidheachadh ceangal tùsail. Tron cheangal seo tillidh am broker Kafka liosta de “luchd-èisteachd sanasachd”, a tha na liosta de aon no barrachd brocairean Kafka.
Nuair a gheibh e an liosta seo, dì-cheangail an neach-dèiligidh Kafka, agus an uairsin ath-cheangail e ri aon den luchd-èisteachd sanasachd sin. Feumaidh ainmean aoigheachd no seòlaidhean IP a bhith aig an luchd-èisteachd sanas a tha ruigsinneach don neach-dèiligidh Kafka, air neo cha dèan an neach-dèiligidh ceangal.
Ma thèid crioptachadh SSL a chleachdadh, a’ toirt a-steach teisteanas SSL a tha ceangailte ri ainm aoigheachd sònraichte, tha e eadhon nas cudromaiche gum faigh an neach-dèiligidh Kafka an seòladh ceart airson ceangal ris, oir air dhòigh eile dh’ fhaodadh an ceangal a bhith air a dhiùltadh.
Leugh tuilleadh mu luchd-èisteachd Kafka an seo: www.confluent.io/blog/kafka-listeners-explained

Crioptachadh SSL/TLS
Gus dèanamh cinnteach nach fhaigh ach teachdaichean earbsach cothrom air Kafka agus an Streaming API, feumaidh sinn na leanas a rèiteachadh:

• Dearbhadh: Feumaidh teachdaichean ainm-cleachdaidh agus facal-faire a thoirt seachad tro cheangal tèarainte SSL / TLS eadar an neach-dèiligidh agus Kafka.
• Ùghdarrachadh: Faodaidh teachdaichean dearbhte gnìomhan a choileanadh air an riaghladh le ACLn.

Seo an còrrview:

*) Dearbhadh ainm-cleachdaidh / facal-faire air a dhèanamh air seanal crioptaichte SSL

Gus làn thuigse fhaighinn air mar a tha crioptachadh SSL / TLS ag obair airson Kafka, thoir sùil air na sgrìobhainnean oifigeil: docs.confluent.io/platform/current/kafka/encryption.html

Teisteanas SSL / TLS seachadview

NOTA: Anns an fho-earrann seo cleachdaidh sinn am briathrachas a leanas:

Teisteanas: Teisteanas SSL air a shoidhnigeadh le Ùghdarras Teisteanas (CA). Tha aon aig gach broker Kafka.
Stòr-iuchair: An stòr-iuchrach file a tha a’ stòradh an teisteanais. Am prìomh stòr file anns a bheil iuchair phrìobhaideach an teisteanais; mar sin, feumar a chumail gu sàbhailte.
Stòr Urras:a file anns a bheil na teisteanasan CA earbsach.

Gus an dearbhadh a stèidheachadh eadar neach-dèiligidh taobh a-muigh agus Kafka a tha a’ ruith san Ionad Smachd, feumaidh stòr-iuchrach a bhith aig gach taobh le teisteanas co-cheangailte air a shoidhnigeadh le Ùghdarras Teisteanas (CA) còmhla ri teisteanas freumh CA.
A bharrachd air an seo, feumaidh stòr earbsa a bhith aig an neach-dèiligidh le teisteanas freumh CA.
Tha an teisteanas freumh CA cumanta don neach-dèiligidh Kafka agus Kafka.

Cruthachadh nan teisteanasan riatanach
Tha seo air a chòmhdach san “Eàrr-ràdh” air duilleag 17.

Rèiteachadh Kafka Broker SSL/TLS san Ionad Smachd

NOTA: Tha an stiùireadh seo gu bhith air a ruith air frithealaiche an Ionaid Smachd.

NOTA: Mus lean thu air adhart, feumaidh tu am prìomh stòr anns a bheil an teisteanas SSL a chruthachadh le bhith a’ leantainn an stiùiridh san “Pàipear-taice” air duilleag 17. Tha na slighean gu h-ìosal a’ tighinn bhon stiùireadh seo.
Tha am prìomh stòr SSL a file Air a stòradh air an diosg leis an file leudachadh .jks.

Aon uair ‘s gu bheil na teisteanasan riatanach air an cruthachadh airson gach cuid broker Kafka agus an neach-dèiligidh Kafka a tha rim faighinn, faodaidh tu leantainn air adhart le bhith a’ rèiteachadh broker Kafka a tha a ’ruith san Ionad Smachd. Feumaidh fios a bhith agad air na leanas:

• : An t-ainm aoigheachd poblach aig an Ionad Smachd; feumaidh seo a bhith so-ruigsinneach agus ruigsinneach le teachdaichean Kafka.
• : Am facal-faire keystore a chaidh a thoirt seachad nuair a chruthaicheas tu an teisteanas SSL.
• agus : Seo na faclan-faire a tha thu airson a shuidheachadh airson an rianaire agus an neach-cleachdaidh fa leth. Thoir an aire gum faod thu barrachd luchd-cleachdaidh a chur ris, mar a tha air a chomharrachadh san t-seannample.

Deasaich no cuir ris (le ruigsinneachd sudo) na feartan gu h-ìosal ann an /etc/kafka/server.properties, a’ cuir a-steach na caochladairean gu h-àrd mar a chithear:

RABHADH: Na toir air falbh PLAINTEXT: // localhost: 9092; brisidh seo gnìomhachd an Ionaid Smachd oir cha bhith e comasach dha seirbheisean a-staigh conaltradh.

• …
• # Na seòlaidhean air am bi broker Kafka ag èisteachd.
• listeners=PLAINTEXT: // localhost: 9092, SASL_SSL: // 0.0.0.0:9093
• # Is iad seo na h-aoighean a chaidh an sanasachadh air ais gu ceangal teachdaiche sam bith.
• sanasachd.listeners=PLAINTEXT: // localhost: 9092, SASL_SSL: // :9093…
• ####### CUSTOM CONFIG
• # SSL CONFIGURATION
• ssl.endpoint.identification.algorithm=
  ssl.keystore.location=/var/ssl/private/kafka.server.keystore.jks
• ssl.keystore.password=
• ssl.key.password=
• ssl.client.auth=chan eil gin
• ssl.protocol=TLSv1.2
• # rèiteachadh SASL
• sasl.enabled.mechanisms=PLAIN
• ainm neach-cleachdaidh = "rianaire" \
• facal-faire =” ” \
• user_admin=” ” \
• user_client =” ”;
• # NOTE faodar barrachd luchd-cleachdaidh a chur ris le user_ =
• # Ùghdarrachadh, tionndaidh ACLn air
• authorizer.class.name=kafka.security.authorizer.AclAuthorizer super.users=Cleachdaiche:admin

A’ stèidheachadh liostaichean smachd ruigsinneachd (ACLs)

A’ tionndadh air ACLs air localhost

RABHADH: Feumaidh sinn an toiseach ACLn a stèidheachadh airson localhost, gus am faigh an Ionad Smachd fhèin cothrom air Kafka fhathast. Mura tèid seo a dhèanamh, brisidh cùisean.

• -ùghdar kafka.security.authorizer.AclAuthorizer \
• -authorizer-properties zookeeper.connect = localhost: 2181 \
• -cuir - cead-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -cluster
• /usr/lib/kafka/bin/kafka-acls.sh \
• -ùghdar kafka.security.authorizer.AclAuthorizer \
• -authorizer-properties zookeeper.connect = localhost: 2181 \
• -cuir - cead-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -cuspair '*'
• /usr/lib/kafka/bin/kafka-acls.sh \
• -ùghdar kafka.security.authorizer.AclAuthorizer \
• -authorizer-properties zookeeper.connect = localhost: 2181 \
• -cuir -ceadaich-prìomh chleachdaiche: ANONYMOUS -allow-host 127.0.0.1 -group '*'

Feumaidh sinn an uairsin ACLn a chomasachadh airson ruigsinneachd taobh a-muigh a leughadh a-mhàin, gus am bi cead aig luchd-cleachdaidh bhon taobh a-muigh na cuspairean paa.public.* a leughadh.

### inntrigidhean ACLs airson luchd-cleachdaidh gun urra /usr/lib/kafka/bin/kafka-acls.sh \

NOTA: Airson smachd nas mionaidiche, thoir sùil air na sgrìobhainnean oifigeil Kafka.

• -ùghdar kafka.security.authorizer.AclAuthorizer \
• -authorizer-properties zookeeper.connect = localhost: 2181 \
• -add - ceadaich-prìomh chleachdaiche:* -operation read -operation thoir cunntas air \ -group 'NCC'
• /usr/lib/kafka/bin/kafka-acls.sh \
• -ùghdar kafka.security.authorizer.AclAuthorizer \
• -authorizer-properties zookeeper.connect = localhost: 2181 \
• -cuir -allow-principal User:* -operation read -operation thoir cunntas air \ -topic paa.public. -seòrsa goireas-pàtran ro-shuidhichte

Nuair a bhios tu deiseil le seo, feumaidh tu na seirbheisean ath-thòiseachadh:

### inntrigidhean ACLs airson luchd-cleachdaidh bhon taobh a-muigh /usr/lib/kafka/bin/kafka-acls.sh \

• seirbheisean sudo ncc ath-thòiseachadh

Gus dearbhadh gun urrainn do neach-dèiligidh ceangal tèarainte a stèidheachadh, ruith an àithne a leanas air taobh a-muigh
coimpiutair teachdaiche (chan ann air frithealaiche an Ionaid Smachd). Gu h-ìosal, 's e PUBLIC_HOSTNAME ainm òstair an Ionaid Smachd:

• openssl s_client -debug -connect ${PUBLIC_HOSTNAME}:9093 -tls1_2 | grep “Tha taic ri ath-rèiteachadh tèarainte”

Ann an toradh an àithne bu chòir dhut teisteanas an fhrithealaiche fhaicinn a bharrachd air na leanas:

• Tha taic ri IS ath-rèiteachadh tèarainte

Gus dèanamh cinnteach gun d’ fhuair seirbheisean a-staigh cothrom air frithealaiche Kafka, thoir sùil air an loga a leanasfiles:

• /var/log/kafka/server.log
• /var/log/kafka/kafka-authorizer.log

A’ dearbhadh Ceangal Cliant Taobh a-muigh

caochan

NOTA: Tha an stiùireadh seo gu bhith air a ruith air coimpiutair teachdaiche (chan ann air frithealaiche an Ionaid Smachd).
NOTA: Gus fiosrachadh meatrach a thaisbeanadh, dèan cinnteach gu bheil co-dhiù aon monitor a’ ruith san Ionad Smachd.

Gus ceanglaichean mar neach-dèiligidh taobh a-muigh a dhearbhadh agus a dhearbhadh, tha e comasach an goireas kafkacat a chaidh a chuir a-steach san roinn “A’ dearbhadh gu bheil an API Streaming ag obair san Ionad Smachd ”air duilleag 4 a chleachdadh.
Dèan na ceumannan a leanas:

NOTA: Gu h-ìosal, tha CLIENT_USER an cleachdaiche a chaidh a shònrachadh roimhe san fhaidhle file /etc/kafka/server.properties san Ionad Smachd: is e sin, user_client agus am facal-faire a chaidh a shuidheachadh an sin.
Feumaidh an teisteanas freumh CA a chleachdar gus ainm a chuir ri teisteanas SSL taobh an fhrithealaiche a bhith an làthair air a’ chliant.

Cruthaich a file client.properties leis an t-susbaint a leanas:

• security.protocol=SASL_SSL
• ssl.ca.location={PATH_TO_CA_CERT}
• sasl.mechanisms=PLAIN
• sasl.username={CLIENT_USER}
• sasl.password={CLIENT_PASSWORD}

càite

• Is e {PATH_TO_CA_CERT} an t-àite far a bheil an teisteanas freumha CA a chleachd am broker Kafka
• Tha {CLIENT_USER} agus {CLIENT_PASSWORD} nan teisteanasan cleachdaiche airson a’ chliant.

Ruith an àithne a leanas gus an teachdaireachd a chaidh a chaitheamh le kafkacat fhaicinn:

• às-phortadh KAFKA_FQDN=
• às-mhalairt METRICS_TOPIC=cunntasan paa.public. .meatrachd
• kafkacat -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e

far a bheil {METRICS_TOPIC} mar ainm air a’ chuspair Kafka leis an ro-leasachan “paa.public.”.

NOTA: Chan eil dreachan nas sine de kafkacat a’ toirt seachad an roghainn -F airson roghainnean teachdaiche a leughadh bho a file. Ma tha thu a’ cleachdadh a leithid de dhreach, feumaidh tu na h-aon shuidheachaidhean a thoirt seachad bhon loidhne-àithne mar a chithear gu h-ìosal.

kafkacat -b ${KAFKA_FQDN}:9093 \

• X security.protocol=SASL_SSL \
• X ssl.ca.location={PATH_TO_CA_CERT} \
• X sasl.mechanisms=PLAIN \
• X sasl.username={CLIENT_USER} \
• X sasl.password={CLIENT_PASSWORD} \
• t ${METRICS_TOPIC} -C -e

Gus an ceangal a dhì-bhugachadh, faodaidh tu an roghainn -d a chleachdadh:

Debug conaltradh luchd-cleachdaidh
kafkacat -d neach-cleachdaidh -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e
# Conaltradh broker Debug
kafkacat -d broker -b ${KAFKA_FQDN}: 9093 -F client.properties -t ${METRICS_TOPIC} -C -e

Dèan cinnteach gun toir thu iomradh air na sgrìobhainnean airson leabharlann teachdaiche Kafka a thathas a’ cleachdadh, oir faodaidh na togalaichean a bhith eadar-dhealaichte bhon fheadhainn ann an togalaichean.

Cruth teachdaireachd
Tha na teachdaireachdan a thathar a’ cleachdadh airson na cuspairean meatrach agus meata-dàta air an t-sreathachadh ann an cruth buffers Protocol (protobuf) (faic luchd-leasachaidh.google.com/protocol-buffers). Tha sgeamaichean nam brathan seo a’ cumail ris a’ chruth a leanas:

Sgeama Metrics Protobuf

• co-chòrdadh = "proto3";
• ion-phortaich “google/protobuf/timestamp.proto";
• pasgan paa.streamingapi;
• roghainn go_package = ".;paa_streamingapi";
• Metrics teachdaireachd {
• google.protobuf.Timestamp uairamp = 1;
• mapa luachan = 2;
• int32 stream_id = 3;
• }
• /**
• * Faodaidh luach meatrach a bhith an dàrna cuid na shlànaighear no fleòdradh.
• */
• teachdaireachd MetricValue {
• aon de sheòrsa {
• int64 int_val = 1;
• fleòdradh float_val = 2;
• }
• }

Sgeama Metadata Protobuf

• co-chòrdadh = "proto3";
• pasgan paa.streamingapi;
• roghainn go_package = ".;paa_streamingapi";
• teachdaireachd Metadata {
• int32 stream_id = 1;
• sreang stream_name = 2;
• mapa tags = 13;
• }

Cliant Examples

NOTA: Tha na h-òrdughan sin an dùil ruith air teachdaiche bhon taobh a-muigh, airson example do laptop no a leithid, agus chan ann san Ionad Smachd.
NOTA: Gus am bi fiosrachadh meatrach air a thaisbeanadh, dèan cinnteach gu bheil co-dhiù aon monitor a’ ruith san Ionad Smachd.

Tha tarball an Ionaid Smachd a’ toirt a-steach an tasglann paa-streaming-api-client-examples.tar.gz (client-examples), anns a bheil example sgriobt Python a’ sealltainn mar a chleachdas tu an Streaming API.

A 'stàladh agus a' rèiteachadh Client Examples
Lorgaidh tu client-examples ann am pasgan Ionad Smachd Dearbhadh Gnìomhach Paragon:

• às-phortadh CC_VERSION=4.1.0
• cd ./paa-control-center_${CC_VERSION}
• ls paa-streaming-api-client-examples*

Gus client-ex a stàladhampnas lugha air a’ choimpiutair teachdaiche taobh a-muigh agad, lean air adhart mar a leanas:

• # Cruthaich eòlaire airson a bhith a’ toirt a-mach susbaint an neach-dèiligidh examples tarball
• mkdir paa-streaming-api-client-examples
• # Thoir a-mach susbaint an neach-dèiligidh examples tarball
• tar xzf paa-streaming-api-client-examples.tar.gz -C paa-streaming-api-client-examples
• # Rach don eòlaire a chaidh a chruthachadh às ùr
• cd paa-streaming-api-client-examples

cliant-exampfeumaidh les Docker a ruith. Gheibhear stiùireadh luchdachadh sìos agus stàlaidh airson Docker aig https://docs.docker.com/engine/install.

A 'cleachdadh Client Examples
Tha an neach-dèiligidh-examples faodaidh innealan ruith ann am modh bunaiteach no adhartach gus exampnas lugha de iom-fhillteachd eadar-dhealaichte. Anns an dà chùis, tha e comasach cuideachd an exampnas lugha le rèiteachadh file anns a bheil feartan a bharrachd airson tuilleadh gnàthachaidh a dhèanamh air taobh an neach-dèiligidh.

Modh bunaiteach
Ann am modh bunaiteach, tha na meatrach agus am meata-dàta air an sruthadh air leth. Chun na crìche seo, bidh an neach-dèiligidh ag èisteachd ri gach cuspair Kafka a tha ri fhaighinn airson ruigsinneachd taobh a-muigh agus dìreach a ’clò-bhualadh na teachdaireachdan a fhuair iad chun consol.
Gus tòiseachadh air an examples, ruith:

• build.sh run-basic -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME

cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.
Gus crìoch a chur air coileanadh an t-seannample, brùth Ctrl + C. (Dh’ fhaodadh gum bi beagan dàil ann mus stad an cur gu bàs leis gu bheil an neach-dèiligidh a’ feitheamh ri tachartas ùine.)

Modh adhartach

NOTA: Tha metrics air an taisbeanadh a-mhàin airson sgrùdairean HTTP a tha a’ ruith san Ionad Smachd.

Tha coileanadh ann am modh adhartach a’ sealltainn a’ cho-dhàimh eadar teachdaireachdan meatrach agus meata-dàta. Is e seo
comasach le taing don làthaireachd anns gach teachdaireachd meatrach de raon ID sruth a tha a’ toirt iomradh air an teachdaireachd meata-dàta co-fhreagarrach.
Gus am faidhle adhartach examples, ruith:

• build.sh run-adhartach -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME

cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.
Gus crìoch a chur air coileanadh an t-seannample, brùth Ctrl + C. (Dh’ fhaodadh gum bi beagan dàil ann mus stad an cur gu bàs leis gu bheil an neach-dèiligidh a’ feitheamh ri tachartas ùine.)

Suidheachaidhean a bharrachd
Tha e comasach an exampnas lugha le rèiteachadh a bharrachd den neach-dèiligidh a’ cleachdadh an -config-file roghainn air a leantainn le a file ainm anns a bheil feartan san fhoirm key = luach.

• build.sh ruith-adhartach \
• -kafka-brokers localhost: 9092 \
• -cunntas ACCOUNT_SHORTNAME \
• -config-file client_config.properties

NOTA: Uile files air a bheil iomradh san àithne gu h-àrd a bhith suidhichte anns an eòlaire gnàthach agus air a chuir air adhart a’ cleachdadh dìreach slighean càirdeach. Tha seo a’ buntainn an dà chuid ris an –config-file argamaid agus ris a h-uile inntrigeadh san rèiteachadh file a tha ag innse file àiteachan.

A’ dearbhadh dearbhadh teachdaiche taobh a-muigh
Gus dearbhadh teachdaiche a dhearbhadh bho thaobh a-muigh an Ionaid Smachd a’ cleachdadh client-examples, dèan na ceumannan a leanas:

Bho phasgan Ionad Smachd Dearbhadh Gnìomhach Paragon, gluais chun paa-streaming-api-client-exampnas pasgan:

cd paa-streaming-api-client-examples

• Dèan lethbhreac den teisteanas CA root teisteanas ca-cert a-steach don eòlaire làithreach.
• Cruthaich client.properties file leis an t-susbaint a leanas:

security.protocol=SASL_SSL ssl.ca.location=ca-cert
sasl.mechanism=PLAIN
sasl.username={CLIENT_USER}
sasl.password={CLIENT_PASSWORD}

far a bheil {CLIENT_USER} agus {CLIENT_PASSWORD} nan teisteanasan cleachdaiche airson a’ chliant.

Ruith bunaiteach examples:

• às-phortadh KAFKA_FQDN=
• build.sh ruith-bunaiteach -kafka-brokers ${KAFKA_FQDN}: 9093 \
• -cunntas ACCOUNT_SHORTNAME
• -config-file luchd-dèiligidh.properties

cò às a tha ACCOUNT_SHORTNAME an t-ainm goirid air a' chunntas bhon a tha thu airson na meatrach fhaighinn.

Ruith adhartach examples:

• às-phortadh KAFKA_FQDN=
• build.sh run-adhartach -kafka-brokers ${KAFKA_FQDN}: 9093 \
• -cunntas ACCOUNT_SHORTNAME
• -config-file luchd-dèiligidh.properties

Pàipear-taice

Anns an eàrr-ràdh seo tha sinn a’ mìneachadh mar a chruthaicheas tu:

• stòr-iuchrach file airson teisteanas SSL broker Kafka a stòradh
• stòr-urrais file airson an teisteanas freumh Ùghdarras Teisteanas (CA) a stòradh a chaidh a chleachdadh gus ainm a chuir ri teisteanas broker Kafka.

A 'cruthachadh teisteanas Kafka Broker
A’ cruthachadh teisteanas a’ cleachdadh fìor ùghdarras teisteanais (air a mholadh)
Thathas a’ moladh gum faigh thu fìor theisteanas SSL bho CA earbsach.
Aon uair ‘s gu bheil thu air CA a cho-dhùnadh, dèan lethbhreac den teisteanas freumh CA aca file air do shlighe fhèin mar a chithear gu h-ìosal:

• às-mhalairt CA_PATH = ~/my-ca
• mkdir ${CA_PATH}
• cp ca-cert ${CA_PATH}

Cruthaich an t-Ùghdarras Teisteanas agad fhèin

NOTA: Mar as trice bu chòir do theisteanas a bhith air a shoidhnigeadh le fìor Ùghdarras Teisteanas; faic am fo-earrann roimhe. Chan eil anns na leanas ach example.

An seo bidh sinn a’ cruthachadh an teisteanas freumh Ùghdarras Teisteanas (CA) againn fhèin file dligheach airson 999 latha (chan eil e air a mholadh ann an cinneasachadh):

• # Cruthaich eòlaire airson an CA a stòradh
• às-mhalairt CA_PATH = ~/my-ca
• mkdir ${CA_PATH}
• # Cruthaich an teisteanas CA
• openssl req -new -x509 -keyout ${CA_PATH}/ca-key -out ${CA_PATH}/ca-cert -days 999

A 'cruthachadh an Client Truststore
A-nis faodaidh tu stòr earbsa a chruthachadh file anns a bheil an ca-cert a chaidh a chruthachadh gu h-àrd. Seo file bidh feum air an neach-dèiligidh Kafka a gheibh cothrom air an Streaming API:

• keytool -keystore kafka.client.truststore.jks \
  • alias CARroot \
  • teisteanas in-mhalairt -file ${CA_PATH}/ca-cert

A-nis gu bheil an teisteanas CA anns an truststore, bidh earbsa aig an neach-dèiligidh ann an teisteanas sam bith a tha air a shoidhnigeadh leis.
Bu chòir dhut lethbhreac a dhèanamh den file kafka.client.truststore.jks gu àite aithnichte air a’ choimpiutair teachdaiche agad agus comharraich e anns na roghainnean.

A 'cruthachadh an Keystore airson Broker Kafka
Gus teisteanas SSL broker Kafka a ghineadh agus an uairsin am prìomh stòr kafka.server.keystore.jks, lean air adhart mar a leanas:

A 'cruthachadh an teisteanas SSL
Gu h-ìosal, is e 999 an àireamh de làithean dligheachd a’ phrìomh stòr, agus is e FQDN ainm àrainn làn-theisteanas an neach-dèiligidh (ainm aoigheachd poblach an nód).

NOTA: Tha e cudromach gum bi an FQDN a’ maidseadh an dearbh ainm aoigheachd a chleachdas an neach-dèiligidh Kafka gus ceangal ris an Ionad Smachd.

• sudo mkdir -p /var/ssl/private
• sudo chown -R $ USER: /var/ssl/private
• cd /var/ssl/prìobhaideach
• às-mhalairt FQDN= keytool -keystore kafka.server.keystore.jks \
• - alias frithealaiche \
• - dligheachas 999 \
• - genkey -keyalg RSA -ext SAN = dns: ${FQDN}

Cruthaich iarrtas soidhnigeadh teisteanais agus a stòradh ann an file ainmichte cert-server-iarrtas:

• keytool -keystore kafka.server.keystore.jks \
  • - alias frithealaiche \
  • - teiste \
  • – file cert-server-iarrtas

Bu chòir dhut a-nis am faidhle a chuir file cert-server-iarraidh chun Ùghdarras Teisteanas (CA) agad ma tha thu a’ cleachdadh fear fìor. Tillidh iad an uairsin an teisteanas soidhnichte. Bheir sinn iomradh air seo mar cert-server-signed gu h-ìosal.

A’ soidhnigeadh an Teisteanas SSL a’ cleachdadh Teisteanas CA fèin-chruthaichte

NOTA: A-rithist, chan eilear a 'moladh an CA agad fhèin a chleachdadh ann an siostam riochdachaidh.

Cuir d’ ainm ris an teisteanas a’ cleachdadh an CA tro mheadhan an file cert-server-request, a bheir a-mach an teisteanas soidhnichte cert-server-soidhnigeadh. Faic gu h-ìosal; Is e ca-password am facal-faire a chaidh a shuidheachadh nuair a chruthaicheas tu an teisteanas CA.

• cd / var/ssl/private openssl x509 -req \
  • - CA ${CA_PATH}/ca-cert \
  • - CAkey ${CA_PATH}/ca-key \
  • - ann an cert-server-iarrtas \
  • – cert-server-signed \
  • - làithean 999 - CAcreaterial \
  • - pas-siubhail: {ca-password}

A’ toirt a-steach an Teisteanas Soidhnichte a-steach don Keystore

Cuir a-steach an teisteanas freumh ca-cert a-steach don phrìomh stòr:

• keytool -keystore kafka.server.keystore.jks \
  • — alias ca-cert \
  • - ion-phortadh \
  • – file ${CA_PATH}/ca-cert

Cuir a-steach an teisteanas soidhnichte ris an canar cert-server-signed:

• keytool -keystore kafka.server.keystore.jks \
  • - alias frithealaiche \
  • - ion-phortadh \
  • – file cert-server-soidhnigeadh

Tha an file bu chòir kafka.server.keystore.jks a chopaigeadh gu àite aithnichte air frithealaiche an Ionaid Smachd, agus an uairsin air ainmeachadh ann an /etc/kafka/server.properties.

A’ cleachdadh an Streaming API

ANNS AN EARRANN SEO

• Coitcheann | 20
• Ainmean Cuspairean Kafka | 21
• Exampnas lugha de bhith a’ cleachdadh an API Streaming | 21

Coitcheann
Bidh an API sruthadh a’ faighinn an dà chuid dàta deuchainn agus sgrùdaidh. Chan eil e comasach aon de na roinnean sin a shònrachadh.
Cha bhith an API sruthadh a’ faighinn dàta bho dheuchainnean stèidhichte air sgriobt (an fheadhainn a tha air an riochdachadh le ceart-cheàrnach an àite pìos jigsaw anns an Ionad Smachd GUI), leithid deuchainnean gnìomhachaidh seirbheis Ethernet agus deuchainnean follaiseachd.

Ainmean nan cuspairean Kafka
Tha na h-ainmean cuspair Kafka airson an API sruthadh mar a leanas, far a bheil %s an t-ainm goirid air cunntas an Ionaid Smachd (air a chomharrachadh nuair a chruthaicheas tu a’ chunntas):

• const (
• exporterName = "kafka"
• metadataTopicTpl = “paa.public.accounts.%s.metadata” metricsTopicTpl = “paa.public.accounts.%s.metrics”)

Exampnas lugha de bhith a’ cleachdadh an Streaming API
Tha an t-examplorgar na tha a’ leantainn anns an tarball paa-streaming-api-client-examples.tar.gz a tha taobh a-staigh tarball an Ionaid Smachd.
An toiseach, tha example bhith a’ sealltainn mar a tha na meatrach agus am meata-dàta air an sruthadh air leth agus dìreach clò-bhuail na teachdaireachdan a fhuaireadh chun consol. Faodaidh tu a ruith mar a leanas:

• sudo ./build.sh run-basic -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME

Tha sean-fhear nas adhartaiche ann cuideachdample far a bheil teachdaireachdan meatrach agus meata-dàta co-cheangailte. Cleachd an àithne seo airson a ruith:

• sudo ./build.sh run-adhartach -kafka-brokers localhost: 9092 -cunntas ACCOUNT_SHORTNAME

Feumaidh tu sudo a chleachdadh gus òrdughan Docker a ruith mar an fheadhainn gu h-àrd. Gu roghnach, faodaidh tu na ceumannan iar-stàladh Linux a leantainn gus a bhith comasach air òrdughan Docker a ruith às aonais sudo. Airson mion-fhiosrachadh, rachaibh gu docs.docker.com/engine/install/linux-postinstall.

Tha Juniper Networks, suaicheantas Juniper Networks, Juniper, agus Junos nan comharran-malairt clàraichte aig Juniper Networks, Inc. anns na Stàitean Aonaichte agus dùthchannan eile. Is ann leis na sealbhadairean aca a tha a h-uile comharra-malairt, comharra seirbheis, comharra clàraichte, no comharran seirbheis clàraichte. Chan eil Juniper Networks a’ gabhail uallach sam bith airson mearachd sam bith san sgrìobhainn seo. Tha Juniper Networks a’ glèidheadh ​​na còrach am foillseachadh seo atharrachadh, atharrachadh, a ghluasad no ath-sgrùdadh air dhòigh eile gun rabhadh. Còraichean glèidhte © 2023 Juniper Networks, Inc.

Sgrìobhainnean/Goireasan

Bathar-bog API Sruth Juniper NETWORKS [pdfStiùireadh Cleachdaiche Bathar-bog API sruthadh, bathar-bog API, bathar-bog

Iomraidhean

• Leabhar-làimhe cleachdaiche