Juniper NETWORKS Streaming API Программасы

Продукт маалыматы

Техникалык шарттар

• Продукт аты: Paragon Active Assurance
• Версия: 4.1
• Жарыяланган күнү: 2023-03-15

Киришүү:
Бул колдонмо өнүмдүн агымдык API'син колдонуп Paragon Active Assurance'тен маалыматтарды кантип алуу боюнча көрсөтмөлөрдү берет. Агым кардары жана API Paragon Active Assurance орнотуусуна камтылган, бирок API колдонуудан мурун кээ бир конфигурация талап кылынат. Конфигурациялоо процесси "Агым API'син конфигурациялоо" бөлүмүндө камтылган.

Streaming API конфигурациялоо:
Төмөнкү кадамдар агымдык API конфигурациялоо процессин сүрөттөйт:

Бүттүview
Кафка - бул ар кандай булактардан алынган маалыматтарды реалдуу убакыт режиминде алуу жана сактоо үчүн иштелип чыккан окуя агымы платформасы. Ал окуя агымдарын бөлүштүрүлгөн, масштабдуу, каталарга чыдамдуу жана коопсуз түрдө башкарууга мүмкүндүк берет. Бул колдонмо Paragon Active Assurance Control Center ичиндеги Streaming API функциясын колдонуу үчүн Кафканы конфигурациялоого багытталган.

Терминология
Streaming API тышкы кардарларга Кафкадан метрика маалыматын алууга мүмкүнчүлүк берет. Сыноо же мониторинг тапшырмасы учурунда Сыноо Агенттери тарабынан чогултулган көрсөткүчтөр Stream кызматына жөнөтүлөт. Иштеп чыккандан кийин, Stream кызматы бул көрсөткүчтөрдү кошумча метадайындар менен бирге Кафкада жарыялайт.

Streaming API иштетүү
Streaming API иштетүү үчүн, бул кадамдарды аткарыңыз:

1. Sudo аркылуу Башкаруу борборунун серверинде төмөнкү буйруктарды аткарыңыз:

KAFKA_METRICS_ENABLED = Чыныгы sudo ncc кызматтары timescaledb метрикасын иштетет sudo ncc кызматтарын баштоо timescaledb метрикасын sudo ncc кызматтарын кайра иштетүү

Streaming API Башкаруу борборунда иштээрин текшерүү:
Кафка боюнча туура темалар боюнча көрсөткүчтөрдү алып жатканыңызды текшерүү үчүн:

1. Kafkacat утилитасын төмөнкү буйруктар менен орнотуңуз:
   sudo apt-get жаңыртуу
   sudo apt-get орнотуу kafkacat

2. "myaccount" дегенди аккаунтуңуздун кыска аты менен алмаштырыңыз
   Башкаруу борбору URL:
   METRICS_TOPIC=paa.public.accounts.myaccount.metrics экспорттоо
   METADATA_TOPIC=paa.public.accounts.myaccount.metadata экспорттоо

3. үчүн төмөнкү буйрукту иштетиңиз view көрсөткүчтөр:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e
   Эскертүү: Жогорудагы буйрук көрсөткүчтөрдү көрсөтөт.
4. үчүн view метадайындар үчүн төмөнкү буйрукту иштетиңиз:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

Эскертүү: Жогорудагы буйрук метадайындарды көрсөтөт, бирок ал тез-тез жаңыртылбайт.

Кардар Эксamples
Кардар үчүн мурункуamples жана кошумча маалымат үчүн, колдонуучу колдонмонун 14-бетине кайрылыңыз.

FAQ (Көп берилүүчү суроолор)

• С: Paragon Active Assurance деген эмне?
  A: Paragon Active Assurance - бул мониторинг жана тестирлөө мүмкүнчүлүктөрүн камсыз кылган продукт.
• С: Streaming API деген эмне?
  A: Streaming API - бул Paragon Active Assurance программасынын өзгөчөлүгү, ал тышкы кардарларга Кафкадан метрика маалыматын алууга мүмкүндүк берет.
• С: Streaming API'ни кантип иштетем?
  A: Streaming API иштетүү үчүн, колдонуучу колдонмонун "Агым API'син иштетүү" бөлүмүндө көрсөтүлгөн кадамдарды аткарыңыз.
• С: Streaming API иштеп жатканын кантип текшере алам?
  A: Streaming API'нин иштешин кантип текшерүү керектиги боюнча нускамаларды алуу үчүн "Агым API'нин Башкаруу борборунда иштээрин текшерүү" бөлүмүн караңыз.

Introduction

Бул колдонмо өнүмдүн агымдык API аркылуу Paragon Active Assurance'тен маалыматтарды кантип алуу керектигин сүрөттөйт.
API, ошондой эле агымдык кардар Paragon Active Assurance орнотуусуна киргизилген. Бирок, API колдонуудан мурун бир аз конфигурация керек. Бул 1-беттеги “Агым API конфигурациялоо” бөлүмүндө камтылган.

Бүттүview
Бул бөлүмдө Кафка аркылуу метрикалык билдирүүлөргө жазылууга уруксат берүү үчүн Streaming API кантип конфигурациялоо керектиги сүрөттөлөт.
pr
Төмөндө биз өтөбүз:

• Streaming API кантип иштетүү керек
• Кафканы тышкы кардарларды угуу үчүн кантип конфигурациялоо керек
• Кафканы кантип конфигурациялоо керек ACLлерди колдонууга жана айтылган кардарлар үчүн SSL шифрлөөсүн орнотууга

Кафка деген эмне?
Кафка бул окуя агымынын платформасы, ал окуялардын агымы түрүндө ар кандай окуялар булактарынан (сенсорлор, маалымат базалары, мобилдик түзүлүштөр) жөнөтүлгөн маалыматтарды реалдуу убакыт режиминде басып алууга, ошондой эле бул окуя агымдарын кийинчерээк издөө жана манипуляциялоо үчүн туруктуу сактоого мүмкүндүк берет.
Кафка менен окуянын акырына чейин агымын бөлүштүрүлгөн, масштабдуу, ийкемдүү, каталарга чыдамдуу жана коопсуз түрдө башкарууга болот.

ЭСКЕРТҮҮ: Кафканы ар кандай жолдор менен конфигурациялоого болот жана масштабдуулук жана ашыкча системалар үчүн иштелип чыккан. Бул документ Paragon Active Assurance Control Centerде табылган Streaming API функциясын колдонуу үчүн аны кантип конфигурациялоого гана багытталган. Өркүндөтүлгөн орнотуулар үчүн биз расмий Кафканын документтерине кайрылабыз: kafka.apache.org/26/documentation.html.

Терминология

• Кафка: Окуяларды өткөрүү платформасы.
• Кафка темасы: Окуялардын жыйнагы.
• Кафка абоненти/керектөөчүсү: Кафка темасында сакталган окуяларды издөө үчүн жооптуу компонент.
• Кафка брокери: Кафка кластеринин сактагыч катмарынын сервери.
• SSL/TLS: SSL Интернет аркылуу коопсуз маалыматты жөнөтүү үчүн иштелип чыккан коопсуз протокол. TLS 1999-жылы киргизилген SSL мураскери болуп саналат.
• SASL: Колдонуучунун аныктыгын текшерүү, маалыматтардын бүтүндүгүн текшерүү жана шифрлөө механизмдерин камсыз кылган алкак.
• Streaming API жазылуучусу: Paragon Active Assurance ичинде аныкталган жана тышкы кирүү үчүн арналган темаларда сакталган окуяларды издөө үчүн жооптуу компонент.
• Сертификат органы: Ачык ачкыч сертификаттарын чыгарган жана жокко чыгарган ишенимдүү уюм.
• Сертификаттын түпкү сертификаты: Тастыктоочу борборду аныктаган ачык ачкычтын сертификаты.

Streaming API кантип иштейт
Мурда айтылгандай, Streaming API тышкы кардарларга Кафкадан метрика жөнүндө маалыматты алууга мүмкүнчүлүк берет.

Сыноо же мониторинг тапшырмасы учурунда Сыноо Агенттери тарабынан чогултулган бардык көрсөткүчтөр Stream кызматына жөнөтүлөт. Иштеп чыгуу баскычынан кийин, Stream кызматы бул көрсөткүчтөрдү кошумча метадайындар менен бирге Кафкада жарыялайт.

Кафка темалары
Кафка бардык маалыматтар жарыяланган темалардын концепциясына ээ. Paragon Active Assurance программасында көптөгөн Кафка темалары бар; бирок булардын бир бөлүгү гана тышкы кирүү үчүн арналган.
Башкаруу борборундагы ар бир Paragon Active Assurance эсебинде эки атайын тема бар. Төмөндө, ACCOUNT каттоо эсебинин кыска аталышы:

• paa.public.accounts.{ACCOUNT}.metrics
  • Берилген каттоо эсеби үчүн бардык метрикалык билдирүүлөр бул темага жарыяланган
  • Маалыматтын чоң көлөмү
  • Жогорку жаңыртуу жыштыгы
• paa.public.accounts.{ACCOUNT}.metadata
  • Метрика дайындарына тиешелүү метадайындарды камтыйт, мисалыampкөрсөткүчтөр менен байланышкан тест, монитор же Test Agent
  • Чакан көлөмдөгү маалыматтар
  • Төмөн жаңыртуу жыштыгы

Streaming API иштетүү

ЭСКЕРТҮҮ: Бул нускамалар sudo аркылуу Башкаруу борборунун серверинде иштетилет.

Streaming API Башкаруу борборуна бир аз кошумча чыгымдарды кошкондуктан, ал демейки боюнча иштетилген эмес. APIди иштетүү үчүн, адегенде негизги конфигурацияда метрикаларды Кафкага жарыялоону иштетишибиз керек file:

• /etc/netrounds/netrounds.conf

KAFKA_METRICS_ENABLED = Чын

ЭСКЕРТҮҮ: Бул функцияны иштетүү Башкаруу борборунун иштешине таасирин тийгизиши мүмкүн. Сиздин инстанцияңызды ошого жараша өлчөгөнүңүздү текшериңиз.

Андан кийин, бул көрсөткүчтөрдү туура Кафка темаларына жөнөтүүнү иштетүү үчүн:

• /etc/netrounds/metrics.yaml

streaming-api: чындык

Streaming API кызматтарын иштетүү жана иштетүү үчүн:

• sudo ncc кызматтары timescaledb метрикасын иштетет
• sudo ncc кызматтары timescaledb метрикасын баштайт

Акырында, кызматтарды өчүрүп күйгүзүңүз:

• sudo ncc кызматтарын кайра иштетүү

Streaming API Башкаруу борборунда иштээрин текшерүү

ЭСКЕРТҮҮ: Бул нускамалар Башкаруу борборунун серверинде аткарылышы керек.

Эми сиз туура Кафка темалары боюнча көрсөткүчтөрдү алып жатканыңызды текшере аласыз. Бул үчүн, kafkacat утилитасын орнотуңуз:

• sudo apt-get жаңыртуу
• sudo apt-get орнотуу kafkacat

Эгер сизде Башкаруу борборунда иштеп жаткан тест же монитор бар болсо, анда бул темалар боюнча метрикаларды жана метаберилиштерди алуу үчүн kafkacat колдоно билишиңиз керек.
Аккаунтуңуздун кыска аты менен менин каттоо эсебимди алмаштырыңыз (бул сиз Башкаруу борборунан көрүнүп турган нерсе URL):

• METRICS_TOPIC=paa.public.accounts.myaccount.metrics экспорттоо
• METADATA_TOPIC=paa.public.accounts.myaccount.metadata экспорттоо

Эми бул буйрукту иштетүү менен метрикаларды көрүшүңүз керек:

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e

үчүн view метадайындар үчүн төмөнкү буйрукту иштетиңиз (бул тез-тез жаңырбай турганын эске алыңыз):

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

ЭСКЕРТҮҮ:
kafkacat”Клиент Эксamples” 14-бетте

Бул бизде Башкаруу борборунун ичинен иштеп жаткан Streaming API бар экенин ырастайт. Бирок, балким, сиз анын ордуна тышкы кардардан маалымат алууга кызыкдарсыз. Кийинки бөлүмдө тышкы кирүү үчүн Кафканы кантип ачуу керектиги сүрөттөлөт.

Тышкы хосттор үчүн Кафканы ачуу

ЭСКЕРТҮҮ: Бул нускамалар Башкаруу борборунун серверинде аткарылышы керек.

Демейки боюнча Башкаруу борборунда иштеген Кафка ички колдонуу үчүн жергиликтүү хостто гана угууга конфигурацияланган. Кафка орнотууларын өзгөртүү менен тышкы кардарлар үчүн Кафканы ачууга болот.

Кафкага кошулуу: эскертүүлөр

ЭСКЕРТҮҮ: Сураныч, муну кунт коюп окуп чыгыңыз, анткени сиз бул түшүнүктөрдү түшүнбөсөңүз, Кафка менен байланышуу маселелери оңой болот.

Бул документте сүрөттөлгөн Башкаруу борборунун жөндөөсүндө бир гана Кафка брокери бар.
Бирок, Кафка брокери көптөгөн Кафка брокерлеринен турушу мүмкүн болгон Кафка кластеринин бир бөлүгү катары иштөө үчүн арналганын эске алыңыз.
Кафка брокерине туташтырылганда, Кафка кардары алгачкы байланышты орнотот. Буга байланыштуу Кафка брокери өз кезегинде бир же бир нече Кафка брокерлеринин тизмеси болгон “жарнамаланган угуучулардын” тизмесин кайтарат.
Бул тизмени алгандан кийин, Кафка кардары өчүрүлөт, андан кийин бул жарнамаланган угуучулардын бирине кайра туташат. Жарнамаланган угуучулар Кафка кардары үчүн жеткиликтүү болгон хост аттары же IP даректерди камтышы керек, болбосо кардар туташа албай калат.
Эгер SSL шифрлөө колдонулса, ал белгилүү бир хосттун аталышына байланган SSL сертификатын камтыса, Кафка кардары туташуу үчүн туура даректи алышы андан да маанилүү, анткени антпесе байланыш четке кагылышы мүмкүн.
Кафканын угуучулары тууралуу кененирээк бул жерден окуңуз: www.confluent.io/blog/kafka-listeners-explained

SSL/TLS шифрлөө
Кафкага жана Streaming API'ге ишенимдүү кардарларга гана кирүүгө уруксат берүү үчүн, биз төмөнкүлөрдү конфигурациялашыбыз керек:

• Аутентификация: Кардарлар кардар менен Кафканын ортосундагы SSL/TLS коопсуз байланышы аркылуу колдонуучунун атын жана паролду бериши керек.
• Авторизация: Аутентификацияланган кардарлар ACL менен жөнгө салынган тапшырмаларды аткара алышат.

Мына, бүттүview:

*) Колдонуучунун аты/паролдун аутентификациясы SSL-шифрленген каналда аткарылган

SSL/TLS шифрлөөнүн Кафка үчүн кандайча иштээрин толук түшүнүү үчүн расмий документтерге кайрылыңыз: docs.confluent.io/platform/current/kafka/encryption.html

SSL/TLS сертификаты бүттүview

ЭСКЕРТҮҮ: Бул бөлүмдө биз төмөнкү терминологияны колдонобуз:

Сертификат: Күбөлүк органы (CA) тарабынан кол коюлган SSL сертификаты. Ар бир Кафка брокеринде бирөө бар.
Ачкыч дүкөнү: Ачкыч дүкөнү file сертификатты сактайт. Ачкыч дүкөнү file күбөлүктүн купуя ачкычын камтыйт; ошондуктан, аны коопсуз сактоо керек.
Truststore: А file ишенимдүү CA сертификаттарын камтыйт.

Башкаруу борборунда иштеген тышкы кардар менен Кафканын ортосунда аутентификацияны орнотуу үчүн эки тарапта тең CA тамыр сертификаты менен бирге Сертификат органы (CA) кол койгон тиешелүү сертификат менен аныкталган ачкыч кампасы болушу керек.
Мындан тышкары, кардар CA тамыр сертификаты менен ишенимдүү дүкөнгө ээ болушу керек.
CA тамыр сертификаты Кафка брокери жана Кафка кардары үчүн жалпы болуп саналат.

Керектүү күбөлүктөрдү түзүү
Бул 17-беттеги «Тиркемеде» камтылган.

Башкаруу борборунда Kafka Broker SSL/TLS конфигурациясы

ЭСКЕРТҮҮ: Бул нускамалар Башкаруу борборунун серверинде аткарылышы керек.

ЭСКЕРТҮҮ: Улантуудан мурун, 17-беттеги “Тиркемедеги” нускамаларды аткаруу менен SSL сертификатын камтыган ачкыч кампасын түзүшүңүз керек. Төмөндө айтылган жолдор ушул нускамалардан келип чыгат.
SSL ачкыч дүкөнү болуп саналат file менен дискте сакталат file кеңейтүү .jks.

Кафка брокери жана Кафка кардары үчүн түзүлгөн талап кылынган сертификаттарга ээ болгондон кийин, Башкаруу борборунда иштеген Кафка брокерин конфигурациялоо менен уланта аласыз. Сиз төмөнкүлөрдү билишиңиз керек:

• : Башкаруу борборунун коомдук хост аты; бул чечилүүчү жана Кафка кардарлары үчүн жеткиликтүү болушу керек.
• : SSL сертификатын түзүүдө берилген ачкыч дүкөнүнүн сырсөзү.
• жана : Булар администратор жана кардар колдонуучу үчүн орноткуңуз келген сырсөздөр. Эсиңизде болсун, сиз экс-де көрсөтүлгөндөй, көбүрөөк колдонуучуларды кошо аласызample.

/etc/kafka/server.properties ичинде төмөндөгү касиеттерди түзөтүңүз же кошуңуз (sudo мүмкүнчүлүгү менен), жогорудагы өзгөрмөлөрдү көрсөтүлгөндөй кыстарыңыз:

ЭСКЕРТҮҮ: PLAINTEXT://localhost:9092 алып салба; бул Башкаруу борборунун функцияларын бузуп салат, анткени ички кызматтар байланыша албайт.

• …
• # Кафка брокери угуучу даректер.
• угуучулар=PLAINTEXT://localhost:9092,SASL_SSL://0.0.0.0:9093
• # Бул туташкан каалаган кардарга кайра жарнамаланган хосттор.
• advertised.listeners=PLAINTEXT://localhost:9092,SASL_SSL:// :9093 …
• ####### КОНФИГ
• # SSL КОНФИГУРАЦИЯСЫ
• ssl.endpoint.identification.algorithm=
  ssl.keystore.location=/var/ssl/private/kafka.server.keystore.jks
• ssl.keystore.password=
• ssl.key.password=
• ssl.client.auth=none
• ssl.protocol=TLSv1.2
• # SASL конфигурациясы
• sasl.enabled.mechanisms=PLAIN
• колдонуучунун аты = "админ" \
• сырсөз =" ” \
• user_admin=” ” \
• user_client=” ”;
• # ЭСКЕРТҮҮ дагы колдонуучуларды user_ менен кошууга болот =
• # Авторизация, ACL'лерди күйгүзүңүз
• authorizer.class.name=kafka.security.authorizer.AclAuthorizer super.users=Колдонуучу:админ

Кирүүнү башкаруу тизмелерин (ACL) орнотуу

Localhostто ACL күйгүзүлүүдө

ЭСКЕРТҮҮ: Башкаруу борборунун өзү дагы эле Кафкага кире алышы үчүн, биз адегенде localhost үчүн ACL орнотушубуз керек. Бул аткарылбаса, иштер бузулат.

• –authorizer kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –кошуу – уруксат берүү-негизги Колдонуучу: АНОНИМ – уруксат берүү-хост 127.0.0.1 – кластер
• /usr/lib/kafka/bin/kafka-acls.sh \
• –authorizer kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –кошуу –уруксат-негизги колдонуучу:АНОНИМ – уруксат берүү-хост 127.0.0.1 –тема '*'
• /usr/lib/kafka/bin/kafka-acls.sh \
• –authorizer kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• – add –allow-негизги Колдонуучу:ANONYMOUS –allow-host 127.0.0.1 –топ '*'

Андан кийин тышкы колдонуучуларга paa.public.* темаларын окууга уруксат берүү үчүн, биз ACLлерди тышкы окуу үчүн гана мүмкүнчүлүгүн иштетишибиз керек.

### Анонимдүү колдонуучулар үчүн ACL жазуулары /usr/lib/kafka/bin/kafka-acls.sh \

ЭСКЕРТҮҮ: Көбүрөөк көзөмөл үчүн Кафканын расмий документтерин караңыз.

• –authorizer kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• – кошуу – уруксат берүү-негизги Колдонуучу:* – операцияны окуу – операцияны сүрөттөйт \ – “NCC” тобу
• /usr/lib/kafka/bin/kafka-acls.sh \
• –authorizer kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• – add –allow-principal User:* –operation read –operation describe \ –tepic paa.public. –ресурс-үлгү түрүндөгү префикс

Муну менен бүткөндөн кийин, сиз кызматтарды кайра иштетүү керек:

### Тышкы колдонуучулар үчүн ACL жазуулары /usr/lib/kafka/bin/kafka-acls.sh \

• sudo ncc кызматтарын кайра иштетүү

Кардар коопсуз байланыш түзө аларын текшерүү үчүн тышкы түзмөктө төмөнкү буйрукту аткарыңыз
кардар компьютери (Башкаруу борборунун серверинде эмес). Төмөндө, PUBLIC_HOSTNAME Башкаруу борборунун хост аты:

• openssl s_client -debug -connect ${PUBLIC_HOSTNAME}:9093 -tls1_2 | grep "Коопсуз кайра сүйлөшүүлөр колдоого алынат"

Буйрук чыгарууда сиз сервердин сертификатын, ошондой эле төмөнкүлөрдү көрүшүңүз керек:

• Secure Renegotiation IS колдоого алынат

Ички кызматтарга Кафка серверине кирүү мүмкүнчүлүгү берилгенин текшерүү үчүн төмөнкү журналды текшериңизfiles:

• /var/log/kafka/server.log
• /var/log/kafka/kafka-authorizer.log

Тышкы кардар байланышын текшерүү

kafkacat

ЭСКЕРТҮҮ: Бул нускамалар кардар компьютеринде аткарылышы керек (Башкаруу борборунун серверинде эмес).
ЭСКЕРТҮҮ: Метрика маалыматын көрсөтүү үчүн Башкаруу борборунда жок дегенде бир монитор иштеп жатканын текшериңиз.

Тышкы кардар катары туташууну текшерүү жана ырастоо үчүн 4-беттеги “Агымдын API башкаруу борборунда иштээрин текшерүү” бөлүмүндө орнотулган kafkacat утилитасын колдонсоңуз болот.
Төмөнкү кадамдарды аткарыңыз:

ЭСКЕРТҮҮ: Төмөндө, CLIENT_USER мурда көрсөтүлгөн колдонуучу file /etc/kafka/server.properties Башкаруу борборунда: тактап айтканда, user_client жана анда коюлган сырсөз.
Сервер тараптын SSL сертификатына кол коюу үчүн колдонулган CA тамыр сертификаты кардарда болушу керек.

түзүү а file client.properties төмөнкү мазмун менен:

• security.protocol=SASL_SSL
• ssl.ca.location={PATH_TO_CA_CERT}
• sasl.mechanisms=PLAIN
• sasl.username={CLIENT_USER}
• sasl.password={CLIENT_PASSWORD}

кайда

• {PATH_TO_CA_CERT} - Кафка брокери колдонгон CA тамыр сертификатынын жайгашкан жери
• {CLIENT_USER} жана {CLIENT_PASSWORD} кардар үчүн колдонуучунун эсептик дайындары.

Kafkacat колдонгон билдирүүнү көрүү үчүн төмөнкү буйрукту иштетиңиз:

• экспорт KAFKA_FQDN=
• METRICS_TOPIC=paa.public.accounts экспорттоо. .метрикалар
• kafkacat -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e

бул жерде {METRICS_TOPIC} - "paa.public." префикси бар Кафка темасынын аталышы.

ЭСКЕРТҮҮ: Kafkacatтын эски версиялары кардар жөндөөлөрүн окуу үчүн -F опциясын камсыз кылбайт file. Эгер сиз ушундай версияны колдонуп жатсаңыз, төмөндө көрсөтүлгөндөй буйрук сабынан ошол эле орнотууларды беришиңиз керек.

kafkacat -b ${KAFKA_FQDN}:9093 \

• X security.protocol=SASL_SSL \
• X ssl.ca.location={PATH_TO_CA_CERT} \
• X sasl.mechanisms=PLAIN \
• X sasl.username={CLIENT_USER} \
• X sasl.password={CLIENT_PASSWORD} \
• t ${METRICS_TOPIC} -C -e

Туташуу мүмкүнчүлүгүн оңдоо үчүн -d параметрин колдонсоңуз болот:

Керектөөчүлөрдүн байланыштарын оңдоо
kafkacat -d керектөөчү -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e
# Мүчүлүштүктөрдү оңдоо брокери байланыш
kafkacat -d брокер -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e

Колдонулуп жаткан Кафка кардар китепканасынын документтерине кайрылууну унутпаңыз, анткени касиеттер client.properties ичиндегилерден айырмаланышы мүмкүн.

Кабардын форматы
Метрикалар жана метадайындар темалары үчүн колдонулган билдирүүлөр Протокол буферлери (протобуф) форматында серияланган (караңыз). developers.google.com/protocol-buffers). Бул билдирүүлөрдүн схемалары төмөнкү форматка ылайык келет:

Metrics Protobuf схемасы

• синтаксис = "proto3";
• импорттоо "google/protobuf/timestamp.proto”;
• paket paa.streamgapi;
• option go_package = “.;paa_streamgapi”;
• билдирүү көрсөткүчтөрү {
• google.protobuf.Timestamp убакытamp = 1;
• карта баалуулуктар = 2;
• int32 stream_id = 3;
• }
• /**
• * Метрикалык маани бүтүн же калкыма болушу мүмкүн.
• */
• билдирүү MetricValue {
• бир түрү {
• int64 int_val = 1;
• float float_val = 2;
• }
• }

Метадата протобуф схемасы

• синтаксис = "proto3";
• paket paa.streamgapi;
• option go_package = “.;paa_streamgapi”;
• билдирүү метадайындары {
• int32 stream_id = 1;
• string stream_name = 2;
• карта tags = 13;
• }

Кардар Эксamples

ЭСКЕРТҮҮ: Бул буйруктар тышкы кардарда иштөөгө арналган, мисалыampБашкаруу борборунда эмес, ноутбук же ушуга окшош.
ЭСКЕРТҮҮ: Метрикалык маалымат көрсөтүлүшү үчүн Башкаруу борборунда жок дегенде бир монитор иштеп жатканын текшериңиз.

Башкаруу борборунун тарболуна paa-streaming-api-client-ex архиви киретamples.tar.gz (кардар мурункуamples), анда эксampStreaming API кантип колдонууну көрсөткөн Python скрипти.

Кардарды орнотуу жана конфигурациялоо Examples
Сиз мурунку кардарды табасызampParagon Active Assurance Control Center папкасындагы les:

• экспорттоо CC_VERSION=4.1.0
• cd ./paa-control-center_${CC_VERSION}
• ls paa-streaming-api-клиент-эксamples*

Клиент-экс орнотуу үчүнamples тышкы кардар компьютериңизде төмөнкүнү аткарыңыз:

• # Кардардын мурунку мазмунун алуу үчүн каталогду түзүңүзamples tarball
• mkdir paa-streaming-api-клиент-эксamples
• # Кардардын мазмунун чыгарып алыңыз, мурункуamples tarball
• tar xzf paa-streaming-api-клиент-эксamples.tar.gz -C paa-streaming-api-client-examples
• # Жаңы түзүлгөн каталогго өтүңүз
• cd paa-streaming-api-клиент-эксamples

кардар-эксamples иштетүү үчүн Докерди талап кылат. Docker үчүн жүктөөлөрдү жана орнотуу нускамаларын бул жерден тапса болот https://docs.docker.com/engine/install.

Client Examples
Мурунку кардарamples куралдар экс куруу үчүн негизги же кошумча режимде иштей алатampар кандай татаалдыктар. Эки учурда тең экс-ди иштетүүгө болотampконфигурацияга ээ file кардар тарабын андан ары ыңгайлаштыруу үчүн кошумча касиеттерди камтыган.

Негизги режим
Негизги режимде метрика жана алардын метаберилиштери өзүнчө агылып чыгат. Бул максатта кардар сырттан кирүү үчүн жеткиликтүү болгон ар бир Кафка темасын угат жана жөн гана кабыл алынган билдирүүлөрдү консолго басып чыгарат.
Негизги экс аткарылышын баштоо үчүнamples, чуркап:

• build.sh run-basic –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

мында ACCOUNT_SHORTNAME – көрсөткүчтөрдү алгыңыз келген каттоо эсебинин кыска аты.
аткарууну токтотуу үчүн эксample, Ctrl + C баскычтарын басыңыз. (Аткаруу токтогонго чейин бир аз кечигүү болушу мүмкүн, анткени кардар күтүү убактысын күтөт.)

Өркүндөтүлгөн режим

ЭСКЕРТҮҮ: Метрикалар Башкаруу борборунда иштеген HTTP мониторлору үчүн гана көрсөтүлөт.

Өркүндөтүлгөн режимде аткаруу метрика менен метаберилиш билдирүүлөрүнүн ортосундагы корреляцияны көрсөтөт. Бул
ар бир метрикалык билдирүүдө тиешелүү метаберилиш билдирүүсүнө шилтеме берген агымдын id талаасынын болушунун аркасында мүмкүн.
өнүккөн экс аткаруу үчүнamples, чуркап:

• build.sh run-advanced –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

мында ACCOUNT_SHORTNAME – көрсөткүчтөрдү алгыңыз келген каттоо эсебинин кыска аты.
аткарууну токтотуу үчүн эксample, Ctrl + C баскычтарын басыңыз. (Аткаруу токтогонго чейин бир аз кечигүү болушу мүмкүн, анткени кардар күтүү убактысын күтөт.)

Кошумча орнотуулар
Бул мурдагы иштетүүгө болотamp-config- колдонуу менен кардардын кошумча конфигурациясы мененfile параметрден кийин а file key=value формасында касиеттерди камтыган аталыш.

• build.sh run-advanced \
• –kafka-brokers localhost:9092 \
• – ACCOUNT_SHORTNAME эсеби \
• -конфигурациялоо-file client_config.properties

ЭСКЕРТҮҮ: Баары fileЖогорудагы буйрукта шилтемеленген s учурдагы каталогдо жайгашып, салыштырмалуу жолдор менен гана шилтеме кылынышы керек. Бул –config-ге да тиешелүүfile аргумент жана конфигурациядагы бардык жазууларга file деп сүрөттөйт file жерлер.

Тышкы кардар аутентификациясын текшерүү
Кардар-экс колдонуу менен Башкаруу борборунан тышкары кардар аныктыгын текшерүү үчүнamples, төмөнкү кадамдарды аткарыңыз:

Paragon Active Assurance Control Center папкасынан paa-streaming-api-client-ex папкасына которулуңузamples папкасы:

cd paa-streaming-api-клиент-эксamples

• Учурдагы каталогго CA тамыр сертификатын көчүрүңүз.
• client.properties түзүү file төмөнкү мазмун менен:

security.protocol=SASL_SSL ssl.ca.location=ca-cert
sasl.mechanism=PLAIN
sasl.username={CLIENT_USER}
sasl.password={CLIENT_PASSWORD}

бул жерде {CLIENT_USER} жана {CLIENT_PASSWORD} кардар үчүн колдонуучунун эсептик дайындары.

Негизги эксamples:

• экспорт KAFKA_FQDN=
• build.sh run-basic –kafka-брокерлер ${KAFKA_FQDN}:9093 \
• – ACCOUNT_SHORTNAME каттоо эсеби
• -конфигурациялоо-file client.properties

мында ACCOUNT_SHORTNAME – көрсөткүчтөрдү алгыңыз келген каттоо эсебинин кыска аты.

Өркүндөтүлгөн эксamples:

• экспорт KAFKA_FQDN=
• build.sh run-advanced –kafka-брокерлер ${KAFKA_FQDN}:9093 \
• – ACCOUNT_SHORTNAME каттоо эсеби
• -конфигурациялоо-file client.properties

Тиркеме

Бул тиркемеде биз кантип түзүүнү сүрөттөйбүз:

• ачкыч дүкөнү file Kafka брокеринин SSL сертификатын сактоо үчүн
• ишеним дүкөнү file Кафка брокеринин сертификатына кол коюу үчүн колдонулган күбөлүк органынын (CA) түпкү сертификатын сактоо үчүн.

Кафка брокеринин сертификатын түзүү
Чыныгы күбөлүк органын колдонуу менен күбөлүк түзүү (сунушталат)
Ишенимдүү CAдан чыныгы SSL сертификатын алуу сунушталат.
CA жөнүндө чечим кабыл алгандан кийин, алардын CA түпкү сертификатынын ca-сертификатын көчүрүңүз file төмөндө көрсөтүлгөндөй өз жолуңузга:

• экспорт CA_PATH=~/my-ca
• mkdir ${CA_PATH}
• cp ca-cert ${CA_PATH}

Өзүңүздүн күбөлүк органыңызды түзүңүз

ЭСКЕРТҮҮ: Адатта, күбөлүккө чыныгы Күбөлүк органы кол койгон болушу керек; мурунку бөлүмдү караңыз. Андан кийинкиси жөн гана эксample.

Бул жерде биз өзүбүздүн күбөлүк органыбыздын (CA) тамыр сертификатын түзөбүз file 999 күн бою жарактуу (өндүрүштө сунушталбайт):

• # CA сактоо үчүн каталог түзүү
• экспорт CA_PATH=~/my-ca
• mkdir ${CA_PATH}
• # CA сертификатын түзүү
• openssl req -new -x509 -keyout ${CA_PATH}/ca-key -out ${CA_PATH}/ca-cert -күн 999

Client Truststore түзүү
Эми сиз ишенимдүү дүкөн түзө аласыз file жогоруда түзүлгөн ка-сертификатты камтыйт. Бул file Streaming API'ге кире турган Кафка кардары керек болот:

• keytool -keystore kafka.client.truststore.jks \
  • CARoot лакап аты \
  • импорттоочу -file ${CA_PATH}/ca-cert

Эми CA сертификаты ишенимдүү дүкөндө болгондуктан, кардар аны менен кол коюлган бардык сертификаттарга ишенет.
Сиз көчүрүү керек file kafka.client.truststore.jks кардар компьютериңиздеги белгилүү жерге жана орнотуулардан аны көрсөтүңүз.

Кафка брокери үчүн ачкыч дүкөнүн түзүү
Kafka брокеринин SSL сертификатын жана андан кийин kafka.server.keystore.jks ачкыч дүкөнүн түзүү үчүн, төмөнкүнү аткарыңыз:

SSL сертификатын түзүү
Төмөндө 999 – ачкыч дүкөнүнүн жарактуу күндөрдүн саны, ал эми FQDN – кардардын толук квалификациялуу домендик аталышы (түйүндүн жалпы хостунун аталышы).

ЭСКЕРТҮҮ: FQDN Кафка кардары Башкаруу борборуна туташуу үчүн колдоно турган хосттун так аталышына дал келиши маанилүү.

• sudo mkdir -p /var/ssl/private
• sudo chown -R $USER: /var/ssl/private
• cd /var/ssl/private
• экспорт FQDN = keytool -keystore kafka.server.keystore.jks \
• - лакап сервер \
• – жарактуулугу 999 \
• – genkey -keyalg RSA -ext SAN=dns:${FQDN}

Сертификатка кол коюу өтүнүчүн түзүп, аны сактаңыз file cert-server-request деп аталган:

• keytool -keystore kafka.server.keystore.jks \
  • - лакап сервер \
  • – certreq \
  • – file сертификат-сервер-суроо

Сиз азыр жөнөтүшүңүз керек file cert-server-суроо-талап, Сертификат органыңызга (CA) эгер сиз чыныгысын колдонуп жатсаңыз. Андан кийин алар кол коюлган сертификатты кайтарып беришет. Биз муну төмөндө сертификат-сервер кол коюлган деп атайбыз.

Өз алдынча түзүлгөн CA сертификатын колдонуу менен SSL сертификатына кол коюу

ЭСКЕРТҮҮ: Дагы, өзүңүздүн CA колдонуу өндүрүш системасында сунушталбайт.

CA аркылуу сертификатка кол коюңуз file кол коюлган сертификатты чыгарган cert-server-request, cert-server-signed. Төмөндө караңыз; ca-password - CA сертификатын түзүүдө коюлган сырсөз.

• cd /var/ssl/private openssl x509 -req \
  • – CA ${CA_PATH}/ca-cert \
  • – CAkey ${CA_PATH}/ca-key \
  • – сертификат-сервер-суроодо \
  • – сертификат-сервер тарабынан кол коюлган \
  • – күн 999 -CAcreateserial \
  • – өтүү билети:{ca-password}

Кол коюлган сертификатты ачкыч дүкөнүнө импорттоо

Ca-cert тамыр сертификатын ачкыч дүкөнүнө импорттоо:

• keytool -keystore kafka.server.keystore.jks \
  • – лакап ат ca-cert \
  • – импорт \
  • – file ${CA_PATH}/ca-cert

Сервер-сервер кол коюлган деп аталган кол коюлган сертификатты импорттоо:

• keytool -keystore kafka.server.keystore.jks \
  • - лакап сервер \
  • – импорт \
  • – file cert-server-кол коюлган

The file kafka.server.keystore.jks Башкаруу борборунун сервериндеги белгилүү жерге көчүрүлүп, андан кийин /etc/kafka/server.properties дарегине шилтеме кылынышы керек.

Streaming API колдонуу

БУЛ БӨЛҮМДӨ

• Жалпы | 20
• Кафка Тема аталыштары | 21
• ExampStreaming API колдонуу | 21

Генерал
Агымдык API тесттик жана монитор дайындарын алып келет. Бул категориялардын бирин бөлүп көрсөтүү мүмкүн эмес.
Агымдык API Ethernet кызматын активдештирүү тесттери жана айкындуулук сыноолору сыяктуу скриптке негизделген тесттерден (Башкаруу борборунун GUIде тик бурчтуктун ордуна тик бурчтук менен көрсөтүлгөн) маалыматтарды ала албайт.

Кафка темалардын аталыштары
Кафка агымдык API үчүн темалардын аталыштары төмөнкүдөй, мында %s Башкаруу борборунун каттоо эсебинин кыска аталышы (эсеп жазууну түзүүдө көрсөтүлгөн):

• const (
• exporterName = "кафка"
• metadataTopicTpl = “paa.public.accounts.%s.metadata” metricsTopicTpl = “paa.public.accounts.%s.metrics” )

ExampStreaming API колдонуу
мурдагыampкийинки les tarball paa-streaming-api-клиент-экс табылганamples.tar.gz Башкаруу борборунун tarball ичинде камтылган.
Биринчиден, негизги экс барample көрсөткүчтөр жана алардын метадайындары өз-өзүнчө агылып кантип көрсөтүлөрүн жана жөн гана кабыл алынган билдирүүлөрдү консолго басып чыгарууну көрсөтөт. Сиз аны төмөнкүдөй иштете аласыз:

• sudo ./build.sh run-basic –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

дагы өнүккөн экс барample жерде метрика жана метаберилиш билдирүүлөрү корреляцияланат. Аны иштетүү үчүн бул буйрукту колдонуңуз:

• sudo ./build.sh run-advanced –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

Жогорудагылар сыяктуу Docker буйруктарын иштетүү үчүн sudo колдонушуңуз керек. Кошумча, сиз Docker буйруктарын sudoсуз иштете алуу үчүн Linux орнотуудан кийинки кадамдарды аткарсаңыз болот. чоо-жайы үчүн, өтүү docs.docker.com/engine/install/linux-postinstall.

Juniper Networks, Juniper Networks логотиби, Juniper жана Junos Кошмо Штаттардагы жана башка өлкөлөрдө Juniper Networks, Inc. компаниясынын катталган соода белгилери болуп саналат. Бардык башка соода белгилери, тейлөө белгилери, катталган белгилер же катталган тейлөө белгилери тиешелүү ээлеринин менчиги болуп саналат. Juniper Networks бул документтеги так эместиктер үчүн эч кандай жоопкерчиликти албайт. Juniper Networks бул басылманы эскертүүсүз өзгөртүү, өзгөртүү, өткөрүп берүү же башка жол менен кайра карап чыгуу укугун өзүнө калтырат. Copyright © 2023 Juniper Networks, Inc. Бардык укуктар корголгон.

Документтер / Ресурстар

Juniper NETWORKS Streaming API Программасы [pdf] Колдонуучунун колдонмосу Streaming API Программасы, API Программасы, Программалык камсыздоо

Шилтемелер

• User Manual