Juniper NETWORKS Streaming API бағдарламалық құралы

Өнім туралы ақпарат

Техникалық сипаттамалар

• Өнім атауы: Paragon Active Assurance
• Нұсқа: 4.1
• Жарияланған күні: 2023 ж

Кіріспе:
Бұл нұсқаулықта өнімнің ағынды API арқылы Paragon Active Assurance жүйесінен деректерді алу жолы туралы нұсқаулар берілген. Ағынды клиент және API Paragon Active Assurance орнатуына кіреді, бірақ API қолданбас бұрын кейбір конфигурация қажет. Конфигурациялау процесі «Ағынды API конфигурациялау» бөлімінде қарастырылған.

Streaming API конфигурациялау:
Келесі қадамдар ағындық API конфигурациялау процесін сипаттайды:

Біттіview
Кафка - әртүрлі көздерден деректерді нақты уақыт режимінде түсіруге және сақтауға арналған оқиғалар ағыны платформасы. Ол оқиғалар ағындарын таратылған, масштабталатын, қателерге төзімді және қауіпсіз түрде басқаруға мүмкіндік береді. Бұл нұсқаулық Paragon Active Assurance басқару орталығындағы Streaming API мүмкіндігін пайдалану үшін Кафканы конфигурациялауға бағытталған.

Терминология
Streaming API сыртқы клиенттерге Кафкадан метрика ақпаратын алуға мүмкіндік береді. Сынақ немесе бақылау тапсырмасы кезінде Сынақ агенттері жинаған көрсеткіштер Stream қызметіне жіберіледі. Өңдеуден кейін Stream қызметі осы көрсеткіштерді Кафкада қосымша метадеректермен бірге жариялайды.

Streaming API қосу
Streaming API қосу үшін мына қадамдарды орындаңыз:

1. Sudo көмегімен Басқару орталығының серверінде келесі пәрмендерді іске қосыңыз:

KAFKA_METRICS_ENABLED = Рас
sudo ncc қызметтері timescaledb көрсеткіштерін қосады
sudo ncc қызметтері timescaledb метрикасын бастау
sudo ncc қызметтері қайта іске қосылады

Streaming API басқару орталығында жұмыс істейтінін тексеру:
Дұрыс Кафка тақырыптары бойынша көрсеткіштерді алып жатқаныңызды тексеру үшін:

1. Kafkacat утилитасын келесі пәрмендермен орнатыңыз:
   sudo apt-get жаңартуы
   sudo apt-get орнату kafkacat

2. «myaccount» сөзін есептік жазбаңыздың қысқа атауымен ауыстырыңыз
   Басқару орталығы URL:
   METRICS_TOPIC=paa.public.accounts.myaccount.metrics экспорттау
   METADATA_TOPIC=paa.public.accounts.myaccount.metdata экспорттау

3. Келесі пәрменді іске қосыңыз view көрсеткіштер:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e
   Ескерту: Жоғарыдағы пәрмен көрсеткіштерді көрсетеді.
4. Кімге view метадеректер үшін келесі пәрменді іске қосыңыз:
   kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

Ескерту: Жоғарыдағы пәрмен метадеректерді көрсетеді, бірақ ол жиі жаңартылмайды.

Клиент Examples
Клиент үшін бұрынғыampжәне қосымша ақпаратты пайдаланушы нұсқаулығының 14-ші бетін қараңыз.

Жиі қойылатын сұрақтар (жиі қойылатын сұрақтар)

• Q: Paragon Active Assurance дегеніміз не?
  A: Paragon Active Assurance - бақылау және сынақ мүмкіндіктерін қамтамасыз ететін өнім.
• С: Streaming API дегеніміз не?
  A: Streaming API сыртқы клиенттерге Кафкадан метрика ақпаратын алуға мүмкіндік беретін Paragon Active Assurance мүмкіндігі болып табылады.
• С: Streaming API қалай қосуға болады?
  A: Streaming API қосу үшін пайдаланушы нұсқаулығының "Ағынды API қосу" бөлімінде көрсетілген қадамдарды орындаңыз.
• С: Streaming API жұмыс істеп тұрғанын қалай тексеруге болады?
  A: Streaming API функционалдығын тексеру жолы туралы нұсқауларды «Ағынды API басқару орталығында жұмыс істейтінін тексеру» бөлімін қараңыз.

Кіріспе

Бұл нұсқаулық өнімнің ағынды API арқылы Paragon Active Assurance жүйесінен деректерді алу жолын сипаттайды.
API және ағындық клиент Paragon Active Assurance орнатуына кіреді. Дегенмен, API пайдалану үшін біраз конфигурация қажет. Бұл 1-беттегі “Ағынды API конфигурациялау” тарауында қарастырылған.

Біттіview
Бұл тарауда Кафка арқылы метрикалық хабарларға жазылуға рұқсат беру үшін Streaming API теңшеу жолы сипатталады.
pr
Төменде біз өтеміз:

• Streaming API қалай қосуға болады
• Кафканы сыртқы клиенттерді тыңдау үшін қалай конфигурациялауға болады
• Кафканы ACL пайдалану және аталған клиенттер үшін SSL шифрлауын орнату үшін қалай конфигурациялауға болады

Кафка дегеніміз не?
Кафка - оқиғалар ағындары түрінде әртүрлі оқиғалар көздерінен (датчиктер, дерекқорлар, мобильді құрылғылар) жіберілген деректерді нақты уақытта түсіруге, сондай-ақ кейінірек іздеу және манипуляциялау үшін осы оқиғалар ағындарын ұзақ сақтауға мүмкіндік беретін оқиға ағыны платформасы.
Кафканың көмегімен оқиғаларды ағынды таратылған, жоғары масштабталатын, серпімді, ақауларға төзімді және қауіпсіз түрде басқаруға болады.

ЕСКЕРТУ: Кафканы әртүрлі жолдармен конфигурациялауға болады және масштабтауға және артық жүйелерге арналған. Бұл құжат Paragon Active Assurance Control Center ішінде табылған Streaming API мүмкіндігін пайдалану үшін оны конфигурациялау жолына ғана назар аударады. Жетілдірілген орнатулар үшін біз ресми Кафка құжаттамасына жүгінеміз: kafka.apache.org/26/documentation.html.

Терминология

• Кафка: Оқиғаларды тарату платформасы.
• Кафка тақырыбы: Оқиғалар жинағы.
• Кафка жазылушысы/тұтынушы: Кафка тақырыбында сақталған оқиғаларды шығарып алуға жауапты құрамдас.
• Кафка брокері: Кафка кластерінің сақтау қабатының сервері.
• SSL/TLS: SSL — ақпаратты Интернет арқылы қауіпсіз жіберу үшін әзірленген қауіпсіз протокол. TLS - 1999 жылы енгізілген SSL мұрагері.
• SASL: пайдаланушы аутентификациясы, деректер тұтастығын тексеру және шифрлау механизмдерін қамтамасыз ететін құрылым.
• Streaming API жазылушысы: Paragon Active Assurance бағдарламасында анықталған және сыртқы кіруге арналған тақырыптарда сақталған оқиғаларды шығарып алуға жауапты құрамдас.
• Сертификаттау орталығы: Ашық кілт сертификаттарын шығаратын және күшін жойатын сенімді ұйым.
• Сертификаттау орталығының түбірлік куәлігі: Сертификаттау орталығын анықтайтын ашық кілт сертификаты.

Streaming API қалай жұмыс істейді
Бұрын айтылғандай, Streaming API сыртқы клиенттерге Кафкадан көрсеткіштер туралы ақпаратты алуға мүмкіндік береді.

Сынақ немесе бақылау тапсырмасы кезінде Сынақ агенттері жинаған барлық көрсеткіштер Stream қызметіне жіберіледі. Өңдеу кезеңінен кейін Stream қызметі сол көрсеткіштерді Кафкада қосымша метадеректермен бірге жариялайды.

Кафка тақырыптары
Кафкада барлық деректер жарияланатын тақырыптар тұжырымдамасы бар. Paragon Active Assurance бағдарламасында мұндай көптеген Кафка тақырыптары бар; дегенмен, олардың тек ішкі жиыны сыртқы қатынасқа арналған.
Басқару орталығындағы әрбір Paragon Active Assurance тіркелгісінде екі арнайы тақырып бар. Төменде ACCOUNT — есептік жазбаның қысқаша атауы:

• paa.public.accounts.{ACCOUNT}.метрика
  • Берілген тіркелгіге арналған барлық көрсеткіштер хабарлары осы тақырыпқа жарияланған
  • Деректердің үлкен көлемі
  • Жоғары жаңарту жиілігі
• paa.public.accounts.{ACCOUNT}.metdata
  • Құрамында метрика деректеріне қатысты метадеректер бар, мысалыampкөрсеткіштермен байланысты сынақ, монитор немесе сынақ агенті
  • Шағын деректер көлемі
  • Төмен жаңарту жиілігі

Streaming API қосу

ЕСКЕРТУ: Бұл нұсқаулар sudo көмегімен Басқару орталығының серверінде іске қосылуы керек.

Streaming API басқару орталығына кейбір үстеме шығындарды қосатындықтан, ол әдепкі бойынша қосылмаған. API қосу үшін алдымен негізгі конфигурацияда Кафкаға көрсеткіштерді жариялауды қосу керек file:

• /etc/netrounds/netrounds.conf

KAFKA_METRICS_ENABLED = Рас

ЕСКЕРТУ: Бұл мүмкіндікті қосу Басқару орталығының жұмысына әсер етуі мүмкін. Данаңызды сәйкесінше өлшемге келтіргеніңізге көз жеткізіңіз.

Содан кейін, осы көрсеткіштерді дұрыс Кафка тақырыптарына жіберуді қосу үшін:

• /etc/netrounds/metrics.yaml

streaming-api: шын

Streaming API қызметтерін қосу және іске қосу үшін келесіні іске қосыңыз:

• sudo ncc қызметтері timescaledb көрсеткіштерін қосады
• sudo ncc қызметтері timescaledb метрикасын бастау

Соңында қызметтерді қайта іске қосыңыз:

• sudo ncc қызметтері қайта іске қосылады

Streaming API басқару орталығында жұмыс істейтінін тексеру

ЕСКЕРТУ: Бұл нұсқаулар Басқару орталығының серверінде іске қосылуы керек.

Сіз енді дұрыс Кафка тақырыптары бойынша көрсеткіштерді алып жатқаныңызды тексере аласыз. Ол үшін kafkacat утилитасын орнатыңыз:

• sudo apt-get жаңартуы
• sudo apt-get орнату kafkacat

Басқару орталығында іске қосылған сынақ немесе мониторыңыз болса, осы тақырыптар бойынша көрсеткіштер мен метадеректерді алу үшін kafkacat мүмкіндігін пайдалануыңыз керек.
Менің тіркелгімді есептік жазбаңыздың қысқа атауымен ауыстырыңыз (мұны басқару орталығында көресіз URL):

• METRICS_TOPIC=paa.public.accounts.myaccount.metrics экспорттау
• METADATA_TOPIC=paa.public.accounts.myaccount.metdata экспорттау

Енді осы пәрменді іске қосу арқылы көрсеткіштерді көруіңіз керек:

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METRICS_TOPIC} -C -e

Кімге view метадеректер үшін келесі пәрменді іске қосыңыз (бұл жиі жаңартылмайтынын ескеріңіз):

• kafkacat -b ${KAFKA_FQDN}:9092 -t ${METADATA_TOPIC} -C -e

ЕСКЕРТУ:
kafkacat”Клиент Examples »14 -бетте

Бұл басқару орталығынан жұмыс істейтін Streaming API бар екенін растайды. Дегенмен, оның орнына сіз сыртқы клиенттің деректеріне қол жеткізуге мүдделі болуыңыз мүмкін. Келесі бөлімде сыртқы қатынас үшін Кафканы ашу жолы сипатталады.

Сыртқы хосттар үшін Кафканы ашу

ЕСКЕРТУ: Бұл нұсқаулар Басқару орталығының серверінде іске қосылуы керек.

Әдепкі бойынша Басқару орталығында жұмыс істейтін Кафка ішкі пайдалану үшін тек жергілікті хостта тыңдау үшін конфигурацияланған. Кафка параметрлерін өзгерту арқылы сыртқы клиенттер үшін Кафканы ашуға болады.

Кафкаға қосылу: ескертулер

ЕСКЕРТУ: Мұны мұқият оқып шығыңыз, өйткені егер сіз бұл ұғымдарды түсінбесеңіз, Кафкамен байланыс мәселесі оңай болады.

Осы құжатта сипатталған Басқару орталығының орнатуында бір ғана Кафка брокері бар.
Дегенмен, Кафка брокері көптеген Кафка брокерлерінен тұруы мүмкін Кафка кластерінің бөлігі ретінде жұмыс істеуге арналғанын ескеріңіз.
Кафка брокеріне қосылу кезінде бастапқы қосылымды Кафка клиенті орнатады. Осыған байланысты Кафка брокері өз кезегінде бір немесе бірнеше Кафка брокерлерінің тізімі болып табылатын «жарнамаланған тыңдаушылар» тізімін қайтарады.
Бұл тізімді алған кезде, Кафка клиенті ажыратылады, содан кейін осы жарнамаланған тыңдаушылардың біріне қайта қосылады. Жарнамаланған тыңдаушыларда Кафка клиентіне қолжетімді хост аттары немесе IP мекенжайлары болуы керек, әйтпесе клиент қосыла алмайды.
Егер белгілі бір хост атауына байланыстырылған SSL сертификатын қамтитын SSL шифрлауы пайдаланылса, Кафка клиентінің қосылу үшін дұрыс мекенжайды алуы одан да маңыздырақ, өйткені әйтпесе қосылым қабылданбауы мүмкін.
Кафка тыңдаушылары туралы толығырақ мына жерден оқыңыз: www.confluent.io/blog/kafka-listeners-explained

SSL/TLS шифрлауы
Тек сенімді клиенттердің Кафкаға және Streaming API интерфейсіне кіруге рұқсат етілгеніне көз жеткізу үшін келесіні конфигурациялауымыз керек:

• Аутентификация: Клиенттер клиент пен Кафка арасындағы SSL/TLS қауіпсіз қосылымы арқылы пайдаланушы аты мен құпия сөзді қамтамасыз етуі керек.
• Авторизация: Аутентификацияланған клиенттер ACL реттейтін тапсырмаларды орындай алады.

Міне аяқталдыview:

*) SSL шифрланған арнада орындалатын пайдаланушы аты/пароль аутентификациясы

SSL/TLS шифрлауының Кафка үшін қалай жұмыс істейтінін толық түсіну үшін ресми құжаттаманы қараңыз: docs.confluent.io/platform/current/kafka/encryption.html

SSL/TLS сертификаты аяқталдыview

ЕСКЕРТУ: Бұл бөлімде біз келесі терминологияны қолданамыз:

Сертификат: Сертификаттау орталығы (CA) қол қойған SSL сертификаты. Әрбір Кафка брокерінде біреуі бар.
Кілттер қоймасы: Кілттер қоймасы file сертификатты сақтайды. Кілт қоймасы file сертификаттың жабық кілтін қамтиды; сондықтан оны қауіпсіз сақтау қажет.
Truststore: А file сенімді CA сертификаттарын қамтиды.

Басқару орталығында іске қосылған сыртқы клиент пен Кафка арасындағы аутентификацияны орнату үшін екі жақта да CA түбірлік куәлігімен бірге Куәлік орталығы (CA) қол қойған сәйкес сертификатпен анықталған кілт қоймасы болуы керек.
Бұған қоса, клиентте CA түбірлік сертификаты бар сенімді дүкен болуы керек.
CA түбірлік сертификаты Кафка брокеріне және Кафка клиентіне ортақ.

Қажетті сертификаттарды жасау
Бұл 17-беттегі «Қосымшада» қарастырылған.

Басқару орталығындағы Kafka Broker SSL/TLS конфигурациясы

ЕСКЕРТУ: Бұл нұсқаулар Басқару орталығының серверінде іске қосылуы керек.

ЕСКЕРТУ: Жалғастырмас бұрын, 17-беттегі “Қосымша” бөліміндегі нұсқауларды орындау арқылы SSL сертификаты бар кілттер қоймасын жасау керек. Төменде аталған жолдар осы нұсқаулардан келеді.
SSL кілттер қоймасы болып табылады file көмегімен дискіде сақталады file кеңейтімі .jks.

Кафка брокері мен Кафка клиенті үшін жасалған қажетті сертификаттар қолжетімді болғаннан кейін, Басқару орталығында іске қосылған Кафка брокерін теңшеу арқылы жалғастыра аласыз. Сіз мыналарды білуіңіз керек:

• : Басқару орталығының жалпы хост атауы; бұл шешілетін және Кафка клиенттері үшін қолжетімді болуы керек.
• : SSL сертификатын жасау кезінде берілген кілттер қоймасының құпия сөзі.
• және : Бұл әкімші және клиент пайдаланушысы үшін сәйкесінше орнатқыңыз келетін құпия сөздер. Бұрын көрсетілгендей қосымша пайдаланушыларды қосуға болатынын ескеріңізampле.

/etc/kafka/server.properties ішінде төмендегі сипаттарды өңдеңіз немесе қосыңыз (sudo қатынасымен), көрсетілгендей жоғарыдағы айнымалы мәндерді енгізіңіз:

ЕСКЕРТУ: PLAINTEXT://localhost:9092; бұл басқару орталығының функцияларын бұзады, себебі ішкі қызметтер байланыса алмайды.

• …
• # Кафка брокері тыңдайтын мекенжайлар.
• тыңдаушылар=PLAINTEXT://localhost:9092,SASL_SSL://0.0.0.0:9093
• # Бұл қосылатын кез келген клиентке жарнамаланған хосттар.
• advertised.listeners=PLAINTEXT://localhost:9092,SASL_SSL:// :9093 …
• ####### РЕТТЕУЛІ КОНФИГ
• # SSL КОНФИГУРАЦИЯСЫ
• ssl.endpoint.identification.algorithm=
  ssl.keystore.location=/var/ssl/private/kafka.server.keystore.jks
• ssl.keystore.password=
• ssl.key.password=
• ssl.client.auth=none
• ssl.protocol=TLSv1.2
• # SASL конфигурациясы
• sasl.enabled.mechanisms=PLAIN
• пайдаланушы аты ="admin" \
• құпия сөз =» ” \
• user_admin=” ” \
• user_client=” ”;
• # ЕСКЕРТПЕ пайдаланушы_ арқылы тағы да пайдаланушыларды қосуға болады =
• # Авторизация, ACL қосыңыз
• authorizer.class.name=kafka.security.authorizer.AclAuthorizer super.users=Пайдаланушы:әкімші

Қол жеткізуді басқару тізімдерін (ACL) орнату

Жергілікті хостта ACL қосу

ЕСКЕРТУ: Басқару орталығының өзі әлі де Кафкаға қол жеткізе алатындай етіп, алдымен localhost үшін ACL орнатуымыз керек. Бұл жасалмаса, заттар бұзылады.

• –авторизатор kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –қосу –рұқсат ету-негізгі пайдаланушы: АНОНИМ – рұқсат беру-хост 127.0.0.1 – кластер
• /usr/lib/kafka/bin/kafka-acls.sh \
• –авторизатор kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –қосу –рұқсат ету-негізгі пайдаланушы:АНОНИМ – рұқсат беру-хост 127.0.0.1 – '*' тақырыбы
• /usr/lib/kafka/bin/kafka-acls.sh \
• –авторизатор kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –қосу –рұқсат ету-негізгі пайдаланушы:АНОНИМ – рұқсат беру-хост 127.0.0.1 –топ '*'

Содан кейін сыртқы пайдаланушыларға paa.public.* тақырыптарын оқуға рұқсат беру үшін сыртқы тек оқуға арналған қатынас үшін ACL қосуымыз керек.

### Анонимді пайдаланушыларға арналған ACL жазбалары /usr/lib/kafka/bin/kafka-acls.sh \

ЕСКЕРТУ: Нақтырақ бақылау үшін Кафканың ресми құжаттамасын қараңыз.

• –авторизатор kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –қосу –рұқсат ету-негізгі пайдаланушы:* – операцияны оқу – операцияны сипаттау \ – «NCC» тобы
• /usr/lib/kafka/bin/kafka-acls.sh \
• –авторизатор kafka.security.authorizer.AclAuthorizer \
• –authorizer-properties zookeeper.connect=localhost:2181 \
• –add –allow-principal Пайдаланушы:* – операцияны оқу – операцияны сипаттау \ –тақырып paa.public. –ресурс-үлгі-түрі префиксі

Мұны орындағаннан кейін қызметтерді қайта іске қосу керек:

### Сыртқы пайдаланушыларға арналған ACL жазбалары /usr/lib/kafka/bin/kafka-acls.sh \

• sudo ncc қызметтері қайта іске қосылады

Клиент қауіпсіз қосылым орната алатынын тексеру үшін сыртқы құрылғыда келесі пәрменді іске қосыңыз
клиенттік компьютер (Басқару орталығының серверінде емес). Төменде PUBLIC_HOSTNAME — Басқару орталығының хост атауы:

• openssl s_client -debug -connect ${PUBLIC_HOSTNAME}:9093 -tls1_2 | grep «Қауіпсіз қайта келіссөзге қолдау көрсетіледі»

Пәрмен шығысында сервер сертификатын, сондай-ақ төмендегілерді көру керек:

• Secure Renegotiation IS қолдау көрсетеді

Ішкі қызметтерге Кафка серверіне кіру рұқсаты берілгеніне көз жеткізу үшін келесі журналды тексеріңізfiles:

• /var/log/kafka/server.log
• /var/log/kafka/kafka-authorizer.log

Сыртқы клиент қосылымын тексеру

kafkacat

ЕСКЕРТУ: Бұл нұсқаулар клиенттік компьютерде іске қосылуы керек (Басқару орталығының серверінде емес).
ЕСКЕРТУ: Көрсеткіштер туралы ақпаратты көрсету үшін Басқару орталығында кемінде бір монитор жұмыс істеп тұрғанын тексеріңіз.

Сыртқы клиент ретінде қосылымды тексеру және растау үшін 4-беттегі «Ағынды API басқару орталығында жұмыс істейтінін тексеру» бөлімінде орнатылған kafkacat утилитасын пайдалануға болады.
Келесі қадамдарды орындаңыз:

ЕСКЕРТУ: Төменде CLIENT_USER бұрын көрсетілген пайдаланушы болып табылады file Басқару орталығындағы /etc/kafka/server.properties: атап айтқанда, user_client және сол жерде орнатылған құпия сөз.
Сервер тарапындағы SSL сертификатына қол қою үшін пайдаланылатын CA түбірлік сертификаты клиентте болуы керек.

Жасау а file Келесі мазмұны бар client.properties:

• security.protocol=SASL_SSL
• ssl.ca.location={PATH_TO_CA_CERT}
• sasl.mechanisms=PLAIN
• sasl.username={CLIENT_USER}
• sasl.password={CLIENT_PASSWORD}

қайда

• {PATH_TO_CA_CERT} — Кафка брокері пайдаланатын CA түбірлік сертификатының орны
• {CLIENT_USER} және {CLIENT_PASSWORD} - клиент үшін пайдаланушы тіркелгі деректері.

Kafkacat пайдаланатын хабарды көру үшін келесі пәрменді іске қосыңыз:

• KAFKA_FQDN= экспорттау
• METRICS_TOPIC=paa.public.counts экспорттау. .метрика
• kafkacat -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e

мұндағы {METRICS_TOPIC} – “paa.public.” префиксі бар Кафка тақырыбының атауы.

ЕСКЕРТУ: kafkacat ескі нұсқалары клиент параметрлерін оқу үшін -F опциясын қамтамасыз етпейді file. Мұндай нұсқаны пайдаланып жатсаңыз, төменде көрсетілгендей пәрмен жолынан бірдей параметрлерді беруіңіз керек.

kafkacat -b ${KAFKA_FQDN}:9093 \

• X security.protocol=SASL_SSL \
• X ssl.ca.location={PATH_TO_CA_CERT} \
• X sasl.mechanisms=PLAIN \
• X sasl.username={CLIENT_USER} \
• X sasl.password={CLIENT_PASSWORD} \
• t ${METRICS_TOPIC} -C -e

Қосылымды жөндеу үшін -d опциясын пайдалануға болады:

Тұтынушы байланыстарын жөндеу
kafkacat -d тұтынушы -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e
# Брокердің байланысын жөндеу
kafkacat -d брокер -b ${KAFKA_FQDN}:9093 -F client.properties -t ${METRICS_TOPIC} -C -e

Қолданыстағы Кафка клиенттік кітапханасының құжаттамасына сілтеме жасауды ұмытпаңыз, өйткені сипаттар client.properties ішіндегілерден өзгеше болуы мүмкін.

Хабар пішімі
Көрсеткіштер мен метадеректер тақырыптары үшін пайдаланылатын хабарлар Протокол буферлері (протобуф) пішімінде серияланады (қараңыз developers.google.com/protocol-buffers). Бұл хабарларға арналған схемалар келесі пішімге сәйкес келеді:

Metrics Protobuf схемасы

• синтаксис = “proto3”;
• импорттау “google/protobuf/timestamp.proto»;
• paa.streamgapi пакеті;
• опция go_package = “.;paa_streamgapi”;
• хабар көрсеткіштері {
• google.protobuf.Timestamp уақытamp = 1;
• карта мәндер = 2;
• int32 stream_id = 3;
• }
• /**
• * Көрсеткіш мән бүтін сан немесе қалқымалы мән болуы мүмкін.
• */
• MetricValue хабары {
• бір түрі {
• int64 int_val = 1;
• float float_val = 2;
• }
• }

Метадеректер протобуфының схемасы

• синтаксис = “proto3”;
• paa.streamgapi пакеті;
• опция go_package = “.;paa_streamgapi”;
• хабардың метадеректері {
• int32 stream_id = 1;
• жол ағынының_атауы = 2;
• карта tags = 13;
• }

Клиент Examples

ЕСКЕРТУ: Бұл пәрмендер сыртқы клиентте жұмыс істеуге арналған, мысалыampБасқару орталығында емес, ноутбугыңызды немесе соған ұқсас құрылғыны пайдаланыңыз.
ЕСКЕРТУ: Көрсеткіштер туралы ақпаратты көрсету үшін Басқару орталығында кемінде бір монитор жұмыс істеп тұрғанын тексеріңіз.

Басқару орталығының tarball құрамына paa-streaming-api-client-ex мұрағаты кіредіamples.tar.gz (клиент-examples), құрамында бұрынғыampStreaming API пайдалану жолын көрсететін Python сценарийі.

Клиентті орнату және конфигурациялау Examples
Сіз бұрынғы клиентті табасызampParagon Active Assurance Control Center қалтасындағы les:

• экспорттау CC_VERSION=4.1.0
• cd ./paa-control-center_${CC_VERSION}
• ls paa-streaming-api-клиент-exampЛес*

Бұрынғы клиентті орнату үшінamples сыртқы клиенттік компьютерде келесі әрекеттерді орындаңыз:

• # Клиенттің мазмұнын шығару үшін каталог жасаңыз, бұрынғыamples tarball
• mkdir paa-streaming-api-client-examples
• # Клиенттің мазмұнын шығарып алыңыз, мысалыamples tarball
• tar xzf paa-streaming-api-клиент-examples.tar.gz -C paa-streaming-api-client-examples
• # Жаңадан жасалған каталогқа өтіңіз
• cd paa-streaming-api-клиент-examples

бұрынғы клиентamples Docker іске қосуды талап етеді. Docker үшін жүктеулер мен орнату нұсқауларын мына жерден табуға болады https://docs.docker.com/engine/install.

Client Examples
Бұрынғы клиентamples құралдары бұрынғы құру үшін негізгі немесе кеңейтілген режимде жұмыс істей аладыampкүрделілігі әртүрлі. Екі жағдайда да бұрынғыны іске қосуға боладыampконфигурациясы бар file клиент жағын одан әрі теңшеу үшін қосымша сипаттарды қамтитын.

Негізгі режим
Негізгі режимде көрсеткіштер мен олардың метадеректері бөлек ағынмен жіберіледі. Осы мақсатта клиент сыртқы қатынас үшін қол жетімді әрбір Кафка тақырыбын тыңдайды және алынған хабарламаларды консольге жай басып шығарады.
Негізгі экс орындауды бастау үшінamples, жүгіру:

• build.sh run-basic –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

мұндағы ACCOUNT_SHORTNAME – көрсеткіштерді алғыңыз келетін есептік жазбаның қысқа атауы.
Бұрынғы орындалуды тоқтату үшінample, Ctrl + C пернелер тіркесімін басыңыз. (Орындау тоқтағанға дейін сәл кідіріс болуы мүмкін, себебі клиент күту уақытының аяқталуын күтеді.)

Жетілдірілген режим

ЕСКЕРТУ: Көрсеткіштер тек Басқару орталығында іске қосылған HTTP мониторлары үшін көрсетіледі.

Жетілдірілген режимде орындау көрсеткіштер мен метадеректер хабарлары арасындағы корреляцияны көрсетеді. Бұл
сәйкес метадеректер хабарына сілтеме жасайтын ағын идентификаторы өрісінің әрбір метрикалық хабарда болуының арқасында мүмкін болады.
Жетілдірілген экс орындау үшінamples, жүгіру:

• build.sh run-advanced –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

мұндағы ACCOUNT_SHORTNAME – көрсеткіштерді алғыңыз келетін есептік жазбаның қысқа атауы.
Бұрынғы орындалуды тоқтату үшінample, Ctrl + C пернелер тіркесімін басыңыз. (Орындау тоқтағанға дейін сәл кідіріс болуы мүмкін, себебі клиент күту уақытының аяқталуын күтеді.)

Қосымша параметрлер
Бұрынғыны іске қосуға боладыamp–config- көмегімен клиенттің қосымша конфигурациясы барfile опциясынан кейін а file key=value пішініндегі сипаттарды қамтитын атау.

• build.sh run-advanced \
• – kafka-brokers localhost: 9092 \
• – ACCOUNT_SHORTNAME тіркелгісі \
• –конфигурация –file client_config.properties

ЕСКЕРТУ: Барлығы fileЖоғарыдағы пәрменде сілтеме жасалған s ағымдағы каталогта орналасуы және тек салыстырмалы жолдар арқылы сілтеме жасалуы керек. Бұл –config-ге де қатыстыfile аргументке және конфигурациядағы барлық жазбаларға file сипаттайтын file орындар.

Сыртқы клиент аутентификациясын тексеру
Клиенттің түпнұсқалық растамасын клиент-ex арқылы Басқару орталығынан тыс тексеру үшінamples, келесі қадамдарды орындаңыз:

Paragon Active Assurance Control Center қалтасынан paa-streaming-api-client-ex қалтасына ауысыңызamples қалтасы:

cd paa-streaming-api-клиент-examples

• Ағымдағы каталогқа CA түбірлік сертификаты ca-куәлігін көшіріңіз.
• client.properties жасаңыз file келесі мазмұнмен:

security.protocol=SASL_SSL ssl.ca.location=ca-cert
sasl.mechanism=PLAIN
sasl.username={CLIENT_USER}
sasl.password={CLIENT_PASSWORD}

мұндағы {CLIENT_USER} және {CLIENT_PASSWORD} - клиент үшін пайдаланушы тіркелгі деректері.

Негізгі эксamples:

• KAFKA_FQDN= экспорттау
• build.sh run-basic –kafka-брокерлер ${KAFKA_FQDN}:9093 \
• – ACCOUNT_SHORTNAME есептік жазбасы
• –конфигурация –file client.properties

мұндағы ACCOUNT_SHORTNAME – көрсеткіштерді алғыңыз келетін есептік жазбаның қысқа атауы.

Жетілдірілген эксamples:

• KAFKA_FQDN= экспорттау
• build.sh run-advanced –kafka-brokers ${KAFKA_FQDN}:9093 \
• – ACCOUNT_SHORTNAME есептік жазбасы
• –конфигурация –file client.properties

Қосымша

Бұл қосымшада біз қалай құру керектігін сипаттаймыз:

• кілт қоймасы file Кафка брокерінің SSL сертификатын сақтауға арналған
• сенім дүкені file Кафка брокерінің сертификатына қол қою үшін пайдаланылатын Сертификат орталығының (CA) түбірлік куәлігін сақтау үшін.

Кафка брокерінің сертификатын жасау
Нақты сертификаттау орталығын пайдаланып сертификат жасау (ұсынылады)
Сенімді CA-дан нақты SSL сертификатын алу ұсынылады.
CA туралы шешім қабылдағаннан кейін, олардың CA түбірлік сертификатының ca-certін көшіріңіз file төменде көрсетілгендей өз жолыңызға:

• экспорттау CA_PATH=~/my-ca
• mkdir ${CA_PATH}
• cp ca-cert ${CA_PATH}

Жеке куәлік орталығын жасаңыз

ЕСКЕРТУ: Әдетте сіздің сертификатыңызға нақты сертификаттау орталығы қол қоюы керек; алдыңғы бөлімді қараңыз. Одан кейінгі жай ғана бұрынғыampле.

Мұнда біз өзіміздің Сертификаттау орталығының (CA) түбірлік куәлігін жасаймыз file 999 күн бойы жарамды (өндірісте ұсынылмайды):

• # CA сақтау үшін каталог жасаңыз
• экспорттау CA_PATH=~/my-ca
• mkdir ${CA_PATH}
• # CA сертификатын жасаңыз
• openssl req -new -x509 -keyout ${CA_PATH}/ca-key -out ${CA_PATH}/ca-cert -күндер 999

Client Truststore құру
Енді сіз сенімді дүкен жасай аласыз file жоғарыда жасалған ca-сертификатын қамтиды. Бұл file Streaming API-ге кіретін Кафка клиентіне қажет болады:

• keytool -keystore kafka.client.truststore.jks \
  • бүркеншік аты CARoot \
  • импортсеріт -file ${CA_PATH}/ca-сертификат

Енді CA сертификаты сенімді дүкенде болғандықтан, клиент онымен қол қойылған кез келген сертификатқа сенеді.
көшіру керек file kafka.client.truststore.jks клиенттік компьютердегі белгілі орынға апарып, параметрлерде оны көрсетіңіз.

Кафка брокері үшін кілт қоймасын жасау
Kafka брокерінің SSL сертификатын, содан кейін kafka.server.keystore.jks кілт қоймасын жасау үшін келесі әрекеттерді орындаңыз:

SSL сертификатын жасау
Төменде 999 - кілт қоймасының жарамдылық күндерінің саны, ал FQDN - клиенттің толық жарамды домендік атауы (түйіннің жалпы хост атауы).

ЕСКЕРТУ: FQDN Кафка клиенті Басқару орталығына қосылу үшін пайдаланатын нақты хост атауына сәйкес болуы маңызды.

• sudo mkdir -p /var/ssl/private
• sudo chown -R $USER: /var/ssl/private
• cd /var/ssl/private
• экспорт FQDN= keytool -keystore kafka.server.keystore.jks \
• – бүркеншік сервер \
• – жарамдылық мерзімі 999 \
• – genkey -keyalg RSA -ext SAN=dns:${FQDN}

Куәлікке қол қою сұрауын жасаңыз және оны сақтаңыз file атаулы сертификат-сервер-сұраныс:

• keytool -keystore kafka.server.keystore.jks \
  • – бүркеншік сервер \
  • – certreq \
  • – file сертификат-сервер-сұраныс

Енді жіберу керек file cert-server-сұраныс, егер сіз нақтысын пайдалансаңыз, сертификаттау орталығына (CA) жіберіңіз. Содан кейін олар қол қойылған сертификатты қайтарады. Біз мұны төменде сертификат-сервер қол қойған деп атаймыз.

Өздігінен жасалған CA сертификатын пайдалану арқылы SSL сертификатына қол қою

ЕСКЕРТУ: Тағы да, өндірістік жүйеде жеке CA пайдалану ұсынылмайды.

CA арқылы сертификатқа қол қойыңыз file қол қойылған сертификатты жасайтын сертификат-сервер-сұрау. Төменде қараңыз; ca-password — CA сертификатын жасау кезінде орнатылған құпия сөз.

• cd /var/ssl/private openssl x509 -req \
  • – CA ${CA_PATH}/ca-cert \
  • – CAkey ${CA_PATH}/ca-кілт \
  • – cert-server-request ішінде \
  • – сертификат-сервермен қол қойылған \
  • – күн 999 -CAcreateserial \
  • – өту рұқсаты:{ca-password}

Қол қойылған сертификатты кілт қоймасына импорттау

ca-cert түбірлік сертификатын кілттер қоймасына импорттаңыз:

• keytool -keystore kafka.server.keystore.jks \
  • – ca-cert бүркеншік аты \
  • – импорт \
  • – file ${CA_PATH}/ca-сертификат

Серверде қол қойылған деп аталатын қол қойылған сертификатты импорттаңыз:

• keytool -keystore kafka.server.keystore.jks \
  • – бүркеншік сервер \
  • – импорт \
  • – file сертификат-сервер қол қойған

The file kafka.server.keystore.jks Басқару орталығының серверіндегі белгілі орынға көшіріліп, содан кейін /etc/kafka/server.properties ішіне сілтеме жасалуы керек.

Streaming API пайдалану

ОСЫ БӨЛІМДЕ

• Жалпы | 20
• Кафка Тақырып атаулары | 21
• ExampStreaming API | 21

Жалпы
Ағынды API сынақ және бақылау деректерін де алады. Бұл категориялардың бірін бөліп көрсету мүмкін емес.
Ағындық API Ethernet қызметін белсендіру сынақтары және мөлдірлік сынақтары сияқты сценарийге негізделген сынақтардан (басқару орталығының GUI-де тіктөртбұрышпен бейнеленген джигсо бөлігінің орнына) деректерді қабылдамайды.

Кафка Тақырып атаулары
Ағындық API үшін Кафка тақырып атаулары төмендегідей, мұнда %s Басқару орталығының тіркелгісінің қысқа атауы (есептік жазбаны жасау кезінде көрсетіледі):

• const (
• exporterName = «кафка»
• metadataTopicTpl = “paa.public.accounts.%s.metdata” metricsTopicTpl = “paa.public.accounts.%s.metrics” )

ExampStreaming API пайдалану
бұрынғыampКелесі файлдар tarball paa-streaming-api-client-ex файлында барamples.tar.gz Басқару орталығының tarball ішінде қамтылған.
Біріншіден, негізгі бұрынғы барampметрикалар мен олардың метадеректері бөлек ағынмен қалай тасымалданатынын және қабылданған хабарларды консольге жай басып шығаратынын көрсетеді. Сіз оны келесідей іске қоса аласыз:

• sudo ./build.sh run-basic –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

Бұдан да жетілдірілген экс барample мұнда көрсеткіштер мен метадеректер хабарлары өзара байланысты. Оны іске қосу үшін мына пәрменді пайдаланыңыз:

• sudo ./build.sh run-advanced –kafka-brokers localhost:9092 –аккаунт ACCOUNT_SHORTNAME

Жоғарыдағылар сияқты Docker пәрмендерін іске қосу үшін sudo пайдалану керек. Қажет болса, Docker пәрмендерін sudo қолданбай іске қосу үшін Linux орнатудан кейінгі қадамдарды орындауға болады. Толық ақпарат алу үшін өтіңіз docs.docker.com/engine/install/linux-postinstall.

Juniper Networks, Juniper Networks логотипі, Juniper және Junos — Juniper Networks, Inc. компаниясының Құрама Штаттардағы және басқа елдердегі тіркелген сауда белгілері. Барлық басқа сауда белгілері, қызмет көрсету белгілері, тіркелген белгілер немесе тіркелген қызмет көрсету белгілері олардың тиісті иелерінің меншігі болып табылады. Juniper Networks осы құжаттағы қателіктер үшін жауапкершілік көтермейді. Juniper Networks бұл жарияланымды ескертусіз өзгертуге, өзгертуге, тасымалдауға немесе басқа жолмен қайта қарауға құқылы. Copyright © 2023 Juniper Networks, Inc. Барлық құқықтар қорғалған.

Құжаттар / Ресурстар

Juniper NETWORKS Streaming API бағдарламалық құралы [pdf] Пайдаланушы нұсқаулығы Streaming API бағдарламалық құралы, API бағдарламалық құралы, бағдарламалық құрал

Анықтамалар

• Пайдаланушы нұсқаулығы