Forwarded from Админим с Буквой (bykva)
jinja как не ставить последнюю запятую в цикле
дано: переменная с количеством серверов
задача: составить строку вида
1) вместо последней запятой стоит /kafka
2) необходимо убрать newline который добавляется на каждом проходе
Решение:
з.ы. счет начинается с нуля, поэтому для красоты именования серверов инкрементирую переменную server.
#jinja #ansible #kafka #zookeeper
дано: переменная с количеством серверов
задача: составить строку вида
zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181/kafkaв целом решается простым циклом for + 2 небольших нюанса:
1) вместо последней запятой стоит /kafka
2) необходимо убрать newline который добавляется на каждом проходе
Решение:
zookeeper.connect=все довольно просто - запятая ставится конструкцией
{%- for server in range(servers_count) -%}
zookeeper{{ server+1 }}:2181{% if not loop.last %},{% endif %}
{%- endfor %}/kafka
{% if not loop.last %},{% endif %}
, а переносы строк убираются постановкой дефиса у открывающих и закрывающих тегов {% и %}.з.ы. счет начинается с нуля, поэтому для красоты именования серверов инкрементирую переменную server.
#jinja #ansible #kafka #zookeeper
Forwarded from CatOps
8 вещей, о которых нужно подумать, прежде чем тащить Apache Kafka в продакшн.
1. Key all the messages!
2. Ensure all producers are using the same partitioned
3. Topic versioning
4. Treat ZooKeeper like royalty
5. Unclean elections and minimum ISRs
6. Memory Maps
7. File descriptors
8. Log Compaction
#kafka
1. Key all the messages!
2. Ensure all producers are using the same partitioned
3. Topic versioning
4. Treat ZooKeeper like royalty
5. Unclean elections and minimum ISRs
6. Memory Maps
7. File descriptors
8. Log Compaction
#kafka
Ariskk
Apache Kafka: 8 things to check before going live
Apache Kafka is a beautiful system. It scales well, it is stable and it provides phenomenal system architecture flexibility.
After 5 years…
After 5 years…
Forwarded from Sysadmin Tools 🇺🇦
Отличное введение в очереди/брокеры сообщений
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
sudhir.io
The Big Little Guide to Message Queues
A guide to the fundamental concepts that underlie message queues, and how they apply to popular queueing systems available today.
Building Self-driving Kafka clusters using open source components
https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components
#kafka
https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components
#kafka
Slack Engineering
Building Self-driving Kafka clusters using open source components - Slack Engineering
In this article, I will talk about how Slack uses Kafka, and how a small-but-mighty team built and operationalized a self-driving Kafka cluster over the last four years to run at scale. Kafka is used at Slack as a pub-sub system, playing an essential role…