Поговорим сегодня про Kafka и NiFi, рассмотрим их достоинства и недостатки, а также предложим альтернативные инструменты, которые могут помочь вам в работе.

🔴 Kafka — это Message Broker — некая очередь, через которую можно отправлять сообщения, на которые подписываются другие приложения и считывают их.

Плюсы и минусы Kafka
✔️ Это RPS на одну ноду.
✔️ In-Memory Message Broker.
✔️ Работает по принципу распределенного лога .
✔️ Легко масштабируется 2m RPS+.
✔️ Отказоустойчивая.
✔️ Персистентность сообщений.
✔️ Много дополнительных плагинов и расширений, огромные возможности кастомизации.

✖️ Необходимо собирать индивидуальное решение.
✖️ Нужно самому докручивать мониторинг и админку. Отсутствуют Пром стандарт решения.
✖️ Маленький функционал из коробки. Принцип "простота в угоду быстродействия".
✖️ Большинство хороших админок и плагинов платные.

Популярные аналоги Kafka 🙌

RabbitMQ
✔️Популяризовал бинарный протокол AMPQ. А также представляет собой достаточно комплексный готовый инструмент, то есть вы можете его запустить и из коробки сразу пойдёт минимальный необходимый функционал.

✖️Сложно масштабировать, кластеризовать, так как кластеры периодически могут зависать, как и очереди внутри них. Его нельзя сделать в полной мере отказоустойчивым.

Apache ActiveMQ Artemis
✔️ Сложная логика фильтрации, которую ActiveMQ готов брать на себя.
✔️ Способно к масштабированию и отказоустойчивости из коробки.

✖️ Инструмент можно использовать только на языке Java.
✖️ Поддерживает AMQP, но из-за этого теряются все возможности JMS.

IBM MQ
✔️Популярное решение за счёт коммерческой поддержки от самого IBM.
✔️Решение умеет масштабироваться, собираться в кластеры.

✖️ Достаточно старое решение на API JMS.

Apache Pulsar
✔️ Относительно новое решение.
✔️ Может стать заменой Apache ActiveMQ в будущем, потому что имеет скорость гораздо большую чем у ActiveMQ Artemis и богатый встроенный функционал из коробки.

✖️ Упрощенное, нативное масштабирование, производительность на ноду ниже чем в Kafka.

🔴 NiFi — это ETL (Extract, Transform, Load) инструмент, который используется для сбора данных из разных источников и загрузки в какое-то единое место в базу данных.

Плюсы и минусы NiFi
✔️ ETL инструмент, у которого огромное количество адаптеров и решений из коробки.
✔️ Умеет хорошо масштабироваться, работать кластерами, принимать входящие запросы
✔️ Все можно настроить в GUI и неплохо держит нагрузку с точки зрения энтерпрайз-решений.
✔️ Хорошо масштабируется.

✖️ Некоторые неудобства эксплуатации.
✖️ Неудобный механизм логгирования.
✖️ Чувствительность к отключению узла от кластера.
✖️ Проблема с сохранением состояния в случае переключения основного узла.
✖️ Неоднозначность гарантированной доставки сообщений.

Аналоги NiFi 🙌

Apache Camel
✔️ Мощный инструмент.

✖️ Высокий порог вхождения.
✖️ Не получается быстро докручивать pipleline, приходится тратить значительные объёмы времени.
✖️ Приходится докручивать разного рода логику, дописывать на Java.
✖️ Недостаточно модулей и инструментов из коробки.

Apache Airflow
✔️ Масштабируется довольно хорошо.

✖️ Логику нужно писать на Python.
✖️ Нет полноценного GUI.

AWS Step Functions
✔️ Имеет большое количество готовых решений.

✖️ Признан одним из самых дорогих решений среди облаков открытого доступа.

Luigi
✔️ Есть GUI для мониторинга.
✔️ Из коробки имеет очень много возможностей.

✖️ Большую часть логики нужно писать на Python.
✖️ Плохо масштабируется.

В данном посте мы рассмотрели две технологии. Поэтому перед тем как что-то выбрать, внимательно ознакомьтесь с плюсами и минусами. Каким инструментом пользуетесь вы? Какой из них закрывает ваши потребности? 💬

Проект после слияния Pull Request 🌝

Что такое новый сайдчейн Cardano EVM и почему он так важен для мира криптовалют?

В период пандемии остро встал вопрос снижения доверия граждан к финансовой системе. Хорошей альтернативой могли бы стать криптовалюты, но отсутствие прямого взаимодействия между блокчейнами, вынуждает людей продолжать пользоваться централизованной фиатной валютой.

Временным компромиссом, призваны решить проблему недоверия, были биржы. Альтернатива была найдена в одной из экосистем блокчейна. Это среда EVM (Ethereum Virtual Machine) 🦾

Данный децентрализованный вычислительный механизм позволяет использовать разные алгоритмы консенсуса, соответствующие потребностям разных блокчейнов, и передаёт EVM-совместимые смарт-контракты, активы и данные между блокчейнами. Теперь межсетевые транзакции сможет совершать и Cardano.

EVM — это программная платформа, которую разработчики могут использовать для создания децентрализованных приложений (dApps) на Ethereum. Если посмотреть с другой стороны, то EVM можно представить как всемирный децентрализованный компьютер с собственным постоянным хранилищем данных и независимыми узлами по всему миру, взаимодействующими друг с другом.

Таким образом, присоединившись к использованию EVM, Cardano открыли для себя возможность переносить смарт-контракты в сеть Ethereum. Кроме того, разворачивать совместимые с EVM контракты прямо в основной сети Cardano.

Теперь сайдчейн Cardano EVM обеспечивает:
📌 Совместимость экосистемы Cardano с хардфорками и инструментами разработки Ethereum, а также с фреймворком Web3.js.
📌 Безопасность, за счет того, что случайным образом выбирается валидаторов для создания и проверки блоков основной цепи и гарантируя их сменяемость через определённый интервал времени.
📌 Использование протокола консенсуса Byzantine Fault Tolerance (OBFT) — это реализация Ouroboros, которая позволяет обрабатывать транзакции на полной скорости сети без высоких комиссий за газ и экономить электричество.

Изначально Cardano создавалась с целью предоставить людям альтернативную финансовую инфраструктуру. Сайдчейн EVM, запущенный в тестнет Cardano в июне 2022 года, превращает эту сеть в децентрализованную платформу данных. Таким образом, блокчейны могут «перетекать» друг в друга без посредников.

Если команда разработчиков достигнет цели, то Cardano будет устойчивой, инклюзивной, безопасной, стабильной, децентрализованной экосистемой данных. Внутри данной системы у всех пользователей будут равные права и возможности владения инфраструктурой и принятия решений в отношении неё без участия посредников или политических лидеров. Таким образом, может случиться переход блокчейна и криптовалюты из маргинальной сферы в общественную. Можно сказать, что запуск Cardano EVM сайдчейна представляет из себя огромный шаг на пути к новым возможностям.

Мы подготовили для вас подборку книг, которые и про технику, и про осознанность деятельности C++ программистов любого уровня.

🔘 Д. Беккер «Меньше значит больше»
Легко и непринуждённо представлены советы как от всего хлама в жизни аккуратно освободиться.

🔘 Б. Фрост «Атомарный дизайн»
Методология заключается в том, что интерфейс делится на атомы, которые можно использовать повторно, а также комбинировать их или подвергать изменениям.

🔘 Элизабет Халл, Кен Джексон, Джереми Дик «Инженерия требований»
Данное издание поможет понять основные принципы современной инженерии требований. Много информации без воды, но не для новичков в инженерии требований.

🔘 Бьерн Страуструп «Дизайн и эволюция С++»
В книге изложены цели, принципы и практические ограничения, наложившие отпечаток на структуру и облик С++.

🔘 Джон Оустерхаут «Философия дизайна программного обеспечения»
Книга поможет структурировать знания о том, как проектировать ПО и как облегчить программные проекты и адаптировать их под себя.

🔘 Голден Кришна «Хороший интерфейс — невидимый интерфейс»
Голден Кришн делится интересными рассуждениями об избавлении от графических интерфейсов там, где в них нет необходимости.

Мета Навыки или Новые требования, чтобы не остаться за бортом

Помните как несколько лет назад все начали говорить, что hard skills недостаточно и необходимо прокачивать soft skills? Так вот, мир начал меняться еще быстрее, а время между появлением новых технологий меняющих индустрию сильно сократилось.

Поэтому сейчас все активно начали обсуждать meta навыки, что не является новой концепцией, но актуальность которой все остро ощутили только сейчас.

Meta навыки это фундаментальные навыки необходимые для обретения более специализированных навыков.

Их можно даже отнести к качествам человека, которые скорее необходимо воспитывать, а не просто тренировать. Однако список мета навыков, также как и методы их тренировок, могут сильно отличаться зависимости от авторов из самых различных областей науки ☝️

Рассмотрим основные мета навыки, в важности которых сходится большинство авторов:

👽 Интуиция. Формирование исчерпывающих рациональных решений может быть затруднительно, а выбор между имеющимися в особенности. Именно тогда интуиция может перевесить важность всех остальных качеств. Способность услышать интуицию, отделить ее от подсознательных желаний и сознательных предпочтений, и предчувствовать, например, изменения на рынке и грядущую потребность в неочевидных на данный момент решениях - бесценно.

🤔 Осознанность. Это невероятно важное качество, которое основательно и постоянно влияет на все, от моделей поведения и способов коммуникации, до постановки целей, составления плана, выбора стратегии в обучении, бизнесе и любых других областях. Такой человек никогда не делает ничего просто так, и когда начальство спрашивает его о принятом решении, у него всегда есть ответы на то, почему, зачем, что и как было сделано.

😎 Уверенность. Часто сильно недооцениваемый и плохо понимаемый навык, который совершенно необходим для достижения долгосрочных целей, отстаивания профессионального мнения, принятия на себя ответственности за результат и ведения команды к результату. Все это возможно только при уверенности в собственных силах. Однако необходимо не путать это со слепой верой в себя, уверенность в собственных силах должна быть максимально обоснованна и полностью оправдывать себя.

😮 Эмпатия. Также необходимо уметь чувствовать не только изменения рынка, но и настроения людей, без чего невозможно выстроить качественную коммуникацию, наладить процессы в команде, разрешить конфликты на удовлетворяющих каждую сторону условиях и развить еще очень много других навыков, необходимых для элективной работы с другими людьми.

🤠 Гибкость. Критически важное качество, напрямую относящееся к тому, чтобы оставаться эффективным в быстро меняющемся мире. Если не быть гибким, не уметь принимать новые принципы, рассматривать различные позиции, учитывать все новые и новые обстоятельства - просто невозможно продуктивно учиться, работать, строить и продвигать бизнес, реагируя на все новые и новые вызовы.

🤩 Креативность. Есть огромное количество решений для всего, и еще больше находится в разработке. Поэтому без креативного подхода просто невозможно решить старые проблемы новым способом и уж тем более продвинуть их на рынке, представив миру чем данное решение лучше остальных. Не важно, мы говорим об оптимизации конкретного процесса в компании или разработке целого отдельного продукта, креатины подход бесценен как никогда.

Список можно еще расширить, но проработав данные мета навыки, вы уже будете вне всякой конкуренции ❤️

Для того чтобы расти как специалист и развивать свои soft & hard skills, можно обратиться за помощью к менторам. Вы можете искать ментора как в социальных сетях, на обучении в онлайн-школах, так и на специализированных площадках.

🎯 Getmentor — некоммерческая площадка от разработчика из Shopify, ex-Booking. За работу площадка не берет никакой комиссии, ментор и менти самостоятельно решают вопрос оплаты.

🎯 No Flame No Game: Поиск менторов — Telegram-бот для поиска менторов. Представлено 800+ менторов, среди которых самое большое количество бесплатных на рынке РФ.

🎯 Solvery.io — площадка, которая предлагает обучение 1 на 1 с наставником. На площадке нет бесплатных менторов, но есть с низким прайсом (до 1000р за занятие). За подбором самого релевантного ментора можно обратиться за помощью к менеджерам площадки.

🎯 Эйч. Сервис развития карьеры — это коммерческая организация, ориентирующаяся на помощь с трудоустройством, релокацией и ростом в карьере. Услуги на площадке платные. Кроме менторских консультаций, можно заказать услуги по составлению резюме и сопроводительного письма. Подобрать ментора поможет менеджер.

🎯 Айти Кадр — это активно развивающаяся площадка, которая помимо менторства предлагает онлайн-курсы. Есть бесплатные менторы, но за них придется разово заплатить 1000р площадке.

Для тех, кто уже осилил базовый уровень английского языка и хочет расти дальше, мы подготовили советы, как лучше учиться по фильмам и сериалам.

Просмотр видеоматериалов на языке оригинала приносит достаточно пользы и удовольствия. Поэтому не теряйте ни минуты и приступайте к изучению английского.

Чтобы изучение английского языка прошло эффективно, важно следовать нескольким простым правилам:

1️⃣ Выберите подходящий сериал, а именно определитесь с тем, какой уровень и тип английского вам нужен.
2️⃣ Ориентируйтесь на свои интересы, чтобы изучение языка не превратилось в мучение. На сегодняшний день выбор более чем обширный, и каждый найдет для себя что-то свое.
3️⃣ Включите субтитры. Особенно полезен этот совет начинающим. Поначалу вам может быть сложно успеть прочитать текст, да еще и уследить за картинкой. Но со временем вы научитесь выделять главные для себя моменты.
4️⃣ Найдя "свой" сериал или фильмы, вы можете возвращаться к нему, чтобы сместить акценты при просмотре. Например, чтобы потренироваться в восприятии на слух и сделать акцент на интонации героев, произношении или разборе непонятных слов.
5️⃣ Выписывайте незнакомые или позабытые слова. Плюс современных сериалов в том, что в них употребляется очень много тематической лексики и сленговых выражений.
6️⃣ Подражайте. Чтобы потренироваться в правильном произношении. Вы можете повторять фразы и выражения вслед за героями на экране, подражая интонации.

Фильмы для изучения английского языка:
🎞 Muzzy in Gondoland Elementary
🎞 Charlotte's Web Elementary
🎞 Monsters Inc. Pre-Intermediate/Intermediate
🎞 Ad Astra Intermediate
🎞 News of the World Intermediate
🎞 Pulp Fiction Advanced
🎞 The Social Network Advanced

Для того чтобы новые знания прочно закрепились в памяти, нужно применять их на практике. Для этого вы можете обсудить новую серию с друзьями или партнерами в разговорном клубе.

Как видите, смотреть сериалы не только интересно, но и полезно. Поделитесь своим опытом или советами в изучении английского в комментариях 👇

Вышел Linux 6.0 🐧
2 октября вышло ядро Linux 6.0, которое обеспечивает поддержку новейших аппаратных архитектур.

Изменения включают в себя:
📌 Добавлена поддержка новых чипов AMD, которые обеспечивают поддержку процессоров Threadripper, Epyc и грядущих видеокарт на базе архитектуры RDNA 3.
📌 Добавляена ранняя поддержка ноутбуков на базе процессоров Qualcomm Snapdragon.
📌 Новый графический драйвер V3d для Raspberry Pi 4.
📌 Дополнительные расширения для платформ RISC-V.
📌 Стабильные кодеки H.265 и HEVC.
📌 Драйвер встроенного хранилища MMC для устройств Rockchip RK3588.
📌 Добавлена поддержка асинхронной буферизированной записи в XFS.
📌 Добавлена поддержка аутентификации накопителей NVMe.
📌 Добавлена поддержка блочного шифра ARIA.
📌 Оптимизировано распределение задач по ядрам CPU на крупных системах, позволившая поднять производительность при некоторых видах нагрузки.

Исправлены:
📌 Проблема с производительностью систем на процессорах AMD Zen.
📌 Драйвера для китайской процессорной архитектуры LoongArch.
📌 Устранили проблему, вызванную заплаткой, которая приводила к замедлению работы современных процессоров AMD.

⬇️ Скачать:
Исходный код – портал kernel.org.
Коммит релиза ядра — GitHub, Makefile.

Йоу! Mad Devs на Tproger! 😎🔥

А почему? Потому что облегчаем жизнь разработчикам и рассказываем, как публиковать свои Android-приложения полностью автоматически на любом этапе.

Достойно же внимания? Ловите наш бойлер для построения CI/CD пайплайна для Android-приложений с помощью Fastlane и GitHub Actions.

Бэм! 💥 Мы приготовили для вас исчерпывающее руководство о том, как улучшить коммуникацию и документацию в команде разработки.

Здесь вы найдете наш опыт от проведения ретроспектив до оформления полишинга. Один Ebook - ответы на все вопросы. Книга доступна на английском языке.

🔗 Скачивайте и делитесь отзывами. 🤘

GDG is coming 🥳

Рады сообщить, что в этом году Mad Devs выступает со-организатором конференции DevFest 2022, которая пройдет оффлайн после 2х летнего перерыва!

Узнать больше о DevFest 😎

Как говорится, save the date:
📆 11 декабря
📍 локация - АУЦА

А самое главное, что уже открыт набор для тех, кто хочет принять участие в качестве спикеров!🎙 Идеи для выступлений – докладов или воркшопов можно отправить, заполнив форму: DevFest 2022 - Call for Paper

Внутри формы вы найдете подробные инструкции и таймлайны.

Что касается предпочтительных направлений в этом году:
🔵 Mobile development (Android, iOS, Firebase, Flutter...)
🔵 Web development(PWAs, Angular, Dart, new standards, tools,...)
🔵 Cloud (Machine Learning, TensorFlow, Big Data, Kubernetes, Security,...)
🔵 IoT (Android Things, actions API, Android Wear, Arduino,...)
🔵 Scientific reports
🔵 QA
🔵 Soft skills for developers
🔵 Management skills (Project, Product, Agile/Scrum)
🔵 UI/UX Design

📌 Дедлайн подачи – 7 ноября.

Спикеры с лучшими темами выступлений пройдут нашу экспертную комиссию вне очереди и получат больше времени на подготовку своей презентации и выступления.

Ждем каждого!

Пост для наших коллег, которые совсем недавно переехали в Кыргызстан 🇰🇬

Не совсем понимаете, что дает статус цифрового кочевника? Не знаете, куда обратиться, чтобы открыть банковский счет? Мы вас услышали и готовы ответить на все эти вопросы. 😎🔥

Мad Devs совместно с Парком Высоких Технологий подготовили материал, который поможет разобраться со статусом Digital Nomad, открытием ИП, оплатой налогов и многим другим.

Ставим лайки, делимся со всеми. Мы постарались для вас! 🤘

Про DI фреймворк в IOS разработке можно говорить долго и много. Ведь он как мем, про сильную и независимую. 💪🏼 Но зачем, когда у нас есть про это статья - доступно и просто. Рекомендуем особенно для новеньких в программировании.

⭕️ Читать