Введение в Apache Flink: осваиваем фреймворк на реальных примерах
Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет строить обработку данных с минимальной задержкой. В качестве DI-фреймворка выбрали привычный нам Spring Framework.
Наша команда использует разные виды тестирования: Unit, интеграционное, E2E, ручное, автоматизационное, нагрузочное. Этой теме будет уделено особое внимание. Я расскажу, какие подходы и паттерны помогут быть уверенными в качестве того, что вы разработали.
Эти знания будут полезны любому Java-разработчику, знакомому со Spring. А начинающие Flink-специалисты найдут здесь примеры стандартных ошибок и пути их решения. Обратите внимание, что эти материалы писались, когда актуальной версией Flink была 1.17. В конце октября вышла версия 1.18, и она может отличаться некоторыми нюансами.
Читать статью
Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет строить обработку данных с минимальной задержкой. В качестве DI-фреймворка выбрали привычный нам Spring Framework.
Наша команда использует разные виды тестирования: Unit, интеграционное, E2E, ручное, автоматизационное, нагрузочное. Этой теме будет уделено особое внимание. Я расскажу, какие подходы и паттерны помогут быть уверенными в качестве того, что вы разработали.
Эти знания будут полезны любому Java-разработчику, знакомому со Spring. А начинающие Flink-специалисты найдут здесь примеры стандартных ошибок и пути их решения. Обратите внимание, что эти материалы писались, когда актуальной версией Flink была 1.17. В конце октября вышла версия 1.18, и она может отличаться некоторыми нюансами.
Читать статью
Teletype
Введение в Apache Flink: осваиваем фреймворк на реальных примерах
Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали...
👍2🔥2
Визуализация популярных команд Git
Мы, конечно, знаем, что Git - это достаточно мощный тул, но в то же время, он не очень нагляден. 😒
В предложенной сегодня статье представлены примеры визуализации наиболее часто используемых команд, что позволит лучше понимать механизм их работы и быстрее их запомнить.
Хорошей памяти!
Читать статью
Мы, конечно, знаем, что Git - это достаточно мощный тул, но в то же время, он не очень нагляден. 😒
В предложенной сегодня статье представлены примеры визуализации наиболее часто используемых команд, что позволит лучше понимать механизм их работы и быстрее их запомнить.
Хорошей памяти!
Читать статью
👍3🔥1
Основные паттерны микросервисной архитектуры: Strangler Fig, API Gateway, Service Mesh и другие
В данной статье мы разберем несколько ключевых паттернов, связанных с микросервисами. Речь пойдет о паттернах миграции и интеграции (таких как Strangler Fig – «удушающее дерево» и API Gateway), о сетевых и структурных паттернах (Service Mesh, Sidecar), о шаблонах работы с данными (Database per Service, CQRS) и об особом подходе к хранению состояния (Event Sourcing). Для каждого паттерна мы рассмотрим его суть, назначение, примеры использования, а также плюсы и возможные сложности. К некоторым паттернам приведены упрощенные диаграммы и фрагменты кода, чтобы иллюстративно показать, как они работают на практике.
Читать статью
В данной статье мы разберем несколько ключевых паттернов, связанных с микросервисами. Речь пойдет о паттернах миграции и интеграции (таких как Strangler Fig – «удушающее дерево» и API Gateway), о сетевых и структурных паттернах (Service Mesh, Sidecar), о шаблонах работы с данными (Database per Service, CQRS) и об особом подходе к хранению состояния (Event Sourcing). Для каждого паттерна мы рассмотрим его суть, назначение, примеры использования, а также плюсы и возможные сложности. К некоторым паттернам приведены упрощенные диаграммы и фрагменты кода, чтобы иллюстративно показать, как они работают на практике.
Читать статью
VK
Основные паттерны микросервисной архитектуры: Strangler Fig, API Gateway, Service Mesh и другие
Микросервисная архитектура стала де-факто стандартом для построения современных масштабируемых приложений. Вместо единого монолитного при..
👍2🔥1
Поиск багов с помощью дампов потоков Java
Умение использовать дампы потоков в Java зачастую помогает устранения ряда проблем в работе программ: высокая загрузка ЦП, взаимоблокировки или не отвечающие приложения.
В данном руководстве подробно разбираются тонкости работы с дампами: их создание, анализ и многое другое.
Читать статью
Умение использовать дампы потоков в Java зачастую помогает устранения ряда проблем в работе программ: высокая загрузка ЦП, взаимоблокировки или не отвечающие приложения.
В данном руководстве подробно разбираются тонкости работы с дампами: их создание, анализ и многое другое.
Читать статью
👍4🔥1
10 техник оптимизации Java, которые выведут вас на новый уровень
Когда Java-приложение внезапно начинает «подвисать», причина почти всегда кроется в прозаичных деталях: неоптимизированных циклах, неудачном выборе коллекций, забытом кэше или агрессивном GC. В этой статье — 10 практических техник, которые помогут выжать максимум из JVM без преждевременной микрооптимизации и шаманства. Только доказавшие свою эффективность подходы, которые реально работают в проде — от финтеха до высоконагруженных API.
Читать статью
Когда Java-приложение внезапно начинает «подвисать», причина почти всегда кроется в прозаичных деталях: неоптимизированных циклах, неудачном выборе коллекций, забытом кэше или агрессивном GC. В этой статье — 10 практических техник, которые помогут выжать максимум из JVM без преждевременной микрооптимизации и шаманства. Только доказавшие свою эффективность подходы, которые реально работают в проде — от финтеха до высоконагруженных API.
Читать статью
VK
10 техник оптимизации Java, которые выведут вас на новый уровень
Java-приложение тормозит? Вот как прокачать его в 2025-м.
❤1👍1🔥1
Все, что вам нужно знать о конфигурации Spring
В данном руководстве подробно рассказывается о конфигурации Spring, а также разбираются основные аннотации - Bean, Configuration и PropertySource.
Читать статью
В данном руководстве подробно рассказывается о конфигурации Spring, а также разбираются основные аннотации - Bean, Configuration и PropertySource.
Читать статью
👍2🔥1
Настройка CI/CD глазами разработчика
Тема, которая будет сегодня освещена, рассказывается от лица backend разработчика. На нашем проекте нет devops'а, который бы мог подсказать, направить. Поэтому нам пришлось выходить из зоны комфорта.
Читать статью
Тема, которая будет сегодня освещена, рассказывается от лица backend разработчика. На нашем проекте нет devops'а, который бы мог подсказать, направить. Поэтому нам пришлось выходить из зоны комфорта.
Читать статью
Teletype
Настройка CI/CD глазами разработчика
Введение
👍2🔥1
Cтатья про собеседования в Яшу (Yandex Weekend Offer)
Может кому-то это будет интересно, даст возможность лучше подготовиться; или наоборот кто-то примет решение не участвовать.
Коротко о себе: 41 год, senior software developer, стаж > 20 лет. Однако, как я понял, эти собесы все равно для всех одинаковые, так чтоб все написанное актуально и для молодежи.
Итак, угораздило меня согласиться на т. н. «Weekend Offer на позицию разработчика на Kotlin». Вообще‑то мне больше нравится Scala, и опыта по ней гораздо больше, но рекрутерша была сильно настойчива, и я решил обновить экспиренс, а возможно, и прибавку в деньгах. И вот что было дальше.
Читать статью
Может кому-то это будет интересно, даст возможность лучше подготовиться; или наоборот кто-то примет решение не участвовать.
Коротко о себе: 41 год, senior software developer, стаж > 20 лет. Однако, как я понял, эти собесы все равно для всех одинаковые, так чтоб все написанное актуально и для молодежи.
Итак, угораздило меня согласиться на т. н. «Weekend Offer на позицию разработчика на Kotlin». Вообще‑то мне больше нравится Scala, и опыта по ней гораздо больше, но рекрутерша была сильно настойчива, и я решил обновить экспиренс, а возможно, и прибавку в деньгах. И вот что было дальше.
Читать статью
VK
Cтатья про собеседования в Яшу (Yandex Weekend Offer)
Может кому‑то это будет интересно, даст возможность лучше подготовиться; или наоборот кто‑то примет решение не участвовать.
👍3🔥1
Java и базы данных NoSQL: практическое руководство
В постоянно развивающемся мире разработки программного обеспечения обращение к базам данных NoSQL становится все более популярным. Особенно часто их используют в приложениях, требующих масштабируемости, высокой производительности и гибкости в работе с неструктурированными данными. Java, проверенный временем и универсальный язык программирования, отлично сочетается с базами данных NoSQL.
Цель этого руководства — ознакомить разработчиков с интеграцией Java с популярными базами данных NoSQL, такими как MongoDB, Cassandra и Neo4j. Для более глубокого понимания будут представлены практические сведения и примеры.
Читать статью
В постоянно развивающемся мире разработки программного обеспечения обращение к базам данных NoSQL становится все более популярным. Особенно часто их используют в приложениях, требующих масштабируемости, высокой производительности и гибкости в работе с неструктурированными данными. Java, проверенный временем и универсальный язык программирования, отлично сочетается с базами данных NoSQL.
Цель этого руководства — ознакомить разработчиков с интеграцией Java с популярными базами данных NoSQL, такими как MongoDB, Cassandra и Neo4j. Для более глубокого понимания будут представлены практические сведения и примеры.
Читать статью
Teletype
Java и базы данных NoSQL: практическое руководство
В постоянно развивающемся мире разработки программного обеспечения обращение к базам данных NoSQL становится все более популярным...
👍3❤2🔥2
Garbage Collection и JVM
JVM работает как хорошо отлаженный механизм, автоматически распределяя и освобождая память. Это и есть суть Garbage Collection. Это процесс, который автоматически находит и удаляет объекты, которые больше не используются вашим приложением. Благодаря этому, разработчики могут сосредоточиться на логике приложения, не беспокоясь о ручном управлении памятью.
Знание того, как работает GC и JVM, необходимо каждому Java-разработчику. Правильное управление ресурсами напрямую влияет на производительность и стабильность приложений.
Читать статью
JVM работает как хорошо отлаженный механизм, автоматически распределяя и освобождая память. Это и есть суть Garbage Collection. Это процесс, который автоматически находит и удаляет объекты, которые больше не используются вашим приложением. Благодаря этому, разработчики могут сосредоточиться на логике приложения, не беспокоясь о ручном управлении памятью.
Знание того, как работает GC и JVM, необходимо каждому Java-разработчику. Правильное управление ресурсами напрямую влияет на производительность и стабильность приложений.
Читать статью
Teletype
Garbage Collection и JVM
JVM работает как хорошо отлаженный механизм, автоматически распределяя и освобождая память. Это и есть суть Garbage Collection. Это...
👍2🔥2
Эмулятор QUIK: как наладить тестирование вендорного продукта
В сегодняшнем материале поговорим про эмулятор отечественного биржевого терминала QUIK — посредника между системой брокера и биржами. Программный комплекс QUIK получает информацию из бирж и передает ее в систему брокера, в другом случае сам брокер идет в QUIK и получает биржевую информацию от него. Поскольку тестирование с полноценным QUIK проводить невозможно, мы сделали собственный эмулятор.
Читать статью
В сегодняшнем материале поговорим про эмулятор отечественного биржевого терминала QUIK — посредника между системой брокера и биржами. Программный комплекс QUIK получает информацию из бирж и передает ее в систему брокера, в другом случае сам брокер идет в QUIK и получает биржевую информацию от него. Поскольку тестирование с полноценным QUIK проводить невозможно, мы сделали собственный эмулятор.
Читать статью
Teletype
Эмулятор QUIK: как наладить тестирование вендорного продукта
Привет! С вами Роман Потапов и Сергей Попков, ведущие специалисты по тестированию РСХБ‑Интех. В сегодняшнем материале поговорим про...
👍2❤1🔥1
Юнит-тесты: чек-лист методик проектирования
Меня зовут Василий Косарев, я Java‑разработчик в CDEK. Много раз мы слышали о необходимости писать модульные тесты, о том, что весь код должен быть ими покрыт. При этом мне не встречалось списка: какие именно методики лучше использовать при тестировании кода.
Я задумался: есть ли чек‑лист/ руководство, который облегчил бы генерацию тестовых сценариев и помог выявлять серьёзные ошибки? Чтобы вдумчиво подходить к тестированию и не тратить ресурсы впустую, сводя к минимуму количество необходимых тестов.
Сегодняшней статьёй попробую ответить на эти вопросы. Материал будет полезен разработчикам, которые уже пишут модульные тесты и которые только думают внедрять их в свой проект. Мы с вами применим методики проектирования тестов и разберёмся, насколько они эффективны.
Читать статью
Меня зовут Василий Косарев, я Java‑разработчик в CDEK. Много раз мы слышали о необходимости писать модульные тесты, о том, что весь код должен быть ими покрыт. При этом мне не встречалось списка: какие именно методики лучше использовать при тестировании кода.
Я задумался: есть ли чек‑лист/ руководство, который облегчил бы генерацию тестовых сценариев и помог выявлять серьёзные ошибки? Чтобы вдумчиво подходить к тестированию и не тратить ресурсы впустую, сводя к минимуму количество необходимых тестов.
Сегодняшней статьёй попробую ответить на эти вопросы. Материал будет полезен разработчикам, которые уже пишут модульные тесты и которые только думают внедрять их в свой проект. Мы с вами применим методики проектирования тестов и разберёмся, насколько они эффективны.
Читать статью
Teletype
Юнит-тесты: чек-лист методик проектирования
Меня зовут Василий Косарев, я Java‑разработчик в CDEK. Много раз мы слышали о необходимости писать модульные тесты, о том, что весь код...
👍3🔥1
Программирование без условных операторов
В программировании на C-подобных языках (и не только) частенько приходится использовать условные операторы, такие как If, else, switch — и особенно часто их используют новички, потому что их понимание и работа достаточно проста (в итоге, могут рождаться, иной раз, поистине монструозные конструкции — грешен, практиковал:-))).
К слову, многие отмечают, что последний оператор switch им приходилось видеть только на разнообразных олимпиадных задачках или школьных уроках, в то время как в реальной работе применяется он достаточно редко (а вы его используете, и насколько часто?).
Читать статью
В программировании на C-подобных языках (и не только) частенько приходится использовать условные операторы, такие как If, else, switch — и особенно часто их используют новички, потому что их понимание и работа достаточно проста (в итоге, могут рождаться, иной раз, поистине монструозные конструкции — грешен, практиковал:-))).
К слову, многие отмечают, что последний оператор switch им приходилось видеть только на разнообразных олимпиадных задачках или школьных уроках, в то время как в реальной работе применяется он достаточно редко (а вы его используете, и насколько часто?).
Читать статью
VK
Программирование без условных операторов
В программировании на C-подобных языках (и не только) частенько приходится использовать условные операторы, такие как If, else, switch —..
👍3🔥2
Компоновка аннотаций в Spring
Совсем недавно, в процессе разработки на Spring я столкнулся с невероятным количеством бойлерплейт-кода в аннотациях. Решение сделать с этим что-то было принято мгновенно и вот что из этого вышло...
Читать статью
Совсем недавно, в процессе разработки на Spring я столкнулся с невероятным количеством бойлерплейт-кода в аннотациях. Решение сделать с этим что-то было принято мгновенно и вот что из этого вышло...
Читать статью
Teletype
Компоновка аннотаций в Spring
Да, вы можете засунуть несколько аннотаций в одну и использовать только ее. И что самое интересное - да, вы можете передавать аттрибуты...
👍2🔥2
Настройка и мониторинг Java приложений
За годы работы у нас сформировался определенный опыт диагностики и решения проблем, связанные с производительностью наших Java-приложений. В этой статье я опишу причины торможения, с которыми приходилось столкнуться, и возможные пути их исправления. Также опишу основные настройки, которые мы делаем, и ресурсы сервера, которые использует приложение.
Речь пойдет о бизнес-приложениях с одним сервером Java-приложения и одним сервером базы данных PostgreSQL, в каждом из которых одновременно работают от 500 до 2000 сотрудников компании. Приложения разработаны на базе открытой и бесплатной платформы lsFusion, но все описанные проблемы и настройки не являются специфическими именно для нее.
Читать статью
За годы работы у нас сформировался определенный опыт диагностики и решения проблем, связанные с производительностью наших Java-приложений. В этой статье я опишу причины торможения, с которыми приходилось столкнуться, и возможные пути их исправления. Также опишу основные настройки, которые мы делаем, и ресурсы сервера, которые использует приложение.
Речь пойдет о бизнес-приложениях с одним сервером Java-приложения и одним сервером базы данных PostgreSQL, в каждом из которых одновременно работают от 500 до 2000 сотрудников компании. Приложения разработаны на базе открытой и бесплатной платформы lsFusion, но все описанные проблемы и настройки не являются специфическими именно для нее.
Читать статью
Teletype
Настройка и мониторинг Java приложений
За годы работы у нас сформировался определенный опыт диагностики и решения проблем, связанные с производительностью наших...
👍2❤1🔥1
Что такое внедрение зависимости и инверсия управления
Внедрение зависимости и инверсия управления - два понятия, понимание которых открывает перед нами двери фреймворков, типа Spring, Guice, Dagger и т.д. 😃
Что это, как это используется и где - в предложенной сегодня статье.
Приятного чтения!
Читать статью
Внедрение зависимости и инверсия управления - два понятия, понимание которых открывает перед нами двери фреймворков, типа Spring, Guice, Dagger и т.д. 😃
Что это, как это используется и где - в предложенной сегодня статье.
Приятного чтения!
Читать статью
👍1🔥1
Запросы к MongoDB из Java с помощью билдера фильтров
В этой статье разберемся, как использовать класс Filters для запросов к MongoDB.
Класс Filters представляет собой билдер для удобного написания фильтров запросов. Фильтры — это некоторые условные операции, которые MongoDB использует для ограничения результатов.
Читать статью
В этой статье разберемся, как использовать класс Filters для запросов к MongoDB.
Класс Filters представляет собой билдер для удобного написания фильтров запросов. Фильтры — это некоторые условные операции, которые MongoDB использует для ограничения результатов.
Читать статью
Telegraph
Запросы к MongoDB из Java с помощью билдера фильтров
1. Обзор В этой статье разберемся, как использовать класс Filters для запросов к MongoDB. Класс Filters представляет собой билдер для удобного написания фильтров запросов. Фильтры — это некоторые условные операции, которые MongoDB использует для ограничения…
👍2🔥2
Деплой приложения на Java. Хостим проект через push в Git
В статье мы рассмотрим, как развернуть в облаке приложение на Java, на примере Spring Boot приложения с встраиваемой базой данных H2. А именно, мы попробуем развернуть приложение с простым REST API, сборкой Maven и тремя эндпоинтами, позволяющими добавить продукт, получить список всех продуктов и узнать общую стоимость всех продуктов.
Читать статью
В статье мы рассмотрим, как развернуть в облаке приложение на Java, на примере Spring Boot приложения с встраиваемой базой данных H2. А именно, мы попробуем развернуть приложение с простым REST API, сборкой Maven и тремя эндпоинтами, позволяющими добавить продукт, получить список всех продуктов и узнать общую стоимость всех продуктов.
Читать статью
Teletype
Деплой приложения на Java. Хостим проект через push в Git
В статье мы рассмотрим, как развернуть в облаке приложение на Java, на примере Spring Boot приложения с встраиваемой базой данных H2...
❤2👍2🔥2
Освойте Spring и увеличьте свой доход
Без Spring сложно представить современную веб-разработку. В фреймворке есть всё для удобного создания, тестирования и деплоя приложений. Именно поэтому опыт работы в Spring требуется в большинстве вакансий для Java-разработчиков.
Специально для тех, кто хочет расти и прокачивать свои скилы, в Skillbox запустили курс «Java Spring Framework». Спикеры — ведущие IT-специалисты из «Альфа-Банка», «Сбера» и SymbioWay, а сам курс максимально ориентирован на практику.
Чему вы научитесь:
– Создавать приложения с помощью Spring Framework и Spring Boot
– Работать с RestAPI с помощью Spring
– Использовать JDBC, Spring Data JPA и Hibernate
– Работать с Apache Kafka через Spring Boot
– Применять Redis для кэширования данных
– Тестировать Spring-приложения и защищать их с помощью Spring Security
В конце обучения вы создадите сервис бронирования отелей на Spring.
Курс ориентирован на разработчиков с опытом, поэтому на нём не будет лишней информации и обучения Java с нуля.
Прямо сейчас на обучение действует скидка. Переходите, чтобы ознакомиться с программой, и оставить заявку: https://epic.st/-P4P-A?erid=2VtzqxFEGnz
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
Без Spring сложно представить современную веб-разработку. В фреймворке есть всё для удобного создания, тестирования и деплоя приложений. Именно поэтому опыт работы в Spring требуется в большинстве вакансий для Java-разработчиков.
Специально для тех, кто хочет расти и прокачивать свои скилы, в Skillbox запустили курс «Java Spring Framework». Спикеры — ведущие IT-специалисты из «Альфа-Банка», «Сбера» и SymbioWay, а сам курс максимально ориентирован на практику.
Чему вы научитесь:
– Создавать приложения с помощью Spring Framework и Spring Boot
– Работать с RestAPI с помощью Spring
– Использовать JDBC, Spring Data JPA и Hibernate
– Работать с Apache Kafka через Spring Boot
– Применять Redis для кэширования данных
– Тестировать Spring-приложения и защищать их с помощью Spring Security
В конце обучения вы создадите сервис бронирования отелей на Spring.
Курс ориентирован на разработчиков с опытом, поэтому на нём не будет лишней информации и обучения Java с нуля.
Прямо сейчас на обучение действует скидка. Переходите, чтобы ознакомиться с программой, и оставить заявку: https://epic.st/-P4P-A?erid=2VtzqxFEGnz
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
👍2🔥2❤1☃1