🎥 Просмотрел и прослушал все видосы Онлайн-конференция Яндекса про образование.

Почти как пытка 🤪

❇️ Общее впечатление
Традиционно конференция YAC/E проходит спустя пару недель после Сбера: "Больше, чем обучение". Соответственно можно догадаться, что темы будут пересекаться. Так и есть. ИИ везде в каждом докладе.

Что хотелось бы отметить...

На конференции от Сбера все поют дифирамбы Герману Грефу. Чаще всего по делу, т.к. выступление Грефа можно легко разбирать на цитаты. Порой видна лесть, но в пределах разумного. На YAC/E все восхваляют Яндекс и все их проекты и продукты!💥 Порой народ перегибает палку. Особенно это видно на треках "преподавательский хаб", "Кабинет директора" и "Студенческая лаборатория". Такое ощущение, если Яндекс заметил какой-то колледж или ВУЗ, то это высшая благодать! Событие всей жизни! 🙏👼! Смотрится это всё с экрана с таким лицом 🤨 или 🫤.

❇️Плюсы и минусы
➕ Очень крутые и профессиональные ведущие в каждой секции. Я до сих пор под впечатлением 👍. Очень здорово отвели/курировали свои доклады. Молодцы 💪
➕ Крайне разнообразная программа конференции. Каждый найдёт для себя 1-2 или более интересных докладов.
➖ Целование "Яндекса" во все места. Может конечно я передергиваю, но не могу отделаться от этого ощущения. Может это ревность какая-то? 🙂
➖ Для себя я вынес мало чего-то полезного. После конференции от Сбера, конфа от Яндекса смотрится как повтор уже услышанного.

❇️ Фразы и тезисы, которые запомнились

Из забавного:

Питон - бог всех языков

👉 Софт-скиллы важны и для линейного персонала, т.е. даже обычному рядовому инженеру нужно качать софты.

Конец всем интровертам...

👉 Учиться надо всегда

🤢🤮... уже более 20 лет слышу эту мантру

👉 Усталость от технологии. Психологическая нагрузка.

👉 Человеческое общение превалирует над ИИ. Создание атмосферы - ключевой навык для преподавателя.

Обнимашки, целовашки и дружеские похлопывания по плечу - вот секрет успеха!

Народ посмеялся над тезисом:

👉 Мы вас научим! То есть нельзя насильно заставить учиться.

Я этот тезис воспринимаю как вызов. То есть тот, кто так заявляет, сможет прорвать барьер не желания учиться. Сможет создать условия, благодаря которым, любой научится.

👉 Нельзя отдавать ИИ авторство. Очень тонкая грань.

👉 Есть страх того, что ИИ может стать вашим боссом.

👉 Live Long Lerning - из каждого утюга. Новая концепция Live Width Lerning. Везде видеть обучение.

👉 Возможно ли развитие, когда ты чуть ли не 24/7 закрываешь базовые потребности (необходимости) ?

Ответа на этот вопрос не услышал. Мое мнение, нет, не возможно. Надо просто пережить, когда закончится этот период. Либо период сам заканчивается (конец сессии, конец проекта), либо ты сам его насильно заканчиваешь (отпуск, увольнение).

👉 Креативность - не стандартность.

👉 Если у тебя всё хорошо, то это стопер креативности. Ты становишься равнодушным.

👉 Мысль. Все мы слушаем какие-то лекции. Бывает, что лекция плохая. Не нравится. У тебя есть варианты действий: игнорировать и терпеть, а второй, переосмыслить её и составить лекцию так, как тебе бы понравилось. Переписать её.

👉 Как мотивировать студентов?
Надо создать такие условия, чтобы студент понимал, что если он не решит задачу, то будет так плохо, так плохо, что земля под ногами разверзнется.

👉 Как следует вести урок?
Дилетант: Звенит звонок, входит учитель и начинает рассказывать.
Профессионал: Звенит звонок, входит учитель и начинает спрашивать.

❗️Вся педагогика - это шантаж и подкуп.

💥Платформа обучения. Вопросы для закрепления лекционного материала.

Был классный доклад о том, какие ИИ-агенты внедрены в китайский ВУЗ. Уровень цифровизации у них колоссальный! Нам такого не хватает. Чтобы у каждого студента был единый портал со всеми курсами, со всеми заданиями и задачами. Чтобы была возможность вести урок на единой платформе. Интеграции с ИИ. Крутая концепция! Почему это у нас не работает, не знаю. Возможно слишком высокие трудозатраты...

📚 How Distributed Databases Power Developer Platforms at Scale

Очередная статья о том, что распределенные базы данных становятся новым фундаментов для проектов/стартапов, где требуется работа на глобальном рынке.

Повторю основные плюшки для разработчиков:

👉 Глобальная масштабируемость: База данных легко масштабируется горизонтально по мере роста числа пользователей.

👉 Отказоустойчивость: Система продолжает работать даже при сбоях в отдельных дата-центрах.

👉 Согласованность данных: Обеспечивает целостность данных даже в распределенной среде.

👉 Упрощение для разработчиков: Позволяет программистам думать о базе данных как о едином логическом кластере, не вникая в сложности распределенных систем, что ускоряет разработку.

Есть такие темы, которые всегда на хайпе. Чтобы поддерживать этот хайп нужно выпускать какие-то статьи. Это прекрасный пример. Ничего нового по сути не сказано, но еще раз напомнили людям и распределенных системах.

От себя добавлю следующее, что на глобальном рынке распределенных СУБД доминирует CockroachDB и YugabyteDB. Я уверен, то текущие версии продуктов уже достаточно отлажены и готовы к реальной работе.

Я смотрю на решения в наших отечественных компаниях и это конечно грусть. Я не говорю, что продукты плохие, нет. Но их используют очень мало клиентов. Выловить все баги текущими ресурсами просто невозможно. "Взросление" продукта проходит крайне медленно.

Недавно был случай, когда из-за ошибки active-active кластера работа финансового приложения была парализовано на 3 часа. Буквально через месяц опять из-за active-active режима нарушился бизнес-флоу. С точки зрения системы ничего критичного не произошло, но со стороны Бизнеса это был серьезный крит.

Надеюсь, что наши продукты YDB, Tarantool, Shardman всё-таки смогут потягаться с западными продуктами в плане надежности и стабильности. Вопрос только, когда...

В продолжении темы распределенных СУБД

📚 Data Locality vs. Independence: Which Should Your Database Prioritize?

В статье объясняет фундаментальный принцип проектирования баз данных — "Store Together, Access Together" (Храните вместе то, что будете запрашивать вместе) и почему он критически важен для производительности, особенно в распределенных системах.

Автор еще раз напоминает всем основу проектирования базы данных. 1️⃣ Первым делом мы должны понимать какие пользователи могут быть в нашей базе данных. 2️⃣Второе, какие запросы они могут выполнять. Одной из задач разработчика сделать так, чтобы данные для выполнения этих запросов находились в одном месте, а не разбросаны по всему кластеру. Тут еще можно вспомнить денормализацию, т.е. копирование одних и тех же данных в другие таблицы, чтобы запросы выполнялись эффективнее. Это больше касается различных справочников. Еще один принцип проектирования базы данных.

❇️Ключевые тезисы:

👉Данные, которые часто нужны для одного запроса, должны физически храниться рядом друг с другом (в одном узле баз данных).

👉Если связанные данные разбросаны по разным серверам или регионам, база данных вынуждена выполнять дорогостоящие операции, а это сетевые вызовы между узлами (network hops), сбор и объединение (JOIN) данных из разных источников.

👉Как пример решения проблемы распределенных данных - это добавление кластеризации индексов (Index Clustering). Приводится пример CockroachDB, где можно указать, как связанные строки из разных таблиц (например, заказы и товары в этих заказах) должны физически храниться рядом на диске, если они связаны общим ключом.

Как только появляется шардирование - это добавляет ряд дополнительных сложностей проектировщику базы данных. Нужно учитывать новые реалии.

Скоро предзащиты по НИРам. Чувствую предновогоднюю суету 😱 🌲

С пятницей!

#mems

🎦 7 ноября прошла конференция ArchDays 2025.

Цель - распространение имеющихся и создание новых знаний об архитектуре программных решений

❇️Общее впечатление

Каждый год - новое место. В этот раз это был РБК Центр Событий. Площадка неплохая. Довольно уютная, даже было отдельное тихое место, где можно было посидеть с ноутом в наушниках для тех, кто даже в выходной умудряется работать. По еде всё супер! Всего много и всё вкусно. К сожалению, не смог остаться на afterparty из-за личных дел, поэтому увеличить круг знакомств не вышло 😅

❇️По выступлениям
В этом году почти все, если не все, выступления были довольно далеки от мира СУБД. Многие прослушанные доклады я не осознал. Какой-то иной уровень абстракции... 🙁 Не для всех

Ранее я не замечал, но в этот раз было много рекламных докладов 🪧. Выходит спикер от какого-то вендора и рассказывает про свой продукт. Какой он классный и как помогает архитекторам. Особенно мне запомнилось выступление "Практики прикладной архитектуры ВТБ: как мы отвечаем на вызовы". Спикеры от ВТБ и Т1.

ВТБ полностью владеет Т1. Дочка. Вёл доклад спикер от ВТБ, а человек с Т1 был на подхвате и рекламировал свои решения.

Вот мы для ВТБ сделали то... Наш продукт может вот это... И т.п.

Я слушал это не понимал зачем это всё рассказывалось? 🤔Вряд ли решение от Т1 кому-то будет полезно, т.к. ВТБ в это влил кучу денег и продать это кому-то еще будет не просто. СберТех не даст соврать 😉

Все презентации по докладам уже доступы на странице с расписанием. Можно их просмотреть

Отмечу некоторые выступления, которые мне показались полезными.

🟢 Экономические последствия архитектурных решений
Сергей Баранов, ArchDays
Преза

Шикарный доклад о том, как рассчитывается стоимость архитектурных решений 💰. Внедрение и последствия. Я очень хочу сделать из этого тему для магистерской НИР и предложить своим студентам 😎. Я думаю нашей кафедре будет интересно послушать про это.

Несколько тезисов:
👉 Архитектура невидима для конечного пользователя, но ее влияние на бизнес огромно.
👉 Архитекторы могут провести любое решение если им надо. Плевать на экономику
👉 Мозг разработчика - самый дорогой ресурс
👉 Многие выбирают гибкий вариант не из экономических соображений, а потому что он кажется более профессиональным и гибким. Это классическая ловушка opportunity cost.

🟢 Composable Enterprise: Стратегический переход к модульному банкингу
Дмитрий Клецких, Raiffeisen Bank, Главный архитектор
Преза

👉 Мы сами ломаем наш банк своими изменениями
👉 Self-driving – это выигрышная стратегия. Герман Греф назвал задачей банка принимать подавляющее большинство решений в автоматическом режиме на основе искусственного интеллекта. Глава «Сбера» призвал «дать машине свободу» и ограничения в рамках свободы

🟢 Сжатие технологического стека, или анти-Highload
Павел Кутаков, VKTech
Преза

Самая прикольная тема доклада на всей конференции! У меня были очень завышены ожидания! 🧐 Но...как всегда, напрасно... 😥

Весь доклад выглядит как дипломная работа бакалавра, даже не магистра.

Автор, взял пример "из Вселенной" и набросал какую-то потенциально рабочую архитектуру онлайн-магазина. С помощью расширений к PostgreSQL сузил количество ит-сервисов до минимума. Готово 🥸. Провёл гипотетическое тестирование через pgbench и получил успешную обработку до 90 заказов в секунду ☝️. Сравнил с какими-то показателями прочих магазинов и резюмировал, что его значения норм. Пойдёт. Дешево и сердито. Конец.

Эээээ... Вроде автор раскрыл тему выступления, но ощущение, что это "сферический конь в вакууме" у меня сохранилось. Как дипломный проект - зачёт.

😉 На этом всё

p.s. отмечу шикарную презентацию по докладу "Архитектор и ИИ: Управляем старым техдолгом и создаем новый". 121 слайд визуального кайфа! Не знаю кто дизайнер этой презентации, но он точно не даром ест свой хлеб! Очень красиво!

📚 БД без боли: моя шпаргалка для собесов в Java. Часть 4

Коротенькая, но шикарная статья о том, с каким минимальным набором знаний нужно выходить после курса по базам данных.

Прям ТОП🔝👆

Если выпускник что-то не знает из этой статьи, то это очень печально 😡

Список вопрос для итоговой аттестации можно смело брать из этой статьи. Даже думать не надо 😉

1. Что такое ACID?
2. Как работают индексы?
3. Расскажите по LSM-деревья.
4. Опишите план действий по применению индекса к таблице
5. Какие бывают виды репликации?
6. Что такое шардирование в базе данных? Чем отличается от партиционирования?
и т.д.

📚 Как работают федеративные системы: рассказываем на примере YDB

Гигансткий лонгрид на 20+ минут от команды YDB. Еще раз подтвердается тренд на HTAP СУБД. Развитие аналитических возможностей и средств интеграции с разными источниками данных. Реализация процессов Zero-ETL и NearZero-ETL.

Главная мысль (или даже достяжения команды YDB) реализации возможности сбора, обработки и агрегации данных из гетерогенных источников. Фактически это снимает coreblock о том, что СУБД не может быть "разнообразной" Variability, т.е. быть способной обработать любые форматы данных. Структурирование, полуструктрированные, не струкутированые форматы.

Еще один повод начать изучать YDB. Как найти на это время, не знаю 🙂

Начинается зима

С пятницей!

#mems

🎦 Добрался до видосов конференции PGConf.СПб 2025.

Сам я там не был, но очень интересно о чем же там рассказывал народ.

Большинство видео уже доступно для просмотра в личном кабинете.

❗️Повторюсь, для преподавателей и студентов все видео бесплатны.

Какие доклады меня зацепили...
❇️ О битых данных и их восстановлении.

Хорошая тема доклада. Если говорить о его качестве, то где-то на 6 из 10.

Автор разбил доклад на 2 логические части: методология и истории пользователей. Более 20 минут ушло на рассказ методологии. В голове осталось очень мало. На меня вылили кучу каких скринов ошибок и привели 10+ инструментов диагностики. Ну, такое... Остальные 10 минут ушли на истории клиентов. Это было интересно, хоть и мало 🥺.

Меня очень манит идея сделать какой-то курс по диагностики и восстановлению поврежденных баз данных 👷🏻‍♂️. Материал достать не сложно. Проработать план курса, создать банк сбойных БД, создать ряд практических работ и дело в шляпе. Вопрос только в том, кому нужен этот курс? Написать его можно, а кто его проходить будет? ❔
Пока это главный стопер для меня. Не хочется убить 100+ часов на разработку курса "в стол".

❇️ Shardman: реляционные привычки в распределённой СУБД

Это доклад для разработчиков приложений или специалистов по оптимизации запросов, которые работают с распределенной БД или думают об этом. Суть доклада в том, что если архитектор решил перейти на распределенную БД, то надо проводить анализ всех запросов. Какие из них замедляться, а какие ускорятся... Проблемы могут выстрелить в любом месте. Стандартные методики диагностики могут "выстрелить вам в ногу".

Очень интересно каким правилам проектирования БД придерживаются разработчики, если база данных изначально распределенная? Как они "с нуля" начинает проектирование? Какие отличия от стандартного проектирования БД с одним сервером, и. т.д.
Тема для исследования 🧑🏻‍🔬

❇️ Стратегия движения к универсальной СУБД (OLTP/OLAP/HTAP)
Автор Марк Ривкин, Postgres Professional Presale manager

Автор одним словом, продажник. Не больше ни меньше. Марк рассказал о линейке продуктов PostgresPro и о том, как много они делают для аналитиков. Ребята используют все доступные средства повышения OLAP возможностей своего флагманского продукта PostgresPro Entreprise. Начиная от расширений и встраивания DuckDB - заканчивая своей Datalake платформой, Tengri с возможностью обработки несколько петабайт данных.
PostgresPro Entreprise становится настоящим комбайном, который может обработать всё. Собственно это суть доклада.
Приходите и покупайте 💰💸

Если кого-то зацепили еще какие-то выступления, то пишите в комментариях 😉

🎦 25 ноября прошел митап «СУБД глазами инфраструктурщиков» от Инфорсистем Джет (наш отечественный интегратор).

Доклады

🔹PostgreSQL без валидола: сборка кластера вручную
Роман Куликов, старший администратор баз данных, «Инфосистемы Джет»
🔹Автоматизация кластеров Postgre
Игорь Старшинов, инженер‑проектировщик OpenStack, «Инфосистемы Джет»
🔹Как мы перевезли Oracle с Solaris SPARC на x86
Максим Пасисниченко, администратор SAP Basis, «Инфосистемы Джет»
🔹Масштабирование и отказоустойчивость YDB — 9 нод, банковская нагрузка, падение дата-центра, перезапуск кластера под нагрузкой без простоя.
Евгений Ярош, руководитель направления СУБД, «Инфосистемы Джет»
🔹Круглый стол «Масштабирование СУБД: реальные проблемы и перспективы»
Эксперты из «Инфосистемы Джет», Яндекс (YDB), Arenadata, СберТех, Postgres Professional, Газинформсервис

Первые 3 доклада не особо интересны, но наверное кто-то для себя что-то полезное найдет 🔎. Разве что секция вопросов-ответов стоит внимания ⚠️.

Приступим к главным вишенкам 🍒:
1️⃣ Масштабирование и отказоустойчивость YDB.
Автор взял смоделировал "из воздуха" процессинговую нагрузку, раскатал БД на 9 нод по трём разным ЦОД. Затем запустил стресс-тест по проверке катастрофоустойчивости. Все тесты пройдены успешно. Конец. Вот и весь доклад. Без выводов, без ничего.

У меня под конец изрядно подгорело🔥. Что я только что прослушал? Зачем это? С какими знаниями я остаюсь? Что в тестах YDB ведет себя хорошо на реальных ЦОД? Нуууу...ОК 👌. Короче, одно из моих разочарований митапа .

2️⃣ Круглый стол «Масштабирование СУБД: реальные проблемы и перспективы»
Самый главный прикол в том, что тема про масштабирование баз данных, но по сути подобный опыт и продукт есть только у Яндекса (YDB) и PostgresPro (Shardman) 😨. 2/3 всех вопросов отвечали именно они. Даже не так, на все вопросы отвечал Михаил Сумской из PostgresPro. Полностью перетянул на себя внимание 🤓

Если попытаться сформулировать тезисы этого стола, то ничего не получится. Все ответы максимально абстрактны. Каких-то откровений не было. Последние 2 вопроса были хороши 😊!

Вопрос 1. Стоит ли задумываться о распределенной/шардированной БД изначально на этапе проектирования сервиса?

Ответ: Опять всё очень абстрактно, но если подытожить, то нет. Всему свое время.

Кажется тут скрывается некое лукавство, т.к. не любую базу данных можно легко горизонтально масштабировать. Такая возможность должна быть заложена. Если нет, то нужно начинать новый подпроект по переписываю схемы базы данных под новые реалии. Думаю на этом товарищи вендоры зарабатывают кучу денег 💰.

Вопрос 2: на каком объеме проекта стоит задуматься о горизонтальном масштабировании БД?

Все ответы черти-о-чем 🤷‍♂️. Только в самом конце один из спикеров сформулировал цифры:

10-15 ТБ - норм для одного инстанса (до 30 ТБ норм). От 30 до 100 потребуется шардирование. 100+ ТБ это распределенная СУБД.

Вот и весь митап 🥸

📚 На неделе прошел четырех дневный курс: Arenadata QuickMarts для пользователей

Arenadata QuickMarts или ADQM - это форк ClickHouse. Каких-то важных изменений разработчики от Аренадаты туда не внесли, поэтому курс можно смело переименовать в курс по ClickHouse. Ничего бы не поменялось. Думаю все отличия в эксплуатации, т.к. ADQM должен уметь интегрироваться со всеми инструментами развертывания и мониторинга от Аренадаты.

❇️ Мнение о курсе
Это не первый курс от Аренадаты, который я прохожу, поэтому есть с чем сравнить. И знаете что, все курс полностью методологически одинаковы⚖️ . Братья близнецы♊️. Даже презентации в едином корпоративном стиле. Такое впечатление, что все курсы писал 1 человек. Меняется только спикер курса. Очень странное ощущение остается 😅.

Про качество курса говорить сложно. Курс идет 4 дня по 8 часов. Информации тьма 🌚! Видно, что ведущий курса должен нам это всё впихнуть, поэтому свободного времени почти не остается. Мне кажется я уже отвык от подобной модели обучения . Раньше такие курсы были в офлайне и отрыве от работы, поэтому информация усваивалась лучше. Сейчас это преимущественно онлайн. Это конечно накладывает свой отпечаток. Возможно тут я сам виноват и нужно было отгулы брать ⛳️.

Субъективно, курс хороший 👍, но скучный 🥱. "Хоспади", как же скучно и не понятно зачем это всё 🤷‍♂️? 32 реальных часа в меня пытались вложить информацию по всем возможностям обработки данных ClickHouse! Казалось бы не уже ли этих возможностей много? Оказывается да, много и самое ужасное в том, что ощущение недосказанности осталось. Мне точно рассказали далеко не всё 🪫.

Текущая модель обучения проверена годами и уже кажется устаревшей. На смену ей пришла модель занятий по 4 часа в неделю (2 пары), но из-за этого срок обучение вместо 4 дней растягивается на 8 недель, а то и больше 🌊! Сейчас учиться на курсе 4-6 месяцев кажется нормой. Это тоже такое себе мероприятия. Казалось бы надо искать какой-то компромисс 🤷‍♂️.

Сейчас набирают обороты мини-курсы с конкретной целью. Зачем иметь 1 большой курс, когда можно сделать несколько маленьких и их порционно продавать. Такая модель кажется более выигрышной. Я сам читаю курс в коммерческом учебном центре DevHands. Мне куратор сразу сказал, что курсов длиннее 6 занятий по 1.5 часа быть не должно😡! Статистика говорит о том, что на финишную прямую выходят единицы. Я с этим полностью согласен. Сам учился пару раз на курсах длинной в 5 месяцев. До конца доходило человека 2-3 из 15.

Есть задумка писать курсы еще короче на 3 встречи (4.5 часа). В теории это может дать больший эффект. Возможно стоит уйти в формат воркшопов, чтобы участники курса были максимально вовлечены и активны, а автор лишь направлял народ. Чем-то напоминает выполнение лабораторных работ в институте. Есть задание, есть методичка и вперед. Преподаватель лишь следит за ходом работы. Но это работает в очном формате.

В онлайне есть практика, что автор воркшопа ставит какую-то задачу и затем предлагает аудитории её решить. Автор выслушивает вариант и выбирает какой-то из них и выполняет. Фактически всю работу делает автор курса, а аудитория занимается постоянным мозговым штурмом и поправляет автора, если он что-то делает не так. Я бывал на подобном формате обучения и мне кажется стоит его попробовать применить самому.

В общем, надо пробовать разные форматы и искать тот, который покажется максимально эффективным!

Итог всех конференций в этом и думаю в следующем году тоже

С пятницей!

#mems

🎦 Еще одна конференция от сентября Data Internals X.

Только 24 ноября наконец-то выложили видео.

❗️Кстати, я там выступал в самом конце на круглом столе. Думаю в 2026 доступ всем откроют бесплатно❗️

Тяжело обозревать доклады доступ к которым закрыт и открывается только "за донат". Надеюсь, что многие выступления выложат с общий доступ на платформе VKvideo. Да, на любимом ютубчике видео с конференции официально не будет.

Список докладов

❇️ Общее впечатление
Очень крутая конференция в плане контента 💪! Все выступления классные и интересные. Очень советую по возможности глянуть или хотя бы презентации полистать 👀. К сожалению, в этот день у меня на работе возник факап по проекту и пришлось почти всю конфу заниматься устранением последствий 😢. Реально не повезло 😭 Если бы за день до конфы не было бы препати для докладчиков 🍻, я бы так и ни с кем не познакомился .

Отмечу доклады, которые лично для меня, показались интересными.

👉 Citus изнутри: как устроен шардинг.
Преза

Автор доклада подробно разобрал расширение Citus для PostgreSQL. Жаль, что у мероприятия жесткий тайминг в 30 минут. По факту там надо рассказывать часа 3 не меньше. Думаю, если людям интересен Citus, то в нём нет ничего страшного. Надо просто ставить и изучать. Это уже нормально взрослое, а главное, опенсорсное масштабированию OLTP нагрузки.

👉 Data Quality как distributed-система: паттерны отказоустойчивости для данных
Преза
Очень крутой докладчик 🤟. Голос поставлен великолепно. Слушать его было очень приятно. Доклад реально сложный. Насыщен множеством профессиональных терминов, но от этого только интереснее. Я проникся. Несколько тезисов

1️⃣Качество данных — не роскошь, а необходимость
2️⃣DQ — это не про идеал, а про минимизацию потерь и доверие бизнеса
3️⃣Внедряйте гибридные подходы, считайте убытки, автоматизируйте рутину

👉 DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки
Преза

Автор доклада (и его команда) из R&D Т-Банка сделали свое расширение к DuckDB по интеграции возможностей библиотеки GraphAr, чтобы DuckDB успешно работал с графовыми данными.
Расширение можно глянуть тут
Отличная работа! Респект! 👋

👉 Как подготовить платформу данных к миграции уже сейчас?
Преза

Очень грустный доклад 😢. Раньше был вендор SAS, который предоставлял весь спектр инструментария для отчетов, аналитики и прочее.

SAS ушел и пришлось искать альтернативы. Вместо группы из 5-ти связанных продуктов с единым интерфейсом пришлось изучать и внедрять чуть ли не 10 новых инструментов от разных вендоров 🤯. Эххх...как же раньше было просто 😞... Далее автор рассказывает о некоторых граблях на которые наткнулись при миграции, ну и всё.

👉 Ревью без боли: DataOps-подход к управлению изменениями в DWH
Преза
Меня привлекло название доклада ✋. По сути автор рассказал, что раньше все тестировали ручками, но потов внедрили автотесты, анализаторы кода, интеграционные тесты и прочие механизмы сверки - в итоге всё стало лучше, быстрее и мощнее. Конец.

Очередное подтверждение того, что еще есть куча компаний-разработчиков, где культура нормального тестирования не внедрена. У многих до сих пор полно ручного тестирования ✍️.

В новостной рассылке от Яндекса предложили мне пойти бесплатный "Курс от Яндекс Образования для тех, кто начинает преподавать".

Мне стало интересно, какие требования к преподавателям у Яндекса и чему они хотят научить за 8 часов🤨

❇️ Общее впечатление
Это второй курс на платформе Яндекс.Практикум, который я прохожу бесплатно. Формат подачи материала очень специфический. Как бы через диалог и прокликивания окошек. Чем-то это мне напоминает курс по информационной безопасности, который проходят все госслужащие и банковские работники. Ты просто прокликиваешь весь курс, чтобы побыстрее дойти до финального теста. Затем пройти тест и забыть обо всём. Я такой флешбэк словил.

Если говорить про материал, то да, местами он довольно полезный. Я какие-то важные мысли подчеркнул.
Прикольные задания после каждого модуля. Это самая интересная часть курса.

❇️Что не понравилось
В курсе очень много ИИ пропаганды. Любой вопрос должен быть обсужден с ИИ. ИИ помогает тебе сформулировать тему, составить практические задания и даже смоделировать процесс обучения с гипотетической аудитории и получить фидбек. Яндекс толкает читателя/слушателя в ИИ объятия. ИИ преподносится как универсальный тренажер для всего. Немного пугает такой посыл. Может я уже устарел и поэтому тяжело принять новое... не знаю.

В целом, если вы хотите проверить себя на готовность стать преподавателем, то этот курс неплохая тренировка. Возможно ИИ вас отговорит становиться преподавателем 😉

📚 Database Trends and Applications Magazine: October/November 2025 Issue

❗️Тема номера: Облачная аналитика и трансформация ваших данных

➡️ SURVEY: HOW AI IS INCREASINGLY BEING INTEGRATED INTO DATA ARCHITECTURE

Традиционная аналитическая статья о статусе внедрения ИИ.

👉63.7% респондентов имеют либо детальное (22.8%), либо концептуальное (40.9%) понимание GenAI.
👉36.7% считают GenAI ценным для автоматизации и повышения эффективности.

Традиционные СУБД (Oracle, SQL Server и др.) всё ещё лидируют (54.8%),
Но быстро растёт значение:
Real-time streaming data — 49.4%
Cloud SaaS-платформы — 44.4%
Внешние API-фиды — 38.6%
Социальные данные — 28.2%
При этом интерес к документам/полуструктурированным данным упал с 55% до 39%, что говорит о смещении фокуса на динамические, интегрируемые источники.

У меня в компании тоже есть масса проектов с ИИ. Я был бы рад ИИ, который изучил всю документацию + материалы по форматам + релиз ноутсы к каждому релизу. Тогда большинство вопросов от заказчиков решалось в разы быстрее.

➡️ TRANSFORMING YOUR DATA AND ANALYTICS IN THE CLOUD

В статье говорится о нарастающей срочности перехода на облачные сервисы для хранения и аналитики данных. Современные аналитические и AI-приложения генерируют огромные объёмы данных, и любимые традиционные on-prem инфраструктуры всё чаще не справляются с нагрузкой.

Словил какое-то дежавю 👀. Опять нас всех спасёт облако. В этот раз автор сразу сказал, что облака могут не всем. Если у вас задача мониторинга событий, свехсекретная работа, "религия" (цели компании) не позволяет полностью перейти в облако, то всегда есть гибридный вариант. Перейти в облако "чуть-чуть" 😶‍🌫️.

Я к такому отношусь скептически, но почему-то очень хочется в таком проекте побывать. Интересно какого это обращаться в техподдержку облачного провайдера.

➡️ UNIFIED ANALYTICS AS THE CATALYST FOR DATA-DRIVEN, REAL-TIME ENTERPRISE SUCCESS

Статья посвящена концепции единых (unified) аналитических систем как ключевому драйверу для построения быстрых, гибких и действительно data-driven организаций.

Как сформулировал Стефан Кастеллани (CrateDB):

«Unified analytics — это способность работать со всеми данными, из любых источников, в любом формате, и извлекать из них согласованные, управляемые insight’ы в реальном времени».

Очередная попытка сказать компаниям о том, что разные команды - это плохо. Нужна общая платформа данных, которой будут пользоваться все. Идея хорошая, но дорогая. Введение такой унификации может сказаться на эффективности команд.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

Авторы утверждают, что сочетание AI и грамотного управления данными (data governance) — это ключ к надёжной, масштабируемой, «умной» аналитике и бизнес-интеллекту (BI)

👉 AI способен автоматически находить ошибки или аномалии в данных, выявлять дубли, пропущенные значения, несоответствия — повышая качество и консистентность данных.
👉 Возможно автоматическое отслеживание lineage данных — то есть откуда данные пришли, какие трансформации они прошли, куда передаются.
👉 AI может помогать с классификацией и выявлением чувствительных/конфиденциальных данных, обеспечивать контроль доступа, соответствие политик, автоматическое обнаружение нарушений ещё до проблем.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

В статье говорится, что многие компании, которые стремятся внедрять AI, «застревают» на уровне прототипов. Далее бюджет заканчивается 😜 💸

➡️NAVIGATING THE DATA SECURITY MINEFIELD

Роль администратора БД (DBA) теперь воспринимается не просто как “наладчик” баз, а как «страж данных». Тот, кто отвечает за защиту и сохранность критичных корпоративных данных.

Основные рекомендации по защите данных

👉Шифрование (encryption) — базовая линия обороны
👉Принцип наименьших привилегий (least privilege) — пользователи, процессы и приложения должны иметь только те доступы, которые необходимы для их задач.
👉Аудит и мониторинг (auditing & monitoring)
👉Регулярное обновление/патчинг (patch management)

Смотря на эту картинку, я думаю, она носит позитивный или негативный характер? Пока не решил. Смотрю...

С пятницей!

#mems

📚Решился всё-таки полистать книжку Data Engineering Design Patterns Recipes for Solving the Most Common Data Engineering Problems

Меня очень привлекла обложка, но и название тоже не плохое

❇️ Общее впечатение

Эту книгу правильнее рассматривать как структурированный справочник или каталог проверенных решений для повседневных и не очень задач инженера данных.

У меня сложилось впечателение, что автор так видит сценарий взаимодействия с книгой:
👉 Вы сталкиваетесь на практике с проблемой (скажем, "как эффективно обрабатывать потоковые данные с гарантией доставки?" или "как организовать историчность данных в витрине?").
👉 Затем вы открываете оглавление или индекс этой книги, находите соответствующий паттерн (например, "Change Data Capture" или "Slowly Changing Dimensions")
👉 Изучаете готовый "рецепт": диаграммы, плюсы/минусы, варианты реализации

Мне кажется эта книга шикарный материал для обучения ИИ-асситената. Просто добавляешь файл с книгой и затем на ломанном русском описываешь свою проблему. Затем ИИ согласно этой книге генерирует ответ с вариантами решения (с названием паттернов), которые тебе подойдут.

Мне кажется, что сейчас архитектурный консалтинг может уйти в небытие. Достаточно скомить ИИ популярные, модные современные архитектурные решения и под свои требования получить готовый вариант. Наверняка такие пилотные проекты используются в крупных компаниях.

❇️ Итого
Книга хорошая, качайте, листайте, скармливайте ее ИИ и изучайте проблемы и их типовые решения вместе.

📚 Redis/Valkey. Community Erosion Post License Change: Quantifying the Power of Open Source

Очень интересная статья о конкуренции между Redis и Valkey.

Проект Valkey уже существует более полутора лет и продолжает уверенно развиваться. Redis, несмотря на потерю около трети своих контрибьюторов, также не сдал позиций: удалось привлечь новых разработчиков, а «ветераны» проекта даже увеличили активность. Народ стал делать больше комитов, чем годом ранее.

Пока они остаются близкими по функциональности, поскольку главный фокус - производительность. Однако постепенно намечаются различия в стратегиях развития.

На мой взгляд, Redis делает ставку на универсальность. Он стремится поддерживать максимально широкий спектр сценариев использования, начиная от классических задач по кешированию данных до современных workload’ов, включая ИИ-проекты. В версии 8.4 активно развиваются векторные операции, операция поиска и улучшение механизм ребалансировки кластера (Atomic Slot Migration).

Valkey, напротив, делает упор на надёжность, отказоустойчивость и кластерные возможности. Релиз 9.0 — яркое тому подтверждение: появилась поддержка многобазовости в кластере и улучшен механизм ребалансировки кластера (Atomic Slot Migration).

Даже прочитав список фич последних релизов видно, что они тесно пересекаются (Atomic Slot Migration). Кто у кого списывает, думайте сами.

Конкуренция явно идёт на пользу обоим проектам — и экосистеме в целом.
Посмотрим, какие сюрпризы приготовит нам 2026 год! 🚀

📚 Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 2nd Edition

Самая ожидаемая книга 2026 года! 🌲

Товарищи из нашего издательства "Питер" обещали сделать перевод в максимально короткий срок! Надеюсь, не обманут 🫤

Настала пора генерировать СВОЙ контент! Моя статья на Хабре! Просьба всем лайкнуть 😉

Eventually Consistent СУБД — всё?

Костя Ратвин написал прекрасную ретроспективную статью о взлете и падении eventually consistent СУБД, а Костя Осипов её откомментировал.

https://habr.com/ru/articles/980082/