Архитектор Данных
Во вторник 18 августа буду на митапе от ВК Теха в башнях на Ленинградском проспекте. Из интересного - как в Авито сделали 60 Гбайт/сек под даталейком и почему в Wildberiies приняли решение в пользу лейка на Trino + DataFusion Ну и если кому-то интересен…
На что только не пойдешь, чтобы получить хорошо работающий ОнПрем S3 под свой DLH
Архитектор Данных
Возвращаемся к видео-формату! В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков…
Reminder!
Сегодня делаем обзор миграции КХД на Лейкхаус!
18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot
Сегодня делаем обзор миграции КХД на Лейкхаус!
18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot
👍8
Архитектор, personal log
Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.
И все, гайд можно не смотреть, он устарел.
Сэкономил себе время получается 😄
Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.
И все, гайд можно не смотреть, он устарел.
Сэкономил себе время получается 😄
😁14
Энтерпрайз архитектура
Сцена в опенспейс, действующие лица: Арх и СТО.
—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза.
Сцена в опенспейс, действующие лица: Арх и СТО.
—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза.
😁19
Никак не могу понять загадку
Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.
Но когда-нибудь я разгадаю эту тайну
(С) руководитель отдела закупок - с недобрым блеском в глазах😈
Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.
Но когда-нибудь я разгадаю эту тайну
(С) руководитель отдела закупок - с недобрым блеском в глазах
Please open Telegram to view this post
VIEW IN TELEGRAM
😁24❤1
Архитектор Данных
Архитектор, personal log Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness. И все, гайд можно не смотреть, он устарел. Сэкономил себе время получается 😄
О важности Харнесов.
Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.
Задача - нарисовать реалистичный рендер океана на OpenGL.
VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.
Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.
Тред тут.
Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата).
Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.
Задача - нарисовать реалистичный рендер океана на OpenGL.
VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.
Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.
Тред тут.
Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата).
👍1🔥1
Архитектор Данных
О важности Харнесов. Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант. Задача - нарисовать реалистичный рендер океана на OpenGL.…
Ничего не могу с собой поделать, и снова вспоминаю самый известный пример поэтического промпт-инжиниринга. (М.Круг «Кольщик)
——
Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными
——
Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными
Telegram
Story of Архитектор Данных
😁6👏4
Сейчас все силы вложены в запуск 4-го потока курса по Лейкхаусу
Еще больше информации и опыта внедрения/миграции на стек DLH
Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.
В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!
Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse
Еще больше информации и опыта внедрения/миграции на стек DLH
Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.
В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!
Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse
Telegram
Архитектор Данных
Возвращаемся к видео-формату!
В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков…
В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков…
👍10
Забыли подвести итоги по статистике подписчиков канала.
Почти 60% SQL-исты разных видов. Привет вам!
Датасаенс с пандасом - ок. 10%
12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎
Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )
11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин.
Почти 60% SQL-исты разных видов. Привет вам!
Датасаенс с пандасом - ок. 10%
12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎
Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )
11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин.
🔥5
Архитектор Данных
Забыли подвести итоги по статистике подписчиков канала. Почти 60% SQL-исты разных видов. Привет вам! Датасаенс с пандасом - ок. 10% 12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через…
В опросе забыл самую главную опцию:
«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было»
«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было»
😁5
Forwarded from tl;dr data
Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.
При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.
Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.
Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.
Документация
@tldr_data
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
@task.stub(queue="golang")
Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.
При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.
Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.
Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.
Документация
@tldr_data
👍7
В Airflow теперь можно запустить java-scala приложения нативно
Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
При этом эта ява сможет пользоваться xcom, кредовым волтом, правильно ретраиться и по всем параметрам будет полноценной аэрфлошной джобой а не БашОператором, о котором движок АФ ничего не знает.
Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
При этом эта ява сможет пользоваться xcom, кредовым волтом, правильно ретраиться и по всем параметрам будет полноценной аэрфлошной джобой а не БашОператором, о котором движок АФ ничего не знает.
👍7❤1
Когда нанимаешься руководителем в большую сформированную команду - это как садиться доигрывать шахматную партию за кем-то другим.
Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать.
И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами.
А в гринфилд проекте начинаешь играть с е2-е4, это проще.
Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать.
И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами.
А в гринфилд проекте начинаешь играть с е2-е4, это проще.
😁20🔥11👍6👏1💯1🤝1
Об этапах собеса
В процессе рекрутмента большой компании обязательно должен быть какой-нибудь кринж этап.
Пусть кандидата на инженера данных собесит мобильный разработчик. И качает головой на незнание дата инженером архитектуры мобильного фронта и его фреймворков. Или ДБА цокает языком на незнание особенностей настройки редиса и монго. Сюда же систем дизайны всех видов, размеров и форм.
На вопрос кандидата, что это такое и зачем все это, нужно отвечать только то, что так сложилось и такие у нас процессы. Мы-де люди маленькие, нам сказали сделать, мы и делаем.
Зачем на самом деле? Очень просто - вам нужно отсекать людей, неустойчивых к корп маразму. И не восприимчивых к аргументам, что «так положено».
Все равно такие у вас долго не протянут, так и смысл их нанимать.
В процессе рекрутмента большой компании обязательно должен быть какой-нибудь кринж этап.
Пусть кандидата на инженера данных собесит мобильный разработчик. И качает головой на незнание дата инженером архитектуры мобильного фронта и его фреймворков. Или ДБА цокает языком на незнание особенностей настройки редиса и монго. Сюда же систем дизайны всех видов, размеров и форм.
На вопрос кандидата, что это такое и зачем все это, нужно отвечать только то, что так сложилось и такие у нас процессы. Мы-де люди маленькие, нам сказали сделать, мы и делаем.
Зачем на самом деле? Очень просто - вам нужно отсекать людей, неустойчивых к корп маразму. И не восприимчивых к аргументам, что «так положено».
Все равно такие у вас долго не протянут, так и смысл их нанимать.
😁23👍7😨3
Forwarded from Архитектор Данных
Media is too big
VIEW IN TELEGRAM
01:15 - Улучшаем производительность нативного движка Spark
05:10 - Как исполняется код на Spark под капотом и его узкие места
08:45 - Векторизованная модель исполнения кода
10:39 - Comet - движок поверх Dafafusion + Arrow
27:10 - Интеграция Comet - Iceberg
31:36 - Как включить векторизованный движок при чтении Iceberg-Parquet
05:10 - Как исполняется код на Spark под капотом и его узкие места
08:45 - Векторизованная модель исполнения кода
10:39 - Comet - движок поверх Dafafusion + Arrow
27:10 - Интеграция Comet - Iceberg
31:36 - Как включить векторизованный движок при чтении Iceberg-Parquet
👍2
Упоминаемый движок Apache Comet дорос до версии 1.0.0
Что он делает - меняет среду исполнения внутри Spark с JVM на Rust без переделки прикладного кода джобов
https://datafusion.apache.org/blog/output/2026/08/07/datafusion-comet-1.0.0/
Что он делает - меняет среду исполнения внутри Spark с JVM на Rust без переделки прикладного кода джобов
https://datafusion.apache.org/blog/output/2026/08/07/datafusion-comet-1.0.0/