Сходила на ТехноДень
Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов
Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала😁
Что послушала из докладов:
1️⃣ Lakehouse от Столото
Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации
2️⃣ Новая дата платформа от Точка Банка
Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек😁 Теперь они рассказали, как переехали на GP от вендора в первый раз в одном облаке, потом во второй раз в другом облаке, потом в третий раз на серверах Selectel😲
3️⃣ Аудиоаналитика в облаке от Fix Price
Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики
Я так поняла, что все приглашенные компании - это именно пользователи их продуктов
Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие🙄 Хотя еще 1-2 года назад не планировал. Пока ощущение, что сыровато и нет необходимых компонентов
Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться
Плюс очень понравилась фраза на главном докладе:
🍜 Во время фуршета познакомилась с каким-то CoFounder из юр компании. Он рассказал, что они на сервисах Selectel используют иишку для генерации и проверки договоров, поиска по судебным кейсам. В общем, занятное применение, а то я не в курсе про жизнь вне айти😅
Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/
P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить
@data_engineerette
Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов
Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала
Что послушала из докладов:
Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации
Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек
Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики
Я так поняла, что все приглашенные компании - это именно пользователи их продуктов
Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие
Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться
Плюс очень понравилась фраза на главном докладе:
Мы экономим ваши будущие деньги😄
Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/
P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14
Ну, как вы там?
Нашли новые вопросы для собесов на DevOps/SRE:
@data_engineerette
Нашли новые вопросы для собесов на DevOps/SRE:
Есть ли у вас опыт тушения продакшена в буквальном смысле?
Умеете ли вы дебажить инфраструктуру по спутниковым снимкам?
Как вы понимаете термин hot standby, если резервный ЦОД всё ещё горит?
Какой Prometheus alert вы настроите на появление дыма из серверной?
Что вы будете делать, если terraform destroy выполнили без Terraform?
Сколько девяток доступности останется у сервиса после потери двух дата-центров?
Как объяснить менеджменту, что availability zone больше не available?
Какую метрику вы выберете для SLO: uptime, MTTR или количество уцелевших стоек?
Какой срок хранения бэкапов вы рекомендуете, если основная проблема — срок хранения самого хранилища?
Как обеспечить пять девяток, если единственные девятки в проекте — это цифры в стоимости восстановления?
Есть ли у вас в квартире место на размещение серверов компании?
Что вы будете делать при отказе всех зон доступности у облачного провайдера?
@data_engineerette
😁35😭20🔥7
СЕНЬОРСКАЯ ВАКАНСИЯ
Ищется сеньор-пресеньор в команду платформы данных
В двух словах: уметь в кубер, айсберг, разработку, оптимизацию спарка, иметь архитектурную насмотренность
Описание ваки тут
Отправлять резюме можно сюда: @aigul_sea
Ищется сеньор-пресеньор в команду платформы данных
В двух словах: уметь в кубер, айсберг, разработку, оптимизацию спарка, иметь архитектурную насмотренность
Описание ваки тут
Отправлять резюме можно сюда: @aigul_sea
❤7😭4
Anthropic переехали с Git на собственную систему Scion
На днях вышла статья, где Anthropic рассказал про свою новую систему контроля версий и предпосылки ее создания. Здесь я хочу очень сжато выделить несколько моментов, которые меня удивили
Несколько чиселок:
🤩 монорепа
🤩 100 ГБ - история ветки main
🤩 25 ГБ - сжатая копия репо
🤩 30 000 - MR в день
🤩 25 млн - checkout-операций в CI в день
🤩 600 ПБ - потенциальный трафик на скачивание репо в день
И это еще без учета дев окружений, AI-песочниц и RnD задач. Вы не в шоке??😳
Теперь вместо разработки узким горлышком является CI, сеть и все вокруг этого. Поэтому они внутри компании командой из 7 человек за 5 месяцев:
🤩 разработали свой гит Scion
🤩 сделали code-review тулзу Antique
🤩 написали еще несколько сервисов
🤩 полностью мигрировали
Anthropic считает, что подобные проблемы с CI пока вряд ли есть у компаний сейчас, но на горизонте 6-12 месяцев они ожидают появления таких проблем в разработке
А нужны ли люди?
Факт
Вот еще новая для меня мысль
Они отказались от тестов в MR и запускают их в разы меньше, только перед деплоем. Потому что, если даже есть конфликты, агенты поправят их быстрее, чем мы с вами увидим алерт😭
Но это же всеобщий хаос? Кто-то живой у них еще понимает, что происходит в проекте?
@data_engineerette
На днях вышла статья, где Anthropic рассказал про свою новую систему контроля версий и предпосылки ее создания. Здесь я хочу очень сжато выделить несколько моментов, которые меня удивили
Несколько чиселок:
И это еще без учета дев окружений, AI-песочниц и RnD задач. Вы не в шоке??
Теперь вместо разработки узким горлышком является CI, сеть и все вокруг этого. Поэтому они внутри компании командой из 7 человек за 5 месяцев:
Anthropic считает, что подобные проблемы с CI пока вряд ли есть у компаний сейчас, но на горизонте 6-12 месяцев они ожидают появления таких проблем в разработке
А нужны ли люди?
Теперь они изучают замысел изменений, а не вчитываются в каждую строку кода
Факт
Вот еще новая для меня мысль
Пока бегут тесты в CI, сотни и тысячи изменений могут быть уже влиты агентами
Они отказались от тестов в MR и запускают их в разы меньше, только перед деплоем. Потому что, если даже есть конфликты, агенты поправят их быстрее, чем мы с вами увидим алерт
Но это же всеобщий хаос? Кто-то живой у них еще понимает, что происходит в проекте?
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19🤷1
DE в Twinby😁
Наткнулась на пост от HR, что сейчас открыто несколько вакансий - в том числе одна на DE
По стеку: CDC, ClickHouse, Airflow
А вы когда-нибудь про них задумывались в контексте дата инженерии? Это же реально много фоточек и сообщений, рекомендательная система, разреженная матрица с лайками и дизлайками
👩💻 Когда я училась на курсе по систем дизайну, в финале нужно было спроектировать Tinder и рассчитать нагрузку на хранение/сеть. У меня тогда получилось 4,5 экзабайта в год трафика и купить серверов на 450 млн $ 🙂 🙂 🙂
Теперь это задание больше не кажется таким странным😅
Ссылка на ваку: https://hh.ru/vacancy/137208437
@data_engineerette
Наткнулась на пост от HR, что сейчас открыто несколько вакансий - в том числе одна на DE
По стеку: CDC, ClickHouse, Airflow
А вы когда-нибудь про них задумывались в контексте дата инженерии? Это же реально много фоточек и сообщений, рекомендательная система, разреженная матрица с лайками и дизлайками
Теперь это задание больше не кажется таким странным
Ссылка на ваку: https://hh.ru/vacancy/137208437
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
😁8
Кто уже использует Iceberg v3?
Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠
Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть:
➡️ бинарные delete-векторы
➡️ новый тип VARIANT
➡️ точность timestamp до наносекунд
➡️ поддержка default values
➡️ гео типы
А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!😝
Теперь вместо
Ну вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?😑
В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут
@data_engineerette
Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠
Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть:
А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!
Теперь вместо
s3://bucket/path-to-table/data/file.parquet в манифестах будет записано просто data/file.parquetНу вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?
В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE
Получилось вот такая версия с дата инженерскими инструментами и терминами
Дополняйте, если есть что изменить или добавить🙂
@data_engineerette
Получилось вот такая версия с дата инженерскими инструментами и терминами
Дополняйте, если есть что изменить или добавить
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
😁23❤7🔥4🤔1
Сейчас хайпует вот этот клип про AI в жизни компаний, сгенерированный AI
Туда вложено очень много пасхалок, как агент со временем завоевывает компанию. Скорее всего, придется пересмотреть не раз, чтобы все уловить
Танцуем и плачем
💃
@data_engineerette
Туда вложено очень много пасхалок, как агент со временем завоевывает компанию. Скорее всего, придется пересмотреть не раз, чтобы все уловить
Танцуем и плачем
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
LGTM (Looks Good to Me) - Claude Opus 5.5 music video
LGTM stands for "looks good to me". Lately it's what engineers type on code they never had time to read, because leadership heard AI makes everyone ten times faster and cut the deadlines to match. Review and testing are the first things to go, since neither…
😁6
ИИ в аналитике — на Матемаркетинге’26
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров
Я посмотрела программу и тоже захотела пойти — там есть занятные темы про безопасность в контексте AI, семантические слои, HR-трек, кейсы от Авито
Немного циферок:
📍 онлайн-день — 17 ноября
📍 более 2000 участников
📍 100+ докладов и мастер-классов
📍 партнеры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, UIS, Лемана Тех, UX Rocket и другие
Среди спикеров:
📍 Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
📍 Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
📍 Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
📍 Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
📍 Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
📍 Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
📝 Программа: Матемаркетинг-2026
🎫 Билеты и регистрация
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров
Я посмотрела программу и тоже захотела пойти — там есть занятные темы про безопасность в контексте AI, семантические слои, HR-трек, кейсы от Авито
Немного циферок:
Среди спикеров:
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥4❤3
Диалог с ИИ
Я в последнее время заметила, что мое общение с клодом/кодексом часто сводится к сдаче экзамена😅
➖ это зачем
➖ а вот это
➖ объясни
➖ почему так
➖ как оно будет работать
➖ почему это не добавил
➖ а это зачем добавил
➖ а что будет, если…
Это я такая?😅 Вы обычно выпытываете логику того, что он нагенерил? Или просто мержите и даже не читаете?
@data_engineerette
Я в последнее время заметила, что мое общение с клодом/кодексом часто сводится к сдаче экзамена
Это я такая?
@data_engineerette
Please open Telegram to view this post
VIEW IN TELEGRAM
💯15