Чем больше я начинаю погружаться в западный вендорский софт, тем больше понимаю, что дивергенция видов ПО (опенсорс и проприетарка), начавшаяся в 2022 году, будет только усиливаться.
И лет через 5-10 у нас будет такое же расхождение по начинке как у советских и американских ЭВМ, а может даже больше. По тому же пути идёт и Китай, создавая свои виды железа, ОС и дата/BI инструментов.

С каждым годом придется делать более осознанный выбор, вкатываться в "наш родной" опенсорс или пытаться перекатиться в их западные бездуховные решения. Потому что чем раньше вкатишься, тем легче будет преодолеть расхождения между софтом, языками и организационными подходами.

ОТЛИЧИЯ В РАБОТЕ В БАНКЕ/КОНСАЛТИНГЕ И В IT

В банке, даже если ты студент-стажер аналитик из ВШЭ/Плешки/Финашки за 30к в месяц, ты носишь костюм и каждое утро идёшь в офис в Москва-Сити под Huey Lewis и группу News.

В айти ты за 200-300к одеваешься как чухан и не ходишь в офис (или ходишь иногда), но утро начинается с "Ёклмн, опять очередной микросервис сломался, бизнес бабки теряет, а меня стопудово вздрючат на очередном дейлике и уволят"

#лайфстайл

Топ сертификатов для дата-инженера, которые просто имба:

- AWS
- Databricks
- GCP
- DBT
- Astronomer Airflow
- CKAD (без Кубера никуда)
- Confluent Kafka

Всё яндекс.практикумы лучше засунуть в одно место - сплошная трата денег с посадкой на Yandex.Cloud, не котирующийся в мире. Исключение - сертификация по Clickhouse, но это тоже опционально и она только в 2025 году появилась

С собранным набором хотя бы 4 из 7 сертификатов на изи залететь в FAANG, заботав алгосы. Но так как рабочие визы всё, то надо ещё поднапрячься на визу талантов.

И лишь после всех этих мытарств #эмиграч оправдан.

Ездить в офис - это счастье и вообще правильно! Сразу становишься более счастливым и продуктивным!
Вот, например, сегодня в Москве целая ветка метро встала, и тысячи офисных работников стали ближе друг к другу. У дистанционных работников такого контакта нет, поэтому работа плохо идёт.

#режим_работы #сарказм

#оффтоп #прогнозы

Прогнозы - дело неблагодарное, и их обычно делают в конце года, но я сделаю сегодня.

Профессиональные прогнозы:
- Через год агенты будут сами настраивать DE-пайплайны. Агенты будут везде и повсюду.
- Вендорские решения окончательно достроят уровень абстракции из фильма "Идиократия", сделав работу DE простой. Деды как всегда будут ныть что вот раньше машинными кодами писали, а сейчас...
- Зарплаты DE снизятся на фоне превращения пайплайнов в конструктор в песочнице.

Политические прогнозы:
- Админ алармист. На горизонте 5 лет, а скорее раньше большая война в Европе неизбежна. Даже если вдруг Путин умрет, то все остальные руководители России в Европе помечены как "военные преступники", и им почти нечего терять. В самой Европе цены на топливо скакнули до исторических максимумов и дефицит квалифицированной рабочей силы, поэтому если в России все станет плохо, то им выгодно чтобы квалифицированные кадры ехали к ним, а нефть поступала почти даром после большой войны. США выгодно продать новый план Маршала и Европе и России после большой войны и списать госдолг.
Большая война случается когда в ней заинтересованы все стороны, и поэтому я убежден что она неизбежна.
- Китаю выгодна своя большая война с Тайванем из-за отставания в гонке ИИ. Начнется она одновременно с войной в Европе.
- Хорошо будет только тем, кто панует или в США или в странах Океании и вовремя эвакуировался.

Такой прогноз.

💻 Docker теперь запускает целые ОС

Обычно для тестов разных ОС нужны виртуалки, отдельные сервера или dual-boot. Но есть трюк: через Docker можно поднять полноценную систему буквально одной командой.

Контейнер запускается в --privileged режиме и внутри поднимает виртуалку. Подключение к системе идёт через VNC или прямо из браузера.

Пример для Windows:

docker run --privileged -d -p 5999:5999 --name my-win-vm dockur/windows

Через пару минут вы получаете рабочий десктоп.

💸 BigTech удваивает ставки на ИИ  

- В 2025 компании потратят $345 млрд на AI-инфраструктуру - рост в 2,5 раза за два года. 
- Для сравнения: мировой телеком тратит ~$1,5 трлн. 
- Проект OpenAI Stargate ($500 млрд к 2029) = ~25% от прогнозируемых $2 трлн при росте в 58% год за годом. 

#новости

Братишки-датаинженеры, я вам повайбкодить принес.

https://www.anthropic.com/news/claude-sonnet-4-5

Сегодня продолжаем про влияние ИИ на рынки. Статья "Коузианская сингулярность", опять-таки про все ту же идею, про которую я писал свою статью о пост-коузианстве.

Идея: ИИ кардинально снижает затраты на поиск информации, ведение переговоров и заключение контрактов. Это приводит к реогранизации процесса производства в экономике:

- спрос на агентов похож на рынок труда, а предложение на рынок софта. спрос будет зависеть от их качества и способности экономить время и улучшать решения пользователей. предложение будет формироваться в условиях конкуренции между разработчиками, которые создают как универсальных, так и специализированных агентов.
- эффективность рынков вырастет, но так же это приведет к перегрузке рынков (например, вал резюме и рекламы от ИИ) и новые формы манипуляции
- это потребует перестройки рыночной инфраструктуры (например, создания специальных API для агентов), решения проблемы цифровой идентификации ("человек или бот?"), новых AI-native правил и регуляции

ИИ-агенты заменят риелторов, турагентов и любых других посредников.

НО это так же ставят под вопрос саму причину существования крупных компаний. фирмы существуют потому, что координировать действия внутри организации дешевле, чем заключать тысячи контрактов на открытом рынке. если агенты снизят эти издержки почти до нуля, то сложная координация через рынок (агент-агент) может стать эффективнее, чем координация внутри иерархической фирмы.

агенты превращаются в Хайековские инструменты по выявлению скрытых предпочтений

люди часто плохо понимают свои собственные предпочтения. хороший ИИ агент сможет анализировать наше поведение и подмечать скрытые закономерности, помогая нам лучше понять самих себя. например, агент по поиску жилья может заметить, что вы, сами того не осознавая, всегда кликаете на квартиры с большими окнами и рядом с парком, хотя вслух этих критериев не называли. Таким образом, агент превращается из простого исполнителя в коуча или даже терапевта, помогающего в "обнаружении предпочтений".

при этом, мир разделится на агентов, которые за вас (персональный агент) и bowling shoe агентов (обувь для боулинга, которую вы берете в аренду). первый угрожает бизнес-моделям гигантов вроде Amazon или Google, так как он может сравнивать предложения между ними и не подвержен их манипуляциям. второй может быть более специализирован и умнее (ибо в облаке), но более изощрен в манипуляциях и преследует не ваши, а интересы платформы.

Я абсолютно не согласен со статьей выше.
ИИ не заменит посредников, которые знают у кого и как можно достать что-либо, где все держится на неформальных связях, комбинациях, многоходовочках и договорняках.
В публичном доступе лишь вершина айсберга, а все истинные контракты решаются на уровне межличностного общения и договорняков.
Транзакционные издержки никуда не денется в силу человеческой природы.

#экономика

Попробовал новый Claude Sonnet 4.5.
Вердикт: говно. Просто вместо кода засирает проект доками, md-файлами и за это ещё деньги берет. Приходится прямо в промпте указывать что доки не нужны.
Ошибок тоже делает много, нормальный JSON-файл для графановского дэшборда так и не собрал.

А по поводу Sora 2 могу сказать только то, что блохеры всё. Теперь любой из нас может генерить контент со своей физиономией и быть блохером. Ну и эпоха дипфейков наконец-то наступила окончательно.

Юридические аспекты Sora 2 в России:

- Будет ли относиться сгенерированный "порнографический" и "экстремистский" контент со сгенерированными (не реальными) лицами к порнографии и экстремизму? Ведь потерпевших лиц нет и нет "вовлечённых в изготовление" лиц.
- Как вообще будет регулироватья подобный контент?
- Если будет сгенерирован ролик, где Бонапарт взял Петербург и дошел до Урала, то влепят ли создателю ролика статью о "реабилитации боннапартизма"?
- Если одним автономным агентом будет создан другой автономный агент, который генерит подобные ролики на автопилоте, то кто будет ли нести ответственность за создание подобных роликов?

Непростые вопросы, очень непростые вопросы...

Интересный инструмент, соединяющий командную строку и Jupyter notebook стиль хранения кода.

#devops #de

⚡ Не рывок, а прорыв!

Команда UCLA создала оптическую генеративную модель, которая работает на свете, а не на GPU. 

В демонстрации шум сначала кодируется в фазовые паттерны с помощью лёгкого энкодера, а затем свободное распространение света (оптический декодер) превращает их в изображения, цифры, одежду, бабочек, лица и даже картины в стиле Ван Гога. 

🔥 Главное - во время генерации нет никакой вычислительной нагрузки. 

Результаты сопоставимы с цифровыми диффузионными моделями и открывают путь к сверхбыстрому и энергоэффективному ИИ на фотонике. 

📄 Paper (Nature): https://nature.com/articles/s41586-025-09446-5#MOESM