Сооснователь Uber Travis Kalanick вышел из восьмилетнего стелс-режима. Всё это время он строил Atoms – автономный транспорт и промышленность.

Трэвис написал яркий резонансный манифест. Манифест написан как будто это месть для Uber. И это так.

Трэвиса буквально выкинули из Uber в 2017. За год до этого Uber выпустил красивое видео с ребрендингом компании, которое называется Bits and Atoms.

Вы поняли? Uber это только Bits, а Трэвис теперь делает Atoms. Кстати, Uber закрыл направление беспилотных автомобилей в 2020-м году.

Новый рынок такси это рынок беспилотных такси. В Калифорнии скоро останется только Waymo. Если Atoms сможет в беспилотные такси, это будет реальная угроза для Uber. Месть!

When I told my friends, family and colleagues about my plans for what was next, they were really excited that I was “coming back.”

The thing is, I never left.

Кстати, из Uber его выкинули его за sexual harassment. Официально.

Вот так выглядит гитхаб Лёши Миловидова, CTO ClickHouse.
Opus 4.6 release date: Feb 5, 2026

Помните историю когда Anthropic выложил маркетинг булшит статью про невероятные успехи в COBOL и акции IBM упали на 10%?

Так вот, кто-то реально проверил как Claude показывает себя на задачах по COBOL. Показывает плохо )

Особенно паршиво выглядят расчеты произведенные COBOL-правилами написанными Opus 4.6, на картинке.
тудым сюдым семь-восемь 🤡

p.s. акции IBM уже откатились

Anthropic запустили доступ к десктопу через телефон.

Само по себе это оч круто - пдф там доделать или фотки в почту отправить, супер.

Но это все промежуточные шаги. Ноут закрыл и не работает - бред же.

Либо копия десктопа переедет в облако, либо у всех теперь будут домашние Mac mini.

Я бы хотел чтобы победили облака - это безопасней и удобней. Но видя глобальное недоверие и всякие блокировки, получиться может наоборот.

Исторически, тонкие клиенты каждый раз проигрывают битву за пользователя.

Еще есть неожиданный вариант - телефон подтянет всю нужную инфу и станет филиалом десктопа. Пока такого не получилось.

Apple, ау?

LLM-as-a-judge - индустриальный антипаттерн

Есть в AI индустрии две инженерные идеи, которые с распространением ллм-технологий на мой вкус стали антипаттернами. Это LLM-as-a-judge и векторный поиск. Их объединяет то, что они не требуют ментальной нагрузки при внедрении (easy), но при этом непрозрачно прячут под капотом огромную сложность (not simple). Про эмбеддинги поговорим потом, а вот с llm-as-a-judge давайте разбираться.

Казалось бы ну кайф. Вот сделали вы систему (агентскую, разумеется). Надо ее качество замерять на каждом эксперименте. Раньше надо было нанимать разметчиков, обучать их, ждать днями каждую разметку. А тут написал промпт проверки ответа и LLM сама быстро все размечает. Эксперименты ускоряются, ту зэ мун.

Но вот проблема: этот промпт надо написать. А для сложных сценариев надо еще и подложить в этот промпт какие то данные о внешнем состоянии системы в тесткейсе. Уже выглядит как задачка на context engineering. А как из всех возможных промптов выбрать тот, который реально работает? Видимо руками размечать. Кажется, что и ок, руками разметили один раз, а потом у нас автоматический оценщик. Ну так то тоже мимо: дрифт ответов системы (а это буквально задача R&D - сдрифтить ответы системы в сторону правильных), и все, по хорошему надо переразмечать качество джаджа.

Ну ладно, есть задачки где промпты-инструкции простые. Там то все хорошо? Ну вот нет: модели же еще и игнорируют эти инструкции. Опять же в разном проценте случаев на разных распределениях аутпутов системы. Один раз посчитать и забыть не получится.

Че-то нифига не просто да? И без живых разметчиков не обойтись. Вот и получается, что вроде внедрять очень просто, но заставить это стабильно и хорошо работать - очень трудно.

Когда же llm-as-a-judge полезен?

1. Команда относится к джаджу, как к отдельному продукту. Со своими метриками, своим беклогом. И все равно дополняет разметочными метриками.

2. Джадж - это часть композитного реворда для алаймента. Тут все ясно: даже неидеальный рекорд может накинуть метрик.

3. Джадж удешевляет человеческие разметки. Например схема с перекрытиями, где один из размерчиков - это ллм. А лучше ансамбль разных ллм.

4. Вы учитесь строить продукты. Тогда действительно пофиг на финальное качество, главное, чтоб сложилась культура работы с хоть какими то метриками.

В остальных случаях я убежден, что llm-as-a-judge - это бомба замедленного действия, которая дает ложное чувство контроля.

Один из неожиданных индустриальных выводов на текущий момент – llm достаточно плохо проверяет работу llm. Ошибка умножается, поддерживать сложно, и так далее.

Есть несколько областей где полезно, Артём их хорошо описал. Я добавлю еще две:
– если вы оптимизируете и собираете пайплайн на небольших моделях. Тогда проверять умным оракулом - очень ок
– если система это агент про действия а не про интеллект и проверка проще чем сама задача

Стоит использовать llm-as-a-judge только если вы понимаете зачем, а не как дефолтный выбор.

На прошлой неделе выступал на Snow Base в Красной Поляне с вбросом разработчики больше не нужны, и CTO тоже. Крутые ребята собрались там!

Я провёл высокоточную аналитику по бенчмарку METR с использованием карандаша. AI закроет задачи CTO в 2028 году.

Скептики конечно скажут что аналитика фуфло, работа CTO великая и не описана, и вообще ты рассказывал с пивом в руках, не считается. Ну напомню что раньше так говорили про разработчиков, а потом – про архитектуру сервисов. И где мы сейчас?

Разработке в старом виде больше не будет. На всех уровнях. Привыкайте.

Разработчики прошлого это слесари которые лобзиком делали мебель. Роль CTO – собрать лучших слесарей, сделать операционные процессы мастерской, наладить отдел посиделок на стульях для тестирования и так далее.

Мы входим в эпоху фабрик софта. CTO будущего это ребята которые делают заводы. Заводы эти, кстати, довольно лёгкие.

Работа это точно другая. Кто-то перестроится, станет экспертом по заводам, поднимется. Кто-то не сможет и будет ныть о старых добрых временах.

Стульев явно будет больше. Ну, софта. Спрос вырастет, вместе с ним и индустрия. А вот маржинальность этого ремесла скорее всего будет падать.

А вот нужно ли нам много строителей заводов – непонятно. Софт писать всё легче. Возможно, заводы схлопнутся совсем. А может и наоборот – спрос вырастет невероятно.

Точно понятно, что старых слесарей больше не нужно.

Думаю, уже все видели, что код Claude Code утёк. Это ладно.

Интересно что проект выложили на гитхаб не в виде оригинального кода, а переписав его с помощью Codex. С питона на питон. Теперь вот переписывает на Rust.

Это вроде как снимает возможность пожаловаться и удалить этот код с гитхаба, мол, это уже другой проект. Но это ещё не точно.

Когда Nebius отделялся от Яндекса, они получили только временную лицензию на код (пруф). Ребятам пришлось с нуля строить такие же технологии, по факту переписывая код. Знаю что это потребовало огромных усилий со стороны Nebius.

Сейчас можно было бы запустить агента в цикле.

Ценность кода всё меньше. Код – как вода. Кран открыл и налил.

Ребят, я в Лондоне 4-17 апреля

Расширяю нетворк, готов встречаться общаться знакомиться. Интересны предприниматели в технологиях и технари.

Пишите в личку, и буду благодарен за рекомендации интересных людей: @the_real_jkee

Закрывая главу

На прошлой неделе я официально ушел с позиции Head of AI в Т-Банке.

Это был хороший и важный для меня период длиной в 3.5 года.

Многое получилось. Удалось построить одну из самых сильных технологических AI-команд на рынке. Удалось построить сильные технологии, включая наш опенсорс. Удалось получить значимые эффекты от AI на масштабе компании. Удалось придать смысл и стратегию всему связанному с AI.

Частично удалось сделать то что принято называть “трансформацией” - поменять мышление людей и интегрировать AI-технологии в бизнес. Я оказался не так уж хорош в таких задачах. Эту задачу мы сделали процентов на 40.

Частично удалось ускорить сотрудников новыми технологиями. Эту задачу “закончить” сейчас не получится, слишком быстро всё меняется.

Эти и другие задачи ребята продолжат уже без меня.

Т - сильная и хорошая компания, одна из лучших на рынке РФ. Растущая компания при деньгах. Много свободы, мало булшита. Спрос на технологии в компании растет. Я уверен, что всё будет классно.

Я сильно прокачался в AI. Я сильно прокачался в построении технологий, в очередной раз. Я понял что не люблю трансформации. Я понял что я хочу.

Я никуда не перехожу. Я переключаюсь в исследовательский режим – изучать технологии, рынки, и говорить с людьми. Я хочу ещё глубже прокачаться в технологиях. Я хочу видеть долгосрочные тренды в которые хочется вкладываться. И найти людей, с которыми хочется строить вместе.

Наш мир слишком быстро меняется, чтобы поспешно принимать решения.

Поиски

Все мои предыдущие места работы сами меня находили. Это было довольно удачно, но каждый раз со смыслом было что-то не так.

На этот раз будет иначе.

Меня ждет мой следующий большой профессиональный этап. Я хочу выбрать его аккуратно и хорошо.

1. Я хочу работать в технологиях. Глубже, чем до этого. Я хочу на рычаге новых технологий строить пользу для общества.

2. Мне не нравятся большие компании. Это большие неповоротливые махины – в современном мире это большие тормоза. И мне не нравится играть в чужие игры.

3. Мне важно работать с талантливыми, умными и энергичными людьми. Мне важно находиться в местах с большой плотностью талантов.

Я буду погружаться в технологии, рынки и бизнесы. Здесь буду делиться накопленными идеями и ценностью.

Будет интересно!

Смотрите какие банки Валера @cryptovalerii в Лондоне отрастил
это мы если что в бане, а то ща слухи пойдут

Оптимизация работ

Одна из тем куда активно смотрю – оптимизация работ и общества с помощью AI.

Все цифровые работы сегодняшнего дня будут закрываться AI – и лучше, чем людьми. Это неизбежность. Но сегодня юристы продолжают писать свои бумажки руками.

Это ужасно неэффективно. Большая волна такой оптимизации уже начинает раскатываться.

При этом, делать только софт не имеет никакого смысла. Софт стоит ноль, помним? Нужно предоставлять end-2-end услугу на конкретном рынке и быть значительно лучше норм рынка за счет технологий.

Dwelly – хороший пример. Они схлопывают рынок аренды недвижимости в сильно более эффективное состояние на рычаге AI. Ребята успели войти в top-15 агентств недвижимости в UK всего за два года работы. Имел честь познакомиться в Лондоне!

Подумываю выбрать выбрать индустрию и пойти схлопывать. В напрашивающихся индустриях вроде маркетинга и поддержки уже жуткая толкотня – нужно что-нибудь не sexy.

Диджеев вот многовато развелось 🤡

Про мою роль

Недавно один хороший человек сказал мне что в жизни оказывается можно делать всё что угодно. Я как-то раньше про это не думал, а теперь пришлось думать.

С одной стороны, хочется идти строить свою компанию.

Мой профиль по результатам всяких Hogan чисто предпринимательский. Низкая чувствительность к риску и хаосу (после 4 детей то), амбиции, видение, бла бла.

Делать вроде тоже понятно что. Тут в AI если правильно смотреть понятно что строить, и даже шансы понятно как поднять.

И денег хотелось бы больше чем в найме, иметь шанс выйти на другие слои атмосферы.

И вообще – настоящие пацаны строят компании. Да?..

С другой стороны, хочется делать интересные задачи. И жить тоже хочется.

А в стартапах интересные задачи скорее как получится – надо и счёт банковский открыть, и пиццу людям заказать. Уверенный стартап это обычно скучная работа и unsexy индустрия.

Да и с временем беда – все нормальные фаундеры которых я видел пашут круглосуточно.

Короче, это психологическая проблема. Хочешь доказать кому-то – открывай компанию. Хочешь жить с интересной работой и спокойствием – найди классное место в найме. Пусть другие ребята риски принимают.

Я пока свою роль не понял.

Про Лондон

Последние пару недель я провел в Лондоне.

Носился как бешеная белка по городу, встречаясь с людьми и жадно хватая контекст. Я встретился с десятками людей и наездил 500 минут на Lime 🚴.

Мои наблюдения:

1. Много крутых русскоязычных ребят – фаундеров и инженеров. Амбициозные, открытые, сильные. Сюда не так просто попасть и здесь дорого жить – это создает хороший базовый фильтр. Разрыв с Москвой большой.

2. Офисы всех топовых лаб – DeepMind, Anthropic, OpenAI, you name it. Anthropic только что объявил о расширении офиса в Лондоне до 800 человек. Меня покормили обедом в DeepMind!

3. Головы у людей на пару лет впереди от среднего в Москве. Я как будто в машину времени попал. Здесь уже никто не «пробует Claude Code».

4. Более опытные люди говорят что UK это промежуточный этап перед US. Просто за счет денежной гравитации. И путь компаний и путь технологий в итоге ведет в Штаты. Увы, для меня это далековато по личным причинам.

Это всё как будто и так было очевидно, но прочувствовать на своей шкуре – совсем другое дело.

Для меня стало критически важно находиться в среде которая тебя учит. Где есть люди поумней тебя, которые прошли больший путь, и явно пройдут ещё больший. Я таких людей только за две недели нашел целую пачку.

Я в процессе оформления Global Talent.