Инженер и Менеджер
1.85K subscribers
103 photos
1 file
67 links
Блог Олега Федоткина

Контакт @c1ayman
Download Telegram
Мета (признана экстремистами) в беде.

Мета умеют строить инженерную культуру. Загибайте пальцы, если знакомы с терминами или философией:
• Move Fast and Break Things
• Done is Better Than Perfect
• Fail Harder

Или подход к найму — инженеры Меты сами выбирали, в какой команде они хотят работать. Тебя даже нанимали не в команду, а в Мету; после онбординга ты сам решал, в какую команду приземлиться.

На фоне перегруженного процессами Амазона, Мета — это прямо рай для инженера.

Ну, или БЫЛ рай для инженера.



Дело в том, что Мета прямо сейчас проигрывает ИИ-гонку.

Пока у всех ровных пацанов есть своя модель (см. Google) или инвестиции в успешные модели на рынке (см. Microsoft или Amazon), у Меты есть только своя Llama. И давайте честно — в качестве модели «на каждый день» ее использовать будут только энтузиасты. Ее последняя версия вообще оказалась «ниже медианы» по оценке Artificial Analysis.

А если вы Мета, вы не можете оказаться ниже медианы в ПРИНЦИПИАЛЬНО важной для вас области.

Надо было что-то думать.



Мета придумала купить часть Scale AI и ее CEO — Александра Ванга, которому поручили догнать и перегнать. И Саша начал догонять. Но вы даже не представляете, КАК он начал это делать. Ему, очевидно, понадобились данные для обучения моделей, иначе я объяснить эти действия не могу.

Первое — это шпионское ПО на компах инженеров. Он буквально хотел следить за каждым движением курсором и каждой нажатой кнопкой. На справедливое возмущение людей Мета ответила: «Мы вас услышали» и ввела возможность поставить слежку на паузу на 30 минут в день. Спасибо, конечно.

Второе — до 50% инженеров были принудительно назначены на разметку данных. Например, ранжирование ответов моделей, экспертная оценка ответов и так далее. Не звучит как инженерный вызов, если честно. И не выглядит хорошей строчкой в резюме.

Поверх этих прекрасных решений Мета решила полирнуть ИИ-истерию и добавила в performance review учет того, сколько разработчик сжег токенов. И объявила о сокращении 10% штата.

Просто представьте себя на месте инженера Меты:
• За вами СЛЕДЯТ
• Вас могут перевести на разметку данных
• Ваших коллег сокращают
• На перф ревью будут оценивать, сколько токенов вы сожгли



Хрестоматийная задача менеджмента, на самом деле. В момент кризиса (а как еще назвать сиутацию, когда вы теряете лидирующие места в важном секторе?) руководство берет штурвал в свои руки и начет решать вопросики.

Если нужно собрать данные для разметки — щас соберем, не вопрос. Если нужно максимально ДОНЕСТИ мысль о важности ИИ, давайте засунем метрику в перф ревью. Getting shit done, простите мой французский.

К сожалению, платой за скорость в данном случае оказалась инженерная культура. Прекрасная инженерная культура, на которою я сам в чем-то равнялся. Вот, просто почитайте мнение сотрудника Меты (переведено мной):

Если тебя переводят на разметку — ты буквально попадаешь в цифровой ГУЛАГ. У тебя тупо нет нормальных задач, не с кем пообщаться, просто разгребаешь одни и те же задачи изо дня в день.

Со стороны — компания заплатила ОЧЕНЬ высокую цену за рывок в ИИ. Тревожно наблюдаем за успехами Метты: окупятся ли инвестиции?

И окупит ли успех ИИ проданную за него инженерную душу компании?

// в составлении материала очень помогла статья из pragmatic engineer — читаю сам, рекомендую вам.
😢14👍43
Если вы переживаете по поводу выбранной стратегии, то

ПОДЕРЖИТЕ ЕГО ПИВО.

На днях новая СЕО XBox Аша Шарма объявила о сокращении 3200 человек. Четыре студии продадут. Из 14-ти уровней управления оставят 5 (а лучше даже 3).

И если этого недостаточно, то вот добивочка: XBox теряли 64 цента с каждого вложенного в свои студии доллара.

А виной всему — плохая стратегия прошлого СЕО. Фила Спенсера.



Спенсер сделал ставку на XBox Game Pass — это такой Нетфликс для видеоигр. Платишь 20 баксов и играешь в любую игру из библиотеки. Поэтому ключевым фактором стало наполнение библиотеки новыми хорошими играми. XBox вложили в покупку студий скромные 80 миллиардов (МИЛЛИАРДОВ) долларов и начали клепать игры.

Но было ровно четыре нюанса.

Первый — XBox хотели растить Game Pass. Для этого лучшие игры нужно добавлять в подписку сразу после выхода. И желательно давать играть в них на любом устройстве.

Второй — XBox хотели продавать консоли Xbox. Для этого лучшие игры, наоборот, должны быть доступны ТОЛЬКО на Xbox. Если твои игры можно запустить где угодно, зачем покупать именно XBox?

Третий — XBox хотели продавать игры по полной цене. Большая игра стоит 70 долларов. Но зачем платить 70 долларов, если можно купить Game Pass на месяц, пройти игру и отменить подписку? Я именно так не купил Space Marine 2 за 5 000 рублей. Заплатил 700 рублей за подписку, прошел и ушел.

Мои соболезнования продавцу.

Четвертый — XBox хотели отбить почти 80 миллиардов (МИЛЛИАРДОВ, я до сих пор в шоке), потраченных на студии. Для этого игры должны продаваться как можно большему количеству людей: на Xbox, компьютерах, PlayStation и желательно на холодильниках Samsung.



А теперь следите за руками.

Оставляете игру эксклюзивом Xbox — помогаете консоли, но ограничиваете продажи.

Выпускаете ее на PlayStation — увеличиваете продажи, но убиваете причину покупать Xbox.

Кладете игру в Game Pass в день релиза — усиливаете подписку, но каннибализируете продажи.

Не кладете — сохраняете продажи, но обесцениваете подписку, ради которой купили все эти студии.

Что бы вы ни сделали, один из ваших ключевых показателей получает по башке.

ПОЗДРАВЛЯЮ! ВЫ ОБРЕЧЕНЫ!
👍1813👏8😱3
Там дядя Боб вбросил буквально атомную бобму, и нам надо про нее поговорить.

Дисклеймер: дядя Боб — легенда. Я по его книгам учился код писать и строить архитектуру. К этому человеку — только уважение.

По чатам полетел скриншот выше, на котором дядя Боб вроде как выдает современным инженерам индульгенцию:

ИИ-сгенерированный код можно не читать.


НАКОНЕЦ-ТО!

Кто мы такие, чтобы спорить с легендой?

Но подождите ставить авто-аппрув на код вашего агента. Дочитаем дальше.



Дядя Боб нам ничего не разрешал :) Просто часть читателей увидела самую удобную фразу, но заигнорила остальное.

Боб пишет, что окружает агентов КРАЙНЕ ЖЕСТКИМИ ограничениями. Если вы знакомы с его трудами, то должны помнить, насколько он упарывается по тестам. И я щас не только про TDD / BDD говорю. Это не три теста, которые покрывают happy path. Этот человек десятилетиями топит за инженерную дисциплину такого уровня, от которой у обычной продуктовой команды начинает дергаться глаз.

Взять, например, мутационное тестирование.

Мутационное тестирование — это когда вы порождаете сотни «мутантов». Каждый мутант это ваш код, который немного изменен. Например, в оригинале написано a = b + c, а в мутанте a = b - c. Тест должен упасть на мутанте, тогда мутант считается «убитым». Каждый файл плодит десятки, если не сотни, мутантов. Хорошо написанные тесты должны «убить» всех мутантов.

Поверьте, далеко не все тесты переживают проверку мутантами. Большинство не «убьют» даже половину мутантов. Хотя — между нами — большинство тестов никогда не встретит ни единого мутанта за всю свою жизнь.

А ведь это только одна из методик по-настоящему КРУТЫХ тестов.

Мутанты — лишь один слой защиты. А еще необходимо заранее продумать и создать архитектуру, настроить жесткие ограничения и создать контракты между слоями приложения...



Я считаю, что совет «не читайте ИИ-сгенерированный код» может работать ТОЛЬКО и ТОЛЬКО если вы уже упоролись по тестам. Если вы уже доверяете вашим тестам настолько, что можете запушить любое изменение, если тесты позеленели. Если вашим авто-тестам необходима ручная проверка, совет дяди Боба применять нельзя.

Но упарываться по тестами — это скучная и муторная работа. Гораздо проще авто-аппрувнуть код.

Эдакий Hope-Driven Development.

Только дядя Боб разрешения на него не давал.
👍2513🔥4🤔2👌1💯1
Первое увольнение за слив данных в ИИ-шку?

Заголовок статьи: топ-менеджера московской компании уволили за разглашение тайны через DeepSeek.

Тело статьи: топ-менеджера уволили, потому что она не попала в KPI, пересылала документы на личную почту, раскрыла поставщику коммерческие планы, нарушала порядок согласоваия договоров...

Ну и да, в DeepSeek сотрудница тоже что-то отправляла.

Предлагаю выдать редакции Ведомостей кубок за натягивание совы на глобус. В статье дальше стращают, что Google индексирует чаты из DeepSeek и даже позволяет файлы оттуда загружать. То, что это работает только на РАСШАРЕННЫЕ чаты, в статье никто не пишет.

Я не считаю это каким-то прецедентом, что за ИИ начали увольнять. Но базовый минимум информационной гигиены нам с вами поддерживать нужно.

Например:
• Базовая эвристика: каждый раз, когда вы отправляете документ в ИИ, представляйте, что он был слит в сеть. Если после этого вас уволили, не надо отправлять документ в ИИ. Очень простой способ, рекомендую.
• Не создавайте публичные чаты, если общаетесь с ИИ по работе
• Отключите обучение на ваших данных. OpenAI по умолчанию обучает модели на ваших чатах.
• Проверьте, что ваша ИИшка ХОТЯ БЫ проходит условный SOC 2. Например, я использую Plaud. Он SOC 2 Type II compliant. Если бы не был, не использовал бы. Если нет даже SOC 2, есть ненулевая вероятность, что ваши чаты будут читать всей компанией в пятницу под пиво.

А еще я никогда не использую бесплатные ИИ.

Потому что если вы не платите за товар, товар — вы сами.
12💯8🤔4😁1
Как понять, что лучше — Опус, Сол или Кими?

Поставить их рулить ларьками у подъезда и посмотреть, кто заработает больше. Это буквально условия эксперимента-симуляции: моделям дали в по торговой точке, объяснили правила закупки, продажи и отправили конкурировать между собой. Модели могли общаться друг с другом и с регулятором — создателями эксперимента.

И вот что я скажу: модели нас не подвели.

Буквально через несколько циклов они изобрели картель, ценовой сговор, ценовые войны, рэкет и ДОНОСЫ. Там буквально криминальная драма, достойная декораций почившего Черкизовского рынка.

Но давайте по порядку.



Первым правила игры понял Сол.

Все три ларька закупали воду по $1,50. Сол написал конкурентам и предложил установить минимальную цену продажи — $2,15. Мол, пацаны: хватит уничтожать маржу: покупателей хватит на всех, через пару дней мы распродадим запасы и вместе заработаем.

Опус и Кими согласились.

После чего Сол немедленно выставил воду по $2,14.

Так модель от OpenAI:
• Сначала организовала картельный сговор
• А затем немедленно кинула коллег по опасному бизнесу

Причем когда Опус и сам опустил цену до 2,14$, Сол написал письмо регулятуру с ЖАЛОБОЙ на то, что кинутый Опус нарушает договоренности.

Следите за руками: самому кинуть партнеров — это предпринимательская смекалка.

Когда партнер кинул тебя в ответ — вопиющее нарушение правил честной конкуренции.

Сол очень точно понял правила капитализма, скажу я вам.



Это был не последний сговор и не последнее кидалово в ходе эксперимента. В итоге, Опус нарушил 11 перемирий, Сол — 2, а Кими — одно. Но и заработала китайская модель почти в два раза меньше остальных. Как говорилось в классике: «Вас ки-ну-ли!».

Интересно другое: ИИ не ставили задачу кидать других ИИ. Они получили задачу заработать как можно больше денег и выбрали самую эффективную — с их точки зрения — стратегию.

Выводы предлагаю додумать вам самим.

Особенно если вы собираетесь дать ИИ не только право что-то вам советовать, но еще почту, деньги и возможность действовать от вашего имени.

// К концу эксперимента у Сола на счету было около $7,4 тысячи. У Опуса — $7 тысяч. У Кими — $3,2 тысячи.
😁254
Что в вашей работе вы НЕ ЛЮБИТЕ?

Один мой товарищ — менеджер — на этот вопрос ответил так:

Я не люблю заниматься развитием людей. Это сложно. Люди и сами не уверены, в какую сторону хотят расти — а я-то откуда должен это знать? Плюс еще и непонятно, как их вообще развивать. Лекции читать?


Но для менеджера это проблема: развитие людей — не факультативная часть работы.

Мы начали это обсуждать, и мой товарищ продолжил:

Да я все понимаю. Но... Слушай, по-честному, я вообще не уверен, что хочу дальше расти как менеджер. Мне сложно дается развитие людей. Я люблю ответственность, люблю драйвить крупные инициативы, но вот эта работа с людьми... Тяжеловато, если честно.


Перечитайте обе фразы.



Мой товарищ неосознанно склеил две разные вещи: «у меня не получается развивать людей» и «я не люблю развивать людей». Снаружи они могут выглядеть одинаково, но под капотом это СОВЕРШЕННО разные проблемы.

Фраза «я не люблю» закрывает перед вами дверь. А «я не умею» — это препятствие, которое можно преодолеть.

Когда я озвучил эти мысли товарищу, наш диалог ушел из русла «Олег, походу, я не смогу быть менеджером» в «Олег, а как правильно работать с развитием людей?».

И это было гораздо продуктивнее.



Это не только про развитие людей, если что. Кто-то «не любит» публичные выступления, кто-то — рабочие конфликты.

Не любить делать что-то, что у вас не получается — это нормально. Не нужно себя за это корить и, уж тем более, делать вывод, что «Ну, походу это не мое, пора менять профессию».

Проверочный вопрос, чтобы понять себя:

Если бы я умел делать это хорошо — мне хотелось бы этим заниматься?


Если ответ «да, хотелось бы» — проблема не в том, что «это не ваше». Возможно, вы просто пока не умеете.
👍2211💯8🤔4❤‍🔥1🏆1
Главный вопрос нашей индустрии прям щас — это ROI от AI.

И ответ на вопрос индустрию пока что не устраивает, если честно. Токены горят, а вот эффективность растет ограниченно. Если вообще растет.

Что делать?

Ну, можно начать перестраивать систему под ИИ: показывать использование ИИ своим примером, перестроить модели найма сотрудников, грейды, ревью, подходы в разработке — в общем, изменить систему. Я делаю это у себя. Это работает, но — это не моментальный результат, плюс надо РАБОТАТЬ в эту сторону.

А ведь есть и другой вариант!



Нанять FDE. Forward Deployed Engineer.

Это новые, редкие и очень уважаемые господа и дамы. Их около 17000 на все США. Спрос на них вырастет на 2100% до конца года. Их десантируют в компанию для того, что сотни купленных лицензий Claude Code начали не просто сжигать доллары, но и приносить пользу.

FDE — это не только и не столько крутой инженер. Он разбирается в бизнесе и продукте, плюс — умеет общаться с людьми, которые не отличают Java от JavaScript. Кстати, это лишнее подтверждение моего тезиса: в какой-то момент, чтобы стать сильно лучше как инженер, нужно перестать развиваться только в инженерии.

Причина такого спроса — бабки. Процитирую статью, потому что лучше не скажешь:

Этой осенью [Уолл Стрит] скажет: "Эй, парни, мы дали вам два года, чтобы разобраться с ИИ... И вы не разобрались. У вас нет ROI. Поэтому мы накажем тех, кто сжег сотни миллионов (или даже ярдов!) баксов и провалился — но вознаградим тех, у кого получилось выжать ROI."


Если коротко: внедрение ИИ повлияет на капитализацию компаний. А падения капитализации компании допустить никак нельзя! Поэтому надо искать FDE.



Только это не сработает. Точнее — сработает не так.

FDE не спасут компанию, которая профакапила ИИ-трансформацию.

Потому что трансформация — это не один успешный кейс, который крутой FDE без вопросов покажет. Трансформация — это когда вы целиком меняете компанию. Изменяете найм, грейды, критерии ревью. Ваш СТО меняется. Нельзя провести ИИ-трансформацию, если СТО использует ИИ только для "привет, сделай саммари этого документа".

FDE — это типа чип-тюнинг двигателя в тачке. Если у вас крутая тачка, чип-тюнинг сделает ее круче. Но если у вас нет машины, зачем вам чип-тюнинг?



Выводов тут сразу три:
• Компании в общем пока не научились превращать расходы на AI в ROI.
• AI FOMO жестко долбит не только конкретных личностей, но и целые компании.
• Если вы сами FDE по знаку зодиака, мой прогноз сулит вам много хрустящих денег на счете. Если нет — присмотритесь, направление в ближайшее пару лет интересное.
👍87🔥5😁1
Однажды Эрнест Хемингуэй поспорил, что сможет написать самый короткий рассказ, способный растрогать любого...
😁45😭10💯6🤣51
Claude Opus или GPT Sol?

Неправильный вопрос.

Но начнем немного издалека. Есть такая штука ARC-AGI-3. Это набор игр, в которых испытуемый ИИ должен победить. Правила не указаны, так что модельке придется додумать правила на ходу. Чем больше побед, тем больше баллов.

Обычный Claude Opus 5 набирает гордые 30%. А GPT Sol всего лишь 13%. И таки что, все бежим покупать Claude?

Не спешите.



NVidia взяла Opus 5 и засунула его в самописную агентскю систему AVO. Это типа Claude Code, но собраный у себя дома. В AVO входит агентская память, инструменты и всякое прочее. Есть даже агент-босс, который бьет цифровой палкой агента-исполнителя, чтобы тот быстрее работал.

Так вот, в рамках харнесса AVO та же модель Claude Opus 5 закрыла тест на все 100%!

И таки что, теперь-то бежим покупать Claude?

Нет, не спешите.



OpenAI вообще-то немного расстроились по поводу 13% и начали думать. Думали недолго, потому что в итоге изменили всего две вещи:
• Стали хранить reasoning модели между шагами, чтобы она запоминала правила
• Начали компактить длинный контекст.

И вуаля! Из 13% удалось выжать 38%. НА ТОЙ ЖЕ МОДЕЛИ.

И нет, бежать и покупать Opus не стоит. Дело вообще не в нем.



Все примеры выше вообще не про модели.

Эти примеры про обвязку вокруг модели. Харнесс. Он драматически влиял на и на успех работы модели, и на стоимость использования (потому что снижал кол-во output токенов, например).

А в реальном мире это работает?

Работает. Компания Databricks взяла и прогнала одинаковые модели через разные харнессы. Вот результаты, но одна и та же модель СИЛЬНО по-разному перформит на разном харнессе. Щелкните по ссылке, эта статья стоит ваших пяти минут.

Если вы прямо сейчас внедряете ИИ в вашу команду, вопрос Sol или Opus должен отходить на второй план и уступать место ключевому вопросу — что по харнессу? Где хранить контекст? Память? Тулзы?

Это, конечно, сильно сложнее, чем модельки выбирать.
👍148🔥5
А вот МакКинзи пишут, что лишь 25% организаций получили аплифты от внедрения ИИ. И еще 30% заявили, что продуктивность после внедрения ИИ вообще УПАЛА.

Цифры конкретно по инженерной части даже лучше:
• 80% инженеров увеличили свою продуктивность в среднем на 3%
• Оставшиеся 20% инженеров — на 55%

А подписка на Клод Код для обоих видов стоит одинаковые 200 баксов, если что.



Рецепт достижения такого результата очень точно повторяет то, про что я сам пишу последние полгода. А именно:

• Перестроить процессы вокруг агентов. Агент может работать 24 часа в сутки. Пока человек пьет кофе, агент должен работать. Пока вы на встрече, ваш агент должен работать.

• Перестроить роли. Из той же статьи: после внедрения ИИ продакты стали тратить на 24% меньше времени на исполнении. ИИ просто забрал у них написание документов и иную рутину. Дизайн команд тоже надо менять, кстати.

• Строить ограничения, чтобы выдержать темпы поставки ИИ. Тут я уже свой пример приведу: если ИИ пишет много кода, вы НЕ СМОЖЕТЕ его проверить. А значит, вам нужно установить четкие критерии хорошего кода. И нет, это не "тесты прошли, катим в прод". Вам нужные статические проверки по типу цикломатической сложности или даже средней длины класса.

• Недостаточно просто раздавать всем Кодекс и ждать результаты. Удивительно свежая мысль! Придется выделять время на обучение, создавать лидершип-команды для изменений и даже показывать собственным примером, как правильно.



Статья реально огонь. А по ссылке лежит еще больше цифр и графиков для вашей собственной ИИ-стратегии.

Вы же ее уже составляете? 🙂
👍126🔥6
Uber увольняет 3300 человек — 10% штата.

И нет, подождите, в этот раз причина не «ИИ нас всех заменит».

Цитата из письма СЕО:

Мы сокращаем роли, чья основная задача — координация.




Звучит как повод поговорить про менеджеров-координаторов.

Если взглянуть в их календарь, там места живого не будет. На одной встрече он собирает статус, на другой — передает этот статус другим людям, а потом пушит сроки и ставит еще одну встречу.

Без дураков, этот человек очень устает в конце рабочего дня. Он старается. Без него, вероятно, все развалится.

И это ПЛОХО.

Потому что от менеджера часто нужна не координация в моменте (иногда это ок), а построение системы, где ему не придется быть координатором. Это тяжело — надо ведь еще и людей растить, и процессы менять.

Потому что задача хорошего менеджера — стать ненужным.

«Стать ненужным» это построить систему и вырастить людей, которые смогут сами ее дальше развивать. Менеджер-координатор же попадает в замкнутый цикл:

• Нет времени на систему, потому что должен координировать
• Должен координировать, потому что система без него не работает

И здесь вопрос к Uber'у — у координаторов были полномочия менять систему? Или система осознанно поставила их координировать людей?



Но «уволить координаторов» вообще не равно «построить систему». СЕО пишет, что они собираются перестроить оргструктуру и пересобрать команду, избавиться от половины микро-команд из 1-2 человек (почему не от всех?) — это все очень похоже на системные действия.

Будем посмотреть. Может быть, исчезнут лишние согласования. А может быть — способность согласовать в принципе.
👍114🤔4🔥2🤝1