ИИ-помощники замедляют разработку
Мы в Циан активно внедряем ИИ в разработку и тестирование. Поэтому для меня очень волнительно видеть исследования, которые намекают, что все не так просто.
Заголовок — не кликбейт, если что. Ученые из METR взяли 16 разработчиков, выдали им 246 реальных задач и замерили скорость работы.
Ожидание: разработчики предсказывали рост скорости на 24%
Реальность: разработчики делали задачи на 19% медленнее
Причины такого невеселого результата:
- Накладные расходы на промпты, ожидание и исправление
- Цена проверки: нейронка часто выдает почти правильный код. Но почти правильный код — это все равно что почти перепрыгнуть яму. Почти получилось, но в итоге встречаешься с корневой причиной лично.
- Сдвиг внимания: вместо фокуса на задаче мы фокусируемся на промпте.
Ну так и что, резко вертаем все взад и пишем код руками?
Нет.
Я всегда говорю: мы улучшаем лишь то, что можем измерить. Если мы хотим улучшить скорость работы с ИИ, нам необходимо измерять качество этой работы. И я уже видел попытки измерить — типа количество разработчиков с ИИ, частота вызовов, количество принятых строк... Все немного не то.
Принятые ответы — вот ключевая метрика.
В исследовании, лишь 44% ответов ИИ были приняты без правок. Это мало. Потому что остальные 56% — это правки. Правки чужого кода. А как мы знаем, хуже, чем вносить правки в чужой код, может быть лишь чинить логирование, когда сломалось логирование.
Если занялись внедрением ИИ, сразу начинайте измерять эффективность этого внедрения. Иначе вы можете просто прикольно потратить деньги компании, чтобы замедлить ее работу.
Мы в Циан активно внедряем ИИ в разработку и тестирование. Поэтому для меня очень волнительно видеть исследования, которые намекают, что все не так просто.
Заголовок — не кликбейт, если что. Ученые из METR взяли 16 разработчиков, выдали им 246 реальных задач и замерили скорость работы.
Ожидание: разработчики предсказывали рост скорости на 24%
Реальность: разработчики делали задачи на 19% медленнее
Причины такого невеселого результата:
- Накладные расходы на промпты, ожидание и исправление
- Цена проверки: нейронка часто выдает почти правильный код. Но почти правильный код — это все равно что почти перепрыгнуть яму. Почти получилось, но в итоге встречаешься с корневой причиной лично.
- Сдвиг внимания: вместо фокуса на задаче мы фокусируемся на промпте.
Ну так и что, резко вертаем все взад и пишем код руками?
Нет.
Я всегда говорю: мы улучшаем лишь то, что можем измерить. Если мы хотим улучшить скорость работы с ИИ, нам необходимо измерять качество этой работы. И я уже видел попытки измерить — типа количество разработчиков с ИИ, частота вызовов, количество принятых строк... Все немного не то.
Принятые ответы — вот ключевая метрика.
В исследовании, лишь 44% ответов ИИ были приняты без правок. Это мало. Потому что остальные 56% — это правки. Правки чужого кода. А как мы знаем, хуже, чем вносить правки в чужой код, может быть лишь чинить логирование, когда сломалось логирование.
Если занялись внедрением ИИ, сразу начинайте измерять эффективность этого внедрения. Иначе вы можете просто прикольно потратить деньги компании, чтобы замедлить ее работу.
💯18🔥14👍4🤔2
Вы когда-нибудь пытались мотивировать разработчика деньгами, а он уходил к конкурентам за меньшую зарплату?
Потому что универсальная мотивация не работает. Сами подумайте: люди подбирают одежду под себя, выбирают совершенно разные машины под свои вкусы. Даже на обеде каждый закажет себе разные блюда. Так зачем пытаться мотивировать всех одним и тем же?
Это же все равно что крутить все гайки одним разводным ключом: вроде подходит, пока резьбу не сорвёт.
Социолог Владимир Герчиков разработал хорошую ментальную карту мотивации людей. В ней все сотрудники разбиты на пять типов и каждому прописана мотивация и демотивация.
Пройдемся по каждой. Это поможет вам на следующем 1-1 лучше понять механизмы мотивации конкретного человека.
🎯 Инструментал
Видит работу как инструмент достижения личных целей. Выполняет работу, получает деньги. Смотрит на вызов и думает, какую выгоду лично он получит от преодоления вызова.
Как мотивировать: четкие ожидания, в идеале KPI. Прозрачный трек карьерного роста и рост ЗП.
Как не надо: не пытайтесь мотивировать целью компании или миссией. Сложные вызовы сами по себе для инструментала тоже не мотиватор, если не несут понятного выхлопа.
🚀 Профессионал
Видит работу как способ роста — и профессионального, и личностного. Любит сложные задачи, не любит рутину.
Как мотивировать: сложные вызовы и высокая степень влияния на компанию. Слушайте профессионала и учитывайте его мнение при принятии решений. Советуйтесь и погружайте его в сложные области. Профессионал должен ощущать свою нужность и импакт своих действий.
Как не надо: ни в коем случае не отправляйте профессионала на долгие рутинные штуки. Например, багфиксы или рутинная настройка SLO ваших сервисов. Не забывайте признавать его заслуги. Простое "спасибо, это крутая работа" на дейлике уже способна повысить мотивацию профи на весь день.
❤️ Патриот
Видит работу как общую миссию. Действительно верит в миссию компании. Важно чувство причастности. Считают компанию частью своей жизни и расценивают победы компании как свои личные, а поражения воспринимают очень близко к сердцу.
Как мотивировать: патриоту очень важно признание компании. Важна миссия компании и контекст "зачем". Например, мы в Циан верим, что новая жизнь начинается с нас. И это правда так: покупка квартиры или переезд в новое жилье — новая страница в жизни.
Как не надо: фраза "это всего лишь работа" быстро потушит мотивацию. Не замечать его усилий и вклада в компанию — тоже плохая идея.
👑 Хозяин
А я бы назвал "огородник". В рамках компании у хозяина есть свой огород, куда другим лезть НЕ НА ДО. Вот не надо и все. Зато в своем огороде хозяин все делает идеально: процессы, стандарты, регламенты. Иногда, правда, процессы и стандарты могут отличаться от принятых в компании, но лезть туда НЕ НА ДО.
Как мотивировать: своей зоной ответственности с метриками (P&L/юнит-экономика/OKR), право решений и бюджет, быстрый доступ к ресурсам/данным, бонус за итог, а не за процесс. Дайте ему свободу, но смотрите внимательно: возможно, вместо нужных вам овощей, хозяин решить выращивать бананы. Зато лучшие бананы!
Как не надо: микроменеджмент и комитеты, миллион согласований, зарубать его решения "потому что не принято". Любая попытка влезть в огород (напоминаю, НЕ НА ДО) будет воспринята очень болезненно.
🛡️ Избегатель
Главная цель — не быть уволенным и получать деньги. Не любит ответственности, не любит сложностей, любит зарплату в обозначенный день месяца. И это не так плохо, как звучит: избегатели могут месяцами разгребать рутину и им будет норм.
Как мотивировать: четкие правила, чеклисты — все, что может помочь убедиться, что он делает свою работу так, как от него ожидают.
Как не надо: скорее никак. Точнее, вам нужно ОЧЕНЬ постараться, чтобы понизить мотивацию избегателя. Если только вы не погрузите его в тотальный хаос и беспокойство о завтрашнем дне, по типу "а не уволят ли меня?".
Ну вот и все. Прошлись по всем. Подробнее в статье на Хабре — очень рекомендую, пост во многом основан на этой статье.
А какой тип мотивации у вас?
Потому что универсальная мотивация не работает. Сами подумайте: люди подбирают одежду под себя, выбирают совершенно разные машины под свои вкусы. Даже на обеде каждый закажет себе разные блюда. Так зачем пытаться мотивировать всех одним и тем же?
Это же все равно что крутить все гайки одним разводным ключом: вроде подходит, пока резьбу не сорвёт.
Социолог Владимир Герчиков разработал хорошую ментальную карту мотивации людей. В ней все сотрудники разбиты на пять типов и каждому прописана мотивация и демотивация.
Пройдемся по каждой. Это поможет вам на следующем 1-1 лучше понять механизмы мотивации конкретного человека.
🎯 Инструментал
Видит работу как инструмент достижения личных целей. Выполняет работу, получает деньги. Смотрит на вызов и думает, какую выгоду лично он получит от преодоления вызова.
Как мотивировать: четкие ожидания, в идеале KPI. Прозрачный трек карьерного роста и рост ЗП.
Как не надо: не пытайтесь мотивировать целью компании или миссией. Сложные вызовы сами по себе для инструментала тоже не мотиватор, если не несут понятного выхлопа.
🚀 Профессионал
Видит работу как способ роста — и профессионального, и личностного. Любит сложные задачи, не любит рутину.
Как мотивировать: сложные вызовы и высокая степень влияния на компанию. Слушайте профессионала и учитывайте его мнение при принятии решений. Советуйтесь и погружайте его в сложные области. Профессионал должен ощущать свою нужность и импакт своих действий.
Как не надо: ни в коем случае не отправляйте профессионала на долгие рутинные штуки. Например, багфиксы или рутинная настройка SLO ваших сервисов. Не забывайте признавать его заслуги. Простое "спасибо, это крутая работа" на дейлике уже способна повысить мотивацию профи на весь день.
❤️ Патриот
Видит работу как общую миссию. Действительно верит в миссию компании. Важно чувство причастности. Считают компанию частью своей жизни и расценивают победы компании как свои личные, а поражения воспринимают очень близко к сердцу.
Как мотивировать: патриоту очень важно признание компании. Важна миссия компании и контекст "зачем". Например, мы в Циан верим, что новая жизнь начинается с нас. И это правда так: покупка квартиры или переезд в новое жилье — новая страница в жизни.
Как не надо: фраза "это всего лишь работа" быстро потушит мотивацию. Не замечать его усилий и вклада в компанию — тоже плохая идея.
👑 Хозяин
А я бы назвал "огородник". В рамках компании у хозяина есть свой огород, куда другим лезть НЕ НА ДО. Вот не надо и все. Зато в своем огороде хозяин все делает идеально: процессы, стандарты, регламенты. Иногда, правда, процессы и стандарты могут отличаться от принятых в компании, но лезть туда НЕ НА ДО.
Как мотивировать: своей зоной ответственности с метриками (P&L/юнит-экономика/OKR), право решений и бюджет, быстрый доступ к ресурсам/данным, бонус за итог, а не за процесс. Дайте ему свободу, но смотрите внимательно: возможно, вместо нужных вам овощей, хозяин решить выращивать бананы. Зато лучшие бананы!
Как не надо: микроменеджмент и комитеты, миллион согласований, зарубать его решения "потому что не принято". Любая попытка влезть в огород (напоминаю, НЕ НА ДО) будет воспринята очень болезненно.
🛡️ Избегатель
Главная цель — не быть уволенным и получать деньги. Не любит ответственности, не любит сложностей, любит зарплату в обозначенный день месяца. И это не так плохо, как звучит: избегатели могут месяцами разгребать рутину и им будет норм.
Как мотивировать: четкие правила, чеклисты — все, что может помочь убедиться, что он делает свою работу так, как от него ожидают.
Как не надо: скорее никак. Точнее, вам нужно ОЧЕНЬ постараться, чтобы понизить мотивацию избегателя. Если только вы не погрузите его в тотальный хаос и беспокойство о завтрашнем дне, по типу "а не уволят ли меня?".
Ну вот и все. Прошлись по всем. Подробнее в статье на Хабре — очень рекомендую, пост во многом основан на этой статье.
А какой тип мотивации у вас?
👍21❤12🔥3💯1
Китай заливает бетоном пузырь ИИ
Часто встречаю секту "пузыря ИИ" в комментариях. Верят, что ИИ с нами ненадолго, вот-вот пузырь лопнет и все вернется как было. А главное: верят, что их работы ИИ никак не коснется.
Ну что ж, у меня есть ОЧЕНЬ плохие новости для секты.
Bloomberg нашел: в пустынях Синьцзяна/Цинхая (это Китай) растет фактически небольшой городок из десятков дата-центров под ИИ.
Из "секретных документов" утекло, что Китай планирует напихать туда 115к топовых GPU от NVidia. Откуда они их возьмут — непонятно, санкции же. Возможно, параллельным импортом через Казахстан?
По цифрам:
- 115к чипов это много
- Суммарное потребление энергии серверами составит до 200 МВт
- Такого количества энергии хватило бы, чтобы запитать городок на 250-300к человек.
Представьте: целый город, где живут только сервера. Круглосуточно жрут электричество как средний областной центр. И все это ради чего? Ради "пузыря", который "вот-вот лопнет"?
Китай не строит города в пустыне ради хайпа. Когда они что-то заливают бетоном — это надолго. Вспомните их ghost cities, которые все ждали когда они развалятся. Спойлер: не развалились, заселились.
И да, про "мою работу ИИ не заменит" — расскажите это китайцам, которые сейчас роют котлован под 116-й дата-центр.
Расследование тут
Часто встречаю секту "пузыря ИИ" в комментариях. Верят, что ИИ с нами ненадолго, вот-вот пузырь лопнет и все вернется как было. А главное: верят, что их работы ИИ никак не коснется.
Ну что ж, у меня есть ОЧЕНЬ плохие новости для секты.
Bloomberg нашел: в пустынях Синьцзяна/Цинхая (это Китай) растет фактически небольшой городок из десятков дата-центров под ИИ.
Из "секретных документов" утекло, что Китай планирует напихать туда 115к топовых GPU от NVidia. Откуда они их возьмут — непонятно, санкции же. Возможно, параллельным импортом через Казахстан?
По цифрам:
- 115к чипов это много
- Суммарное потребление энергии серверами составит до 200 МВт
- Такого количества энергии хватило бы, чтобы запитать городок на 250-300к человек.
Представьте: целый город, где живут только сервера. Круглосуточно жрут электричество как средний областной центр. И все это ради чего? Ради "пузыря", который "вот-вот лопнет"?
Китай не строит города в пустыне ради хайпа. Когда они что-то заливают бетоном — это надолго. Вспомните их ghost cities, которые все ждали когда они развалятся. Спойлер: не развалились, заселились.
И да, про "мою работу ИИ не заменит" — расскажите это китайцам, которые сейчас роют котлован под 116-й дата-центр.
Расследование тут
🔥12👍7🤣4❤2😭2💯1
Слова менеджера весят тонну. Проверьте, что вы не уроните их на команду.
Вот вам два моих личных урока, как никогда не надо делать при общении с командой. Я их выучил на своем опыте, не повторяйте моих ошибок.
Ошибка №1: катастрофический юмор.
У меня раньше была неудачная привычка шутить на тему "парни, если мы это не сделаем, меня уволят". Конечно же, это неправда. Ну, я надеюсь.
Я считал эту фразу очень смешной. Мои сотрудники так не считали и на 1-1 говорили мне, что реально переживали по поводу моих слов. Для меня это было шуткой, для них — стало поводом для тревог.
Больше я так не делаю.
Ошибка №2: рассуждения без предупреждения.
На прошлом месте я писал грейд-матрицу для программистов. И когда я рассуждал вслух о том, что должен уметь делать условный senior, я именно что рассуждал. Но часть моих сотрудников слышала не рассуждения — они слышали выводы!
А выводы были такие, что они не совсем подходят под senior. Потом на 1-1 с каждым мы обсуждали, что это только видение матрицы будущего.
Теперь я часто использую фразу "сейчас будет фантазия на тему", если хочу указать на то, что мысли не финальные и это только рассуждения вслух.
В общем: менеджер должен точно выверять свои слова, если он говорит их публике.
И самое плохое: вы можете даже не узнать, что ваши слова поняли неправильно и они обернутся вам проблемой. Не факт, что человек придет к вам и скажет, что вас не так поняли. Вас просто неправильно поймут и пойдут неправильно делать.
Думайте над словами, потому что слова менеджера весят тонну. Не роняйте ее на ваших сотрудников.
Вот вам два моих личных урока, как никогда не надо делать при общении с командой. Я их выучил на своем опыте, не повторяйте моих ошибок.
Ошибка №1: катастрофический юмор.
У меня раньше была неудачная привычка шутить на тему "парни, если мы это не сделаем, меня уволят". Конечно же, это неправда. Ну, я надеюсь.
Я считал эту фразу очень смешной. Мои сотрудники так не считали и на 1-1 говорили мне, что реально переживали по поводу моих слов. Для меня это было шуткой, для них — стало поводом для тревог.
Больше я так не делаю.
Ошибка №2: рассуждения без предупреждения.
На прошлом месте я писал грейд-матрицу для программистов. И когда я рассуждал вслух о том, что должен уметь делать условный senior, я именно что рассуждал. Но часть моих сотрудников слышала не рассуждения — они слышали выводы!
А выводы были такие, что они не совсем подходят под senior. Потом на 1-1 с каждым мы обсуждали, что это только видение матрицы будущего.
Теперь я часто использую фразу "сейчас будет фантазия на тему", если хочу указать на то, что мысли не финальные и это только рассуждения вслух.
В общем: менеджер должен точно выверять свои слова, если он говорит их публике.
И самое плохое: вы можете даже не узнать, что ваши слова поняли неправильно и они обернутся вам проблемой. Не факт, что человек придет к вам и скажет, что вас не так поняли. Вас просто неправильно поймут и пойдут неправильно делать.
Думайте над словами, потому что слова менеджера весят тонну. Не роняйте ее на ваших сотрудников.
🔥29👍10💯7❤6🤝4
Как Озон заставляет меня рыдать
Я: покупаю сертификат на благотворительность на Озоне
Озон: "Вау! Давай я превращу твою ленту в приют с круглосуточным чувством вины"
Лента превратилась в бесконечный приют: "ищу человека", "в поисках дома", "а вот ещё носки, чтобы вытирать слёзы".
Алгоритмы, я просто хотел помочь один раз, а не усыновить весь каталог. Дайте фильтр "помогать, не выгорая". Озон, люблю и пользуюсь, но хватит карма-шантажировать.
Я: покупаю сертификат на благотворительность на Озоне
Озон: "Вау! Давай я превращу твою ленту в приют с круглосуточным чувством вины"
Лента превратилась в бесконечный приют: "ищу человека", "в поисках дома", "а вот ещё носки, чтобы вытирать слёзы".
Алгоритмы, я просто хотел помочь один раз, а не усыновить весь каталог. Дайте фильтр "помогать, не выгорая". Озон, люблю и пользуюсь, но хватит карма-шантажировать.
😭32😁14❤1💯1