Products | People | Process
859 subscribers
15 photos
97 links
Заметки от CTO/CPO.
Пишу про управление продуктами, людьми, процессами, культуру.
Все написанное можно обсудить в чате по ссылке
https://t.me/joinchat/B-bfYQrvBssyBCf4D2YjhQ
Частным образом можно пообщаться в @slystsev
Download Telegram
Одна ситуация, которая сильно повлияла на мои менеджерские привычки. Я был на курсах управления в Стенфорде, и там было много хорошо продуманных игр, каждая из которых очень наглядно демонстрировала какой-то способ лажануть. А осязаемость и конкретность это важные элемент реального обучения.

Одна из них довольно простая, надо было сделать в группе план по выживанию после крушения самолета в Аляске на морозе. Как главный эксперт по морозам (меня -40 не сильно напрягает), я вызвался порулить нашей группой и в процессе под моим мудрым управлением мы сформулировали прекрасное решение, но ... оказались только вторыми по его уровню.

Первой пришла команда из довольно жарких стран, и что обидно, в моей команде более правильные ответы тоже прозвучали, причем от людей не сильно то опытных в морозных делах, но я с высоты своего мега-опыта убедил всех (честно убедил, а не просто зарулил), что надо иначе. Попади их ответы в финальную версию - мы бы выиграли.

Это было очень наглядной иллюстрацией, что превосходство в знаниях и опыте не гарантирует лучшего результата, и люди с более скромными знаниями могут оказаться правее. Есть какой-то уровень неопределенности, есть интерпретации и контексты, который делают прежний специализированный опыт не самым лучшим подсказчиком.



Как утешение мне, там пара людей с прошлым из каких-то спецвойск сказали, что они более согласны с моим планом, чем с тем, который предписан упражнением. Однако, второй урок, что нет абстрактной правоты, а есть оценка со стороны конкретных сторон - инвесторы, потребители и т.п. Не важно, что дружественные эксперты сочтут мой продукт лучше, если с этим не согласится потребитель.

У меня сейчас дети учатся параллельно по двум программам, и в каждой есть свой контекст, который делает какие-то ответы более правильными, чем другие. Они регулярно на эту разницу попадаются, и я им объясняю, что это как квест, и они должны помнить - что это правильно в бытовом смысле, другое правильно с точки зрения той школы и третье с точки зрения другой. Это несколько расшатывает идеальное мировозрения, но в реальной жизни многое определяется разными контекстами. Умение их управляемо разделять и сочетать сильно пригодится.
👍37
(Гнусавым голосом) от создателей Github Copilot…

применение AI для поиска дырок уже не совсем новость, но тут ребята сделали бота, который вышел в топ HackerOne в США. Эти же люди сделали когдато copilot, и продали в github.

HackerOne это ведущая платформа по сбору дырок с «этичных хакеров» за вознаграждение. Дырки там не мусорные, хорошие, есть zero day. В прошлой работе мы ими активно пользовались (услугами, а не дырками).

Учитывая, что AI не ест, не спит, а только ищет - то потенциал для взлома всего растет в порядки. Решение это «заводи своего дракона», нужен AI который найдет наши дырки вперед. Собственно, на самом деле на этом оно и держалось все это время, просто раньше это были люди.
👍12
Истории без однозначного вывода, но с вопросом...

История 1. Слушал тут людей из чуть ли не самой на слуху конторы, и они говорят, что на одну ходовую позицию они ничего особо не спрашивают, кроме решения тестового задания. Ничем не ограничивают, не смотрят, что ты реально знал, а что нагуглил, что на джипитил, что прямо сейчас прочел. Это все как раз поощряется. Оценивают только как решал и как решил (ну там за день-два предупреждаешь, что готов, и скидывают задачу). Я не уверен, что так на всех позициях смотрят у них, но почему обратил внимание (дальше) ...

История 2. Смотрю как упахиваются коллеги из индустрии на собесах. Подготовка, прокачка алгоритмов, нарешивание задач, мега проект получается. А ведь только что человек работал вполне себе сеньором, не фигню делал вовсе, и не вчера начал. И вот он перешел, молодец. А дальше что - через 3-5 лет смена работы и снова грызть гранит? А разве он после этой мегаподготовки стал прямо радикально лучше работать? Ну вот так сразу обычно нет - зп выше, конечно, но это скорее признание прошлых достижений и опыта, не оцененных на исходном месте. А если все эти знания были очень нужны и полезны в работе, то как он без них справлялся? И как спустя 3-5 лет снова подзабыл, если они нужны?

История 3. Ну я тут сам сменил работу какое-то время назад. Поговорил с основателем, с CEO, с HR - прошел. И думаю - погодите парни... как вы меня берете то? Да я бы себя сам себе с таким собесом не взял, причем на уровень ниже. Ну где погонять хотя бы по кейсам, по теории? Ну парни то не вчера в бизнес пришли, и как-то запустили свою прошлую ветку бизнеса с нуля полного, даже без предшествующих знаний и уверенности, что это можно физически выстроить, но выстроили и доросли до цифр, которыми (попади они в российские рейтинге) вполне бы гордились и даже были бы не главным, но вполне флагманом индустрии. Теперь вот новую ветку запускают.

И мысль такая, что не слишком заигралась ли индустрия во все эти алгоритмы и памяти на кучу деталей? Быть может людей стоило больше отбирать скорее по навыку решать задачи и учиться, чем по набору знаний? Не стало ли это все формой теста на причастность к своим, к этакому "тайному языку", реальная ценность которого уже не так-то велика?

Наброс, в каком-то смысле. Мысль сырая. Но интересно мнение общества

Я кстати набрал себе команду, которая кажется очень офигенной, но гонять по алгоритмам и знаниям я сам то уже не в форме, так что пришлось в собесах обойтись без этого (раньше то были специальные эксперты для таких вопросов). очень боялся, что пропущу какихнибудь неграмотных людей в проект, но выглядит, что все норм.
🔥12💯117👍3
Сегодня индустрия переживает очередной крушение AWS. Надежность "облаков" против любимого dedicated сервера это очень флеймогонная тема на уровне Linux-Windows, Apple - Android и тп. К сожалению, я не видел прямо хороших исследований по сравнительной статистике отказов в этих двух случаях - на уровне яблоки-с-яблоками.

Но есть несколько общих соображений
- падение отдельной конторы "Рога" изза их собственной инфраструктуры мир не слишком заметит
- массовое одновременное падение ведущих мировых "Рогов" и "Копыт" это и новости громче, и объективно хуже. Даже при одинаковом суммарном эффекте - одновременное падение это очень стремно.
- но зато в плане ответственности это хорошо. Ни бизнес-партнеры, ни борда и никто не будут иметь существенных претензий, что вы упали, если вместе с вами упали все. Падение нашего сервера - наша ответственность, падение амазона - воспринимается как стихийного бедствия. Печальное событие, но все понимают, что нет смысла ожидать от вас чего-то, если упали "титаны индустрии".

Это не только про ответственность технического отдела перед руководством, но и про ответственность всей компании перед бордой, перед инвесторами, перед клиентами и все такое.

Для мира такая концентрация рисков не хорошо, но в каждом отдельном случае это очень удобно.
👍161
Наверное, многие сталкивались, что тяжело добиваться массивных вложений в техническую безопасность. Рабочими часами то не все, но кто-то, могут и сами распорядиться в правильную сторону (просто не у всех есть столько автономии). Но вот с действительно большими деньгами намного тяжелее - никакой технический руководитель на мешке _свободных_ денег не сидит. А всякие SAST/DAST анализаторы и подобные решение склонны стоить дорого.

Но гром не грянул, мужики не перекрестились, все обоснования носят неустранимо гипотетический характер. Даже не спорим, но денег столько не дадим.

Но иногда приходит технический аудит. Он обычно не просто так приходит - это либо инвесторы, либо кредиторы запросили. И аудит обычно воспринимается плохо - много анкет, какие-то глупые вопросы, предельно формальный подход. НО есть польза - аудит может довольно явно написать, что оценивает вашу безопасность невысоко (а они очень-очень любят туда смотреть) и что у вас не хватает каких-то правильных аббревиатур для полноты. И вот теперь то шанс пролоббировать расходы резко растет.

Из угрозы быть гипотетически крупно взломанным когда-то, появляется практическая угроза здесь и сейчас получить инвестиции с меньшей оценкой, или получить кредит под худший процент. Чтобы там не думали на самом деле о содержании отчета на той стороне, они все равно используют любой негатив как рычаг в переговорах. И вот эта аргументация уже совершенно понятна и близка на всех уровнях.

К сожалению, в рамках текущего процесса оценки может уже не быть времени на исправление. Но ни кредиты, ни инвестиции никогда не последние, поэтому аппелировать к прошлому аудиту можно еще продолжительное время.
👍14
"Не бойся ножа, а бойся вилки. Один удар - 4 дырки."

Только ленивый еще не пошутил про свежее падение Cloudflare, которое расширяет тезис про концентрацию рисков.

Если падение AWS я в быту почти не заметил, то cloudflare обвалил довольно широкий фронт мелких повседневных сайтов.

Так называемых гиперскалеров все-таки несколько, есть еще Гугл, есть еще Майкрософт. Да и до этих трех дорастают совсем не все, оставаясь во много у более традиционных хостеров.

А вот cloudflare успешно проник даже в мелочь со своими бесплатными или дешевыми планами. И в этом качестве у него очень маленькая практическая конкуренция.
👍6
Для людей долетевших до C-level или около есть занятный способ следить за индустрией за пределами возможностей личного нетворка.

Когда идут большие финансовые маневры на рынке - кредиты, инвестиции - к ним обращаются за консультацией, чтобы получить дополнительную проверку, а не в фигню ли мы вкладываемся.

Есть агентства, которые находят таких людей и организуют с ними разговор. Все конфидециально - заказчик не представляется, и предмет интереса не всегда прямо называется.

Но раз уж позвали экспертом, то поди сможете связать концы из вопросов и понять если не кто, то хотя бы кого. Ищут линкедином, так что полезно держать профиль актуальным.
🔥8
Многих возмущает, что ИИ "просто связывает слова по ассоциациям". Но должен отметить что и люди на определенных позициях и в определенных сферах часто занимались ровно тем же самым, и наиболее преуспевали именно те, кто быстрее вычислил какие слова с какими лучше сочетаются в каком словесном контексте, даже так и не поняв, что все эти слова на самом деле значат.

В принципе в какой-то степени всякое представление (кроме ультра-экспертов) упрощено и это норм, пока это упрощение достаточно хорошо предсказывает.

Однако местами это абстрагирование достигало полного отрыва от реальности и люди к взаимному удовольствию уже комбинировали слова, которые в реальности не стыкуются. Это одновременно забавно и печально с точки зрения тех присутствующих, кто реальность понимают.

И хотя спустя какое-то время реальность склонна брать свое, но продержаться такая "идея" может довольно долго, месяцы, год+.

А когда проблема вскороется, то вовсе не факт, что поймут ее первоисточник. Скорее, какой-то из "творцов" окажется крайним, а остальные продолжат тоже самое.

Мы несколько несправедливы к ИИ в этом смысле.
👍13
Ну вот, пока я сидел и тормозил написать, большой человек со сцены уже озвучил мою гениальную догадку, что именно программирование так бодро прет в ИИ, что там есть возможность легко само-провериться и сделать поправку на реальность. Уже не прославлюсь "открытием".

Код исполняется, есть результат, и это либо обратная связь для обучения, либо повод для агента пойти на второй круг и попробовать что-то другое. Такая проверка _автоматизируема_.

Вот где можно быстро автоматически проверять результат, там и будет наибольший прогресс и успех.

Пока что намного труднее определить качество текста, видео, музыки - цепляют ли, нравятся ли. Хотя если для специфических нужд рекламы, то именно там прут "независимые агенты, которые самостоятельно работают 24/7" (вот openclaw и все такое) - а именно генерят контент, публикуют и смотрят реакции. Где откликнулось - то и хорошо. Насколько могу судить, впрочем, там еще нет особой автокоррекции процесса, есть автовыбор лучшего результата, а процесс тюнится таки вручную. Но может я и упускаю что-то.

До программирования (пару лет назад) такая авто-проверка например очень хорошо работала в синтезе химических препаратов. Автоматизированная фабрика производит массы вариантов вещества и сразу проверяет в контрольных реакциях, находя оптимальный состав. Но это нишевая тема и широкой публике особо интересно не было.
👍83
Строго и с цифрами я этого доказать не могу, но имею стойкое ощущение, что сокращения персонала от ИИ - они на самом деле в большинстве случаев не от ИИ. Слишком рано они начались, до того как устоялись практики реально сильно режущие время.

Однако, очень удобно было бы списать на ИИ решение всех накопленных проблем.

Не секрет, что в экономике и инвестициях уже несколько лет некоторое охлаждение. А до того набирали как сумасшедшие под самые разные проекты, которые позже не взлетели и не оправдались. Большое сокращение персонала для заметной компании выглядит не ахти - вызывает вопросы к прошлым решениям руководства , переоценка потенциала и тп.

А тут бац и ИИ превращает сокращение из вынужденного признания прошлых ошибок в инновационность, в повышение эффективности, в предусмотрительность. Это же сплошные плюсы в публичной сфере.

Получается такой удобный "пожар в воинской части", когда все утерянное и украденное раннее списывается на недавний пожар.

Это, понятно, не означает совершенно что экономии нигде нет (разумеется есть), и что нигде не могла реально эффективность так резко вырасти (в некоторых случаях результаты очень мощные). Все это где-то есть. Просто во многих случаях оно выглядело выстрелившим слишком рано. Выглядело плохо коррелирующим с достижениями компании во внедрении ИИ, но хорошо кореллирующим с раздутыми прежде ресурсами.

Согласен, что неоднозначно, что можно поспорить. Просто ощущение из прежнего корпоративного опыта.
💯20👍4🤔2
Пишут, что Амазон попытался ускорить внедрение ИИ дешбордом кто больше токенов потратил … ну и в строгом соответствии с Goodhart’s Law народ просто начал жечь токены направо и налево, а самые умные начали гонять циклы из сжигающих задач.

Эта музыка с метриками не закончится никогда :)
😁23👍3💯1
Ловите «вредный совет»

Был у меня давно коллега, старший директор по очень важному направлению, кто при возникновении любой проблемы в проекте, в очередном отчете прямо писал его разумеется прямо на слайде (корпорация же!), но в одном списке с ~10ю успешными свершениями. Свершения были впрочем кратно меньшего масштаба

Типа:
- (οκ) отправил письмо
- (ок) провел митинг
- …
- (οκ) нарисовал презентацию
- (х) лежит прод

ну я здесь утрирую конечно, там чуток другой уровень. Но для руководства компании все пункты были на поверхностный взгляд неразличимыми. Глянули слайд, ну он на 90% зеленый - все хорошо.

Кому было понятно происходящее, те переглядывались и поддразнивали человека за глаза “мистер вечнозеленый слайд”. но схема устойчиво работала. “Где спрятать лист? - В лесу” и не спалиться на проблемах, но и не спалиться на попытке скрыть.
86👍3
Познакомился с новым для себя форматом "меж-корпоративный стартап".

Как это выглядит
• стартап: потому что маленький
• меж: потому что от каждой корпорации выделили по полтора человека
• корпоративный: потому что рабочего кода пока не увидел, зато написано много массивных формальных спецификаций
😁18👍1
Попался изящный способ развести Клода на данные владельца.

ИИ довольно много со временем начинает помнить и учитывать. Для нужд сбора был подсунут сайт, который запросил Клода пройти проверку (под соусом cloudflare antibot защиты). В ходе проверки клод слил данные о хозяине.

Не ввел в поле ввода (он не так глуп), но последовательно в ходе «проверки» дернул URLы, которые реализуют алфавит. Типа пройдите на http://…/a если первая буква имени А и тд.

Дальше есть некоторые воплощаемые нюансы о том как подсунуть такой сайт, но это в целом реализуемо. Интересный вектор

https://ayush.digital/blog/the-memory-heist
🔥6🤨1
Помню довольно болезненное открытие разницы мышления инвесторов и управляющих.

Вот приходят управляющие с планами, мы старались, мы думали, вот какой-то план, вот вложения, вот рост. Вы нам дали задачу на рост, вот он рост. Деньги даже не дополнительные извне, а из прибыли. А инвестор нос воротит, чего ему не нравится и не понять.

А дело в том, что как управляющие мы мыслим одним бизнесом (другого то у нас нет) и мыслим внутри него. Прибыль есть, почему бы не вложить часть, чтобы сделать ее еще больше.

А у инвестора бизнесов много. Деньги в разных. Растут там с разной скоростью. Возникает логичный вопрос - потратить заработанное в этом же бизнесе с одной отдачей, или забрать себе, переложить в другой и потратить там? Там может быстрее и лучше растет,потенциал выше. У вас 5%, у них 10%. Деньги то не ваши (управляющих), деньги то мои (собственника).

Вот такая гонка бывает с невидимым конкурентом.

В какой-то степени оно переносится и на уровень продуктов внутри одного бизнеса, но там все-таки прозрачнее отказы.
👍14
На неделе возникла мысль в обсуждении о внедрении ИИ в организациях, что есть мощный ограничивающий социальный фактор - это ответственность. Ответственность в смысле blame или первый русский вопрос "кто виноват".

Если ты задачу поручил ване и он ее запорол, то виноват ваня. Там есть некоторое пространство для маневра, но в целом так.

Если ты запустил задачу через ИИ и что-то пошло не так, то виноват ... ты сам. Сейчас-то еще можно отползти что ИИ плохой и сырой, но когда все дозреет - такие отмазки уже не пройдут.

Поэтому это против интересов руководителей начиная от среднего звена, чтобы команду разогнали, а поставили сплошь ИИ.

Такая интересная комбинация действующих сил - руководитель заинтересован заменить на ИИ всех (экономический фактор), КРОМЕ ближайшего к себе круга (социальный фактор). Потому что важная роль ближайшего круга - это быть виноватыми, если что пойдет не так.

Это понятно для ситуаций, где отвечаешь перед дядей, а не перед собой - у предпринимателя такого ограничения не будет.

Я как-то с интересом узнал, что есть ниша зиц-CTO в стартапах - их задача просто оказаться виноватым перед инвестором, если проект не пошел. Фаундер и идея хорошие, а CTO и воплощение плохое.

Пока только не могу вычислить, какую картину должны будут выплотить эти действующие силы.
👍10🤔2
Когда ИИ полтора года назад был еще довольно хромой, для меня было актуально сравнение с интернами.

Когда-то в компании была такая программа и мне тоже выдавали интерна на год. Всегда есть какая-то задача, где интересен что-то понять, но много рутины, надо копать, и некогда, ну и вот такая часто приземляется на интерна. Интерн ничего не знает и много ошибается. С хорошим интерном раунд от "промпта" до результата сутки, с не очень хорошим - неделя.

Вот старый сырой ИИ давал такие же неидеальные результаты, как новый интерн, НО за 5 минут, а не за сутки. И за 20 баксов (подписка), а не за 150-500 (интерну тоже платят). И при всей его сырости, кто привык решать задачи с интернами, тот может нарешать на порядок больше с ИИ.

И тут уже на все галлюцинации, на "ты прав, надо было иначе", становилось совершенно пофиг 🙂

Сейчас, конечно, уровни уже другие
👍11