По статье - Все сгенерировано GenAI, когда готовили урок по критическому мышлению для менеджера в школе мы попытались углубиться в тему - как идентифицировать такие тексты.

Конечно, если человек поработал над текстом после ответа от GenAI это уже становится сложно отличить. И это хороший способ использования инструментов (ChatGPT, Claude, Gemini, DeepSeek). Именно такое мы и продвигаем

Но, если говорить про слепое копирование, то описанные в статье случаи – это явный признак сгенерированного ИИ. Мы даже устраивали челлендж внутри команды - вот несколько текстов, найдите что сгенерировано ИИ, а что человеком (условный тест Тьюринга, в масштабах команды). И есть моменты, которые сложно описать языком - читаешь текст, и ты чувствуешь насколько он написан не натурально, не естественно. Но объяснить словами не можешь. Вот статья и родилась на основании этого эксперимента.

Ну а мы продолжаем работать над контентом курса - GenAI для менеджера на практике 🙂

🔥 Эфир 23 июня в 19:30 “Gen AI и LLM в работе менеджера: правда и мифы”

🤖 Мы всё чаще слышим о Gen AI и LLM: кто-то закупает GPT-o3 и Cursor, кто-то строит RAG-ассистентов или включает в процессы Jira AI и tl;dv. Но где реальная польза для PM, а где - очередной хайп и пустые спекуляции?

🗓 В следующий понедельник, 23.06, в 19:30 у нас пройдет честный AMA (Ask Me Anything) без воды и слайдов в самом большом ру-сообществе поиска работы для менеджеров Project Jobs . Только практические кейсы и откровенные ответы на любые вопросы!

👥 Участники эфира:

- Стас Беляев - Lead Tech PM, Microsoft, автор Meet Deadlines

- Артем Арюткин - Руководитель проектного офиса Яндекса, автор Плохой Project

- Артем Летюшев - Senior PM, Twinby, автор Junior PM

Также к нам заглянет @Danil_Silantyev как DS/AI-инженер, чтобы технически углубить ответы

🎯 Что обсудим как минимум:

- Как "AI" инструменты мы используем и что из них реально помогают в управлении

- Какие решения заходят,а от каких мало толку

- Что еще недостаточно развито чтобы давать отдачу

- Какие нужны условия для адекватной работы LLM

📊 P.S. Мы активно погружаемся в рынок обучения AI для менеджеров и удивляемся шуму вокруг инструментов. Через контент и лендинг mysummit.school тестируем спрос на грамотное и структурированное обучение

🚀 Подключайтесь 23 июня в 19:30 в Projects Jobs и не стесняйтесь задавать вопросы!

Сделали запись нашего эфира на тему использования GenAI в работе менеджера!

В целом, это было интересно. Пришли во многом люди, кто хотел бы узнать сценарии применения AI / GenAI в работе. Собственно то, что мы рассказываем в нашем курсе. И это подтверждает нашу гипотезу – инструмент есть, а то как его применять – все еще идет поиск вариантов и отсеивание их.

Напомню, кто был (команда, кто работает над курсов https://mysummit.school):
- Станислав Беляев — Product Manager в Microsoft, эксперт по Developer Experience
- Артем Арюткин — CPO/PMO городских сервисов Яндекса, специалист по AI для разработчиков
- Артем Летюшев — Lead Project Manager в TwinBy, руководитель Data Science команд
- Данил Силантьев — руководитель AI и IT-студии, практик внедрения AI-решений

Вот темы, которые мы в итоге обсудили
- Информационная безопасность при использовании LLM в корпоративной среде
- Использование локальных моделей на персональных устройствах
- LLM как персональный ментор и советник для менеджеров
- Анализ больших объемов неструктурированных данных
- Практические агенты и автоматизация рутинных процессов
- Deep Research: возможности и ограничения
- Выявление процессов для AI-оптимизации (Process Discovery)
- Экспорт и подготовка данных для анализа в LLM
- Будущее фреймворков управления с AI

Есть ограниченное количество энергии (ресурса), который тратится на вспомогательные активности

Это могут быть:
- семья (дети, родители, родственники)
- хобби (велосипед, спортзал, рисование, компьютерные игры, и т.д.)
- работа сверхурочно (если это зона интересна)
- сайд-проекты
- назовите еще...
- выступления и блогерства (вот как этот канал и рассылка)

Я не исключение из написанного. Ограниченный ресурс (энергия), который я зимой и в прошлом году тратил на рассылку и канал. А в этом году стартанул несколько сайд-проектов, которые эту энергию и забирали. Поэтому, канал и рассылка молчали 🙂

Что же это было?
- Школа mysummit.school с темой - Практическое применение AI в работе (проверили идею, и пока что на паузе)
- Школа Стратоплан, где в этом году я был тренером, разрабатывал и вел курс - Продакт менеджмент для инженера
- Хакатон, https://hackload.kz, который завершился 24 августа
- Незавершенный (и нужно это доделать), опрос менеджеров - https://surveys.meet-deadlines.kz
- Еще один проект стартанул о котором смогу рассказать через месяц, думаю

Многие проекты завершены, получен опыт. Самое время переосмыслить и поделиться этим опытом. Читатель может задаться вопросом, а зачем это все?

Нашел ответ в выпуске про Личный бренд от Бреслава и Ложечкина. Спойлер: Нет, для карьеры. Скорее для себя - когда пишешь, рассказываешь - структурируешь свои мысли, которые в дальнейшем могут быть переиспользованы. Ну и аргументы теперь сильнее 🙂

Кейс
Вы студент на курсе (в университете, школе - не так важно где). У вас первые занятия, где студенты узнали каждого, познакомились с каждым. Два дня уже вместе занимаетесь. Кто-то активный на занятиях, кто-то предпочитает быть пассивным и слушать других. За это время случились дискуссии, где студенты могли показать свои ценности, свой характер или бэкграунд.

На третий день совместных занятий – задание: следующие 2 месяца, вам необходимо заниматься в парах. Ваша задача выбрать себе пару среди студентов и сконнектиться с ним, начать знакомиться. Кто-то начал объединяться по схожим интересам, интересному бэкграунду или потому что вместе сидели несколько дней уже. Вы попробовали найти пару. Предложили одной группе людей – не хочет ли кто-нибудь работать в паре? Предложение проигнорировали ну или как минимум никто не высказал явного желания в текущий момент.

Вы подошли к другому студенту, вежливо поинтересовались – нашел ли он себе напарника или нет? И если нет, то не против ли он работать в паре. И этот студент отклонил ваше предложение...

Вопросы на рефлексию:
- сделали ли вы что-то неправильно?
- Может быть проблема не в вас?
- А если это произойдет на работе, где с вами откажутся работать над проектом?

Ваши мнения в комментариях интересны 🙂

Мои мысли по кейсу выше. Когда я столкнулся с такой ситуацией, то это запустило процесс рефлексии: проблема явно во мне! А как иначе-то? Это как Эффект прожектора, когда мы преувеличиваем все что происходит вокруг нас:
- я не так выгляжу
- я не то говорю
- я много говорю
- я не такой как другие
и главное - это все замечают!

Хотя по-факту же нет.

Первая группа, как оказалось, просто не поняла мой вопрос и это языковой барьер. Нам всем комфортнее работать и взаимодействовать с теми, кто ближе и понятнее для нас (говорит на одном языке, выглядит как мы, думает схожими мыслями, работает в той же сфере). Сложно кого-то обвинить в этом, это что-то натуральное в сущности человека.

Про второго студента ничего не могу сказать, но мои ощущения были подогреты тем фактом, что я сам домыслил, что вокруг уже все договорились о группах. И это с одной стороны эффект FOMO (все вокруг уже договорились, а я остался один!), а с другой стороны - это первая стадия принятия - отрицание и изоляция.

Занятие завершилось для меня мыслями – сами виноваты, что не хотите учиться обучаться с другими (не такие, как вы) и выходить из зоны комфорта в зону роста.

Позже в чате, на самом деле, было еще несколько студентов, которым нужна была группа и они тоже не смогли найти ее во время занятия. Поэтому, ситуация успешно разрешилась. А мысли остались.

Бюро статистики в США опубликовало исследование (в 2024 году), по которому
- Работники в возрасте 25-34 лет работают в среднем 2.7 года на одном месте
- Люди в возрасте 55-64 - в среднем держатся за работодателя 9.6 лет
- Соотношение этих цифр не зависит от отрасли (горнодобывающая, банкинг, ИТ…) и профессии (менеджер, специалист, педагог и т.д.). Да, отличаются базовые цифры, но соотношение в возрастных группах - сохраняются
- В менеджменте люди задерживаются чуть дольше, чем в профессии (5.7 лет vs 4.3)

К чему это я? Как это влияет на принимаемые решения менеджера. И здесь есть пара проблем, с которыми я сталкиваюсь в своей работе:
1. Менеджеры хотят быстрых решений. Срок короткий (с перспективы крупных компаний), поэтому нужны быстрые проекты, с быстрыми результатами - отлично если за 1 год, хуже если за 2
2. Ввиду выше сказанного, крупные проекты - откладываются. Проще сделать какую-нибудь нашлепку сверху к процессам, чем глубоко поменять процесс. Рефакторинг - долго и дорого, “подтюнить” или что-то сделать сверху - просто и быстро
3. Инновации - страдают. Зачем вкладываться в то, что имеет непонятную перспективу с непонятным сроком. Результаты-то нужно показать!
4. Проблема с долгосрочным планированием (стратегическим). В принципе и среда сегодня не позволяет планировать на 10 лет вперед, а тут еще и смысла нет (потому что через 5 лет уйду)
5. Организация теряет “память”, культуру, знания. Или же, очень быстро обновляется, трансформируется. Менеджмент в верхней части иерархии говорит одно, а менеджеры снизу приносят свою культуру быстрее, чем это могут отследить менеджмент в верхней иерархии

Понятия не имею, как это исправить. Но просто понятнее, почему менеджеры все больше хотят инвестировать в “быстрые решения” с видимой эффективностью. А организация страдает

Насколько среда влияет на ваши возможности делать что-то еще?

Почему есть те, кто активно ведет свои блоги и развивают свой личный бренд, да еще и в карьере успешен?

Я начал вести рассылку, когда мне хотелось что-то рассказать и поделиться полученным опытом. Опытом и знаниями, которые я считал уникальным и полезным для других.
Я занимался интересными лично мне проектами, работал в организации, которая мотивировала развиваться, вокруг были вовлеченные люди. Это был мой пузырь мотивации. Оттуда я черпал идеи, оттуда я приносил кейсы.

Сейчас же, несмотря на то, что мне есть что рассказать, я не вижу это достойным для рассказа. Это банальщина, с которой сталкивается, на самом деле абсолютное большинство менеджеров. Это не вдохновляет, это операционка, которая не развивает. А только поглощает тебя.

Сейчас я имею возможность наблюдать тот самый неэффективный менеджмент, о котором и для которых написаны бесчисленные бизнес-книги. Как выжить в корпоративном мире? Как построить карьеру в этом мире? Как найти смысл там, где его нет? Как убедить себя, что то, что ты делаешь – это в принципе имеет какой-то смысл для тебя.
Это наблюдение позволяет мне глубже понять мотивацию таких людей, их поступков, и нужна ли помощь для таких случаев?

Кто-то читает книги, кто-то идет учиться. В Стратоплане я собеседовал студентов, кто хочет получить развитие в карьере. Они считают, что они застряли в карьере (условно, выросли до тимлида, а дальше не растут; или хотят стать СТО). Студенты считали, что проблема в их знаниях, отсутствии необходимых навыков. Тем не менее, это лишь отчасти правда. Я все еще считаю, что карьера – это оказаться в нужном месте, в нужное время. Это не ваши способности. Если вы не растете - вы в неправильном месте, не с тем менеджером, не с теми людьми. Нужно самому решать проблему. Повышать вероятность – оказаться там, где вы будете расти и развиваться.

Возможно, вы застряли и боитесь сделать тот самый шаг, чтобы повысить свои шансы?

А теперь от рефлексии, к чему-то интересному

Вокруг достаточно много экспериментов о применении AI в работе. Например:
- LLM играют в Покер и смотрят, кто перформит лучше
- LLM торгуют на бирже и пытаются сделать вывод - кто же выбирает стратегии эффективнее

Это все выглядит как промоут своих сервисов. По крайней мере, не считаю что торговля на бирже с помощью LLM, это то, что прям напрямую улучшить чье-то финансовое положение.

Мы же решили попробовать вести соц.сети с использованием LLM. В частности, промоут акаунта школы в Threads. Уже месяц, как 70-80% контента генерируется с использованием LLM. Периодически мы постим туда ручной текст, но большая часть контента – это все же LLM.

Спойлер: Получилось плохо. Но мы не сдаемся и продолжаем.

Подробности:
- Цель – расширить охваты, то есть сделать так, чтобы о бренде узнали
- Как следствие – это должно приводить новых пользователей в школу
- Подписчики неважны, поскольку в threads это играет меньшую роль
- Основа контента – отборные факты, о которых мы считаем нужным рассказать аудитории

На графике выше вы видите средние просмотры по дням, которые мы получили за время эксперимента. Это не то, что мы хотели бы получить :) но то, что получилось

Качество сгенерированного контента – я бы сказал неплохой. Это не бессмысленные фразы, а все же полезная информация. Каждый раз.

Мы начали с публикации 10-13 сообщений в день, но на средние показатели просмотра это не повлияло.

Мы каждую неделю с помощью LLM делаем оценку наших результатов, меняем стратегию (промпты, которые используем, время постинга, отбор и оценка контента для публикации, стиль текста) – это все в рамках эксперимента, который мы проводим.

На этой неделе мы пришли уже к состоянию:
- 3 различные LLM изучают источники и дают независимую оценку контента (будет ли он перформить или нет)
- Есть аппрув человеком – контент адекватный или нет? 85% всех сгенерированных постов – отклоняются ревьерами
- Постим 5 сообщений в день
- Пытались отслеживать тренды в threads, но тут уже API ограничивает наши возможности для этого

Насколько это этично, генерировать и постить контент?
Мой ответ – этично. Этот контент несет информацию, в отличие от 80% контента в сети. Мы не постим сообщения, которые байтят, это не фейк, это новости, о которых мы бы писали сами.

Насколько подход работает?
Работает. Нужно заниматься и выстраивать систему. На это требуется время. Я думаю, что через месяц у нас будут результаты лучше, чем сегодня. Даже сегодня у нас просмотры увеличились на 30% от того, что было написано в статье.

Люди читают это?
Да, читают =) И комментируют – это говорит, что мы не стараемся наполнить сеть AI Slop'ом

А если вы думаете, что отлично можете отличить текст сгенерированный нейросетью, от человеческого контента, то вот вам quiz. Пришлите в комментарии результаты =)

Статья с деталями тут

P.S. В канале я пишу сам текст =)

Мне не хочется писать здесь про AI. Хотя эта тема основная во многих чатах теперь. AI действительно развивается активно, каждую неделю выходит новая модель, новые сценарии применения. Я намеренно избегаю писать здесь про AI, хотя в теме менеджмента я активно изучаю это. И для этого у меня есть отдельная рассылка. Поэтому, если вам интересно наблюдать за тем, что происходит в этом мире, но вы не ходите читать это все в Телеграм-каналах - подписывайтесь, каждые 2 недели будет приходить дайджест обновлений

https://mysummit.school/newsletter

Но сейчас у меня запрос к вам. Я провожу исследование – какая LLM лучше подходит под задачи менеджера. Я взял 15 моделей (33, если считать еще разные веса) и задал одни и те же вопросы к ним. В итоге получилось более 1000+ ответов, которые нужно оценить. Я это уже сделал 🙂 Но мне нужно третье мнение – ваше мнение о том, насколько ответы соответствуют заданному вопросу, помогают менеджеру и в принципе, адекватны?

И призыв к вам – дайте вашу оценку ответам, какой ответ лучше?
https://mysummit.school/evaluate/

Я планирую опубликовать результаты в следующем месяце, но мне нужно сделать коррекцию на основе дополнительных мнений. Вашего мнения. Оценить ответ нужно по 7 категориям. Для каждого доступна своя ссылка и можно в любое время вернуться к заполнению. Также, для вас, как для менеджера, может быть интересно увидеть сценарии применения AI в работе.

Относительно исследования - можно прочитать тут
https://mysummit.school/blog/ai-models-evaluation-human-calibration/

Я все больше склоняюсь к тому, что быть честным - невыгодно. Хотя это одна из частей менеджмента. Или доверительных отношений в команде.

Быть честным, на мой взгляд:
• открыто говорить и признавать имеющиеся проблемы
• говорить о твоих планах на будущее, что тебе мешает сейчас и что бы ты хотел исправить в дальнейшем
• говорить об отношениях открыто – это в том числе позволяет превентивно избежать скрытых конфликтов
• честность ведет к доверию, доверие – к упрощению взаимоотношений, стоимость транзакции уменьшается

Можно продолжать и находить причины почему это хорошо и почему это может сказаться негативно. Но я вижу больше позитивного

Тем не менее, мой последний опыт говорит о том, что большинство вокруг считает иначе:
• На собеседовании сказал, что моя цель вырасти в течение года на позицию выше, чем есть сейчас. Отказали, поскольку "нужны люди, которые будут долго работать на этой позиции"
• Часто сталкиваюсь с ситуацией, когда менеджменту просят приносить только позитивные новости. График должен расти вверх и вправо
• Когда говоришь, что мы что-то не делаем, просят перефразировать: "Мы начали работу, мы обсудили и решили" (но ничего не сделали)
• Приветствуют Radical Candor и следом просят не быть столь резким и прямолинейным в высказываниях
• В описаниях вакансий просят не использовать ChatGPT, но прогоняют через ATS с AI твое резюме, вместо общения с человеком

И во всем этом, получается, что люди меньше ценят искренность (ну мне так казалось, что это было важно), а больше ценят то, что хотят услышать. Надо признать бы это. А с другой стороны – начиная с малой лжи, уже сложно остановиться, получается эффект снежного кома

Хорошо быть недалеким

Я вижу таких людей и мне кажется, что они счастливы и чаще достигают успеха. Потому что они делают то, что от них просят. Они не задумываются о том, что и зачем они делают. KPI простой – сделать то, что попросили. Отлично, если это сделать еще и хорошо.

Нет сомнений в том, нужно ли это или нет. Нет сомнений в полезности этого действия. Надо – сделали. Тебя оценили, похвалили.

В отличие от человека, который задумывается, постоянно сомневается:
• То, что меня попросили сделать - это в принципе нужно? Это правильно? Может быть лучше есть подход?
• А человек, который просит что-то или что-то пишет, он понимает что он просит?

И вот смотрит такой постоянно сомневающийся эксперт и расстраивается, что ему приходится иметь дело с недалекими людьми. Особенно, если они еще и менеджеры. Это демотивирует.

А еще больше демотивирует то, что эксперт не говорит то, что очевидно. Ведь это итак всем понятно! Эксперт говорит сложным языком, непонятный слушателю. В итоге, слушатель думает про него - Nerd. Но эксперт рад – его выслушали.

А через некоторое время смотришь, а вот недалекого человека повысили. Потому что он везде и всем (кто принимает решение о повышении) – рассказал об успехах, о которых эксперт не стал говорить.

Вот и получается, слушают тех кто говорит понятно. Растут люди те, кто говорят то, что хотят услышать. У таких людей все просто в жизни и они сильно оптимистичнее. У них нет сложностей в жизни. Ну и да, система приветствует таких людей. К сожалению.

Я недавно перечитал книгу - Прыгни выше головы.

Это была первая бизнес-книга (или одна из), которая на меня повлияла. 10-13 лет назад она на меня повлияла так – я стал ценить обратную связь. Важно понимать как тебя видят другие. Потому что это может абсолютно быть противоположным от того, что ты видишь. Поэтому, с тех пор я считаю важным:
• Опросы 360 в работе
• Я читаю все обратную связь, которую дают студенты (по курсам в Стратоплане, например)
• Много пропускаю через себя лично, и один негативный комментарий перекрывает 10 положительных
• Обратная связь от тех, с кем я в принципе общаюсь

Во многом это позволяет приземлить себя. Это основной вывод, который я сделал после первого раза

Прочитав второй раз, я понял, что это книга никак не про обратную связь. Обратная связь лишь один пункт там. Она про то, как люди застряли в своих позициях (дословный перевод с английского дает однозначное понимание о чем книга – Что привело тебя сюда, не приведет тебя туда). И если кто-то хочет продвинуться дальше (по карьере, предположим), то ему нужно:
• понять где он находится
• принять текущее состояние (или отклонить, и тогда следующий шаг не имеет значения)
• сделать изменения в своем поведении, на основании обратной связи

И вот после этого можно говорить только о росте.

Я читал одну и туже книгу. Но мой опыт в первый раз взял то, что мне было интересно тогда. Сейчас, мой опыт говорит о том, что нужно быть гибким и подстраиваться под ситуацию. Принять или отказаться от этого.

Неожиданный вывод. Эту книгу я рекомендовал и раньше многим. Рекомендую снова и вам. Даже если вы ее читали