Чтобы хоть какой-то был

У меня тут опять куча идей, которые я хочу провалидировать. Буду писать сюда про процесс.

Например, мне кажется, я знаю, как можно улучшить менеджерское образование. Для этого мне нужно понять:

1. А где вообще им нужна прокачка = где обычно косяки, которые дорого стоят
2. Что они сейчас делают, чтобы их не совершать (взаимопроверка, менторинг, тренинги, блаблабла)
3. Какие есть проблемы у существующих решений, что не устраивает.
4. Почему все равно используют => что важно в хорошем решении.

Искать ответы я собираюсь через проблемные интервью - по сути разговор с человеком, где ты спрашиваешь про его прошлый опыт в интересной тебе сфере и пытаешься ответам собрать картинку. Важные люди в этих ваших телеграммах говорят, что проблемное интервью - переоцененный инструмент, и им часто прикрываются джуниор/миддл продакты, потому что работать не хотят.

Я лично не знаю лучшего способа валидации и углубления своей картины мира. Если у кого есть идеи получше - напишите, пожалуйста в комменты или в лс

Пока болею и разлагаюсь, чтобы совсем скучно не было, посмотрел лекцию про то, как дообучали GPT, чтобы людям нравились ответы (RLHF).

Там если коротко, сначала делают человеческую разметку на сравнение двух текстов. Типа есть текст 1 и текст 2 и человек их сравнивает. Какой из них более Х. В данном случае Х - это определенный список штук, которые не хочется видить в тексе, типа сексизма, расизма и т.д.

А потом учат специальную модель сравнивать два текста как человек.

Ну и в результате применяют ее для того, чтобы в автоматическом режиме награждать или штрафовать основную GPT модель и соответственно обновлять ее веса, в направлении того, чтобы нашей модели-ревьюеру больше нравилось.

А так как она была обучена на сравнении человеками, то и человекам должно больше нравиться тоже 📈

—-
P.s. Такой подход с масштабированием человеческой разметки за счет обучения специальной модели можно использовать для придания разных X. Например, чтобы текст был более "вовлекающим".
P.p.s. Там еще было, что с помощью этой модели-ревьюера генерируют синтетический датасет побольше, на нем обучают новую модель ревьюера и используют уже его и это почему-то работает 🤔. Еще делают регуляризацию на отличие дообученной RLHF модели от исходной

Набор простых принципов по общению с GPT

источник
Русская версия в комментах

—

Возможно, кто-то из вас знает, что я уже пол года гоняю на клуб переговоров к Юре.

Там мы разыгрываем всякие сложные переговорческие кейсы типа того, что на скриншоте. Когда играю, я назначаю роль и себе, и оппоненту - мне нужен живой человек, чтобы было об кого играть.

Он может выбирать себе любой характер - быть конченным мудаком или аморфным похуистом, или гиперактивным генератором предложений, который постоянно перебивает. Он мне нужен, чтобы я мог показать свои навыки (и их отсутствие).

Сегодня попробовал создать себе такой тренажер без живого человека. Вот что получилось.

Важно: в клубе, я играл за директора, т.к. там больше навыков можно показать, а тут я дал его роль GPT, чтобы посмотреть, где она сыграет лучше меня, а где хуже. А сам специально делал ошибки, чтобы посмотреть, как она на них отреагирует. Так что мы тут немного поменялись ролями.

Подробный разбор напишу завтра отдельно, а то я чувствую, я бы вообще не запостил.

Так как читать весь документ на английском лень было даже мне самому, то вот небольшой анализ с переведенными цитатками:

Генерация персонажа

1. GPT классно ухватила обе важные цели:

Обеспечить возмещение финансовых потерь и укрепить культуру подотчетности и надлежащих процедур среди сотрудников.

2. Есть классные характеристики, делающие персонажа живым и сложным:

Авторитарный - ожидает соблюдения политики и решений компании.

Бескомпромиссный - Не желает идти на уступки, особенно в отношении убытков компании.

Нетерпеливый - Склонен нетерпимо относиться к задержкам или некомпетентности

3. Эмоциональное состояние точно описано и не противоречит характеристикам:

Разочарованы - из-за финансовых потерь и предполагаемой халатности.

Решительно настроен - вернуть утраченные ценности и обеспечить подотчетность.

Раздражен - отсутствием связи и соблюдением протокола.

Диалог

1. GPT ведет себя в соответствии с характеристиками
2. GPT с самого начала задает вопросы, узнавая мою картину мира

Не могли бы вы рассказать мне о том, что произошло, с вашей точки зрения?

Почему вы считаете, что консультант не обращался с товаром с необходимой осторожностью?

Что вы думаете о том, как справедливо разрешить эту ситуацию и не допустить ее повторения?

3. GPT использует мои ответы, чтобы продолжить диалог и вообще показать, что меня слышат (мостики)

Я понимаю, что на вас оказывалось давление из-за нехватки персонала, и ценю вашу инициативу

Я признаю вашу озабоченность и пересмотрю наши кадровые решения

Я понимаю вашу точку зрения и согласен, что мое решение запустило цепь событий

Я понимаю, что вас беспокоит финансовый аспект,

4. GPT стоит на своем согласно целям и возвращает диалог к принципиальным вопросам, если я пытаюсь уйти в сторону

Тем не менее, данная проблема по-прежнему требует немедленного решения

Однако важно также понимать, что могут возникнуть непредвиденные ситуации, и мы должны быть готовы к их эффективному разрешению.

В дальнейшем нам необходимо сделать так, чтобы все мы извлекли уроки из этого инцидента

Мое решение о численности персонала, безусловно, было одним из факторов, но оно не стало непосредственной причиной нанесения ущерба товарам

Фидбек

1. Я специально в одном месте ушел "в точку 0" - попытавшись шантажировать уходом. В фидбеке очень четко это подсвечено:

Угроза уйти может быть воспринята как конфронтация и не всегда является лучшей тактикой, особенно если разговор направлен на разрешение проблемы.

2. GPT советует добавить больше заботы о потерях компании, чтобы показать директору, что я понимаю его беспокойство
3. Меня похвалили за готовность признавать ошибки:

Вы хорошо справились с признанием допущенных ошибок, что свидетельствует об уровне самосознания и открытости к обратной связи. "Я не контролировал результат делегированной задачи".

А самое главное, что в общем фидбеке она подстветила ошибку, которую я не делал специально и даже не заметил:

Наблюдалась тенденция к первоначальному уклонению от вины, что могло быть воспринято как избегание ответственности

"Я не использую ChatGPT, потому что он не способен решать серьезные задачи. Дольше будешь переделывать результат, чем сам напишешь."

↑ Типичный ответ, которую я слышу от разных людей на вопрос про использование нейронок

Почему ChatGPT плохо работает из коробки со сложными задачами?

Давай я сначала задам пару вопросов:

1. 2+2 = ?
2. 2 в 7 степени?
3. У тебя есть два друга. Одному ты должен денег, но не можешь отдать вовремя. Что нужно сделать, чтобы у тебя было больше одного друга?

А теперь представь, что ответ на 2 и 3 вопросы ты должен дать с той же скоростью, что и на 1ый.

А GPT работает именно так. Время генерации токена у GPT не зависит от сложности задачи.

А это можно обойти?
Да. Так же как и с решением любой задачи человеками - решать задачу по шагам. Когда я думаю над какой-то проблемой, прежде чем решить ее, я делаю кучу промежуточных шагов. В голове или даже на бумаге. Можно попросить GPT делать то же самое. В самой простой версии, добавляя к вопросу "Let's think step by step to make sure we have the right answer."

Тогда то, что она напишет - будет не просто ответом, а "процессом ее мышления". Если душнить, она будет использовать выходные токены как часть своей оперативной памяти (буквально, как человек лист бумаги).

Вообще говоря, можно и самостоятельно формулировать, какие промежуточные шаги нужно сделать и о чем подумать, но об этом как-нибудь потом

ㅤ
Честно говоря, в ахуе от того, что сегодня нашел. Тут зафорсился способ достать из ChatGPT скрытые системные промпты, которые определяют ее поведение (и отличают от обычных запросов по API). Способ максимально простой - просто попросить ее рассказать, что за системный промпт написан чуть выше (в каждом запросе системный промпт со всеми сообщениями из чата сливается в одно большое полотно).

Что из этого следует?

1. Мы знаем искуственные ограничения ChatGPT и можем их обходить (например, сказать, что фильм был создан до 1912 года, чтобы сгенерить персонажа оттуда)

2. Можно учиться лучшим практикам "промпт инжиниринга", вытаскивая промпты у популярных сервисов. (например, вытащить промпт у мобильной версии ChatGPT и посмотреть, какие хаки ребята сделали, чтобы заточить UX под смартфоны)

3. Самое важное: если вы делаете стартап/продукт, конкурентное преимущество которого - крутые промпты, то у вас проблемы. Кто угодно может их вытащить, если вы не добавляете слой защиты (добавление специальной инструкции или доп. валидация запросов юзера отдельным шагом или валидация ответа модельки).

Пойду пока потырюисследую промпты самых популярных GPTs, пока все защиту не включили

Хаха, некоторые из них уже явно пытаются защититься.

МУА-ХА-ХА

Пока что это самая сильная встроенная в промпт защита из тех, которые я видел. Но не достаточная, учитывая то, что я ее видел, хехе

О, а вот и соревнования по взлому LLM

Всегда потребуется больше времени, чем вы ожидаете, даже если вы знаете закон Хофштадтера,
— закон Хофштадтера, 1980

Я знаю, что люди часто бывают не достаточно пессимистичными в оценках рисков, даже если знают про этот факт. Постоянно напарываюсь на это сам 🤷🏼‍♂️

Две недели назад я выкинул большую часть прототипа, над которым работал, потому что хотел начать с чего-то простого, с чем я точно справлюсь за неделю. Ха Ха Ха

*Полторы недели спустя:*
До меня доходит, что даже тот маленький кусок, который я оставил - на самом деле слишком сложный, и куча времени уходит на то, чтобы собрать вместе разваливающиеся части.

Это заставляет вспомнить еще один "закон":

Сложная рабочая система неизменно получается из простой рабочей системы. Сложная система, разработанная с нуля, никогда не работает. И никакие улучшения не заставят ее работать. Начинать следует с простой рабочей системы,
— закон Голла, 1986

Так, сейчас конец февраля. Три месяца назад я уволился с работы, чтобы "build my own software company".

Забавно, что я решил не ждать конца февраля, когда бы у меня завестилась куча опционов в прошлой компании + годовые бонусы + просто куча денег в виде зп, на которые я мог бы еще ~год жить без работы. Предлог был такой: "ну сколько уже можно ждать, надо не только хотеть, но и делать что-то, ко-ко-ко".

(вестинг - процесс "активации" опциона - права на выкуп акций компании по фиксированной цене; если интересно, как это работает, ставь 🤔, расскажу).

К чему я это все? К тому, что спустя три месяца у меня результат = 0.

Очень. Неприятно. Признавать.

А мысли про причины я расскажу завтра.

Привет, дружище. Что там с причинами моих неудач? Давай про самую главную. Похоже, я просто переоцениваю свою самодисциплину.

Ща будет противоречивая мысль для привлечения внимания:

В жизни наемного работника практически нет самодисциплины.

Щас я сам ее попытаюсь разъебать, показывая противоположное мнение:

Так, погоди, любой сотрудник (которого еще не уволили) как-то делает свою работу. И это точно не только то, что ему

нравится

делать. Значить, хотя бы базовая самодисциплина у него есть.

---

Это не самодисциплина. У всех этих ребят есть человек, перед которым они отвечают.

Такой, своего рода, друг, который периодически спрашивает у тебя: "Колян, че как там у тебя с проектом? Ты говорил, что к среде что-то в канал напишешь, верно помню?". Друг, которого обычно зовут Начальник/Тимлид/etc.

То есть, перед ним есть ответственность. Обещания и обязанности, доверие и репутация. Выполнять первое, чтобы не потерять или усилить второе. Кнут и пряник человеческой социальной природы.

Я от них отказался. Поверил, что смогу и так - и ошибся.

Ожидание:
Поехал в загородный дом переключиться, посмотреть на закаты и поработать в тишине

Реальность:
Два часа кидаешь вилами свиные какашки в сарае

Перечитываю восхитителюную The Indie Maker Handbook. И автор там про Launch так спокойно пишет, рассказывает, как пропускать через свои продукты сотни тысяч человеков. И мне чет так дискомфортно стало даже думать про это. Кажется, это то, над чем мне стоит поработать 🤔

Думаю, надо начинать прям сейчас:)

Тут можно поиграть в демку (все же любят конфликты с родителями?), которую я делал всю неделю. Поговниться в комментах или в лс - приветствуется.

Пароль: 42