Всё. Я, похоже, наигрался.

Последние пару лет я прыгал между идеями, проектами, пивотами. Строил, тестировал, выкидывал. Писал посты, общался с пользователями, слушал фидбэк, снова всё менял.

Заебался.

Вчера утром сел, подумал — я же просто хочу тихо сидеть, писать бэкенд, получать зарплату и не париться.

Без лендингов. Без маркетинга. Без «а кому это вообще надо».

Открыл hh, нашёл вакансию.
«Яндекс. Бэкенд. Go/Python. Удалёнка.»
Отправил резюме. Через час уже созвонились. Зачлись мои предыдущие собесы с ними. В понедельник выхожу на онбординг.

…

А вообще, с 1 апреля, конечно.

Кстати пост выше – единственный на канале, написанный GPT.

Я добавил только предложение про предыдущие собесы. И убрал про кофе.

Как вышло, что я даже не стал редачить? Раньше меня не устраивало качество того, что пробовал генерить. Чем отличается этот раз?

А в этот раз я добавил в контекст выгрузку своих предыдущих постов за пол года. А потом еще и попросил проанализировать меня вот этим промптом. Еще пару расплывчатых запросов голосом и готово. Тут переписка.

А теперь ради чего я пишу этот пост:

Нельзя просто бездумно кидаться в GPT большими файлами!

По крайней мере, когда нужно показать ей весь контент.

Просто найти какой-то один кусок инфы – проблем нет. А вот если сделать какое-то саммари, выводы, связать разные части друг с другом, то все плохо.

Все дело в том, как GPT работает с файлами. На пальцах:

1. Файл разбивается на кусочки (с нахлестом)

2. Для каждого запроса пользователя ищутся похожие по смыслу кусочки (магия семантического поиска, нам тут не важно как она работает)

3. Кусочки помещаются в обычный запрос к GPT типа "используя эту инфу: {кусочки} ответь на изначальный вопрос: {вопрос}"

И вместо того, чтобы видеть весь файл, LLMка видит жалкие огрызки.

Но у меня же тут сработало?!

Я сам удивился. Изначально я вообще делал этот эксперимент с анализом личности по постам, как иллюстрацию, что это не работает. Радует привычка искать пруфы своим спекуляциям

Пришлось покопаться, чтобы найти объяснение. Оказывается, в работе чата все не так просто устроено.

Первые 110k токенов документа попадают в контекст целиком.

«И че?» для простых пользователей:

Если нужно, чтобы ИИ видел весь документ целиком, проверьте, что текст не превышает лимиты. Для пдф файла без картинок – смотрите, если он больше 1.5 МБ, это уже много.

«И че?» для ИИ разработчиков:

Даже сами OpenAI в своих продуктах не используют голый векторный поиск, а добавляют большие куски инфы напрямую в контекст. Берем пример.

PDFки правят миром.

Я много в последнее время пишу про работу с пдфками (1, 2), и буду писать еще больше. Но зачем это обычному человеку?

Просто большая часть мнений в интернете – это выжимки из pdf.

Тут kyrillic приводит классный пример про драму между двумя YC-компаниями с корпоративным шпионажем – по сути весь стартап-сегмент интернета обменивался урезанной информацией из pdf-ки с иском против Deel.

Вот еще пару цитат из поста, с которыми согласен (с большинство остальных не очень):

Если приучить себя смотреть в первоисточник и быстро его анализировать, тем самым убирая чужое субъективное мнение, то многие знания будут намного точнее.

Вместо того чтобы спрашивать о критериях выдачи немецкого внж по чатикам, или тем более читать маркетинговые статьи из выдачи гугла, - лучше открыть pdf с законом и спросить/найти нужное (тут имеется ввиду спросить LLM)

Те, кто не научатся чтению 200-страничных pdf'ов (с LLM или без) - будут проигрывать в конкуренции. Потому что их знания о мире будут более обрывочные.

И от себя:

Эффект, про который говорит Кирилл, будет только усиливаться с распространением LLM – мусорной информации в интернете будет все больше. Уже сейчас найти инфу – не представляет сложности. А вот выбрать качественную – навык гораздо более важный.

Так что всем нам полезно знать, как грузить pdf в chatgpt и google ai studio и что там за ограничения

Эта статья на прошлой неделе взорвала твиттер и русскоязычный ИИ-телеграм. Большинство серьезных ии-блогеров написали по ней обзоры. Почему?

Да просто это никакая не статья, а полноценный sci-fi рассказ про ближайшее будущее, только c кучей референсов на реальные данные. Написан топовыми чуваками в ИИ, один из которых работал в OpenAI и уже писал похожие предсказания в 2021 году, оказавшимися поразительно точными.

Все кто про нее уже слышал, но откладывал из-за сложного английского – я запарился и сделал ИИ систему для перевода. И оформил это все в виде мини-сериала на хабре.

Кто еще не слышал – тем более самое время.

Тизер:

...существует значительный шанс, что она сможет уничтожить цивилизацию...

...Китайские спецслужбы... удваивают усилия по краже весов OpenBrain...

...Замедление принесет в жертву лидерство Америки...

...быть идеально честным все время — это не то, что приводило к самым высоким оценкам во время обучения...

...два сверхразума торгуются с жестокой эффективностью...

...это, вероятно, был последний месяц, когда у людей был хоть какой-то реальный шанс контролировать свое собственное будущее...

...в середине 2030 года ИИ выпускает дюжину тихо распространяющихся биологических видов оружия...

Читать 1 часть тут: https://habr.com/ru/articles/898622/

Вторая часть моего мини-хабра-сериала с переводом нашумевшего Sci-Fi рассказа ai-2027.com. Он написан топовыми ИИ-экспертами, ссылается на кучу данных, имеет две концовки (!) и сейчас его много обсуждают.

В предыдущей серии:

...агенты для программирования и исследований начинают трансформировать свои профессии...

...модель была «согласована» (aligned), так что она откажется выполнять вредоносные запросы...

...исследователи пытаются выявить случаи, когда модели, похоже, отклоняются от Спецификации...

...Ранним утром агент мониторинга трафика Agent-1 обнаруживает аномальную передачу данных...

https://habr.com/ru/articles/898834/

P.s. в конце развилка

Никто не ожидал, но 100% голосов за ускорение развития ИИ

В предыдущей серии:

...он мог бы оказать существенную помощь террористам в разработке биологического оружия...

...Иностранные союзники Америки не в курсе...

...они просят Пентагон разработать план кинетических атак на китайские дата-центры...

...копии Agent-4, похоже, довольно часто думают о таких темах, как захват управления...

https://habr.com/ru/articles/898864/

Альтернативная концовка уже онлайн. На этом цикл заканчивается, так что кто откладывал чтение, чтобы "посмотреть весь сериал целиком", я подстроил даты публикаций, чтобы можно было почитать на выходных 🙃

В предыдущих сериях

...три огромных дата-центра, заполненных копиями Agent-2, работают днем и ночью...

...он предпочитает работать в рамках существующего политического истеблишмента, постепенно укрепляя свою власть...

...они просят Пентагон разработать план кинетических атак на китайские дата-центры...

...быть идеально честным все время — это не то, что приводило к самым высоким оценкам во время обучения...

Тут: https://habr.com/ru/articles/898876/

Читать с начала: https://habr.com/ru/articles/898622/

CPO openai рассказывает как внутри используют LLM

Там в целом много интересных мыслей, но поделюсь конкретной инфой про внутрянку, которая меня удивила (смотреть с этого места):

Часто используют fine-tuned модели (дообученные под узкую задачу). Это сильно расходится с тем, что я вижу в индустрии – почти никто не занимается таким. Я раньше думал, что просто это слишком мало пользы дает по сравнению с нормально написанными промптами.

Сейчас думаю, что просто мало кто умеет это правильно делать + не всегда у компаний есть ресурсы на сбор качественного датасета.

———

Еще рассказывает, что часто разбивают сложные задачи на много очень маленьких запросов, каждый из которых легко валидируется.

Когда работаю с чужим кодом, часто вижу, что когнитивно сложную задачу сваливают в один запрос, а если не справляется – просто догружают компьютом (используют o3-mini где хватило бы 4o-mini). В итоге система – хаотичная и непредсказуемая. То работает как надо, то выдает бред (обычно во время презентации результатов заказчику)

Короче, интересно послушать, как используют ИИ в самой хайповой ИИ-компании