Почему LLM галлюционируют?

На скриншоте Андрей Карпатый заставляет модель галлюцинировать, говоря “не используй инструменты”, из-за чего ChatGPT не может сходить в интернет и посмотреть, кто же такой Орсон Ковач. При этом мы знаем, что в обучающих данных этой информации нет.

Он объясняет это так - языковая модель это огромная формула, которая вычисляет вероятности следующих токенов, на основе статисики из своего training set, и для нее по-умолчанию нет разницы между вопросом, который предполагает знание какого-то факта и вопросом, ответ на который надо придумать. Иными словами, она “не знает”, что она чего-то не знает.

В последнем ChatGPT, видимо, добавили дополнительный шаг чтобы перед отправкой запроса в модель поисходило обогащение контекста (RAG) через интернет, поэтому хитрый Карпатый приказал не жульничать. В итоге модель, как и ожидалось, выдала полную отсебятину.

Бесплатный DeepSearch и Reasoning круче чем в OpenAI

Если кто пропустил, то релизнулась последняя моделька от xAI (компания Маска), там бесплатно доступны “размышление” и “глубокий рисерч”. Я тестирую прямо сейчас и первое впечатление позитивное, по слухам в интернете тоже работает хорошо. У бесплатной версии наверняка есть лимиты, ибо также предлагается SuperGrok за 30$ в месяц (дороже, чем OpenAI Plus, но намного дешевле чем PRO). Затестим?

https://grok.com/

—-

Upd: 5 рисёрчей в день на фришке

Пусть ИИ читает логи в CI вместо вас

Раньше, когда CI/CD падал, приходилось лезть в логи и искать причину. Любой программист знает, это занятие не из приятных. Хорошо писать логи умеют единицы, обычно полезная информация тонет в куче мусора. Но прогресс не стоит на месте!

Встроенный (и бесплатный) copilot прямо на сайте гитхаба можно попросить прочесть логи и объяснить причину тряски. Можно даже початиться с ним, если совсем одиноко.

Okaaay ChatGTP 🌚

Что такое Build in Public и как это связано с ИИ?

Те, кто читают меня давно, знают, что техно-оптимизм тут совмещается со страхом перед будущим, в первую очередь потерей работы. Я считаю, что об этом нужно думать и говорить, потому что большинство людей все еще не воспринимает эту проблему всерьез.

Так вот, этот самый страх (и любовь к программированию, конечно же), побудили меня начать пытаться запустить свой собственный продукт. Я завел второй канал @build_saas_in_public и буду писать туда про свой тернистый путь.

Если вам не интересна тема предпринимательства, инди-хакерства или стартапов, просто пройдите мимо. Остальным - welcome. Упор на то, как технически подкованному человеку разобраться в маркетинге и запуститься.

Ну и да, конечно же, продукт будет связан с LLM 😉. Подробности будут в самом канале!

ССЫЛКА НА КАНАЛ

Скриншот всей страницы в Arc 🖼️

Не перестану рекомендовать браузер Arc. Когда я вижу, как люди мучаются с вкладками в хроме/фаерфоксе, сидят в нескольких окнах под разными аккаунтами, устанавливают всякие расширения чтобы починить UX, я всегда спрашиваю - почему ты просто не пересядешь на Арк?

Сегодня я для прикола проверил, умеет ли он делать скриншот всей страницы - это когда тебе нужно заскринить весь сайт сразу, сверху донизу. И знаете что? Умеет! Я даже не удивлен.

Арководы, жмем Cmd+T и пишем full page, затем выбираем Capture Full Page и будет нам счастье! Скриншот сразу попадает в буфер обмена, а в правом верхнем углу появляются кнопки для сохранения на диск и шэра.

Бери (у ИИ) как Есть

В соседнем канале мысль, что не надо стремиться контролировать каждый винтик в своей жизни, лучше, наоборот, аутсорсить по максимуму. Так вот, это касается и программирования с ИИ!

Вершина vibe-coding это когда вы не пишете ни строчки кода руками. Понять, там вы или нет легко - задайте себе вопрос, приходится ли вам думать над неймингом?

Все чаще в последнее время я ловлю себя на мысли, что я не исправляю/улучшаю/уточняю код, который для меня сгенерировал ИИ. Зачастую он достаточно неплох, (да еще и снабжен комментариями, как правило).

Сегодня я обсуждал в ChatGPT архитектуру своего Chrome-расширения, конкретно, логику логина через Google. Мы пришли к конкретному набору сущностей, целые классы и методы будут вставлены в репозиторий как есть. Раньше мне часто хотелось добавить что-то от себя. Я мог немного модифицировать сгенерированный код, просто чтобы он стал чуть-чуть лучше, но теперь я нахожу удовольствие в том, чтобы, напротив, вообще ничего не трогать.

Мысль все та же - контроль это не благо, а необходимость. Необходимо ли мне контролировать этот код? Не прикасаясь к нему лишний раз я освобождаю себя от необходимости думать, как назвать ту или иную переменную или функцию. ИИ предложил так, значит, так оно и будет. Кстати, он предложил не просто так, а потому что у него огромная “насмотренность”, и его вариант, скорее всего, как минимум не плох.

Разумеется, здравый смысл должен быть всегда. Я всегда пробегаюсь, хотя бы бегло, по сгенерированному коду. Годы опыта дали мне интуицию, которая позволяет понимать, где мне надо вникать, а где достаточно пробежаться по диагонали.

График интеллекта и скорости GPT

Если еще не видели, картинка из официального блога

Интеллект/Скорость: Получается, что 4.1 самая умная, по скорости как 4o, 4.1 mini - лучший баланс между скоростью и интеллектом, а 4.1 nano тупая и быстрая

Цена: 4.1 дешевле чем 4o, но 4.1-mini дороже чем 4o-mini. Подробнее тут

P.S. - если я все правильно понимаю, то`4.1` это не reasoning модель, как она соотносится с o1/o3 пока не разбирался.

Как streaming mode может ухудшить качество генераций

Пост для LLM-engineers, то есть тех, кто внедряет ЛЛМы в продукты.

Для тех, кто, вдруг, не в курсе - стриминг-режим, это когда модель вместо того чтобы подумать, а затем выплюнуть готовый ответ, отдает генерацию по кускам (чанками). Например, когда ChatGPT печатает для вас ответ, он делает это именно в стриминговом режиме, чтобы вы могли начать читать текст сразу, не дожидаясь окончания генерации.

Это классная штука с точки зрения UX и до сегодняшнего дня я думал, что на качество она не влияет. Оказывается, я ошибался! Streaming может ухудшить качество генерации и вот почему:

Как известно, LLM это “T9 на максималках”. Люди, которые не верят в скорое пришествие AGI часто говорят что-то вроде: “эта штука просто предсказывает следующее слово”. И в этом есть доля правды! Суть ЛЛМов действительно в том, что они вероятностно подбирают токен за токеном. Но это лишь половина правды, сегодняшние ЛЛМы устроены несколько сложнее.

Вам никогда не казалось, что это какая-то гребаная магия - продолжатель токенов каким-то волшебным образом дает правильные ответы на вопросы, где явно надо подумать, а не угадать? Я, к сожалению, не ML-специалист (хотя вот это видео, может подраскрыть завесу тайны), но вот что я знаю - современные модели, перед тем как выдать ответ, могут “подумать” про себя, и уже только после этого отправить вам текст.

“Подумать” в данном контексте означает, составить некий план ответа, а затем, начать генерацию, но не “вслух” а “про себя”, и в этом внутреннем процессе у модели есть возможность “вернуться назад” и изменить что-то. Так ЛЛМ может, например, понять что ее понесло куда-то не в ту степь, и она может откатиться к предыдущим токенам и отредактировать их. То есть, когда она генерирует токены про себя, она наблюдает свой промежуточный результат, и это влияет не только следующий токен, но и на предыдущие!

И, угадайте, как это работает в режиме стриминга? Никак. Ведь потоковая выдача затем и нужна, чтобы не ждать, пока ЛЛМ “подумает”, а дать пользователю увидеть результат ее мыслительной деятельности в реальном времени.

Вывод:

- Стриминг это исключительно улучшалка UX, качество генерации с ней не может стать лучше, а хуже может
- Обычный режим не может быть хуже стримингового по качеству, но может быть лучше

Нужен realtime-UX? Используй стриминг. Качество на вес золота? Выключай его и юзай обычный режим.

Только убедитесь, что у вас именно та задача, где каждый процент качества важен. Например, когда генерация влияет на финансовые показатели, или нужно генерировать документы в строгом формате - большинство кейсов ОК для стриминга!

Хочешь мира, готовься к войне.

Уж как бы я не хотел согласиться с Денисом, к сожалению, я считаю иначе. За последние месяцы я:

1️⃣ Лично познакомился с бэкендером-предпринимателем, который по его собственным словам, раньше, разрабатывая продукт с нуля, отдал бы фронтенд на аутсорс/фриланс, но сейчас просто генерирует его в v0/cursor (кстати, об этом был пост)

2️⃣ Сгенерировал себе сложную анимацию, чтобы оформить README в open-source проекте (если что, вот она). Почти написал дизайнерке, которую до этого нанимал для разработки логотипа, но решил попробовать сэкономить. И сэкономил! Получил именно то, что хотел, и очень быстро.

3️⃣ Видел новости вроде этой (СЕО крупной американской компании прекратил найм и заставляет внедрять ИИ). Сюда можно было бы добавить прогнозы СЕО Атропика и иже с ними, но так уж и быть, не будем.

Очень приятно верить, что ты не заменим, не так ли? Но история знает достаточно примеров, когда целые профессии исчезали как класс. И мы любим говорить, что на смену им приходили другие профессии, но, знаете, что не так с этим тезисом?

- Во-первых, это происходило не плавно, а через социальные и/или экономические проблемы (безработица, протесты, нищета и проч.)
- Во-вторых, то, что происходит сейчас это действительно другое - изобретение машины, которая способна автоматизировать когнитивные функции, вплоть до разработки собственной модификации — такого еще не было, и сравнивать это с условной промышленной революцией и даже интернетом не совсем честно.

Так что, если хочешь мира, то готовься к войне.

Тогда для тебя это будет win/win — если я не прав, то нас ждет еще десяток-другой лет стабильности, ну а если нет, то у тебя было время подготовиться, и ты это сделал.

То есть ушел из найма.

Для разработчиков (расширений)

Оказывается, у хрома есть AI-API. Если, вдруг, вы хотели построить AI-расширение для хрома и ждали знака, то вот он.

Я еще не читал толком, но по диагонали ощущение что есть какая-то встроенная в браузер nano-ллмка + интеграция с Gemini (уже через запросы по сети).

Для меня это супер вовремя, потому что я как раз такую штуку и собираюсь строить, только интегрировать думал OpenAI, но теперь уже не уверен.

Кстати, вы работали с Gemini? Как вам? А то я что-то все OpenAI да Claude…

Почему JS это плохой язык?

Написал коротенькую статью на Хабр (кстати, у кого есть инвайт, плюсаните плиз).

Спойлер: статья скорее для разработчиков, но никакого хардкора в ней нет. В ней даже кода нет.

Агенты Наступают

Чел с твиттера билдит апку за 20 мин. На входе один промпт: “простой мне бизнес на миллион долларов про AI и writing”. Больше он в процесс не вмешиваться. На выходе рабочее приложение, но и это ещё не всё.

Штука, которую он юзал называется Manus. Она в закрытой бете, попасть можно только через waitlist. Об этих ребятах уже писали, потом про них все забыли, а зря. Если видео правда, то никакой курсор рядом не стоит.

На деле сравнивать с курсором не совсем корректно. Мне пока что кажется что они занимают разные ниши. Курсор это помощник разработчика (даже если этот разработчик вайб-кодер), а Манус это «Devin здорового человека». То есть штука, которая должна программиста (точнее it специалистов в широком смысле, об этом ниже) заменить.

Что сделал Манус и почему это круто: он не просто написал (рабочий) код, а провел маркетинговое исследование, проанализировал нишу и конкурентов, прошерстил твиттер и реддит на предмет болей и придумал целый план, какие проблемы и как надо решить, чтобы выделиться на фоне конкурентов.

Это “press X to win”. Если конечно оно работает…

Да, приложение на выходе функционирует и даже выглядит неплохо, но справился ли ИИ агент действительно хорошо на предыдущих шагах? И насколько бы хорошо у него получилось сделать что-то технически посложнее? В его поделке кажется даже базы данных нет.

Мне мнение: чел дал слишком абстрактную задачу. ИИ всё ещё нуждаются в том, чтобы мы разбивали для них задачи на куски, с четко понятным входом и выходом. Так и нам спокойнее, больше контроля за качеством.

Понятно, его цель хайп и охваты (что он и достиг, а вот мне бы поучиться), но момент важный, стоило прокомментировать.

Финальный аккорд: ИИ агенты наступают, с Манусом придут похожие на него. Специалисты все в большей опасности, у фаундеров все больше инструментов для создания и масштабирования бизнеса.