Не забываем включать новые модельки в настройках курсора

CMD+Shift+P -> Cursor Settings -> Models

Для тех, кто не в курсе - deepseek r1 это модель уровня o1, но дешевле. Не знаю, входят ли они в стоимость подписки на курсор, но думаю, что потестить стоит

Github Copilot Теперь Бесплатный

Как пересел на курсор, перестал читать release notes к вскоду, а зря. Оказывается, в декабре они выпустили бесплатный тариф для копилота. Уверен, что хуже курсора (как минимум нагрузка на сервера будет выше), но попробовать стоит, особенно если 20$/месяц вас останавливали.

Если вы в РФ, скорее всего, ничего не выйдет. Но я думаю есть альтернативы. Если попадется, обязательно напишу

Как работают LLM? Объясняет основатель OpenAI

Вышла видяшка на 3 часа от Андрея Карпатого, сооснователя OpenAI и ныне директора по ИИ в Tesla. Обещает объяснить как устроены нейронки, чтобы у вас была правильная интуиция при работе с ними. Причем, объяснить обещает без матана. Будем смотреть?

Попробовал бесплатный GitHub Copilot 😭

Perplexity добавили deep-research как в ChatGPT PRO, только там это стоит 200$, а тут бесплатно. Интересно, как оно по качеству?

Почему LLM галлюционируют?

На скриншоте Андрей Карпатый заставляет модель галлюцинировать, говоря “не используй инструменты”, из-за чего ChatGPT не может сходить в интернет и посмотреть, кто же такой Орсон Ковач. При этом мы знаем, что в обучающих данных этой информации нет.

Он объясняет это так - языковая модель это огромная формула, которая вычисляет вероятности следующих токенов, на основе статисики из своего training set, и для нее по-умолчанию нет разницы между вопросом, который предполагает знание какого-то факта и вопросом, ответ на который надо придумать. Иными словами, она “не знает”, что она чего-то не знает.

В последнем ChatGPT, видимо, добавили дополнительный шаг чтобы перед отправкой запроса в модель поисходило обогащение контекста (RAG) через интернет, поэтому хитрый Карпатый приказал не жульничать. В итоге модель, как и ожидалось, выдала полную отсебятину.

Бесплатный DeepSearch и Reasoning круче чем в OpenAI

Если кто пропустил, то релизнулась последняя моделька от xAI (компания Маска), там бесплатно доступны “размышление” и “глубокий рисерч”. Я тестирую прямо сейчас и первое впечатление позитивное, по слухам в интернете тоже работает хорошо. У бесплатной версии наверняка есть лимиты, ибо также предлагается SuperGrok за 30$ в месяц (дороже, чем OpenAI Plus, но намного дешевле чем PRO). Затестим?

https://grok.com/

—-

Upd: 5 рисёрчей в день на фришке

Пусть ИИ читает логи в CI вместо вас

Раньше, когда CI/CD падал, приходилось лезть в логи и искать причину. Любой программист знает, это занятие не из приятных. Хорошо писать логи умеют единицы, обычно полезная информация тонет в куче мусора. Но прогресс не стоит на месте!

Встроенный (и бесплатный) copilot прямо на сайте гитхаба можно попросить прочесть логи и объяснить причину тряски. Можно даже початиться с ним, если совсем одиноко.

Okaaay ChatGTP 🌚

Что такое Build in Public и как это связано с ИИ?

Те, кто читают меня давно, знают, что техно-оптимизм тут совмещается со страхом перед будущим, в первую очередь потерей работы. Я считаю, что об этом нужно думать и говорить, потому что большинство людей все еще не воспринимает эту проблему всерьез.

Так вот, этот самый страх (и любовь к программированию, конечно же), побудили меня начать пытаться запустить свой собственный продукт. Я завел второй канал @build_saas_in_public и буду писать туда про свой тернистый путь.

Если вам не интересна тема предпринимательства, инди-хакерства или стартапов, просто пройдите мимо. Остальным - welcome. Упор на то, как технически подкованному человеку разобраться в маркетинге и запуститься.

Ну и да, конечно же, продукт будет связан с LLM 😉. Подробности будут в самом канале!

ССЫЛКА НА КАНАЛ

Скриншот всей страницы в Arc 🖼️

Не перестану рекомендовать браузер Arc. Когда я вижу, как люди мучаются с вкладками в хроме/фаерфоксе, сидят в нескольких окнах под разными аккаунтами, устанавливают всякие расширения чтобы починить UX, я всегда спрашиваю - почему ты просто не пересядешь на Арк?

Сегодня я для прикола проверил, умеет ли он делать скриншот всей страницы - это когда тебе нужно заскринить весь сайт сразу, сверху донизу. И знаете что? Умеет! Я даже не удивлен.

Арководы, жмем Cmd+T и пишем full page, затем выбираем Capture Full Page и будет нам счастье! Скриншот сразу попадает в буфер обмена, а в правом верхнем углу появляются кнопки для сохранения на диск и шэра.

Бери (у ИИ) как Есть

В соседнем канале мысль, что не надо стремиться контролировать каждый винтик в своей жизни, лучше, наоборот, аутсорсить по максимуму. Так вот, это касается и программирования с ИИ!

Вершина vibe-coding это когда вы не пишете ни строчки кода руками. Понять, там вы или нет легко - задайте себе вопрос, приходится ли вам думать над неймингом?

Все чаще в последнее время я ловлю себя на мысли, что я не исправляю/улучшаю/уточняю код, который для меня сгенерировал ИИ. Зачастую он достаточно неплох, (да еще и снабжен комментариями, как правило).

Сегодня я обсуждал в ChatGPT архитектуру своего Chrome-расширения, конкретно, логику логина через Google. Мы пришли к конкретному набору сущностей, целые классы и методы будут вставлены в репозиторий как есть. Раньше мне часто хотелось добавить что-то от себя. Я мог немного модифицировать сгенерированный код, просто чтобы он стал чуть-чуть лучше, но теперь я нахожу удовольствие в том, чтобы, напротив, вообще ничего не трогать.

Мысль все та же - контроль это не благо, а необходимость. Необходимо ли мне контролировать этот код? Не прикасаясь к нему лишний раз я освобождаю себя от необходимости думать, как назвать ту или иную переменную или функцию. ИИ предложил так, значит, так оно и будет. Кстати, он предложил не просто так, а потому что у него огромная “насмотренность”, и его вариант, скорее всего, как минимум не плох.

Разумеется, здравый смысл должен быть всегда. Я всегда пробегаюсь, хотя бы бегло, по сгенерированному коду. Годы опыта дали мне интуицию, которая позволяет понимать, где мне надо вникать, а где достаточно пробежаться по диагонали.

График интеллекта и скорости GPT

Если еще не видели, картинка из официального блога

Интеллект/Скорость: Получается, что 4.1 самая умная, по скорости как 4o, 4.1 mini - лучший баланс между скоростью и интеллектом, а 4.1 nano тупая и быстрая

Цена: 4.1 дешевле чем 4o, но 4.1-mini дороже чем 4o-mini. Подробнее тут

P.S. - если я все правильно понимаю, то`4.1` это не reasoning модель, как она соотносится с o1/o3 пока не разбирался.

Как streaming mode может ухудшить качество генераций

Пост для LLM-engineers, то есть тех, кто внедряет ЛЛМы в продукты.

Для тех, кто, вдруг, не в курсе - стриминг-режим, это когда модель вместо того чтобы подумать, а затем выплюнуть готовый ответ, отдает генерацию по кускам (чанками). Например, когда ChatGPT печатает для вас ответ, он делает это именно в стриминговом режиме, чтобы вы могли начать читать текст сразу, не дожидаясь окончания генерации.

Это классная штука с точки зрения UX и до сегодняшнего дня я думал, что на качество она не влияет. Оказывается, я ошибался! Streaming может ухудшить качество генерации и вот почему:

Как известно, LLM это “T9 на максималках”. Люди, которые не верят в скорое пришествие AGI часто говорят что-то вроде: “эта штука просто предсказывает следующее слово”. И в этом есть доля правды! Суть ЛЛМов действительно в том, что они вероятностно подбирают токен за токеном. Но это лишь половина правды, сегодняшние ЛЛМы устроены несколько сложнее.

Вам никогда не казалось, что это какая-то гребаная магия - продолжатель токенов каким-то волшебным образом дает правильные ответы на вопросы, где явно надо подумать, а не угадать? Я, к сожалению, не ML-специалист (хотя вот это видео, может подраскрыть завесу тайны), но вот что я знаю - современные модели, перед тем как выдать ответ, могут “подумать” про себя, и уже только после этого отправить вам текст.

“Подумать” в данном контексте означает, составить некий план ответа, а затем, начать генерацию, но не “вслух” а “про себя”, и в этом внутреннем процессе у модели есть возможность “вернуться назад” и изменить что-то. Так ЛЛМ может, например, понять что ее понесло куда-то не в ту степь, и она может откатиться к предыдущим токенам и отредактировать их. То есть, когда она генерирует токены про себя, она наблюдает свой промежуточный результат, и это влияет не только следующий токен, но и на предыдущие!

И, угадайте, как это работает в режиме стриминга? Никак. Ведь потоковая выдача затем и нужна, чтобы не ждать, пока ЛЛМ “подумает”, а дать пользователю увидеть результат ее мыслительной деятельности в реальном времени.

Вывод:

- Стриминг это исключительно улучшалка UX, качество генерации с ней не может стать лучше, а хуже может
- Обычный режим не может быть хуже стримингового по качеству, но может быть лучше

Нужен realtime-UX? Используй стриминг. Качество на вес золота? Выключай его и юзай обычный режим.

Только убедитесь, что у вас именно та задача, где каждый процент качества важен. Например, когда генерация влияет на финансовые показатели, или нужно генерировать документы в строгом формате - большинство кейсов ОК для стриминга!