Привет, нейрокодеры! 🫰

Хотите узнать, что вас ждёт в 3 и 4 модулях нашего LLM-курса?
🚽 Читайте статью на Хабре от нашего студента про два основных подхода "Как правильно скормить модели свои данные".

30% кода в Google уже пишет ИИ.

Сундар Пичаи отчитался за первый квартал 2025 года и поделился прогрессом: ещё в октябре было 25%, теперь уже 30%. Такими темпами до конца года цифра может дойти до 50–60%.

Цель — максимально встроить ИИ во все процессы и освободить инженеров от рутины ради стратегических задач.

Вы всё ещё думаете, что писать код с ИИ плохая идея? 🥱

Сегодня отличный день, чтобы погрузиться в этот тренд. Залетайте!

С Днём Трудящихся, нейро и вайб кодеры! 💪

Взято у коллег

Cursor поделились статистикой самых популярных среди разработчиков моделей

Топ-5 самых популярных:

1. Claude 3.7 Sonnet
2. Gemini 2.5 Pro
3. Claude 3.5 Sonnet
4. GPT-4.1
5. GPT-4o

Топ-5 быстрее всего набирающих популярность:

1. o3
2. o4-mini
3. DeepSeek 3.1
4. GPT-4.1
5. Grok 3

🎚️ Кстати, на днях основатель Cursor также поделился тем, что сейчас их агент генерирует порядка миллиарда строк кода в день (и это только те, которым пользователь поставил апрув).

Это при том, что во всем мире ежедневно пишется всего несколько миллиардов строчек 🧑‍💻🔥

Учитесь в универе и хотите вырваться из рутины?

Подайте заявку на бесплатный студкемп Яндекс Образования и НГУ! Здесь вы не просто переключитесь с повседневных задач, а нырнёте в одно из самых перспективных IT-направлений — NLP.

За две недели — с 14 по 26 июля — вы разберётесь, как работают языковые модели вроде YandexGPT и Qwen, поймёте, что такое мультимодальность и RAG, поработаете с реальными данными и создадите собственный проект.

На интенсиве ждут студентов со всей России и каждому, кто пройдёт отбор, оплатят проезд и проживание в Новосибирске.

🎚️ Успейте подать заявку до 18 мая.

Как сэкономить до 4 раз на длинных промптах в OpenAI API

Если ваш стартап, продукт или сервис часто отправляет в OpenAI один и тот же системный промпт, вы можете существенно сократить расходы благодаря функции кеширования (Prompt Caching). Интересно, что многие об этом не знают и не используют эту возможность в полной мере. Хотя мы про это рассказывали тут.

Что это такое?
OpenAI автоматически кеширует начало промпта (префикс), если оно уже обрабатывалось недавно. Это позволяет избежать повторного вычисления при каждом запросе.

Результат:
– Задержка может снизиться до 80% 😱
– Стоимость токенов для префикса — до 50% 😱

Когда работает кеш?
– Срабатывает, если промпт длиннее 1024 токенов.
– Проверяется, использовался ли этот префикс недавно.
– Время жизни кеша — от 5 до 10 минут, иногда до часа (если не было запросов, кеш очищается).

Эта функция нереально полезна, когда отправляется много запросов с одинаковым началом. Вангую, ваш случай подходит, даже если у вас RAG 🦞

Что считается совпадением?
Промпт должен совпадать с точностью до символа: пробелы, порядок строк и даже кавычки имеют значение. Кеш работает блоками: 1024, 1152, 1280 токенов и далее с шагом 128 токенов (в зависимости от длины вашего входного промпта).

Что кешируется?
– System-промпт
– Инструкции, примеры, структура вывода
– Список инструментов
– Изображения (когда они передаются в формате base64 и если они одинаковые каждый раз)

Важно: все эти элементы должны находиться в начале промпта.

Как понять, что кеш сработал?
Обратите внимание на поле cached_tokens в ответе API. Если значение больше нуля, это означает, что часть промпта была взята из кеша.

Нужно ли что-то включать?
Нет. Кеш работает автоматически, без дополнительных настроек и доплат. Он встроен во все модели, начиная с gpt-4.

Рекомендации:
– Фиксируйте начало промпта (префикс должен оставаться статичным).
– Избегайте мелких правок и случайных изменений.
– Динамический контент размещайте в конце.

Если вы работаете с длинными и повторяющимися промптами, кеширование is all you need 😉

🎚️ Подробнее о кешировании в OpenAI API можно прочитать здесь.