В Anthropic возникло занятное новое подразделение – Anthropic Labs

Это будет, по сути, продвинутая продуктовая песочница. Основная идея состоит в том, чтобы быстро тестировать сырые продуктовые идеи и экспериментировать с возможностями ИИ.

Раньше этим занимались обычные продуктовые команды, но, по словам Anthropic, теперь они уже не успевают за развитием моделей и просто не могут обрабатывать все идеи в рамках стандартного плана.

Возглавит отдел Майк Кригер, сооснователь Instagram и до недавнего времени главный по продуктам в Anthropic.

Направление, на самом деле, перспективное. Именно из таких экспериментов выросли Claude Code, MCP, свежий Cowork, Claude in Chrome и тд.

Это значит, что теперь можно ожидать еще больше маленьких и больших продуктов от Anthropic. Некоторые будут интересные, некоторые, возможно, сыроватые (не забываем, что подразделения создано именно для экспериментов и быстрых MVP-тестов).

Слишком больших ожиданий не строим, но, может, отсюда родится даже что-то прорывное – почему бы и нет.

www.anthropic.com/news/introducing-anthropic-labs

Илон Маск официально запустил Colossus 2

Он стал первым в истории гигаваттным кластером (это больше, чем пиковый спрос Сан-Франциско). В Colossus 2 примерно 550 тысяч видеокарт.

Маск говорит, что уже в апреле кластер разрастется до 1.5GW. Так или иначе, теперь конкуренты догонят xAI по размеру отдельных датацентров относительно нескоро (график на картинке взят отсюда).

KVzap: Nvidia научились в 3–4 раза эффективнее использовать память на инференсе

KV-кэш сегодня – главная ахиллесова пята трансформеров при масштабировании контекста. Он растет линейно по длине последовательности и хранится для каждого слоя и каждой головы.

Например, для LLaMA-подобной модели на 65B параметров KV-cache при 128k токенов занимает ~335 ГБ памяти. И по времени это тоже больно бьет.

При этом большинство оптимизаций сокращают KV-cache по слоям или по головам. Хотя главный потенциал – именно по оси токенов: далеко не все из них реально нужны модели.

Первый рабочий способ сокращения KV по токенам придумали авторы KVzip: до 4× сжатия при нулевых потерях качества. Но на практике метод оказался слишком медленным.

Nvidia взяли эту идею, немного ее переделали и получили почти то же самое, но практически бесплатно.

Они просто обучают маленькую модель, которая по hidden state токена предсказывает, насколько важен его KV. Для каждого слоя она своя, но это либо линейная модель, либо двухслойный MLP — максимум 1–2 матричных умножения.

И все, никаких дорогих операций и пересчетов (для сравнения: в KVzip промпт по сути приходилось гонять дважды). Дальше просто выкидываются KV-пары, у которых важность ниже заданного порога.

Compute overhead — около 0.02% FLOPs для линейных моделей. На длинном контексте это шум на фоне квадратичного внимания.

Деградация на бенчмарках – около нуля, сжатие – 3–4×. Прямо сказка какая-то (хотя, конечно, многое все еще зависит от движка).

Снимаем шляпу перед Nvidia за отличную работу. Все в опенсорсе, кстати.

https://arxiv.org/abs/2601.07891

Навыки аналитики выходит за рамки одной профессии

Работа с данными становится частью разных ролей: от маркетинга до управления продуктами.
Поэтому аналитические навыки ценятся не только у дата-специалистов.

На программе «Аналитика данных» от МФТИ и Нетологии вы последовательно разберёте весь путь работы с данными: от сбора и обработки до анализа и визуализации. В программе — Python, базы данных и базовые методы ИИ.

Обучение проходит онлайн и подойдёт тем, кто хочет войти в аналитику или систематизировать знания. После выпуска вы получаете дипломы МФТИ и Нетологии и готовое портфолио проектов.

Начать учиться → https://netolo.gy/ew7d

Реклама. ООО “Нетология” ОГРН 1207700135884 Erid:2VSb5z6sZN1

Cursor существенно прокачали своего BugBot

Напоминаем, что это агент для автоматического code review. Появился он относительно недавно, но в самом начале пользы от него было не очень много.

Зато сейчас resolution rate вырос с 52% до 70%, а средняя доля пойманных за один запуск багов – с 0.4 to 0.7. Это значит, что доля разрешенных багов на PR выросло с 0.2 до 0.5, то есть в 2.5 раза. Уже выглядит целесообразно к использованию.

На этот скачок, правда, Cursor понадобилось около 40 итераций экспериментов и доработок: посмотрите, какая неоднородная лесенка на графике (числа в кружочках – номера версий, а по осям – доли пойманных и решенных багов).

Лучше всего сработало прогонять один и тот же PR через несколько разных представлений diff’а: обычный unified diff, diff с расширенным контекстом (код до-после), diff словами и тд. Запускается несколько независимых проверок, затем агент их склеивает.

https://cursor.com/blog/building-bugbot

Природа настолько очистилась, что на полки магазинов вернулись дельфины GeForce GTX 1050 Ti

Цена на восставшую из-за дефицита памяти десятилетнюю видеокарту варьируется от 14 до 18к. Спасибо ИИ-слопу!

В подкасте «Сегодня на ретро» от Selectel обсудили многие AI-тренды и реальные кейсы. Один из ключевых моментов – почти любой AI-проект со временем начинает требовать больше вычислительных ресурсов.

При запуске и масштабировании важно иметь IT-инфраструктуру, которую можно быстро запустить и легко адаптировать.

В Selectel облачные и выделенные серверы с GPU можно настроить за несколько минут через удобную панель управления. А большой выбор GPU — от GTX и RTX до A100 и H200 — позволит закрыть самые разные AI-задачи.

Какие мощности нужны вашему проекту? Проверьте на практике: https://slc.tl/383hy

Реклама. АО "Селектел". erid:2W5zFJkVehE

«Эра написания кода людьми прошла»

Так высказался в X создатель Node.js Райан Даль. Вот полный перевод поста:

Это уже было сказано тысячу раз, но позвольте мне добавить свой голос: эпоха людей, пишущий код, закончилась. Это тревожно для тех из нас, кто идентифицирует себя как SWE, но это факт. Это не значит, что SWE теперь лишены работы, но это уже точно не написание синтаксиса напрямую.

Посвящается тем, кто сейчас едет на работу писать код руками

Исследование от Google: если усиливать в LLM внутренние маркеры диалога (типа "Oh" или "Wait"), то точность ответов может вырасти в 2 раза на сложных задачах

У корпорации вышла очень интересная полу-философская статья о том, что по сути представляет из себя ризонинг. Они пишут, что RL, на самом деле, учит модели думать не дольше, а коллективнее.

Вы точно замечали, что когда модель думает, она чаще всего как бы симулирует диалог между разными внутренними голосами. Она задает себе вопросы, может что-то покритиковать или выделить. И вот Google пишут, что в такой структуре внутреннего диалога и заключен феномен ризонинга.

Самое занятное – как они это доказывают:

– Авторы берут sparse autoencoder (что это такое и зачем оно нужно мы писали тут) и находят нейронный признак, который отвечает за удивление/осознание/смену точки зрения. Этот признак активируется в начале предложений в диалоговых контекстах, и на практике просто отвечает за употребление таких штук как «О!», «Подожди-ка», «Ага, значит...».

– Затем этот признак специально усиливают во время генерации и смотрят на метрики (модель – DeepSeek-R1-Llama-8B).

– Итог: на сложных задачах комбинаторной арифметики, на которых исходная модель дает 27.1% accuracy, модель с усилением диалогового маркера дает уже 54.8%, а с подавлением этого маркера – 23.8%.

Стат-значимость проверена: авторы специально сравнивали усиление этой фичи с усилением других признаков, и эффект очевиден. Плюс, параллельно с усилением этого маркера в модели также растет способность к когнитивному стратегическому мышлению.

Короче, LLM все еще изучены на 0.01%. Надо как-нибудь попробовать в промпте написать Используй побольше "ах", "ох", "точно" и "ага", и понаблюдать за результатом.

arxiv.org/pdf/2601.10825