epsilon correct
7.91K subscribers
173 photos
7 videos
3 files
230 links
Машинное обучение, графы, языковые модели. Чуток про карьеру исследователя в FAANG, путь PhD и щепотка полезной математики.
Связаться с автором: @deltaincorrect. Рекламы в канале нет.
Download Telegram
Breakneck: China's Quest to Engineer the Future – Dan Wang, 2025.
#book_review

Какое фундаментальное отличие китайского и американского обществ? Дэн Ван, который прожил в Китае несколько последних лет, нашёл новый тезис, вокруг которого построена вся книга. По его словам,
Америкой управляют юристы, а Китаем — инженеры.


Как пример, в текущей американской администрации большинство – юристы, тогда как в Политбюро ЦК КПК – почти все инженеры. Это приводит к существенным различиям в государственной политике, результаты которой мы можем видеть, например, в Сан-Диего, где общественная инфраструктура проиграет многим китайским деревням. Первая часть книги посвящена контрасту таких различий, и читать её максимально интересно.

Отдельная часть посвящена демографической политике в Китае (политика одного ребенка) как пример того, где инженерное государство с его возможностями планирования не может сравниться с государством, где юристы будут биться за индивидуальные права.

К концу книга немного скатывается из аналитики в описание личного опыта автора, его друзей-эмигрантов из Китая, родителей, что, если честно, быстро становится довольно размазано. Но первую половину (до 5 главы) прочитать точно стоит.

Сейчас на нипсе много мл-стартапов нанимают на возрождение производства – роборуки, создание новых материалов и лекарств. Интересно, смогут ли юристы оперативно решить регуляторные барьеры или всё-таки государство инженеров на его поле побить не получится.
41👀10🤣6👍5👎3🤔1
хорошая мультимодальная модель
1🤝39🔥1613
NeurIPS – мышинлёрнинг конференция, кстати ☺️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥55👀12🥴1
Узнал от гуглсколара о том, что процитировали ранее неизвестную мою статью. Из минусов – статьи я этой не писал, чистая галлюцинация. Не знаю даже, стоит ли писать авторам. 🐕
Please open Telegram to view this post
VIEW IN TELEGRAM
🥴111🤣74🍓10🔥5😱3
STOC – серьёзная конференция для настоящих сварщиков компьютерсаенс теоретиков – провела эксперимет, где статьи получали фидбек от системы на основе Gemini 3 Deep Think. По результатам 97% оценили фидбек как полезный; система помогла найти пару критических ошибок в статьях.

Над экспериментом работала наша команда, мне кажется это один из первых примеров того, как ЛЛМки будут помогать учёным делать науку лучше.

Блогпост
143🔥9🤝9🥴4🙏2
Gemini 3 Flash

Флагманский апдейт дешёвой рабочей лошадки, которя перформит существенно лучше альтернатив за свои деньги. Особенно всё прокачалось в мультимодальных запросах. На MMMU умудрились обогнать Gemini 3 Pro. Это всё за небольшое увеличение в цене относительно 2.5 Flash.

На юзеров в приложении моделька раскатывается сегодня, попробовать, как всегда, можно в AI Studio.

Блогпост
🔥66🎉137💅2🙏1
Два новогодних подгончика, чтобы слушать/читать, пока готовишь оливье.

Неделю назадо вышло довольно подробное интервью с Себом, который (тех)лидит пре-трейн Gemini. Мало где можно послушать о том, как фронтирные лабы думают о претрейне.

Джефф с Санджаем (вот тут очень мило про них от Нью Йоркера) выпустили коллекцию мыслей про оптимизацию ПО. У Джеффа невероятная интуиция на ускорение кода, в гугле ходят шутки в стиле шуток про Чака Норриса.
👍40🔥183
The origins of efficiency
Brian Potter, 2025
stripe press, amazon
подкаст про книгу с автором

Эффективность производства – один из фундаментальных механизмов, которые толкают цивилизацию вперёд, превращая дефицит в изобилие за счёт снижения затрат на производство товаров. В "истоках эффективности" Поттер максимально подробно разбирает конкретные рычаги оптимизации: технологические S-образные кривые (смена парадигм производства), экономию на масштабе, контролю вариативности и приведение процесса к идеалу непрерывного процесса, где минимизированы буферы, простои и запасы.

Разбирая кейсы от производства лампочек и гвоздей до фотовольтаики, Поттер показывает, как улучшение процессов создаёт положительные циклы обратной связи, когда рост объёмов производства оправдывает инвестиции в улучшение процессов и R&D. Тем не менее, так происходит не везде: например, в строительстве и медицине в связи с высокой вариативностью, низкой повторяемостью, регуляторных усложнений процессов и болезни издержек Баумоля не получается обеспечить роста эффективности сравнимого с другими областями. Поттер считает, что в будущем такие барьеры будут преодолеваться через гибкую автоматизацию при помощи более адаптивных роботов.

Книга – моя любимая из прочитанных за год, очень рекомендую любителям читать про изменения техпроцесса производства лампочек 10 страниц подряд. Заставляет смотреть на окружающие процессы с точки зрения улучшения их эффективности, параллели можно найти и с нашими с вами ЛЛМками – они усилиями многих коллег проходят ускоренный S-образный процесс улучшения их "производства". Настоящим сварщикам и выпекателям настоятельнейше рекомендую.
61👍10🔥1
В декабре я писал про систему помощи авторам на конференции STOC; сегодня наша команда выпустила экспериментальную версию, где можно получить фидбек про свою статью на ICML от агента похожего на Gemini 3 Deep Think.

Гарантируется анонимность – фидбек будет даваться только авторам и не передаваться кому-либо ещё, статья будет удалена с серверов и не будет использоваться для тренировки или улучшения моделей.
🔥38🎉9🙏62
Пара полезных чисел

Берём два несвязанных эмбеддинга из новой модной модели, а их косинусное расстояние – не ноль, почему? Есть два полезных числа, которые стоит запомнить: 2/π ≈ 0.6366 и 1/π ≈ 0.3184. Первое в ожидании получится, когда наши эмбеддинги распределены как модуль от координат гауссианы, второе – когда мы берём max(0, ·) – в простонародье ReLU от координат. Для других функций вычислить тоже довольно просто: косинусное расстояние для Z~N(0;1) концентрируется вокруг E[f(Z)^2] / (E[f(Z)])^2.
2🌚42👍9🤝62
Gemini 3.1 Pro
model card

Обновили нашу флагманскую модель, основной фокус в этом релизе на агентских способностях и кодинге, но и в общих способностях моделька подкачалась. Цена осталась такой же, как на 3 Pro.

Поиграться, как обычно, можно на ai.dev
🔥5719👍11
Artificial analysis (они зайки, делают лучшие бенчмарки сейчас) пишут про то, что изменилось:

1. Подрос общий индекс способностей модельки: SotA результаты на их бенчмарках при меньшем количестве использованных токенов, чем Opus 4.6 или GPT 5.2-xhigh, при этом скорость генерации сильно выше.
2. Почти вдвое уменьшили количество галлюцинаций (88%->50%), но при этом количество общих знаний у модели несопоставимо больше, чем у конкурентов.
3. Наконец-то доросли до фронтира по агентному кодингу.
12👏54🔥109🥴2🌚1🍓1
Gemini embedding 002
блог | API docs

Первые по-настоящему мультимодальный эмбеддинги от нас. Теперь можно за в один эмбеддинг загнать до 8к токенов текста, 6 картинок, 120 секунд видео, 80 секунд аудио или 6 страниц PDF. Цены почти не изменилась – с $0.15/MTok до $.20/MTok, для batch использования – вдвое дешевле.

В этой версии сильно улучшили качество эмбеддингов по коду, теперь распознаёт больше языков. Улучшили matryoshka embeddings – теперь можно обрезать на размерность ~768 почти без потери качества. Я был первым бета-юзером в гугле, так что уверен, что настоящим сварщикам модель зайдёт. 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
25🔥5411👏5