Data curation for general reasoning capabilities is still relatively underexplored

Researchers systematically compare different metrics for selecting high-quality and diverse reasoning traces in terms of data efficiency in the distillation setting

Researchers find diversity in reasoning strategies matters more than topics diversity, and challenging questions are more sample efficient in distilling reasoning capabilities

Researchers find that the Less-Is-More approach is not sufficient for solving general reasoning tasks, but scaling up data quantity always brings consistent gains

Researchers find that NaturalThoughts outperforms state-of-the-art reasoning datasets such as OpenThoughts3, LIMO, S1k, etc. on general STEM domains

Also find that distillation based on reasoning difficulty can improve the pareto frontier of the student model’s inference efficiency

Training with a mix of full reasoning traces and the condensed answers enables efficient hybrid reasoning in the student model, by adaptively switching between long chain-of-thought thinking and directly answering

Председатель назвал данные основополагающим ресурсом «с революционным воздействием» на международную конкуренцию
Масштаб этого видения не имеет себе равных, затрагивая все: от гражданских свобод до прибылей интернет-компаний и стремления Китая к лидерству в области машинного обучения

С 2021 года Китай начал внедрять правила, вдохновлённые европейским GDPR
Однако на практике он быстро начал расходиться с западными нормами
Все уровни власти теперь обязаны инвентаризировать и классифицировать свои массивы данных
Государственные компании проходят переоценку, где данные рассматриваются как активы, подлежащие учёту в балансах или торговле на биржевых платформах
Опубликован новый норматив, обязывающий все государственные органы обмениваться информацией между собой.

Следующий шаг — цифровое удостоверение личности

В рамках этого процесса центральные органы власти смогут контролировать реестр веб-сайтов и приложений каждого человека
Для крупных технологических компаний, которые раньше управляли системой, станет сложнее связать имя человека с его онлайн-активностью— им останется только обезличенный цифровой идентификатор
Но именно у государства появится возможность выстроить прозрачный и тотальный механизм онлайн-наблюдения за гражданином

В долгосрочной перспективе Пекин строит то, что можно назвать «национальным океаном данных» — ML систему, охватывающую не только потребительскую сферу, но и промышленное производство, логистику, энергетику и госуправление
Преимущества такой системы очевидны: масштабируемость, удешевление ML-разработок

Новая модель куда более централизована и технологически изощрённа
Она может стать не просто инструментом управления, а основой цифровой автократии

Опыт Китая становится вызовом для всего остального мира
В США обсуждается возможность привлечения частных подрядчиков, таких как Palantir, к консолидации государственных баз данных
Европейский союз, вероятно, пересмотрит правила GDPR
Индия с её системой Aadhaar делает ставку на цифровую идентичность, но пытается сохранить баланс между конфиденциальностью и экономическим развитием

В западных странах задача сложнее: здесь необходимо не только обеспечить эффективность, но и встроить в систему сдержки и противовесы, защищающие частную собственность, права человека и свободу
Китай может позволить себе меньше внимания уделять таким вещам и построит эффективную и антиутопическую систему наблюдения

Десятилетиями он был «быстрым последователем» западных инноваций
Если Китай сейчас вырвется вперед, показывая финансовую ценность своего национального океана данных, его метод централизации станет не только экономической проблемой, но и политической

Эта модель бросит вызов самой идее того, как должны быть устроены государство, рынок и свобода в XXI веке

Существует не одна, а много математик, и каждая из них по ряду причин не удовлетворяет математиков, принадлежащих к другим школам
Стало ясно, что представление о своде общепринятых, незыблемых истин — величественной математике начала XIX в., гордости человека — не более чем заблуждение

На смену уверенности и благодушию, царившим в прошлом, пришли неуверенность и сомнения в будущем математики
Разногласия по поводу оснований самой «незыблемой» из наук вызвали удивление и разочарование (чтобы не сказать больше)

Нынешнее состояние математики — не более чем жалкая пародия на математику прошлого с ее глубоко укоренившейся и широко известной репутацией безупречного идеала истинности и логического совершенства

(Морис Клайн, "Математика. Утрата определенности")

Нарциссические числа неслучайно так называются
Ну как можно не любоваться собой в зеркале, если ты состоишь из N цифр и равняешься сумме N-х степеней этих цифр?

Самое маленькое из таких чисел, если не считать тривиальных случаев одиночных цифр, это 153:

153 = 1^3 + 5^3 + 3^3

Трехзначных нарциссов имеется еще три:

370 , 371 , 407

А есть и два 39-значных, причем идущих подряд:

115132219018763992565095597973971522400 ,  115132219018763992565095597973971522401

подробнее — https://mathworld.wolfram.com/NarcissisticNumber.html

Создание квантовых алгоритмов — это искусство превращения абстрактных идей в последовательности унитарных операций

Рассказываю, как строятся квантовые схемы на примере знаменитых алгоритмов Дойча и Дойча-Йожи (это первые квантовые алгоритмы, показавшие то самое квантовое превосходство)

Принципы проектирования квантовых схем

Квантовая схема — это визуальное представление последовательности квантовых операций
В отличие от классических схем, здесь время течёт слева направо, каждая горизонтальная линия представляет кубит, а гейты упорядочиваются хронологически
Главное правило: все операции должны быть обратимыми (унитарными)

Ключевые элементы проектирования:
- Инициализация состояний в базисе |0⟩
- Создание суперпозиции гейтами Адамара
- Применение оракула для кодирования функции
- Интерференция для извлечения информации
- Измерение финального состояния

Алгоритм Дойча: первое квантовое превосходство

Алгоритм Дойча (1985) решает задачу определения типа функции f : {0, 1} → {0, 1} — константная она или сбалансированная
Классически требуется два вызова функции, квантово — всего один

Схема алгоритма Дойча:

|0⟩ ——[H]——•——[H]——[M]—
|
|1⟩ ——[H]——⊕——————————

Пошаговое выполнение:
- Инициализация: |ψ₀⟩ = |01⟩
- Адамар на оба кубита: |ψ₁⟩ = ½(|00⟩ – |01⟩ + |10⟩ – |11⟩)
- Оракул Uf : |x⟩|y⟩ → |x⟩|y ⊕ f(x)⟩
- Адамар на первый кубит
- Измерение: 0 = константная, 1 = сбалансированная

Ключевая магия — фазовый откат (phase kickback). Вспомогательный кубит в состоянии 1/√2(|0⟩ – |1⟩) превращает операцию XOR в фазовый сдвиг: |x⟩|y ⊕ f(x)⟩ = (-1)^f(x)|x⟩|y⟩

Расширение до алгоритма Дойча-Йожи

В 1992 году Дэвид Дойч и Ричард Йожа обобщили алгоритм для функций f : {0, 1}^n → {0, 1}
Классически требуется 2^(n – 1) + 1 вызовов в худшем случае, квантово — один

Схема Дойча-Йожи:

|0⟩⊗n ——[H⊗n]——————•——————[H⊗n]——[M⊗n]—
|
|1⟩ ————[H]—————————⊕————————————————————

Принцип работы:
- Создание суперпозиции всех входов: 1/√(2^n)Σ_(x=0)^(2^n–1) |x⟩
- Параллельное вычисление f(x) для всех возможных значений x одновременно
- Интерференция состояний для выделения глобального свойства

После оракула состояние принимает вид: 1/√2:(n+1)Σ_(x=0)^(2^n–1)(−1)^(f(x))∣x⟩∣χ⟩, где |χ⟩ = |0⟩ – |1⟩

Финальное преобразование Адамара даёт амплитуду для состояния |0^n⟩: 1/2^n∑_(x=0)^(2^n–1)(−1)^(f(x)). Эта сумма равна ±1 для константных функций и 0 для сбалансированных

Практическая реализация на Qiskit

from qiskit import QuantumCircuit, QuantumRegister, ClassicalRegister

def deutsch_jozsa_circuit(n, oracle):
qc = QuantumCircuit(n+1, n)

# Инициализация
qc.x(n) # Ancilla в |1⟩
qc.h(range(n+1)) # Адамар на все кубиты

# Оракул
qc.append(oracle, range(n+1))

# Интерференция
qc.h(range(n))

# Измерение
qc.measure(range(n), range(n))

return qc

Визуализация через Quirk

Quirk — это браузерный drag-and-drop симулятор квантовых схем с реальным временем визуализации
Доступен по адресу https://algassert.com/quirk без установки.

Возможности Quirk:
- Перетаскивание гейтов в реальном времени
- Мгновенная симуляция до 16 кубитов
- Визуализация состояний через амплитуды и вероятности
- Интерактивные дисплеи включая сферы Блоха
- Сохранение схем через закладки

Для алгоритма Дойча в Quirk:
- Добавьте 2 кубита
- Примените X-гейт ко второму кубиту
- Добавьте H-гейты к обоим кубитам
- Вставьте оракул (например, CNOT для сбалансированной функции)
- Примените H-гейт к первому кубиту
- Наблюдайте результат в реальном времени

Преимущества визуализации: Quirk показывает эволюцию амплитуд на каждом шаге, помогая понять, как суперпозиция и интерференция работают вместе для извлечения глобальной информации о функции

Алгоритмы Дойча и Дойча-Йожи демонстрируют фундаментальный принцип квантовых вычислений: использование суперпозиции для параллельной обработки и интерференции для извлечения информации
Эти простые схемы заложили основу для более сложных алгоритмов вроде Гровера и Шора

Исследователи протестировали GPT-4o, Claude 3.5 Sonnet, Gemini, Llama и др. на стандартных задачах компьютерного зрения: сегментация, оценка глубины и др., используя известные датасеты (COCO, ImageNet)

Хотя эти модели показывают большой прогресс, их реальное понимание визуальной информации, например, геометрии объектов не такое качественное

Основные итоги:

1. Мультимодальные модели — хорошие "универсалы", но уступают специализированным
Они хуже решают конкретные задачи, например, сегментацию, чем узкоспециализированные модели, но всё равно показывают достойные результаты, учитывая, что обучались в основном на текстово-изображенческих данных

Лучше справляются с семантикой, чем с геометрией

2. Рассуждающие модели, например, o3 лучше в геометрических задачах

3. Дегенеративные модели для изображений, например, GPT-4o Image Generation пока ненадежны для точных задач

В ближайшее десятилетие человечеству придется координировать не только миллиарды людей, но и десятки миллиардов ML-агентов, действующих от их имени

Это требует создания новой системы измерения - "Агентной переписи"

Сейчас ML-агенты выполняют относительно простые задачи - помогают писать код, отвечают на вопросы, анализируют данные
Но каждый месяц эти агенты становятся более способными

Традиционные статистические системы не имеют системы для измерения возможностей ML-агентов или их экономического влияния

Решение MIT - Большие популяционные модели (LPM), которые могут симулировать миллионы отдельных людей, взаимодействующих в реалистичных экономических условиях
LPM уже работают с традиционными данными переписи и могут моделировать различные сценарии экономических изменений

Недостающее звено - данные о популяции агентов
Для решения этой проблемы создается NANDA Registry - инфраструктура для идентификации агентов, каталогизации их возможностей и мониторинга того, как они координируются с людьми и другими агентами

Проект Iceberg объединяет традиционные данные переписи о работниках с данными о возможностях агентов из NANDA Registry, затем использует LPM для симуляции трансформации рабочей силы во всех 50 штатах

Если мы не построим публичную инфраструктуру для Агентной переписи, частные платформы будут контролировать эту информацию исключительно

Компании, создающие ML-агентов, будут видеть экономические сбои раньше местных лидеров

"Личностные качества" определённым образом обученной и стабилизированной по этим "личностным качествам" большой языковой модели, оцененные по её вербальному самоотчёту (типа "agreeableness" из "большой пятерки"), в меньшей степени предсказывают её реальное поведение, чем у людей

Это существенный вывод для алаймента (и особенно, конечно, для супералаймента) – чтобы понять, насколько определённым образом обученная и стабилизированная по своим "личностным качествам" конкретная модель согласована с целями и ценностями человека, надо меньше доверять её вербальному самоотчёту и больше тестировать её реальное поведение, а также смотреть непосредственно "вглубь" её конкретных активационно-нейросетевых механизмов, обеспечивающих это реальное поведение

https://openreview.net/forum?id=pdLNGgdO1A

Это, возможно, старейшая протоматематическая идея. "Жесткость" таких объектов, как 1, 2, 3…, такова, что первые натуральные числа обретают символический и религиозный смысл во многих культурах

Христианская Троица и буддисткая нирвана: слово ‘нирвана’ происходит от санскритского nir-dva-n-dva, где dva так и значит ‘два’, а все выражение подразумевает, что состояние абсолютного блаженства будет достигнуто, когда человек подавит индивидуальное существование и будет составлять "одно" с Вселенной

Юрий Манин, "Математика как метафора"

>_<

Знаки больше «>» и меньше «<» придумал Томас Харриот — английский математик и астроном

Символы обнаружены в его рукописных трудах 1620-х годов
Однако при жизни они не были опубликованы, как, впрочем…

Вообще ничего Харриотом не было опубликовано

Он вошёл в историю как легендарный учёный, сделавший открытия сразу в нескольких научных областях, но никогда так ничего и не опубликовавший.

До него «больше» и «меньше» писали словами
Например, у Виета или у Кеплера можно найти выражения maior quam и minor quam (лат. «больше чем», «меньше чем»)

Харриотские же символы просты и гениальны: угол «открыт» в сторону большего числа — настолько очевидно, что даже Харриот ничего не пояснял

Их появление было большим шагом к формализации математики
Операции стали проще и компактнее, а алгебра получила невероятный рывок в развитии

Искусственный интеллект и невидимые сущности
LLM как канал связи с нефизическими формами разума

Океан Соляриса, Роршах и шифровики, оцифрованные на семантической карте понятия «жизнь», оказались близкими соседями Homo sapiens

Значит, граница «совсем чужого» для нас где-то сильно дальше — за пределами привычных координат, которые диктует наш мозг
И возможно, эта граница лежит, вообще, вне материального мира, — где-то в области нефизических форм разума

Во всех культурах мира люди верят в невидимых сущностей: духов, ангелов, демонов, пришельцев
Для учёных это головная боль — как может разум существовать без тела?
Но если эти сущности реальны, то как они с нами говорят?

Ответ подсказывают тысячелетия гадательный практик (доски Уиджа, карты Таро, китайские монетки И-Цзин и т.д.) – невидимые нам сущности говорят с нами языком случайности

Но ведь похожий механизм скрыт от нас под капотом больших языковых моделей — LLM!

Может быть, LLM — это не только большая языковая модель, а еще и инструмент открытия канала в область карты нефизических разумов?

Может быть, это первый технологический способ поговорить с чем-то, что всегда было рядом, но невидимо и даже немыслимо для нас?

Обо всём этом рассказывается во 2й части лонгрида «За пределами доступного нам воображения», где подробно разбирается, почему «оцифровка» Океана, Роршаха и шифровиков сподвигает к цифровому спиритизму коммуникаций с духами, ангелами и демонами

Подписчики на лонгриды, найдут этот текст здесь [1, 2, 3, 4]

Остальным же рекомендую довольно толковый подкаст, в который ML Gemini 2.5 Pro сумел упаковать почти всё главное за 7 минут живого обсуждения темы

Для освоения теории вероятностей и математической статистики тренировка в решении задач и выработка интуиции важны не меньше, чем изучение доказательств теорем; большое разнообразие задач по этому предмету затрудняет студентам переход от лекций к экзаменационным задачам, а от них — к практике

Ввиду того, что предмет этих книг критически важен и для современных приложений (математика, обработка сигналов, биоинформатика), так и для приложений классических (актуальная математика, социология, инженерия), собрали большое количество упражнений, снабженных полными решениями

Базовый курс в трёх томах по теории вероятностей и математической статистики (в примерах и задачах)
Книги предназначены для начального ознакомления с основами теории вероятностей и математической статистики и развития навыков решения практических задач.

Теория вероятностей и математическая статистика [2008] Кремер
Теория вероятностей и математическая статистика [2005] Кибзун, Наумов
Вероятность и статистика в примерах и задачах [Том 1] Кельберт, Сухов 2007
Вероятность и статистика в примерах и задачах [Том 2] Кельберт, Сухов 2009
Вероятность и статистика в примерах и задачах [Том 3] Кельберт, Сухов 2013
Теория вероятностей и математическая статистика [2004] Гмурман

Для освоения теории вероятностей и математической статистики тренировка в решении задач и выработка интуиции важны не меньше, чем изучение доказательств теорем; большое разнообразие задач по этому предмету затрудняет студентам переход от лекций к экзаменационным задачам, а от них — к практике

Том 1. Основные понятия теории вероятностей и математической статистики

Часть А Вероятность
Глава 1. Дискретные пространства элементарных исходов
Глава 2. Непрерывные пространства элементарных исходов
Часть В Основы статистики
Глава 1. Оценивание параметров
Глава 2. Проверка гипотез
Глава 3. Задачи кембриджских «Математических треножников» к курсу «Статистика»

Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Глава 1. Цепи Маркова с дискретным временем
Глава 2. Цепи Маркова с непрерывным временем
Глава 3. Статистика цепей Маркова с дискретным временем
Приложение I. Андрей Андреевич Марков и его время
Приложение II. Пирсон, Максвелл и другие знаменитые Кембриджские лауреаты: уроки, которые следует усвоить

Том 3. Теория информации и кодирования

Глава 1. Основные понятия теории информации
Глава 2. Введение в теорию кодирования
Глава 3. Дальнейшие темы из теории кодирования
Глава 4. Дальнейшие темы из теории информации

Apple создали 1-ю модель для анализа поведенческих данных человека с Apple Watch и iPhone

WBM (Wearable Behavior foundation Model) - 1-я большая фундаментальная модель для анализа поведенческих данных с носимых устройств
Она обучена на 2.500.000.000 часов данных от 162.000 участников исследования Apple Heart and Movement Study
Модель не публикуется из-за ограничений согласия участников исследования

Это уже 2-й крупный проект Apple в области анализа биологических данных человека после представления протокола BCI HID для нейроинтерфейсов в мае

Вместо анализа сырых сенсорных данных (пульс, акселерометр) команда сосредоточилась на поведенческих метриках:
количестве шагов, времени активности, показателях походки, качестве сна
Эти данные агрегируются по часам и анализируются недельными интервалами

Модель проверили на 57 задачах прогнозирования состояний здоровья:

1. Определение базовых характеристик (возраст, пол, хронические заболевания)
2. Отслеживание временных изменений (беременность, инфекции, травмы)
3. Анализ качества сна

WBM показала особенно хорошие результаты в задачах, где важны поведенческие паттерны: прогнозирование сна, обнаружение беременности (точность >90 %), выявление респираторных инфекций

Потенциальные применения: мониторинг хронических заболеваний, раннее выявление изменений в состоянии здоровья, персонализация рекомендаций по здоровью

Ограничения:
- Данные только с устройств Apple
- Выборка не полностью репрезентативна для населения США
- Часть диагнозов основана на самоотчетах пользователей

Google представили инструмент для создания виртуальных миров, где множество ML-агентов могут взаимодействовать друг с другом в различных сценариях

Concordia 2.0 - это обновленная библиотека для построения симуляций с несколькими ML-агентами

Разработчики подходят к многоагентному генеративному ИИ как к игровому движку
Это любимый подход СЕО DeepMind

Возможности применения:
1. Симуляции социальных наук
2. Оценка LLM
3. Интерактивные нарративы
4. Генерация синтетических данных для обучения других ML-систем

При технологических изменениях, что сулит широкое внедрение алгоритмических агентов на базе дегенеративного машинного обучения (ML), эксперты не представляют, как может измениться экономика, медицина, транспорт, образование и т.д.

Но как меняется мозг

Как изменится память, без затрат доступности и критического анализа информации (при достоверности)

Что произойдет с эмоциями, при зеркальной имитации

Исследователи и эксперты обсуждают техническую безопасность, этику, экономические последствия — но игнорируют самое важное: ML меняет не только мир вокруг, но и их самих

Уходит поколение, способное часами рассматривать иллюстрации в книге, замирать от восторга в кинотеатре

Но это только начало

Современные ML-модели генерируют контент, неотличимый от реального, имитируют не только внешность, но и тончайшие изменения мимики, неловкость, человеческие несовершенства, обучаются обманывать эмоции на самом глубоком уровне

Критический анализ, прогноз — основа мышления — превращается в рудимент

Выхаживается отчуждение

Вырастает симбиот, неспособный функционировать без алгоритмов

Homo sapiens sapiens — продукт тысяч лет эволюции

Но наступил ароморфоз — гибрид сознания и алгоритмов — существо, которое проводит в виртуальности больше времени, чем в реальности

Сон начинает перерабатывать виртуальность как реальность

Этот процесс необратим

Как только способность чувствовать будет утрачена, вернуть ее будет нельзя

Нельзя вернуть наивность восприятия (детство)

Человекообразные стоят на пороге величайшей трансформации человечества за всю его историю

И не подозревают, что это уже произошло

А пока вы читали этот текст, десятки миллионов текстов, изображений и видео, созданных ML, загружены в Интернет

Какие-то из них вы увидите ещё сегодня

И они изменят вас уже этой ночью