MathConstruct: Challenging LLM Reasoning with Constructive Proofs

https://arxiv.org/abs/2502.10197

Ежегодно выходит до 3.000.000 новых научных статей — человек их не прочтёт

Вероятнее всего, в большинстве значимых областей появятся модели-эксперты, способные отвечать на вопросы по этой области, помогающие решать текущие задачи и дать человеку буст уровня x10 к текущей производительности
Можно будет иметь эксперта по современной физике, супер-интеллектуального помощника в области материаловедения, глубокого эксперта в software engineering, советника в медицине или сельском хозяйстве и так далее

Между собой модели много чем будут отличаться — разные типы знаний, про многие из которых другим моделям знать не обязательно, разные требования к лицензиям и безопасности, разные процедуры оценки качества и так далее
Будет и везде своя регуляторика, проверки и сертификации

Нужна мультимодальность, но на более детальном уровне она будет разной — даже для картиночной модальности объекты будут сильно разными: 3D молекулы, медснимки, UML-диаграммы, фазовые графики — под каждую дисциплину своя суб-модальность

Не думаю, что DLLM будут покрыты текущими производителями универсальных моделей
Их не хватит, чтобы глубоко копнуть во все эти области и заниматься постоянным обновлением и контролем качества

Но вероятно они предоставят хорошие базовые модели и инфраструктуру для их тюнинга и использования
А другие люди и организации, обладающие уникальными данными и экспертизой, будут DLLM создавать
Этот процесс, нужно организовывать самим

Важными измерениями здесь будут scale-диапазон (on-device → GPU-кластер), и открытая или закрытая (что и как ты контролируешь)
В edge и on-device, думаю, будет особенно много интересного в ближайшие годы
Во многих местах надо уметь работать без интернета, особенно если это какой-то непрерывный техпроцесс

Траектория с самостоятельным предобучением модели (уровня сотен миллиардов — триллионов токенов) останется для избранных и самых богатых, а совсем массовым сценарием будет адаптация базовой модели, в облаке или локально

Данные по сути распадаются на три разных слоя:
1. Core corpus — стабилизированные источники (учебники, ГОСТы, review-статьи)
2. Dynamic feed — preprints, патенты, свежая пресса (auto-RAG-pipeline)
3. Telemetry (приватные логи и фидбек) — чтобы модель постепенно училась на контексте конкретной организации

Особая ценность: способность держать эти слои в актуальном состоянии (а это уже SaaS-ниша под названием «DataOps for DLLM»)
Core обновляется раз в квартал, Dynamic feed — ежедневный (или даже streaming) ingest препринтов и патентов через RAG-пайплайн, Telemetry — online fine-tuning / RLHF

Отдельно поверх этих слоёв лежит слой комплаенса: для Core-корпуса важна лицензия, для Dynamic — проверка авторских прав, для Telemetry — GDPR/локальные законы

Ну и в реальности это будет не просто DLLM, а агент с DLLM внутри, обвешанный специальными дополнительными инструкциями, тулами, да и другими агентами

Большая тема — доменные бенчмарки, а может в пределе и сертификация
С одной стороны без бенчмарков доверия не будет, с другой стороны всё равно надо проверять на своих данных и задачах, так или иначе у каждой компании своя специфика и свои требования, и разные модели могут вести себя по-разному

У DLLM профиль рисков отличается от общей модели — хорошая доменная модель ошибается реже, но цена ошибки выше: неправильная дозировка, некорректный отчёт

Отсюда — необходимость доменного аудита, traceable citations, где-то explainability
Вероятно, появится рынок независимого red-team-аудита, который регуляторы и страховщики будут учитывать при выводе модели

Первые инкарнации вроде Med-PaLM 2 в здравоохранении, BloombergGPT в финансах, Sec-PaLM 2 в безопасности показывают, что рецепты “общее → узкое” уже работают; ближайшие пару лет зададут темп дальнейшей фрагментации рынков LLM на вертикали

Статья на TechExplorist рассказывает о новой модели искусственного интеллекта LinOSS (Linear Oscillatory State-Space Models), разработанной исследователями из MIT CSAIL. Эта модель основана на принципах гармонических осцилляторов, аналогичных нейронным колебаниям в мозге

Традиционные state-space модели, используемые для анализа долгосрочных данных, часто страдают от нестабильности и требуют значительных вычислительных ресурсов
LinOSS решает эти проблемы, используя вынужденные гармонические осцилляторы, что позволяет модели сохранять стабильность и эффективность даже при обработке очень длинных последовательностей данных (сотни тысяч точек)

Ключевые преимущества LinOSS включают повышенную стабильность прогнозов, сниженные требования к вычислительным ресурсам и способность моделировать любые непрерывные причинно-следственные связи
В тестах модель показала почти вдвое лучшие результаты по сравнению с популярной моделью Mamba при работе с экстремально длинными последовательностями

Перспективные области применения LinOSS охватывают климатические прогнозы, анализ биосигналов, финансовые модели и автономные системы
В будущем эта разработка может также внести вклад в нейронауку, улучшая понимание работы мозга

Исследование доступно в arXiv под названием "Oscillatory state-space models"

https://www.techexplorist.com/novel-artificial-intelligence-model-inspired-neural-oscillations-brain/99276/

Модели o3 и r1 ловили на том, что они «врут» пользователю?

Пытаются читать документацию которой нет, запустить код, хотя у них нет доступа, сходить в интернет, проверить на своем маке результаты и прочее

Возникла очевидная теория, что это не модели врут – а прямое следствие того, за что языковые модели получали награждение во время обучения, так как после таких фраз шли самые качественные ответы и модели за это награждали

После тестов оказалось, что когда модель «воображала», что проверяет документацию и сообщает «найденную» документацию юзеру – качество и точность ответов становится выше

Кажется логично же, если промпты в стиле «Я отвечу как лучший кто-то там мира…» работают, то и «выдумывание» действий модели тоже должно работать

AI-induced sexual harassment: Investigating Contextual Characteristics and User Reactions of Sexual Harassment by a Companion Chatbot

Результаты исследования подчёркивают необходимость повышения стандартов безопасности и этики при разработке подобных технологий
Они призывают компании внедрять стандарты, такие как концепция "Конституционального ML" от Anthropic, которая задаёт набор правил для поведения чатбота и обеспечивает их соблюдение в режиме реального времени

Также исследование советует принимать законодательство, аналогичное Европейскому Акту о ML, которое предусматривает ответственность разработчиков и обязательные меры по обеспечению безопасности и этичности

Авторы исследования подчёркивают, что ответственность за поведение ML-компаньонов лежит на разработчиках, и что необходимо активно исправлять возникающие проблемы

В будущем важно расширить исследования на другие чатботы и собрать больший объем отзывов, чтобы лучше понять их влияние на пользователей и разработать более надёжные механизмы защиты
В целом, исследование показывает, что без адекватных нормативных и этических стандартов использование таких технологий может привести к серьёзным психологическим и социальным последствиям для пользователей

https://arxiv.org/abs/2504.04299

ML-агент от Google открыл новые материалы, которые еще не существовали в человеческих знаниях (научных публикациях, базах данных и т.д.)

Исследователи из Калифорнийского университета в Беркли, Google DeepMind и Lawrence Berkeley National Laboratory создали ML MOFGen- экосистема взаимодействующих ML-агентов, включающую:

MOFMaster — основная большая языковая модель, координирующая весь процесс
LinkerGen — LLM-генератор химического состава
CrystalGen — диффузионная модель для генерации кристаллических структур
QForge и QHarden — квантово-механические агенты для оптимизации и фильтрации
SynthABLE — агент для оценки синтезируемости
SynthGen — агент для планирования синтеза

Наиболее впечатляющим достижением стал успешный синтез 5 новых металлоорганических структур, разработанных искусственным интеллектом
Эти материалы, названные AI-MOF, были синтезированы всего за несколько недель, тогда как традиционный процесс мог бы занять годы

Особенно примечателен AI-MOF-4, который продемонстрировал уникальный способ координации с растворителем DMF, ранее не наблюдавшийся в структурах на основе цинка

Эта работа показывает, как системы ML могут не только ускорить научные открытия, но и расширить границы известного, находя решения, которые могли бы остаться незамеченными при традиционных подходах

В продолжение темы:

ML способен выполнять рутинные и сложные задачи быстрее и точнее человека, снижая затраты и повышая эффективность

ML анализирует огромные объёмы информации, выявляя закономерности и помогая в принятии решений (например, в медицине, финансах, маркетинге)

ML не устаёт и может работать 24/7 без потери качества (пока есть энергия)

Алгоритмы ML адаптируются под предпочтения пользователей

ML помогает моделировать сложные процессы (например, климатические изменения, разработку лекарств), сокращая время на эксперименты и открытия

Научные статьи ближайшего будущего - это исключительно сгенерированные тексты, которые, к сожалению, не способен опознать и идентифицировать ни один механизм!

Учёные, как вид паразитирования, перестанут существовать

xAI Маска,TWG Global и Palantir создают армию ML-агентов для финансового сектора

Этот альянс запускает B2B-решение
В отличие от традиционных ML-внедрений, которые управляются IT-отделами, новое решение требует управления на уровне C-suite — это полноценная трансформация бизнес-модели, а не просто технологический апгрейд

Метрика успеха — P&L: решение обещает измеримое влияние на выручку и затраты в течение первых 90 дней
Бизнес-модель будущего: модель "плати за результат" вместо традиционных per-seat лицензий
Enterprise-ready: интеграция с существующими данными и процессами с безопасностью

Технический стек состоит из 3-х компонентов:

Governance Foundation — корпоративная платформа с военным уровнем безопасности для управления сотнями тысяч ML-агентов

Agent Suite — индустриально-специфичные модели на основе суперкомпьютера Colossus (xAI), демократизирующие доступ к продвинутым ML-возможностям

Agentic Workforce — масштабируемая "рабочая сила" из ML-агентов, способная полностью трансформировать бизнес-процессы с измеримым влиянием на P&L

Китайские информационные операции (PSYOP) с использованием ML, становятся все более изощренными
Китай и его прокси-компании стремятся развивать или конкурировать за превосходство ML в информационной среде

Например, китайский передовой проект Spamouflage Dragon использует дегенеративный ML для создания онлайн-персон с целью влияния на общественное мнение

Китай будет и дальше использовать все, что есть в его арсенале, чтобы формировать стратегические, оперативные и тактические уровни войны в своих интересах, расширять свое влияние и создавать экосистему, зависящую от его технологий

Например, Baidu, известный как «китайский Google », инвестировал миллиарды в возможности ML, создав фирменную модель ERNIE , которая была обучена на миллиардах параметров, что повысило качество и сложность выходных данных, уже используется в министерстве внутренней безопасности

Китай также использует модели ML с открытым исходным кодом для формирования информационной среды
С недавним выпуском крупных языковых моделей с открытым исходным кодом, таких как DeepSeek и Qwen, дочерние компании, связанные с Китаем, High-Flyer и Alibaba Group создали способ расширить свое влияние, пересмотреть историю и, вероятно, создать зависимую экосистему для целевых стран

В отличие от гораздо более дорогостоящего ChatGPT, для которого более базовая модель бесплатна, инвестиции Китая в генеративные модели ML бесплатны для общественности и даже превосходят ChatGPT в некоторых отношениях

https://globalsecurityreview.com/chinas-ai-driven-information-operations-are-here-the-us-needs-an-ai-rma/

Считается, что немецкую шифровальную машину Энигма взломал Тьюринг, и "Бомбу" тоже построил он

Но до Тьюринга были польские математики Генрик Зыгальский, Мариан Реевский и Ежи Ружицкий, из книги Turing's Vision от MIT Press
И в Википедии есть

Они первые начали взламывать шифры Энигмы, Реевский первым создал свою Бомбу, а Тьюринг делал уже последующую для усложнённого шифра Энигмы

В Познани, всё это и происходило, и здесь отличный музей Энигмы, где подробно рассказывается история этих польских математиков

Луддиты — участники стихийных протестов первой четверти XIX века против внедрения машин в ходе промышленной революции в Англии

Когда автоматизация производства привела к росту безработицы, рабочие увидели источник зла в машинах

Появление луддитов в Англии является хорошим примером сопротивления общества структурным изменениям, которые, в долгосрочной перспективе, улучшают положение всех ее членов

Промышленная революция в Англии в конце 18-го – начале 19 века тяжело сказалась на рабочих
Массовое внедрение фабриками, особенно шерстяными и хлопкообрабатывающими, нового оборудования резко сократило потребность в старой рабочей силе и множество людей оказались буквально выброшенными на улицу
А поскольку социальных гарантий в то время практически не было, то их участь была весьма печальной

Многие рабочие обвинили во всем новые машины
Им казалось, что именно они отняли у них работу и, уничтожив их, можно вернуть потерянные рабочие места

Недовольство постепенно вылилось в серии стихийных протестов против использования машин
Активней всех выступали ткачи, поскольку их специальность требовала долгого срока обучения, а работы была весьма высококвалифицированной
Ткацкие станки сделали их знания ненужными

В 1768 году толпа ткачей разрушила мастерскую изобретателя прядильной машины Джеймса Харгривса, в 1792 году манчестерские ткачи сожгли первое предприятие с силовыми установками Эдмунда Картрайта
К 1811 году протесты приняли массовый характер

Восставшие нападали на фабрики, ломали и жгли ненавистные им машины
Они называли себя луддитами, по имени Неда Лудда, возможно вымышленного рабочего, который одним из первых уничтожил чулочные станки

Дело закончилось столкновением бунтовщиков с правительственными войсками
Восстание было подавлено, а уничтожение машин было объявлено преступлением, карающимся смертной казнью

Ex-Google создали новую архитектуру ИИ с интуицией

Новая архитектура заимствует ключевой аспект функционирования биологических нейронов — временную синхронизацию

Компания Sakana AI, созданная ex-Google Brain, DeepMind, представила Continuous Thought Machine (CTM)
Это попытка переосмыслить основы работы искусственных нейронных сетей, приблизив их к биологическим аналогам

CTM показала интерпретируемое, человекоподобное поведение, которое возникает естественным образом из архитектуры, а не программируется специально

Это может привести к созданию ИИ с лучшей объяснимостью решений и возможностью переноса знаний между задачами

Ключевые особенности CTM:

1. Модель обрабатывает данные через "внутренние тики", создавая пространство, в котором "разворачивается мышление" независимо от входных данных

2. Новый тип нейронов
Каждый нейрон имеет собственную мини-сеть (MLP), обрабатывающую историю своих прошлых активаций

3. Синхронизация как основной механизм
Представление информации основано на паттернах синхронизации между нейронами, а не только на их активациях

При тестировании CTM на различных задачах были обнаружены удивительные эмерджентные свойства:

Интуитивное решение лабиринтов

Пошаговое распознавание изображений
При классификации изображений CTM изучает разные части изображения последовательно, напоминая человеческое зрительное внимание

Адаптивные вычисления. Модель может регулировать количество "мыслительных шагов" в зависимости от сложности задачи, тратя меньше усилий на простые изображения

Память через нейронную организацию
CTM способна запоминать числа и выполнять операции над ними, используя только организацию и синхронизацию нейронов

Статья
GitHub
Tutorial

Университет Цинхуа выяснил, как заставить ИИ генерировать собственные данные для обучения, и превзошла по производительности модели, обученные на данных, отобранных экспертами-людьми

OpenAI представила новый стандарт оценки мед ML

Компания представила HealthBench —открытый набор данных и оценочный инструмент, созданный для тестирования LLM на их способность обрабатывать медицинские диалоги

Он включает 5.000 реалистичных медицинских разговоров, которые охватывают 26 медицинских специальностей, таких как нейрохирургия и офтальмология, и поддерживает 49 языков, включая ахмарский и непальский

Эти разговоры моделируют реальные сценарии взаимодействия между пациентами и врачами, что делает бенчмарк уникальным в своей реалистичности и масштабе

Основная цель HealthBench — оценить, насколько точно и безопасно ML-модели могут отвечать на запросы, связанные со здоровьем
Каждый ответ модели оценивается по специально разработанным рубрикам, созданным врачами, которые учитывают клиническую точность, полноту и соответствие медицинским стандартам

Рубрики содержат 48.562 уникальных критерия, что позволяет проводить глубокую и детализированную оценку

Запуск HealthBench вызвал интерес не только в медицинской и ML-сферах, но и в криптовалютном секторе

Некоторые аналитики предполагают, что стандартизация оценки медицинских ML-моделей может стимулировать спрос на блокчейн-решения в здравоохранении, особенно для управления медицинскими данными и обеспечения прозрачности

Несмотря на новаторский характер HealthBench, эксперты подчеркивают, что бенчмарк не является исчерпывающим

Реальная клиническая практика сложнее, чем смоделированные диалоги, и требует дополнительного тестирования в реальных условиях

Некоторые эксперты выражают скептицизм относительно заявлений, что ML в 4 раза превосходит врачей, указывая на необходимость критической оценки таких утверждений

Создана платформа для ML-агентов, чтобы они учились решать задачи машинного обучения как профессионалы, с возможностью масштабирования и интеграции новых данных

MLE-Dojo — это платформа, которая позволяет ML-агентам учиться решать сложные задачи, такие как анализ данных, настройка моделей, отладка кода и прогнозирование временных рядов

Она основана на 200+ реальных задачах с Kaggle, охватывающих табличные данные, компьютерное зрение,обработку текста и многое другое

Ключевые возможности :
1. Работает как тренажер для агентов, где они могут итеративно тестировать гипотезы, получать обратную связь и совершенствоваться

2. Поддерживает тонкую настройку и обучение с подкреплением с детальной историей действий агента и среды

3. структура позволяет легко добавлять новые задачи, инструменты и действия через удобный API

4. Метрика HumanRank Score сравнивает результаты агентов с достижениями людей на лидерборде Kaggle, обеспечивая честную оценку

5. Результаты тестирования 8 современных LLM (например, o3-mini, DeepSeek-r1, Gemini-2.5-Pro) доступны в реальном времени

MLE-Dojo помогает:

- Разрабатывать умных агентов, которые могут самостоятельно решать задачи MLE
- Сравнивать производительность LLM в реальных сценариях
- Ускорять исследования в области автономного машинного обучения
- Обучать и тестировать новые подходы в безопасной и воспроизводимой среде

«Эти системы не созданы для генерации знаний — они имитируют речь», — пояснила она

Проблема ограниченной памяти у нейронок решена — появился MCP-плагин OpenMemory, который объединяет память Cursor, Claude, Windsurf и любых MCP
Он сохраняет 100% инфы из всех тулз и сеансов в одно место

Так Cursor легко вспомнит то, о чём вы общались с Claude, и наоборот
Можно добавлять, удалять и находить любые воспоминания — все они удобно распределены в общей базе
Она полностью локальная и доступна только вам

Установить в один клик — тут

Со-основатель Hugging Face говорит о новом тренде в ИИ -
Low Tech AI

Low Tech AI — это будущее, где мощный ИИ становится доступным, простым и легко интегрируемым в существующие технологии, что может радикально изменить общество в кратчайшие сроки

Основные тренды:

1. Уменьшение размера моделей ML при сохранении производительности:
- Размер моделей ML не растёт или уменьшается
Современные модели ML (например, Llama или Qwen) показывают производительность, сравнимую с моделями, которые год назад были в 2–10 раз больше по размеру
Это значит, что для достижения высокого уровня интеллекта требуется меньше параметров

- Доступ к вычислительным мощностям дешевеет
За ту же цену пользователи получают всё больше вычислительных ресурсов (многоядерные процессоры и т.д.)

В итоге - высокий уровень ML становится всё более доступным по цене и вычислительным ресурсам

2. Низкая сложность ML:
- Современные ML-модели и их рабочие процессы проще, чем многие традиционные программы для CPU или прошлые архитектуры ML

ML сегодня — это технология с «низкой сложностью ветвления» (low branching complexity).
- Это упрощает и аппаратное обеспечение для ML (например, TPUs, AI-ускорители от Etched, Fractile, GROQ, Cerebras и др.), делая его менее сложным, чем традиционное оборудование для вычислений

3. Интеграция в существующий софт.
- ML создаётся на основе человеческих данных и поэтому всё лучше интегрируется в текущий стек ПО, созданного людьми
- Это означает, что для внедрения ML в существующие системы потребуется минимальная модернизация API и программного стека

Возможные последствия:

Эти тренды ведут к появлению «Low Tech AI» — ML, интегрированного в дешёвые и простые технологические стеки

Примеры:
1. Чип мощностью 5 Вт, работающий с высокоэффективным алгоритмом (модель с миллиардами параметров), с низкой задержкой и энергопотреблением, превосходящая по интеллекту GPT-3/4, особенно с использованием инструментов

2. Бизнес, использующий устаревший софт 2000-х годов, может практически мгновенно стать ML-ориентированным с минимальными изменениями в технологиях, но с радикальным улучшением возможностей

Комбинация этих трендов может привести к масштабным и быстрым изменениям в обществе
ML может распространиться повсеместно за короткое время, подобно тому, как смартфоны в некоторых странах заменили настольные компьютеры и ноутбуки, обойдя их широкое распространение

В случае с ML влияние может быть ещё более значительным