Data Portal | DS & ML
11.3K subscribers
741 photos
178 videos
11 files
954 links
Всё самое интересное из мира Data Science и машинного обучения

Cотрудничество: @devmangx

№ 8378747991
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Исследователи представили PhysAg3D — систему для создания интерактивных 3D-моделей по одному изображению.

Технология позволяет воссоздавать объекты с высокой точностью, сохраняя их внешний вид и физические свойства, включая подвижные соединения и способность к деформации.

Полученные модели можно использовать в виртуальных симуляциях для обучения и тестирования ИИ-агентов, взаимодействующих с окружающей средой.

Page: https://supra-3d.github.io/PhysAg3D/
GitHub: https://github.com/Supra-3D/PhysAg3D
Paper: https://arxiv.org/abs/2610.39924
Оксфордский университет открыл бесплатный курс «Теории глубокого обучения» на 2026–2027 учебный год.

Курс посвящён математическим основам глубоких нейронных сетей и включает 16 лекций, находящихся в свободном доступе.

Программа охватывает архитектуры нейросетей, нелинейные преобразования, свёрточные структуры, пулинг, методы оптимизации, обучение словарей, переносимость изученных признаков, состязательные примеры, теорию случайных матриц, обучение инвариантности и другие темы.

В лекциях рассматриваются математические теории, позволяющие понять, как обучаются глубокие нейронные сети и чем объясняются особенности их работы.

На мой взгляд, это особенно ценный материал для тех, кто хочет разобраться в математике, лежащей в основе современных ИИ-систем.

https://courses.maths.ox.ac.uk/course/view.php?id=6621
Ян ЛеКун оказался прав, но в этой индустрии никто не хочет говорить об этом вслух.

Модель со 109 млн параметров превзошла модель с 72 млрд.

Уже несколько лет ЛеКун утверждает, что масштаб модели сам по себе не заставляет её понимать окружающий мир. Meta сделала ставку на противоположный подход. В ноябре он покинул компанию и основал собственную лабораторию в Париже.

В прошлый четверг он опубликовал доказательства своей теории.

С 2024 года индустрия придерживается идеи, согласно которой достаточно обучать всё более крупные модели на текстах, изображениях и звуках, чтобы в итоге они сформировали одинаковое внутреннее представление об окружающем мире. Считалось, что всё решает масштаб. Но эту гипотезу никто так и не доказал.

Рэндалл Балестриеро и Ян ЛеКун проверили её. И результаты показали, что дело вовсе не в размере модели.

Решающую роль играет то, какие именно данные модель получает вместе друг с другом.

Фотография и её описание представляют собой два разных способа передачи информации об одном объекте. Модели, обученные на таких парах, достигают нужного результата значительно быстрее.

А вот два абзаца из одного документа не являются двумя представлениями одного и того же объекта. Модели, обученные на таких данных, достигают аналогичного результата гораздо медленнее и требуют значительно больше вычислительных ресурсов.

Именно ко второму типу относится предсказание следующего токена. На этом принципе работают практически все современные чат-боты.

В ходе экспериментов первый метод позволил достичь аналогичного уровня понимания всего на 21,6 млн примеров. Для обучения с предсказанием следующего токена потребовалось 900 млн.

Более того, текстовая модель со 109 млн параметров сформировала представление об окружающем мире, которое оказалось ближе к представлению модели, обученной на изображениях, чем у языковой модели с 72 млрд параметров.

В 660 раз меньше параметров.

https://www.alphaxiv.org/pdf/2610.39302
Настоятельно рекомендую к прочтению.

Это настоящий мастер-класс по созданию современной инфраструктуры для AI-агентов и построению более автономных агентных систем.

Это лучшая статья из всех, что я читал о работе с командами агентов на базе собственной инфраструктуры.

Главная идея проста: архитектура должна позволять агенту работать непрерывно и эффективно переключаться между задачами.

Для этого необходима архитектура, разделяющая координацию и выполнение задач. Теперь это стало возможным благодаря тому, что LLM-агенты научились лучше координировать свои действия и сохранять контекст между задачами.

Когда базовая архитектура готова, можно переходить к более продвинутым возможностям: запуску задач по событиям, упреждающим действиям и новым способам взаимодействия с агентами, например через асинхронный ReAct Loop.

Масштабировать такую систему помогают управление состоянием и изолированные среды выполнения. Важно разделять состояние, вычислительные ресурсы и окружение. При этом система должна сохранять своё состояние и оставаться доступной с разных устройств.

Кстати, всё это можно реализовать и на базе других существующих harness-систем. Использовать DeepSeek Harness совершенно необязательно.

По мере развития возможностей агентов нужно искать новые способы взаимодействия с ними, не мешая им самостоятельно выполнять работу.
GPT-6 Astra научилась напрямую изменять веса нейросетей, улучшая их работу без дополнительного обучения.

В одном из экспериментов модель исправила поведение ИИ, управляющего автомобилем, который постоянно застревал на подъёме. Изменив всего 3,5% весов нейросети, Astra добилась 100% успешных прохождений.

В другом эксперименте Astra самостоятельно создала веса нейросети для игры Breakout. Без обучения и использования инструментов она набрала в 20 раз больше очков, чем модель PPO, обучавшаяся на протяжении 500 миллионов шагов.

Но самым интересным оказался эксперимент с Qwen3.5-0.8B. Astra обнаружила, что модель зацикливается во время рассуждений, и устранила проблему, изменив всего 0,016% её весов. В результате качество решения математических задач выросло до 6 раз, а следование инструкциям улучшилось в 3 раза.

При этом Astra не использовала градиенты и не проводила дополнительного обучения.

Исследователи назвали этот подход Weight-Space Programming. По их мнению, в будущем языковые модели смогут самостоятельно анализировать, изменять и оптимизировать веса других нейросетей.

https://rikiyat.github.io/blog/weight-space-programming/
Хотите бесплатно и без ограничений пользоваться Fable 5.5 на протяжении нескольких месяцев? Достаточно попасть в Anthropic Residency.

Это оплачиваемая программа продолжительностью от шести недель до шести месяцев, предназначенная для профессоров, технических основателей стартапов и инженеров уровня Staff, желающих заняться исследованиями безопасности ИИ.

При этом опыт работы с машинным обучением и учёная степень PhD не требуются.

Участники программы получают доступ к передовым моделям, отдельный бюджет вычислительных ресурсов и наставника из Anthropic.

Кроме того, им выплачивают вознаграждение, соответствующее годовой зарплате от 350 до 500 тысяч долларов.

https://alignment.anthropic.com/2026/anthropic-residency/
Наконец-то появилась новая мощная модель с открытыми весами для научных исследований.

Как я уже говорил, ничто не сравнится со специализированными моделями. И мне кажется, что именно в науке их значение будет особенно велико.

Hydrogen-1.0 стала первой моделью с открытыми весами для научных исследований от компании Deep Principle.

Разработчики взяли GLM-5.3 и провели дополнительное обучение на собственных научных данных, лабораторных записях и последовательностях исследовательских шагов, приводивших к открытиям.

По заявленным результатам, Hydrogen-1.0 набрала 38,3% в бенчмарке FrontierScience-Research, превзойдя GPT-6 Astra с результатом 33,3%.

Таких моделей нам нужно гораздо больше.

https://blog.deepprinciple.com/introducing-hydrogen-1.0/

https://huggingface.co/deep-principle/Hydrogen-1.0
Интересное исследование управляемости цепочек рассуждений (CoT).

Авторы выяснили, что эффективность мониторинга цепочек рассуждений отчасти зависит от неспособности моделей полностью контролировать содержание собственных рассуждений.

Значительную часть этого ограничения удалось связать с первыми несколькими токенами после открывающего тега thinking. В этот момент энтропия резко падает, и модель начинает рассуждения с одного из нескольких типичных вариантов.

Небольшие изменения на этом этапе позволяют значительно повысить управляемость. Даже предварительная подстановка одного токена существенно улучшила результаты. А запрет часто встречающихся начальных токенов в сочетании с добавлением примеров в контекст повысил средний уровень соблюдения инструкций на 34–41 процентный пункт среди различных моделей.

При этом такие методы преимущественно восстанавливают контроль над добавлением информации и изменением стиля её изложения. Управлять исключением информации из рассуждений оказалось сложнее: результаты были менее стабильными.

По всей видимости, речь идёт о двух разных способностях. У разных моделей показатели внутри каждой группы коррелируют между собой, тогда как между группами наблюдается преимущественно отрицательная корреляция.

https://arxiv.org/abs/2610.40939
«Распознавание образов и машинное обучение» (Pattern Recognition and Machine Learning) — бесплатный курс из 18 лекций, посвящённых математическим и вычислительным основам машинного обучения.

Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы.

Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели.

Все 18 лекций доступны бесплатно.

https://chizhizhang.github.io/lecture/2026PRML/
Весьма интересное открытие в области оптимизации агентных harness.

При оптимизации агентного harness по двум параметрам, качеству и стоимости, предпочтения по затратам следует учитывать лишь в конце поиска. Если делать это на каждом этапе, можно преждевременно отбрасывать варианты, которые впоследствии привели бы к более эффективным решениям.

Именно на этом принципе основан ParetoSaddler от Microsoft.

На каждом этапе оптимизатор изменяет исходный harness. Затем обе версии запускаются несколько раз, а байесовский бутстрэп на основе полученных результатов позволяет определить, демонстрирует ли новый кандидат статистически убедительное улучшение качества или снижение стоимости.

Отобранные кандидаты сохраняются и могут служить основой для дальнейшей оптимизации. Окончательный выбор версии для развёртывания производится отдельно.

Результаты оказались весьма впечатляющими:

- GAIA2: качество выросло с 56,22% до 62,89%, а стоимость выполнения одной задачи снизилась с $0,78 до $0,45.
- ClawMark: качество повысилось с 70,86% до 81,35%, а стоимость сократилась с $1,17 до $1,01.

Более того, harness, отобранные по принципу Парето, превзошли варианты, оптимизированные исключительно по качеству, сразу по обоим показателям: качеству и стоимости.

Если при поиске оптимального harness вы учитываете только точность, стоит добавить повторные запуски и оценку затрат, прежде чем решать, какие кандидаты сохранять для дальнейшей оптимизации.

https://arxiv.org/abs/2611.02079