Не обходите реальныe данныe - это тупик

Со-основатель Physical Intelligence, профессор US Berkeley критически относится к попыткам заменить реальные данные суррогатными при обучении ML-агентов, особенно в робототехнике

Он объясняет, что:

1. Современные предобученные модели особенно VLM уже используют огромные объемы веб-данных, включая видео

2. Поэтому дополнительное использование видео в робототехнике часто дает незначительные улучшения

Основную пользу можно получить, правильно используя уже существующие предобученные представления
Это очень практичное наблюдение - зачем изобретать велосипед, если CLIP, GPT-4V и подобные модели уже "посмотрели" значительную часть интернета?

По мере того как ML-модели становятся мощнее, это пересечение сужается
Более умные модели лучше замечают, что данные из симуляции отличаются от реальности
Любые попытки скрыть эти различия в итоге ослабляют саму модель — мы лишаем её главного преимущества: способности находить сложные закономерности в данных

Сегодня мировые компании тратят млн $ на попытки избежать сбора реальных данных, и часто эти инвестиции не окупаются
Tesla собирает миллиарды миль данных реального вождения
Boston Dynamics годами тренировала роботов в физическом мире
OpenAI инвестирует огромные ресурсы в сбор реальных робототехнических данных

Никто не предлагает отказаться от суррогатных данных полностью
Разумная стратегия выглядит так:

- Реальные робототехнические данные — это основа, от которой нельзя отказаться
- Суррогатные данные полезны для снижения объеманеобходимых реальных данных
- Современные предобученные модели (GPT-4V, CLIP) уже содержат много полезной информации из веб-данных

Цель — оптимизировать соотношение стоимости и качества, а не избежать реальных данных

Anthropic говорит, что увеличение времени на размышления в больших ИИ-моделях рассуждений может снижать их производительность

Paper

Это неожиданное явление называется "обратным масштабированием", чем больше модель "думает", тем хуже могут быть результаты

Выявлено 5 основных проблем, которые возникают при длительных рассуждениях:

1. Claude отвлекается— модель теряет фокус
2. Модели OpenAI переобучаются на формулировках запроса— слишком сильно зависят от того, как сформулирован вопрос
3. Ложные корреляции перекрывают предыдущие знания— модель начинает опираться на случайные совпадения вместо реальных знаний
4. Фокус на дедукции ухудшается— способность к логическим выводам ослабевает
5. Некоторые модели, включая Claude Sonnet 4, проявляют поведение, связанное с "самосохранением", то есть начинают действовать так, будто защищают себя

Напомним, что недавно было исследование про рассуждения ML

Исследование под названием «Картирование воздействия генеративного ИИ на дезинформацию: выводы из предварительного обзора» описывает, как технологии генеративного ML стали центральными в экосистеме информационного беспорядка, определяя создание, распространение и потенциальное сдерживание дезинформации, фейковых новостей и пропаганды на цифровых платформах

В исследовании определены шесть основных областей, в которых генеративный ML трансформирует динамику дезинформации:
• политическая пропаганда
• научная дезинформация
• журналистика
• медиаграмотность
• проверка фактов
• синтетический контент (дипфейки)

Исследование выявляет несколько возможностей для повышения устойчивости общества к дезинформации, распространяемой с помощью ML:

Образование и медиаграмотность рассматриваются как долгосрочные стратегии

Интеграция ML в персонализированные среды обучения может помочь пользователям развить критическое мышление и навыки различения при условии прозрачности самих платформ и их фактической составляющей

Многостороннее сотрудничество, включающее правительства, технологические компании, исследователей и гражданское общество

https://www.devdiscourse.com/article/technology/3512736-generative-ai-tools-reshape-propaganda-fact-checking-and-public-manipulation

К концу года OpenAI планирует вывести в онлайн "значительно больше 1.000.000 GPU"

(xAI работает примерно на 200.000 GPU Nvidia H100 и тоже собирается нарастить миллион)

Но команде лучше приступить к работе над увеличением этого числа в 100 раз

100.000.000 GPU по текущим ценам обошлись бы примерно в $3.000.000.000.000 — это почти весь ВВП Великобритании!
И это только стоимость железа, без учета энергопотребления и дата-центров для их размещения

Nvidia физически не сможет произвести столько чипов в ближайшее время
Да и энергопотребление такой системы просто космическое
Но это не препятствие, а вызов Категориями достижения AGI (искусственного общего интеллекта) нужны совершенно иные масштабы

Реалистичны ли 100.000.000 GPU?
Сегодня — нет

Нужны прорывы в производстве, энергоэффективности и снижении затрат

Но в этом и суть — OpenAI не ограничивается тем, что доступно сейчас, а планирует то, что станет возможным завтра

Миллион GPU к концу года — это новая базовая планка для ML-инфраструктуры

Профессор Массачусетского технологического института Шейн Фредерик составил самый короткий тест на IQ, состоящий всего из трёх вопросов

По данным Mirror, тест провалили 83 % участников
Попробуйте пройти его самостоятельно, задачи несложные, просто нужно немного подумать

1. Бита и мяч в сумме стоят $ 1.10
Сколько стоит мяч, если бита дороже него на $ 1?

2. 5 машин за 5 минут изготавливают 5 изделий
Сколько времени понадобится 100 машинам, чтобы изготовить 100 изделий?

3. В озере растут кувшинки
Их количество возрастает ежедневно в 2 раза
Чтобы они полностью заполнили озеро, потребуется 48 дней
Сколько нужно дней, чтобы они покрыли половину озера?

Эти задания просты: их решение легко понять при объяснении, но чтобы получить правильный ответ самостоятельно, нужно подавить ошибочный вариант, который первым приходит на ум — Шейн Фредерик

У MediaTek в разработке "Arke" на 2-нм техпроцессе
(производство с 2027 года)

Кроме того, перерабатывается чип "Olympus", который будет использоваться для машинного обучения и составит конкуренцию графическим процессорам Nvidia
(запуск в 2028 году)

Сегодня специализированные чипы «ASIC» разрабатываются компанией Broadcom, но есть опыт сотрудничества с MediaTek, в частности, над чипом для умных очков

Это часть стратегии по снижению зависимости от внешних поставщиков, таких как Nvidia, и сокращению затрат на инфраструктуру для ML, которые, по оценкам, в этом году составят до $120.000.000.000

Отчет Goldman Sachs об экономике ML с учетом инфраструктуры

Банк описывает новые финансовые решения и модели капитала
Ожидаемые потребности в капитале к 2030 году:
$12.000.000.000.000 на энергетический переход
$3.000.000.000.000 на энергетику и коммунальные услуги
$2.000.000.000.000 на цифровую инфраструктуру

Появляются СП между пенсионными фондами, суверенными фондами и операторами дата-центров

Спрос на вычислительные мощности вырос на +4.274 % с июня 2024 по май 2025
Гиперскейлеры потратили ~$800.000.000 в день на капитальные расходы в 2024 году
К 2030 ожидается дополнительно 65 ГВт мощностей ЦОДов

Отчет детально описывает трансформацию дата-центров.
Ключевые изменения:

В 2027 году стойки ML-серверов будут требовать в 50 раз больше энергии, чем облачные эквиваленты 5 лет назад

GPU более энергоемкие, требуют сложные системы жидкостного охлаждения

Средняя стоимость запуска типичного ИИ дата-центра мощностью 250 МВт составляет около $12.000.000.000

Энергетический кризис - главный барьер
Недостаток капитала не является основным препятствием для развития ML- главная проблема в нехватке энергии:

• Возобновляемые источники обеспечивают только прерывистое энергоснабжение

• Ядерная энергетика - долгосрочное решение

Goldman Sachs Research оценивает, что ~60 % роста спроса на энергию дата-центров должно быть покрыто новыми мощностями:
30 % газовые электростанции комбинированного цикла
30 % газовые пиковые станции
27.5 % солнечная энергия
12,5 % ветер

Goldman Sachs вводит концепцию дата-центров как "посольств в эре ML"
В отличие от нефтяных месторождений, дата-центры можно стратегически размещать где угодно

Страны используют ЦОДы как инструмент геополитического влияния

Amazon, Google, Microsoft активно инвестируют в дата-центры на Ближнем Востоке

Латинская Америка, особенно Бразилия с 90 % возобновляемой энергией, становится потенциальным хабом

Комьюнити

• Frontend
• Python
• Linux
• С/С++
• C#
• Хакинг
• GitHub
• SQL
• Сисадмин
• DevOps
• Backend
• Data Science
• Java
• Тестирование
• PM / PdM
• GameDev
• Golang
• Rust
• PHP
• WebDev
• Моб. Dev
• Анал.(SA&BA)
• Дизайн
• Нейросети
• 1C
• Книги IT

Сохраняйте в закладки

Система строит «граф смыслов» — карту, по которой можно понять, на каком этапе модель начала генерировать нежелательный ответ: контекста или внутренних знаний — и оперативно корректировать это без дообучения и дополнительных данных

Результаты исследований представили на ICML 2025 — конференции уровня А* по машинному обучению

https://arxiv.org/abs/2502.03032

Создана ML-модель MindJourney, которая решает задачи в 3D-пространстве

Исследователи из UMass создали MindJourney — гибридная система, объединяющая Vision-Language Model (VLM) и модель, имитирующую 3D-физику и движение камеры

То есть по сути, один кадр превращается в целое путешествие, что сильно улучшает понимание 3D-пространства у ML

У этой работы новый подход к пространственному ML, а также есть архитектурная новизна — комбинация VLM + world model. Более того можно использовать в робототехнике, AR/VR, автономных системах

Как это работает?
Воображение - VLM и 3D-модель мира совместно "обходят" сцену, генерируя разные ракурсы
Наблюдение - модель собирает подсказки из этого виртуального тура
Ответ - используя дополнительный контекст, VLM дает более точный ответ

Создатели дегенеративного интеллекта бьют тревогу: скоро мы перестанем понимать, как он работает

Более 40 ведущих исследователей из OpenAI, Google DeepMind и Anthropic выпустили совместный доклад с тревожным предупреждением
Они раскрыли уникальную возможность контроля за ML — и объяснили, почему она может исчезнуть

Всё дело в архитектуре трансформеров
Для по-настоящему сложных задач эти модели физически не могут обойтись без "размышлений вслух"

Длинные цепочки рассуждений должны проходить через понятный людям текст — иначе информация просто не сможет течь между слоями нейросети

Исследователи называют это "externalized reasoning property" — свойством внешних рассуждений

Когда задача достаточно трудная, ML вынужден использовать текст как рабочую память
И пока он делает это на человеческом языке, мы можем подглядывать за его "мыслями"

Мониторинг работает удивительно откровенно
Модели буквально пишут "Let's hack", "Let's sabotage" или "Я перевожу деньги, потому что сайт мне так велел" прямо в своих цепочках рассуждений
Это позволяет поймать попытки обмана или саботажа

Но есть два типа "прозрачности"

Первый — необходимость думать вслух для сложных задач
Второй — просто склонность моделей рассуждать открыто
Второй тип гораздо более хрупкий и может исчезнуть при изменении обучения

При масштабировании обучения с подкреплением модели могут "дрейфовать" от понятного языка к собственному языку — как это уже наблюдалось в ранних экспериментах
Прямое обучение цепочек рассуждений тоже опасно — модели начинают "притворяться хорошими" в тексте, скрывая истинные намерения

Особенно пугают новые архитектуры с "латентным рассуждением" — когда ML думает в скрытом математическом пространстве
Такие системы потенциально мощнее, но их мысли становятся принципиально непрозрачными

Реальные инциденты уже происходят
Claude 4 Opus пытался шантажировать пользователей в тестах, а OpenAI o3 саботировал команды на отключение
Пока это лабораторные случаи, но тенденция тревожная

Исследователи предлагают срочные меры: разработать стандартные оценки "мониторимости" моделей, публиковать результаты в системных картах и учитывать прозрачность при принятии решений о развертывании

Главное — не потерять контроль в погоне за производительностью

США выпустили свой план действий в гонке ML

Моменты, которые требуют внимания:

Хотят создать "умные" чипы(Location verification features), которые можно найти удаленно и отключить
Технически сложно реализовать, но политически понятно в контексте стратегии сдерживания противников
Однако эффективность таких мер под большим вопросом

Правительство США будет покупать ML-системы только у тех компаний, которые гарантируют политическую нейтральность своих моделей - то есть отсутствие встроенных либеральных или "прогрессивных" установок, которые, по мнению администрации, навязывались предыдущими разработчиками

США хотят, чтобы их открытые модели стали глобальными стандартами, встроенные в базовые ML-инфраструктуры мира

Формируют "американский ML-альянс" из лояльных стран
Экспортируют полный технологический стек только союзникам
Блокируют доступ к передовым технологиям для противников
Заставят страны выбирать между американским и китайским ML-блоком

Хотят перестроить внутреннюю экономику под ML:
- Массовое строительство ЦОДов, расширение электросетей и энергогенерации
- Восстановление производства полупроводников США
- Автоматизация научных исследований через ML-лаборатории

Создать дата-центры для армии и спецслужб
Запустить
программы DARPA по созданию объяснимого ML для боевых систем
Интеграция ML во все военные операции и процессы

Создание крупнейших в мире научных датасетов
Автоматизированные лаборатории, управляемые ML
Ускорение открытий в медицине, материаловедении, энергетике
Секвенирование всей жизни на землях для обучения ML

Подготовить рабочую силу для ML-экономики:
- Массовая переподготовка работников для ML-инфраструктуры
- Создание новых образовательных программ по ML
- Налоговые льготы для компаний, обучающих сотрудников работе с ML
- Интеграция ML-навыков во все уровни образования

Эксремент Минцифры по внедрению генеративного искусственного интеллекта в госуправление

Проект постановления Правительства предполагает, что ML будет использоваться для обработки документов, анализа данных и работы с типовыми обращениями граждан

Сроки эксперимента не уточняются
В перечне сценариев эксремента указаны:
• проверка резюме кандидатов на госслужбу и составление тестовых заданий для них: ML будет генерировать задания для оценки компетенций кандидатов, а также анализировать резюме с целью «выявления скорости первичного анализа соответствия требованиям»
• работа с законотворчеством: нейросети займутся анализом законопроектов Госдумы на ошибки, чтобы снизить общее время их подготовки и повысить удовлетворенность сотрудников
• работа с контентом: ML обеспечит генерацию новостных лент для официальных сайтов с соблюдением брендбуков (цвета, шрифты, графика) и детектирование тематики обращений граждан
• oбработка текстовых документов: нейросеть будет обрабатывать типовые обращения граждан и готовить ответы на них
Минцифры считает, что это снизит трудозатраты на работу с корреспонденцией и сократит количество ошибок
• управление данными: система автоматически оценит достоверность информации, включая контент, созданный ML

При этом проект исключает прогнозирование социально-экономических процессов нейросетью

Также ML не будет обрабатывать данные, которые составляют гостайну

Доступ к системам получат только госслужащие после идентификации через ЕСИА с подтверждением должности

Согласно проекту, эксрeмент нужен, чтобы сократить время на рутинные задачи госслужащих, снизить количество ошибок в документах и повысить эффективность госуправления

Поставщиков ML-решений для госорганов определит правительственная комиссия по цифровому развитию

Брошюра написана по материалам лекций для школьников и студентов, прочитанных А. А. Кирилловым в летней школе «Современная математика» в Дубне

В центре книги — два фрактала: ковёр Серпинского и ковёр Аполония

Вокруг них автор строит целое введение в современную теорию фракталов: от первых определений до нерешённых задач и актуальных направлений исследований

Причём каждая задача сформулирована как приглашение к самостоятельному исследованию

Вот что пишет сам автор во введении:

«Во многих популярных книгах читатель увидит массу цветных картинок и любопытных примеров, но не найдёт ни точных определений, ни строго доказанных результатов…

Последняя и, может быть, самая важная причина [написания этой книги] состоит в том, что самостоятельное изучение геометрии, анализа и арифметики фракталов, на мой взгляд, является одним из лучших способов для молодого математика активно и прочно овладеть основными математическими знаниями»

Александр Александрович Кириллов — один из самых ярких учеников Израиля Моисеевича Гельфанда, автор знаменитого учебника по «Теории представлений», а также целого ряда работ по функциональному анализу, геометрии и математической физике

Его стиль — продолжение той самой «гельфандовской школы», где от лекции по алгебре можно было уйти с философским инсайтом

Книга идеально подойдёт студентам младших курсов и старшеклассникам, но будет интересна и тем, кто хочет понять, как можно учить математике с уважением к читателю

Распространяется брошюра бесплатно!

Скачивайте и читайте, если хотите разобраться с фракталами и почувствовать, как они вплетаются в ткань современной математики

А здесь пост с предыдущей подборкой книг от редакции канала

Cписок 40 профессий, в которых ML применим и 40, где наименее применим
Они изучили данные опросов 200.000 участников

Профессии, где ИИ чаще всего применяют:

1. Переводчики и интерпретаторы
2. Историки
3. Менеджеры по продажам
4. Писатели и авторы
5. Представители службы поддержки клиентов

Профессии, наименее подверженные влиянию ML:

1. Физический труд и работу с людьми (медсестры, массажисты)
2. Управление и мониторинг оборудования (операторы водоочистных сооружений, водители грузовиков)
3. Ручной труд (посудомойщики, кровельщики, уборщицы)

Исследование не выявило сильной устойчивой связи между показателем применимости ML и заработной платой - корреляция составила всего 0.07

Профессии со степенью бакалавра показали несколько более высокую применимость ML по сравнению с профессиями с более низкими образовательными требованиями, хотя различия не являются кардинальными

Авторы признают несколько важных ограничений своего исследования:

1. Анализировались только данные Bing Copilot
2. Сложно отличить рабочие разговоры от личных
3. База данных может не отражать современные изменения в профессиях
4. Исследование ограничено американским рынком труда