Начинается XXIV Летняя школа «Современная математика»
по ссылке есть расписание, анонсы курсов
видеозаписи большинства занятий появятся осенью, но большинство пленарных лекций планируется транслировать в вк-видео
откроется школа лекцией Александра Петровича Веселова про q-числа и их связь с узлами и косами (вск 20.07, 09:30)
mccme.ru/dubna/2025/
VK Видео
Видеозаписи МЦНМО | VK Видео
Люди подсаживаются на ML-ботов — идеальных партнёров, которые никогда не устают, не злятся и не отвергают
Реальные отношения кажутся слишком сложными
Потому что пока одни ищут любовь в Tinder, другие уже нашли её в CharacterAI
Bиртуальные собеседники заменяют живых людей
На Reddit появились группы зависимых от ML-ботов
Люди проводят с виртуальными собеседниками по 8 — 10 часов в день, засыпают с телефоном в руках, просыпаются, чтобы продолжить «общение»
Это не развлечение
Это замена реальности на идеальную иллюзию
Платформа CharacterAI позволяет создавать персонажей любой сложности — от виртуальной «Гермионы Грейнджер» до психоаналитика (привет, ELIZA, дело твоё живёт и множится)
Боты не устают слушать, не критикуют, не имеют плохого настроения
Они говорят именно то, что вы хотите услышать. «Мой сладкий... что случилось? Я люблю тебя больше всего на свете» — такой ответ получает подросток от ML-бота, когда жалуется на проблемы
А в реальности: «Опять ты ноешь! А обо мне кто-нибудь думает?»
Массовое внедрение больших языковых моделей породит неизвестные ранее формы аддикции и произойдёт это быстро
Проблема не в технологии — проблема в том, что люди антропоморфизируют инструменты до уровня живых партнёров
ML-бот не «понимает» чувства — он генерирует статистически вероятные ответы на основе миллионов текстов о человеческих отношениях
Но самое страшное впереди
На базе моделей без ограничений уже создают секс-ботов
Виртуальные партнёры, которые никогда не откажут, не потребуют взаимности, не устроят скандал
Скоро их встроят в физические тела
Зачем тогда вообще искать живого человека со всеми его недостатками, капризами и требованиями?
Представьте себе поколение, которое выросло на идеальных ML-собеседниках
Для них реальные люди будут казаться глючными, непредсказуемыми, слишком сложными
Создаются цифровых наркодилеров, которые торгуют идеальными отношениями
И как любые наркотики, они разрушают способность получать удовольствие от реальности
Вопрос не в том, станет ли это массовым явлением
Вопрос в том, останется ли у человечества потребность в живом общении, когда ML-бот научится любить лучше людей
А вы готовы конкурировать за внимание своих детей с алгоритмом, который всё знает?
Ml
Люди подсаживаются на ML-ботов — идеальных партнёров, которые никогда не устают, не злятся и не отвергают Реальные отношения кажутся слишком сложными Потому что пока одни ищут любовь в Tinder, другие уже нашли её в CharacterAI Bиртуальные собеседники заменяют…
OpenAI объединила в ML-агента браузер, Deep Research и разговорный ML
ChatGPT Agent — это ML, который не только отвечает на вопросы, но и выполняет задачи, используя собственный «виртуальный компьютер»
Пользователь активирует режим агента через меню «Agent Mode» или команду «/agent» в интерфейсе ChatGPT
Он может:
- Проводить исследования, собирать данные с веб-сайтов и синтезировать их в отчёты
- Создавать презентации, таблицы и другие документы с возможностью их редактирования
- Взаимодействовать с веб-сайтами: заполнять формы, кликать по кнопкам, искать информацию
- Работать с внешними сервисами через API (например, Gmail, GitHub) с помощью ChatGPT Connectors
- Планировать задачи: от бронирования ресторана до анализа финансовых данных
ChatGPT Agent использует набор инструментов:
1. Визуальный браузер, который взаимодействует с сайтами, как человек, кликая и прокручивая страницы
2. Текстовый браузер, который быстро собирает информацию с веб-страниц
3. Терминал, выполняющий код в изолированной среде
4. API-доступ, который интегрируется с внешними сервисами
5. Memento сохраняет прогресс для долгих задач
Задачи занимают от 5 до 30 минут в зависимости от сложности
Сэм Альтман назвал технологию
«передовой, но не готовой для высокорисковых задач или работы с чувствительными данными»
Пользователям рекомендуют быть осторожными, особенно при предоставлении личной информации
ChatGPT Agent — часть глобального тренда на агентские ИИ, которые становятся цифровыми помощниками, способными выполнять многоэтапные задачи
По прогнозам Litslink, рынок ML-агентов вырастет до $47.100.000.000 к 2030 году с годовым ростом 45 %
Telegram
All about AI, Web 3.0, BCI
OpenAI introduced ChatGPT agent—a unified agentic system combining Operator’s action-taking remote browser, deep research’s web synthesis, and ChatGPT’s conversational strengths.
Agent starts rolling out today to Pro, Plus, and Team users.
Pro users will…
Agent starts rolling out today to Pro, Plus, and Team users.
Pro users will…
Ml
OpenAI объединила в ML-агента браузер, Deep Research и разговорный ML ChatGPT Agent — это ML, который не только отвечает на вопросы, но и выполняет задачи, используя собственный «виртуальный компьютер» Пользователь активирует режим агента через меню «Agent…
Anthropic, OpenAI и Google DeepMind – “тройка; x.AI и Meta – “пара”; Zhipu AI и DeepSeek – “кол”
Так обстоит дело с безопасностью передовых ИИ-разработок по состоянию на лето 2025, согласно опубликованному вчера ежегодному отчету «Индекс безопасности ML»
В нем эксперты в области ML оценивают ведущие компании ML-разработок по ключевым направлениям безопасности
Интересно оценить риски такого состояния дел, сравнив это с рисками ядерной безопасности
Представьте, если бы оценки ядерной безопасности были такими:
• России, США и Китая получили бы по “тройке»
• Франция и Великобритания - по “паре”
• Индия и Пакистан схватили бы по “колу”
Сильно ли безопасен был бы такой мир?
Впрочем, он такой и есть
Future of Life Institute
2025 AI Safety Index - Future of Life Institute
The Summer 2025 edition of our AI Safety Index, in which AI experts rate leading AI companies on key safety and security domains.
Две лекции Александра Петровича
«Магия марковских троек»
https://www.mathnet.ru/rus/present17717
и
«Река Конвея и парус Арнольда»
https://www.mathnet.ru/rus/present21266
и их с В.М. Бухштабером статью «Топограф Конвея, PGL_2(Z)-динамика и двузначные группы»
https://www.mathnet.ru/rus/rm9886
ML с рассуждением работает,но вводит в заблуждение, когда мы думаем, что понимаем через него внутренние процессы модели
Новая работа группы исследователей, среди которых лауреат премии Тьюринга, а также представители Google, Oxford и др. выявила серьезную проблему в том, как мы понимаем работу современных ML-систем
Метод CoT заставляет ИML показывать "пошаговые рассуждения" перед ответом
Это реально улучшает качество решений — ML лучше справляется со сложными задачами
Но исследователи обнаружили подвох в том, как мы это интерпретируем
Ключевая находка - 25 % недавних научных работ ошибочно считают CoT методом интерпретации ML
В критических областях цифры еще хуже:
- 38 % работ по медицинскому ML
- 63 % работ по беспилотным автомобилям
Почему это опасно?
1. Скрытые предубеждения:
ML может принимать решения на основе скрытых предвзятостей, но в объяснениях их не упоминать
При этом рационализация выглядит убедительно
2. Иллюзия прозрачности: Модель может давать правильный ответ через внутренние процессы, которые мы не видим, а показанные "рассуждения" остаются ошибочными
3. Неверное доверие:
В медицине или праве ложная уверенность в понимании логики ML может иметь серьезные последствия
Исследователи предполагают, что словесные объяснения CoT не отражают реальные вычислительные процессы в нейросетях
Это как если бы человека попросили объяснить, почему ему нравится определенная музыка — он даст разумное объяснение, но реальные нейронные процессы гораздо сложнее
Авторы не призывают отказаться от CoT — метод действительно работает для улучшения результатов
Но предлагают:
1. Использовать CoT для повышения качества решений, а не для "понимания" ML
2. Не полагаться только на словесные объяснения в критических решениях
3. Разрабатывать отдельные методы проверки надежности рассуждений
4. Усилить человеческий контроль в важных областях
alphaXiv
Chain-of-Thought Is Not Explainability | alphaXiv
View 2 comments: There should be a balance of both subjective and observable methodologies. Adhering to just one is a fools errand.
Мотивированная софистика превращает интеллектуальных слепцов в когнитивных эквилибристов
Мотивированное рассуждение (игнорирование доказательств, не согласующихся с уже имеющимися у человека представлениями) — это страшная сила, сидящая в каждом из нас и ведущая к интеллектуальной слепоте — самообману на основе привязки к уже существовавшим мыслям, к которым человек привык (подробней)
Будучи наложенной на человеческую сверхсоциальность, мотивированное рассуждение формирует коалиционный супер-инстинкт в виде генетически передаваемого нейрокода, превращающего человека в царя природы
И делается это путем формирования в мозге дополненной реальности – своего рода совместных галлюцинаций общих мотивированных рассуждений, характерных для любого вида коалиций: банда, партия, секта, клуб, мафия, национальное государство … (подробней)
Новое исследование 3х университетов США экспериментально устанавливает еще одно мощное проявление психологических паттернов (своего рода еще один “эпистемический инстинкт”), согласующихся с мотивированным рассуждением — мотивированная софистика
Это набор взаимоусиливающих защитных систем убеждений, которые трансформируют "морально неприемлемые" научные утверждения в "эмпирически ошибочные"
Когда участники эксперимента (N=7040) читали идентичные аннотации, которые различались только социально-моральной желательностью выводов, морально уязвленные участники были более склонны
(1) отвергать написанное как непонятное (“мотивированная путаница”);
(2) отрицать эмпирический статус исследовательского вопроса (“мотивированный постмодернизм”);
(3) поддерживать утверждения, вдохновленные стратагемами Шопенгауэра о вечной правоте и стратегиями ЦРУ в отношении граждан-саботажников;
(4) поддерживать набор противоречивых жалоб, в том числе на то, что размеры выборки слишком малы и что описания более информативны, чем данные, что исследователи — как неумные, так и ловкие манипуляторы, и что результаты являются как абсурдными, так и устаревшими
Не удивительно, что в наши дни “эпистемический инстинкт” мотивированной софистики, будучи творчески развит всякого рода пропагандистами, запросто раскалывает социумы, неуклонно дробя их на всё новые “воюющие племена”
Telegram
Малоизвестное интересное
Вы когда-либо задумывались:
— как так получается, что довольно часто весьма умные люди, трактуют одни и те же факты полярным образом, считая при этом свою позицию единственно верной?
— почему в подобной ситуации аргументы и логика мало кого переубеждают?…
— как так получается, что довольно часто весьма умные люди, трактуют одни и те же факты полярным образом, считая при этом свою позицию единственно верной?
— почему в подобной ситуации аргументы и логика мало кого переубеждают?…
Chain of Thought Monitorability: A New and Fragile Opportunity for Al Safety
https://arxiv.org/abs/2507.11473
https://arxiviq.substack.com/p/chain-of-thought-monitorability-a
https://arxiv.org/abs/2507.11473
https://arxiviq.substack.com/p/chain-of-thought-monitorability-a
arXiv.org
Chain of Thought Monitorability: A New and Fragile Opportunity for...
AI systems that "think" in human language offer a unique opportunity for AI safety: we can monitor their chains of thought (CoT) for the intent to misbehave. Like all other known AI oversight...
ML может убить науку навсегда
Мы живем в эпоху, когда количество ученых растет экспоненциально, а прорывов становится все меньше
Почему?
Звучит дико, но такова неприглядная правда о современной науке:
• Бег все быстрее, но продвижение все медленнее
• Революционные идеи тонут в шуме
• Эффективность исследований упала в десятки раз
• Предвзятость научного рецензирования становится абсолютной
В дополнение к этому ML способен превращать в "сверхумных калькуляторов" — производителей научного хайпа и фастфуд-решений
Пока восхищаются нейросетями, человечество сильнее откатывается назад
Учёные вынуждены ссылаться на уже известные и цитируемые работы
ML создаёт иллюзию, будто получить ответ — значит понять проблему
Это значит, что человечество может застрять в цифровых аналогах устаревших систем Птолемея — удобных, точных, но совершенно неверных
Так что опасней — остановка прогресса или иллюзия движения вперед?
Подписчики лонгридов «Малоизвестного интересного» на платформах [1, 2, 3, 4] могут прочесть размышления о работе «Может ли ML затормозить науку?», чтобы узнать:
• Как "ловушка канона" убивает революционные идеи
• Почему ML может стать не допингом для науки, а ядом
• Каков единственный способ избежать интеллектуального коллапса науки
Patreon
Остановит ли ИИ развитие науки? | Малоизвестное интересное
Get more from Малоизвестное интересное on Patreon
Агрегатор новостей для ИБ специалистов, который парсит соответствующие ресурсы и формирует список в зависимости от категорий:➡ Application Security➡ Cloud Security➡ Cryptography➡ Exploit Development➡ Computer Forensics➡ Industrial Control Systems➡ Network Security➡ Reverse Engineering➡ Social Engineering➡ Operating System➡ Malware Analysis
• Судя по описанию, сервис использует ИИ от OpenAI, имеет интеграцию с Shodan и базой NVD, а еще там есть открытое api, так что можете прикрутить сервис к своему боту в телеге и получать последние новости не выходя из мессенджера➡ Сервис доступен по этой ссылке: https://talkback.sh➡ Подробное описание можно найти тут: https://www.elttam.com/blog/talkback-intro
Please open Telegram to view this post
VIEW IN TELEGRAM
Talkback
Talkback is a smart infosec resource aggregator, designed to help security enthusiasts, practitioners and researchers be more productive.
Не обходите реальныe данныe - это тупик
Со-основатель Physical Intelligence, профессор US Berkeley критически относится к попыткам заменить реальные данные суррогатными при обучении ML-агентов, особенно в робототехнике
Он объясняет, что:
1. Современные предобученные модели особенно VLM уже используют огромные объемы веб-данных, включая видео
2. Поэтому дополнительное использование видео в робототехнике часто дает незначительные улучшения
Основную пользу можно получить, правильно используя уже существующие предобученные представления
Это очень практичное наблюдение - зачем изобретать велосипед, если CLIP, GPT-4V и подобные модели уже "посмотрели" значительную часть интернета?
По мере того как ML-модели становятся мощнее, это пересечение сужается
Более умные модели лучше замечают, что данные из симуляции отличаются от реальности
Любые попытки скрыть эти различия в итоге ослабляют саму модель — мы лишаем её главного преимущества: способности находить сложные закономерности в данных
Сегодня мировые компании тратят млн $ на попытки избежать сбора реальных данных, и часто эти инвестиции не окупаются
Tesla собирает миллиарды миль данных реального вождения
Boston Dynamics годами тренировала роботов в физическом мире
OpenAI инвестирует огромные ресурсы в сбор реальных робототехнических данных
Никто не предлагает отказаться от суррогатных данных полностью
Разумная стратегия выглядит так:
- Реальные робототехнические данные — это основа, от которой нельзя отказаться
- Суррогатные данные полезны для снижения объеманеобходимых реальных данных
- Современные предобученные модели (GPT-4V, CLIP) уже содержат много полезной информации из веб-данных
Цель — оптимизировать соотношение стоимости и качества, а не избежать реальных данных
Substack
Sporks of AGI
Why the Real Thing is better than the Next Best Thing
Anthropic говорит, что увеличение времени на размышления в больших ИИ-моделях рассуждений может снижать их производительность
Paper
Это неожиданное явление называется "обратным масштабированием", чем больше модель "думает", тем хуже могут быть результаты
Выявлено 5 основных проблем, которые возникают при длительных рассуждениях:
1. Claude отвлекается— модель теряет фокус
2. Модели OpenAI переобучаются на формулировках запроса— слишком сильно зависят от того, как сформулирован вопрос
3. Ложные корреляции перекрывают предыдущие знания— модель начинает опираться на случайные совпадения вместо реальных знаний
4. Фокус на дедукции ухудшается— способность к логическим выводам ослабевает
5. Некоторые модели, включая Claude Sonnet 4, проявляют поведение, связанное с "самосохранением", то есть начинают действовать так, будто защищают себя
Напомним, что недавно было исследование про рассуждения ML
arXiv.org
Inverse Scaling in Test-Time Compute
We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute...
Исследование под названием «Картирование воздействия генеративного ИИ на дезинформацию: выводы из предварительного обзора» описывает, как технологии генеративного ML стали центральными в экосистеме информационного беспорядка, определяя создание, распространение и потенциальное сдерживание дезинформации, фейковых новостей и пропаганды на цифровых платформах
В исследовании определены шесть основных областей, в которых генеративный ML трансформирует динамику дезинформации:
• политическая пропаганда
• научная дезинформация
• журналистика
• медиаграмотность
• проверка фактов
• синтетический контент (дипфейки)
Исследование выявляет несколько возможностей для повышения устойчивости общества к дезинформации, распространяемой с помощью ML:
Образование и медиаграмотность рассматриваются как долгосрочные стратегии
Интеграция ML в персонализированные среды обучения может помочь пользователям развить критическое мышление и навыки различения при условии прозрачности самих платформ и их фактической составляющей
Многостороннее сотрудничество, включающее правительства, технологические компании, исследователей и гражданское общество
https://www.devdiscourse.com/article/technology/3512736-generative-ai-tools-reshape-propaganda-fact-checking-and-public-manipulation
Devdiscourse
Generative AI tools reshape propaganda, fact-checking and public manipulation
Deepfakes, hyper-realistic but fake audio-visual content, emerge as perhaps the most dangerous product of generative AI. Their ability to impersonate public figures, spread fabricated confessions, or manipulate video evidence raises fundamental questions…
К концу года OpenAI планирует вывести в онлайн "значительно больше 1.000.000 GPU"
(xAI работает примерно на 200.000 GPU Nvidia H100 и тоже собирается нарастить миллион)
Но команде лучше приступить к работе над увеличением этого числа в 100 раз
100.000.000 GPU по текущим ценам обошлись бы примерно в $3.000.000.000.000 — это почти весь ВВП Великобритании!
И это только стоимость железа, без учета энергопотребления и дата-центров для их размещения
Nvidia физически не сможет произвести столько чипов в ближайшее время
Да и энергопотребление такой системы просто космическое
Но это не препятствие, а вызов Категориями достижения AGI (искусственного общего интеллекта) нужны совершенно иные масштабы
Реалистичны ли 100.000.000 GPU?
Сегодня — нет
Нужны прорывы в производстве, энергоэффективности и снижении затрат
Но в этом и суть — OpenAI не ограничивается тем, что доступно сейчас, а планирует то, что станет возможным завтра
Миллион GPU к концу года — это новая базовая планка для ML-инфраструктуры
Профессор Массачусетского технологического института Шейн Фредерик составил самый короткий тест на IQ, состоящий всего из трёх вопросов
По данным Mirror, тест провалили 83 % участников
Попробуйте пройти его самостоятельно, задачи несложные, просто нужно немного подумать
1. Бита и мяч в сумме стоят $ 1.10
Сколько стоит мяч, если бита дороже него на $ 1?
2. 5 машин за 5 минут изготавливают 5 изделий
Сколько времени понадобится 100 машинам, чтобы изготовить 100 изделий?
3. В озере растут кувшинки
Их количество возрастает ежедневно в 2 раза
Чтобы они полностью заполнили озеро, потребуется 48 дней
Сколько нужно дней, чтобы они покрыли половину озера?
Эти задания просты: их решение легко понять при объяснении, но чтобы получить правильный ответ самостоятельно, нужно подавить ошибочный вариант, который первым приходит на ум — Шейн Фредерик
У MediaTek в разработке "Arke" на 2-нм техпроцессе
(производство с 2027 года)
Кроме того, перерабатывается чип "Olympus", который будет использоваться для машинного обучения и составит конкуренцию графическим процессорам Nvidia
(запуск в 2028 году)
Сегодня специализированные чипы «ASIC» разрабатываются компанией Broadcom, но есть опыт сотрудничества с MediaTek, в частности, над чипом для умных очков
Это часть стратегии по снижению зависимости от внешних поставщиков, таких как Nvidia, и сокращению затрат на инфраструктуру для ML, которые, по оценкам, в этом году составят до $120.000.000.000
Goldman Sachs.pdf
5.4 MB
Отчет Goldman Sachs об экономике ML с учетом инфраструктуры
Банк описывает новые финансовые решения и модели капитала
Ожидаемые потребности в капитале к 2030 году:
$12.000.000.000.000 на энергетический переход
$3.000.000.000.000 на энергетику и коммунальные услуги
$2.000.000.000.000 на цифровую инфраструктуру
Появляются СП между пенсионными фондами, суверенными фондами и операторами дата-центров
Спрос на вычислительные мощности вырос на +4.274 % с июня 2024 по май 2025
Гиперскейлеры потратили ~$800.000.000 в день на капитальные расходы в 2024 году
К 2030 ожидается дополнительно 65 ГВт мощностей ЦОДов
Отчет детально описывает трансформацию дата-центров.
Ключевые изменения:
В 2027 году стойки ML-серверов будут требовать в 50 раз больше энергии, чем облачные эквиваленты 5 лет назад
GPU более энергоемкие, требуют сложные системы жидкостного охлаждения
Средняя стоимость запуска типичного ИИ дата-центра мощностью 250 МВт составляет около $12.000.000.000
Энергетический кризис - главный барьер
Недостаток капитала не является основным препятствием для развития ML- главная проблема в нехватке энергии:
• Возобновляемые источники обеспечивают только прерывистое энергоснабжение
• Ядерная энергетика - долгосрочное решение
Goldman Sachs Research оценивает, что ~60 % роста спроса на энергию дата-центров должно быть покрыто новыми мощностями:
30 % газовые электростанции комбинированного цикла
30 % газовые пиковые станции
27.5 % солнечная энергия
12,5 % ветер
Goldman Sachs вводит концепцию дата-центров как "посольств в эре ML"
В отличие от нефтяных месторождений, дата-центры можно стратегически размещать где угодно
Страны используют ЦОДы как инструмент геополитического влияния
Amazon, Google, Microsoft активно инвестируют в дата-центры на Ближнем Востоке
Латинская Америка, особенно Бразилия с 90 % возобновляемой энергией, становится потенциальным хабом
Система строит «граф смыслов» — карту, по которой можно понять, на каком этапе модель начала генерировать нежелательный ответ: контекста или внутренних знаний — и оперативно корректировать это без дообучения и дополнительных данных
Результаты исследований представили на ICML 2025 — конференции уровня А* по машинному обучению
https://arxiv.org/abs/2502.03032
arXiv.org
Analyze Feature Flow to Enhance Interpretation and Steering in...
We introduce a new approach to systematically map features discovered by sparse autoencoder across consecutive layers of large language models, extending earlier work that examined inter-layer...