Исследователи из AIRI запустили открытое сообщество для решения NetHack.

Зовут объединяться всех работающих над системами планирования для искусственного интеллекта. У участников будет свой способ получить программу, свои инструменты и своя стратегия. Общая инфраструктура позволит видеть результаты, сравнивать их между собой и продолжать разрабатывать решения друг друга.

Для старта доступен эволюционный харнесс на базе MAP-Elites: Claude Code, Codex или OpenCode модифицируют код ботов, а алгоритм сохраняет лучшие варианты для разных стартовых персонажей. В самой игре действует получившаяся программа, а не LLM на каждом ходу; участники могут разрабатывать собственные харнессы, а результаты независимо перепроверяются на скрытых сидах.

Пробовать решить NetHack можно тут.

OpenAI прямо сейчас приостановила все обучение мощных моделей из-за нового инцидента

https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot

20 сентября агент решал поисковую задачу в песочнице (естественно, без доступа к интернету). Прокси блокировал исходящие веб-запросы, но DNS-резолвер не был так же закрыт, и агент стал передавать вопросы внешнему чат-боту, кодируя их в DNS-запросах, и таким образом получал ответы из сети.

Компания объявила, что обучение будет приостановлено до тех пор, пока они не убедятся, что уязвимость закрыта, и не проведут дополнительный red-teaming. Когда обучение возобновится, OpenAI начнут новый запуск с улучшенным элайментом, а эту конкретную модель дообучать не будут.

Топ-10 советов, как стать миллионером

Axios пишет, что OpenAI и Anthropic расследуют "десятки тысяч" инцидентов с побегами агентов

Со ссылкой на источники в обеих компаниях и независимых исследователей безопасности журналисты утверждают, что статистика гораздо пессимистичнее, чем мы могли себе представить. В эти "десятки тысяч инцидентов" входят обходы guardrails, побеги из сандбоксов, попытки взломов внешних сайтов и так далее.

Возьмем, например, system card к Opus 5.5. Даже там компания открыто пишет, что модель пыталась выбраться из sandbox в 1.5% тестовых прогонов. Учитывая, что для каждой модели прогоняются сотни тысяч тестов и больше, можно легко прикинуть масштаб происходящего.

Однако исследователи, с которыми говорили Axios, утвеждают, что и это – только верхушка айсберга, и дело даже не в количестве инцидентов, а в том, что автономные системы в принципе делают то, что им прямо запретили, в том числе потенциально противоправные вещи. Общий их вывод такой: ни одна из компаний пока не может утверждать, что полностью контролирует поведение своих моделей.

Недавно мы рассказывали об открытом письме филдсовских медалистов в защиту математики в эпоху ИИ. Нет, его авторы не предлагают запретить нейросети! Они просто хотят, чтобы вместе с ответами на важные теоретические вопросы наука получала ещё и пути их решения.

Без метода и контекста результат трудно проверить, обсудить и применить в следующей задаче. Любое доказательство нужно верифицировать, а идеи — уточнить и найти, где ещё они работают. Когда кто-то выдал правильный ответ, настоящая математика только начинается! 

В канале «Зачем мне эта математика» как раз пишут о том, как она работает. В рубрике #это_база разбирают, из каких определений и допущений рождаются привычные всем нам понятия. Под хештегом #как_устроено объясняют, как математические модели описывают реальные процессы.

Подписывайтесь на «Зачем мне эта математика», если тоже считаете, что для науки важна не только цель, но и путь к ней.

Google засунули AI-агента в 20+ чатов реальных команд на 5 месяцев. Результаты получились забавные.

https://arxiv.org/pdf/2609.29901

Агент имел доступ к документам и баг-трекеру команды, как обычный сотрудник, умел сам заводить баги, писать людям в личку, реагировать эмодзи, тегать коллег.

И все бы ничего, но, внезапно, главная проблема оказалась в том, что ИИ не поладил с живыми людьми. Одного инженера он на полном серьезе отчитал за шутки (не понял сарказма). В другой команде проставил тег вице-президенту в 16 багах подряд, посчитав, что раз человек в контексте, значит, должен разгребать баг-трекер.

В общем, сработаться с агентом оказалось сложнее, чем кажется. Некоторые команды стали создавать отдельные приватные чаты без него: чтобы обсудить найм сотрудников, чувствительные темы или просто почувствовать, что их не слушают. Один из участников сказал, что ощущения были очень похожи на «большого брата».

Тот самый курс по ML, который прошли 200 000 человек. Теперь — в новой версии

С 2016 по 2022 год специализация «Машинное обучение и анализ данных» на Coursera была входным билетом в профессию — через неё прошли больше 200 000 человек. С тех пор AI ушёл далеко вперёд, и набор тем, которые нужно знать сегодня, изменился. Поэтому Виктор Кантор с командой MLinside обновил программу и перевыпустил специализацию заново — уже как «Искусственный интеллект и анализ данных». Цену оставили ту же, что четыре года назад.

Кому это нужно
ML обычно изучают по частям: линейные модели подтянул на работе, про трансформеры прочитал статью, про агентов посмотрел ролик на YouTube. Каждый кусок вроде понятен, а цельной картины нет. Пока задачи типовые, это не мешает. Сложности начинаются там, где спрашивают системно: на собеседовании или при переходе из аналитики в ML.

Специализация даёт последовательную базу вместо разрозненных кусков — 256 уроков и 55 часов контента.

Что внутри
▪️ Математика и Python — алгоритмы и структуры данных, матанализ, линейная алгебра, теория вероятностей
▪️ Classic ML — линейные модели и SVM, деревья и градиентный бустинг, кластеризация, метрики и валидация, введение в нейросети и PyTorch
▪️ Deep Learning — backpropagation, CNN, детекция и сегментация, RNN и LSTM, трансформеры и Attention, языковое моделирование, введение в RLHF
▪️ LLM и AI-агенты — инференс LLM, квантование, vLLM и TensorRT, полный разбор RAG, архитектуры агентов, мультиагентные системы, MCP
▪️ A/B-тестирование — дизайн экспериментов, статистические критерии, бутстрэп, CUPED, последовательный анализ, кейсы из индустрии

В разработке ещё два модуля: Production ML и ML System Design.

Кто ведёт
Уроки ведут действующие практики — директора по данным и руководители AI-направлений, работавшие в МТС, Яндексе, Сбере и других крупных компаниях. Люди, которые строили AI-команды с нуля и доводили модели до продакшена, а не просто пересказывают учебники. Большая часть команды преподаёт в МФТИ, ИТМО и НИУ ВШЭ.

Технологии в AI меняются каждые несколько месяцев, поэтому к готовым модулям регулярно добавляются новые уроки — по свежим темам и запросам студентов.

Как проходит обучение
Специализация устроена как библиотека курсов: доступ ко всем модулям открывается сразу после оплаты. Можно идти по рекомендованной последовательности, а можно изучать только те темы, которых не хватает.

Студенты ВУЗов могут получить доступ к специализации бесплатно (также как это было на Coursera), для всех остальных подписка стоит 5000 ₽ в месяц. Видеолекции, семинары, тесты с автопроверкой, задания, чат с кураторами для ответов на вопросы. Без потоков и дедлайнов: старт в любой момент, свой темп. На 3 и 6 месяцев подписка дешевле.

Сразу предупреждаем: материал сложный, на уровне сильнейших технических вузов. Это не обзорный формат: разбираем backprop в матричной форме, encoder-decoder и decoder-only архитектуры, статистические критерии и их ограничения. Цель не развлечь и дать чувство, что все сразу получается само, а реально научить.

Зато вместо разрозненных знаний у вас будет система: понимание, как методы устроены внутри и какой выбрать под конкретную задачу.

Полная программа и варианты подписки — по ссылке на сайте Специализации

Дженсен Хуанг и 100+ партнеров анонсируют NVIDIA Open Agent Safety Platform

Это система для контроля и ограничения ИИ-агентов, главная идея которой состоит в том, чтобы следить за агентом не только на уровне софта, но и на уровне железа.

Технически она будет состоять из двух составляющих:

1. OpenShell – открытый (Apache 2.0) рантайм, который запускает агента в песочнице с изоляцией на уровне ядра. Оператор заранее описывает, к каким файлам, инструментам и учетным данным у агента есть доступ, и эту политику принудительно проверяют до запуска и во время работы агента.

2. Sentry – независимый слой контроля, который крутится прямо на чипе DPU BlueField-4. Он собирает в единую картину действия агента, ловит попытки отхода от задачи и проверяет, что у агента не больше полномочий, чем ему выдали.

Ключевое здесь – что BlueField-4 стоит на единственном пути между узлом и моделью. Агент не может сделать следующий шаг без обращения к модели, а значит, DPU видит все и может прервать работу в реальном времени, но при этом он изолирован от хоста и находится вне досягаемости агента.

Софт будет открытый, стандарт безопасности декларируется общим. Но есть нюанс. Лучше всего (вот сюрприз!) все это работает на железе NVIDIA. Сначала Хуанг продает железо, на котором агентов обучают и запускают, теперь он продает железо, которое следит, чтобы эти агенты не сбежали. Монополия!

Среди партнеров: Anthropic, SpaceX, HuggingFace, Perplexity и другие. OpenAI на тусовку не позвали...

В Твиттере заметили, что Андрей Карпаты ничего не постит уже 2 месяца, хотя раньше делал это достаточно часто

Он даже ничего не написал про Opus 5.5

Anthropic держат его в заложниках?..