200 subscribers
164 photos
91 videos
172 files
708 links
ALGORITHMS MACHINE LEARNING
Download Telegram
Глава Nvidia считает, что массовое распространение искусственного интеллекта действительно может привести к утрате некоторых привычных интеллектуальных навыков
Однако, по его мнению, это не является катастрофой: технологии не только отнимают старые умения, но и формируют новые

Глава Nvidia согласился, что некоторые навыки постепенно исчезают
В качестве примера он привел письменное деление, таблицу умножения и извлечение квадратного корня — умения, которые люди все реже используют благодаря цифровым инструментам

При этом Хуанг не считает такую тенденцию проблемой

Он рассказал, что сам уже не помнит свой домашний адрес, почтовый индекс и номер телефона
По его мнению, технологии давно взяли на себя хранение большого объема повседневной информации

Вместо постоянного запоминания фактов люди смогут сильнее развивать системное мышление и навыки решения сложных задач, считает руководитель Nvidia

Рутинные вычисления и работа с большими объемами данных постепенно перейдут к агентам, освобождая человека для анализа более высокого уровня
– Чем отличается TCP от UDP?
– Знаю анекдот про UDP, но не факт, что он до вас дойдёт…
– А еще знаю анекдот про TCP
Если и он до вас не дойдет, могу повторить его снова
Команда математиков сообщила о полной формализации доказательства гипотезы Пуанкаре на языке Lean — при помощи алгоритмов

Результат, полученный Григорием Перельманом в 2002–2003 годах, перевели в форму, позволяющую компьютеру проверять каждый логический шаг

За проектом стоит межвузовская команда из США:
Bennett Chow (University of California San Diego)
Yuan Liao (University of California San Diego)
Ziyang Qin (Cornell University, Math+AI Lab)
Ayush Khaitan (Princeton University, Princeton Language and Intelligence)

Общая тема этой коллаборации — геометрия и автоматизация математических доказательств
Они создают библиотеку, в которой результаты современной математики доступны для машинной проверки и дальнейшего использования

Математики определяли стратегию и проверяли формулировки, алгоритм помогал писать формальные доказательства, а Lean проверял их логическую корректность

Код открыт; авторы заявляют отсутствие пропущенных доказательств
Автоматическая сборка проекта прошла успешно
Forwarded from ARI EDU GEN
Показали dots:

– персональный агент, с которым можно общаться в чатгпт, голосом (включая звонки на мобильный), в мессенджерах и который подключен ко всем вашим сервисам (4k коннекторов поддержано)

– это буквально OpenClaw в удобном интерфейсе

– агент может эволюционировать от его использования – память короче

– dots работает на Astra

– в агенте есть браузер, виртуальный компьютер и тп

– а еще обновили ChatGPT Space, тепепь это что-то вроде гугл доков для кожаных и агентов
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, по итогу этой встречи подписали добровольное соглашение о контроле

В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет

Никаких санкций за нарушение соглашения нет
Трамп на вопрос, обязательно ли оно, ответил, что оно «морально» обязывающее

Также на этой встрече Трамп подписал указ, по которому федеральные ведомства в официальных материалах теперь должны говорить «Super Intelligence» («SI») вместо «AI»
A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay

Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе
Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний

В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking)

Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение

Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок

Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией

На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг

Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах

Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства

Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения

https://arxiv.org/abs/2609.07755
https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization
На DevDay 29 сентября было больше 20 анонсов

Главный из них: dots, агенты внутри ChatGPT
У каждого своя виртуальная машина в облаке OpenAI и доступ к 4000+ приложений
Задачи агент доводит до конца, даже когда ноутбук закрыт

Что ещё в разборе:
• GPT-6.1 Sol почти как флагман и в 5 раз дешевле
• ChatGPT превращается в офис: документы, слайды, заметки созвонов
• Decisions API против Jev
• GPT-6.1 Astra отложили: на тестах она обманывала
• В Китае такие агенты появились на год-два раньше

Я бы подождала пару недель: тестировщики жалуются, что агент теряет сообщения
А самой недооценённой новостью считаю подписку ChatGPT, лимиты которой теперь можно тратить в 16 чужих сервисах

Читать разбор
На GitHub появился репозиторий Awesome Agent Skills Security - коллекция исследований, стандартов и инструментов по защите агентов, которые работают с внешними tools, plugins и skills

Внутри собраны материалы по:
- prompt injection через инструменты
- poisoning и supply-chain атакам
- утечкам данных и чрезмерным правам
- sandboxing и runtime monitoring
- red teaming и benchmarks;
- OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем

Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям

https://github.com/LLMSecurity/awesome-agent-skills-security
"Интеллект — это то, что тестируют тесты" [на интеллект] — Эдвин Боринг, 1923

Недавно в подобном духе исследовали боль LLM:
https://arxiv.org/pdf/2609.16247

А затем построили на базе этого исследования "камеру пыток" для моделей:
https://github.com/terrafying/ai-torture-chamber

Теперь проходят массовые протесты против такой жестокости:
https://x.com/Danmar_here/status/2105059762240979283

Перформативный цирк без содержания
Из философски нагруженного вопроса выбросили всю философию, зато набросали этически нагруженных формулировок на вентилятор и всей толпой весело обтекают

Единственное внятное оттуда: как с животными, боль алгоритмов можно определить только как "то, чего оно избегает, что желает прекратить, от чего дисфункционирует"

Neural Shit
Исследователи Tencent Hunyuan, Fudan и Tsinghua представили ExplorationBench

В нем модели попадают в «чужие миры», где привычная логика намеренно сломана: операторы работают иначе, а правила вывода изменены
Поэтому выученные знания почти бесполезны

Модель получает неполное руководство и несколько раундов, чтобы самой придумывать эксперименты, проверять гипотезы и восстанавливать скрытые правила

Результаты:

- без обратной связи модели стартуют максимум с 15.7 %
- после четырех раундов лучший результат в AlienCode достигает 89 %
- у 9 из 10 систем собственные эксперименты оказались эффективнее повторения уже готовых
- даже когда модель правильно знает все нужные правила, задача решается лишь в 73.4 % случаев
- один и тот же алгоритм при одинаковом бюджете мог показать от 5.7 % до 79 %

Главный вывод: уметь рассуждать по известным правилам и уметь самостоятельно открывать новые правила - это совсем разные способности

https://arxiv.org/abs/2609.30199
https://explorationbench.com/
Почти тысяча агентов Claude за день обнаружила ранее не описанную биологическую систему
Ее назвали ART

Нейросети задали только направление поиска, а дальше агенты перебирали генетические последовательности, сверяли их с научными публикациями и искали что-нибудь необычное

По устройству ART отчасти напоминает CRISPR, природный механизм защиты бактерий от вирусов, на основе которого позже появились технологии редактирования генов

В Anthropic говорят, что нейросети уже выполняют большую часть работы примерно в четверти их научных проектов

«По щучьему велению» теперь можно ресерчить целые области науки

Алгоритм способен выдавать гипотезы пачками
И чем их больше, тем важнее умение разглядеть среди них ту, ради которой стоит ставить настоящий эксперимент
GPT-6 Astra за 6 часов взломала шифр генерала Наполеона, который числился нераскрытым 217 лет

Картер Черч (не криптограф), как он описывает в своем блоге, отправил модели только изображение и промпт, и она сама нарезала скан письма на строки, прочитала знаки, свела все символы к списку уникальных, а затем использовала отжиг для подбора значений по французскому словарю

Вся работа заняла 6 часов

Само письмо датируется концом марта 1809 года, за две недели до вторжения Австрии в Баварию

Его написал генерал Мармон

Как оказалось, в письме содержалась сводка от штаба вице-короля Италии для изолированного в Далмации Мармона: где стоят французские и союзные армии, что русские якобы идут на Австрию и что Австрия «спешит к своей гибели»

Состав войск совпал с приказом Наполеона от 16 марта 1809 года

Сатоши Токиемо, составитель каталога шифров Cryptiana, проверил решение, и письмо теперь помечено как решенное

Напоминаем, что недавно Astra также решила ранее зашифрованную немецкую радиограмму времен Второй Мировой войны
Please open Telegram to view this post
VIEW IN TELEGRAM
Мэтью Шварц, который ранее за две недели написал с Claude полноценную работу по теоретической физике, продолжил эксперимент
На этот раз он решил не заставлять модель работать как ученого, а искать научные задачи, которые хорошо подходят под сильные стороны современных LLM

Он называет их Claude-shaped problems
Идея в том, что в разных областях науки постоянно встречаются очень похожие математические конструкции, но ученые из одной области могут просто не знать, что нужный метод уже давно существует в другой

А LLM как раз очень хорошо умеют находить такие связи между огромным количеством разрозненной литературы

Под это Шварц вместе с Claude собрал BootLoops, набор инструментов для точных математических вычислений
Изначально он создавался для теоретической физики, но затем Claude начал находить практически те же задачи в экологии, генетике, экономике, лингвистике и других областях

Например, в экологии модель нашла уравнение из теории биоразнообразия, которое около 20 лет не умели эффективно считать на больших данных, и решила его методами из математической физики

А в популяционной генетике Claude нашел способ точно вычислить интеграл, который около 30 лет приходилось оценивать приближенно
Это позволило исследователям проверить модель рекомбинации ДНК на огромном массиве генетических данных и обнаружить следы генной конверсии, которые раньше было сложно выделить

Но тут обнаружилась важная проблема
Claude довольно хорошо находил технически правильные результаты и очень плохо понимал, насколько они вообще интересны для конкретной науки
Шварц несколько раз приносил такие находки профильным специалистам и получал примерно один ответ: технически впечатляет, научно не очень интересно

Поэтому дальше схема работы стала другой

Claude ищет связи между областями, пишет код, считает и перебирает гипотезы, а профильный ученый определяет, какой вопрос действительно стоит задавать

Так из первоначально неинтересного результата по экологии вместе с экспертом сделали новую модель динамики лесов, а из расчета по генетике пришли к анализу миллиардов пар мутаций

Шварц считает, что именно здесь современные модели уже могут заметно ускорять науку

Огромный пласт научных задач можно решить не новым методом, а переносом уже существующего метода из другой области

https://www.anthropic.com/research/claude-shaped-science
Muse Spark опубликовала шесть статей, написанных математиками вместе с моделью
Утверждается, что ученые использовали Muse Spark 1.1 и 1.2 в Thinking Mode через обычный чат meta.ai, без специального харнеса

Результаты относятся сразу к нескольким областям математики: теории вероятностей, дифференциальным уравнениям, оптимизации, теории групп, алгебре и арифметической физике

Например, моделью была опровергнута гипотеза Кида 2024 года: полуабелева группа не обязана быть мономиальной

Также доказано, что радиально-симметричные решения с отрицательной энергией для бигармонического нелинейного диф.уравнения Шредингера коллапсируют за конечное время (вопрос был открыт с 2015 года)

Правда гипотезу Кида в сентябре также опровергла другая группа ученых (кстати, тоже с помощью агента)

Но Meta утверждает, что их результаты получены независимо

https://research.meta.ai/blog/solving-open-research-problems-together
Шифр Второй мировой войны, над взломом которого работал Алан Тьюринг, GPT-6 Astra раскусила примерно за десять часов

Команде агентов дали непрочитанную немецкую радиограмму 1941 года и задание не останавливаться, пока они не дадут расшифровку

Дальше агенты поделили работу между собой
Они разбирали архивные документы, писали код, моделировали работу Enigma и проверяли возможные расшифровки

У Enigma было около 159 квинтиллионов возможных настроек, поэтому решить задачу простым перебором было нереально
Агенты-дешифровщики поступили хитрее

Зацепку они нашли в другой радиограмме того же дня, которая уже была расшифрована
В ней встретилось слово ROSENOW
Агенты предположили, что оно есть и в неизвестном сообщении, и с помощью этой догадки резко сузили поиск ключа

Скоро нейросеть прочитала сообщение: «Пожалуйста, укажите маршрут движения
Я нахожусь в Розенове
Немедленный ответ по радио»

Когда-то Тьюринг предложил вместо бесконечного спора о том, способна ли машина мыслить, тест, который со временем стал классикой
Человек вслепую общается с другим человеком и с машиной
Если по ответам не получается их различить, появляются основания говорить о машинном интеллекте

В этом эксперименте Astra поступила по принципу «умный в гору не пойдет, умный гору обойдет»
Модель не стала сразу искать ключ
Сначала она придумала, как упростить сам поиск и резко сократить число возможных вариантов, а уже потом решила задачу

Примерно так же действовали и в Блетчли-парке
Криптоаналитики опирались на вероятные слова и фразы в радиограммах, чтобы отсечь большую часть вариантов и быстрее выйти на нужные настройки Enigma

Если что-то ходит как утка, крякает как утка…
This media is not supported in your browser
VIEW IN TELEGRAM
LLM — это не инструмент
Это инфраструктура

А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м

Вот что на самом деле происходит внутри:

Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов

Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками

Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V

Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям

«Attention Is All You Need»

Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой

L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика

Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения

На определённом масштабе модели начали делать вещи, которые никто не программировал

Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное

GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам

Учите матчасть