Истории (не)успеха (ИИ)ЕИ
602 subscribers
191 photos
92 videos
5 files
312 links
Просто о математике, нейросетях, IT. Общение, контакты, международные онлайн дискуссии/лекции в формате лайвстрим.
Download Telegram
Оставлю для себя здесь, чтобы прочитать как будет время. Базовые вещи кажутся мне очень интересными 👇👇👇

https://arxiv.org/abs/2510.00184
MIT + Harvard + Google DeepMind показали, почему обычные трансформеры почти не умеют в многозначное умножение — и как это починить одной идеей

Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение.

Первый - с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают.
То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках.

Результат: 100% точность на всех примерах.

Второй - обычное обучение: вход → ответ, без промежуточных шагов.
Результат: около 1% правильных ответов.

Почему так?

- Многозначное умножение требует длинных зависимостей
- Нужно запоминать и переносить “сумму + перенос” между разными позициями
- Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже
- Рабочая модель формирует “бегущую сумму” и carry, как человек
- Внутри attention появляется структура наподобие небольшого бинарного дерева
- Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код)

Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину.
ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон.

Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных.

Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*.
📜 Чистая математика встречает компьютерные науки: письмо Гёделя фон Нейману (1956) — самый ранний намёк на проблему P vs NP

Мало кто знает, что один из важнейших вопросов современной математики — P=(?)NP — впервые в зачаточной форме появился… в личном письме Курта Гёделя Джону фон Нейману в 1956 году.

В этом письме Гёдель спрашивает не только о здоровье фон Неймана, который тогда находился в больнице, но и задаёт ему вопрос почти невероятной дальновидности. Он рассуждает о том, как быстро может работать оптимальная машина Тьюринга, пытаясь найти доказательство заданной длины.

По сути, Гёдель спрашивает:


Можно ли искать доказательства почти так же быстро, как их проверять?


Если бы такая эффективность была возможна, писал Гёдель, то умственную работу математика в вопросах «да/нет» можно было бы практически полностью автоматизировать с помощью машины.

Сегодня мы знаем, что это — точная формулировка идеи, лежащей в основе задачи тысячилетия P vs NP: если решение можно быстро проверить, можно ли его так же быстро найти?

Удивительно, что Гёдель сформулировал эту мысль за 15 лет до появления самой теории алгоритмической сложности, ещё до работ Кука, Левина и Карпа. И он обратился с этим вопросом именно к фон Нейману — человеку, который стоял у истоков компьютерной науки. Все современные компьютерные архитектуры происходят из архитектуры фон Неймана. И как раз тут встречаются чистая математика (Гёдель) и компьютерные науки (фон Нейман).

Историки теории сложности сегодня считают письмо Гёделя самым ранним документом, где содержится концептуальное зерно проблемы P vs NP. Это тот случай, когда мы видим, как фундаментальная идея рождается буквально «на коленке» — в приватной переписке двух величайших умов XX века.

Рекомендую прочитать оригинальное письмо как чистым математикам, так и людям из компьютерных наук. И наших коллег, которые занимаются AI/AGI/ASI, это письмо Курта Гёделя Джону фон Нейману тоже непосредственно касается, может быть читателю пока не очевидно как именно - но...продолжение с деталями следует!

П.С. На картинке под постом 👇 не Курт Гёдель и не Джон фон Нейман, а Стивен Кук и Леонид Левин, которые впоследствии независимо друг от друга и сформулировали теорию и проблему тысячелетия в окончательном, современном варианте.
👍6🔥1
🧮 Зарисовка про алгебру, логику, вычислимость и школьную математику

Прежде чем мы, коллеги, вернёмся к письму Гёделя 👆, предлагаю небольшую зарисовку.

Начнём со школьной математики. Вопрос: достаточно ли школьных правил для доказательства всех истинных тождеств над положительными числами?

В школе мы используем 11 базовых правил для +, *, ^. Эти правила называют HSI (High School Identities):

(HSI1) x + y = y + x
(HSI2) (x + y) + z = x + (y + z)
(HSI3) x * 1 = x
(HSI4) x * y = y * x
(HSI5) (x * y) * z = x * (y * z)
(HSI6) x * (y + z) = x*y + x*z
(HSI7) 1^x = 1
(HSI8) x^1 = x
(HSI9) x^(y + z) = x^y * x^z
(HSI10) (x * y)^z = x^z * y^z
(HSI11) (x^y)^z = x^(y*z)


Эти правила выглядят полными.

Например, мы можем доказать/вывести следующее равенство с помощью правил HSI1-HSI11.

(((x*y)^a * (1+x)^b)^c * ((1+y)^d * (x+y)^e)^f)^g =
x^(a*c*g) * y^(a*c*g) * (1+x)^(b*c*g) * (1+y)^(d*f*g) * (x+y)^(e*f*g)

Или докажем (x + 1)^2 = x ^2 + 2*х +1:

(x + 1)^2
= (x + 1)^(1 + 1) (HSI9)
= (x + 1)^1 * (x + 1)^1 (HSI9)
= (x + 1) * (x + 1) (HSI8)
= (x + 1) * x + (x + 1) * 1 (HSI6)
= x * (x + 1) + (x + 1) (HSI4)
, (HSI3)
= (x * x + x * 1) + (x * 1 + 1) (HSI6)
, (HSI3)
= x * x + (x * 1 + x * 1) + 1 (HSI2)
= x^1 * x^1 + x * (1 + 1) + 1 (HSI6)
, (HSI8)
= x^(1+1) + x * 2 + 1 (HSI9)
= x^2 + 2 * x + 1 (HSI4)

🚫Но в 1980 году Дж. Уилки построил пример тождества, которое истинно для всех положительных целых x и y, но не выводимо с помощью правил HSI1-HSI11:

((1+x)^y + (1+x+x^2)^y)^x * ((1+x^3)^x + (1+x^2+x^4)^x)^y =
((1+x)^x + (1+x+x^2)^x)^y * ((1+x^3)^y + (1+x^2+x^4)^y)^x

Таким образом, школьные тождества неполны: существуют истинные алгебраические тождества, которые HSI доказать не могут.

Ниже — краткая справка о том, как это соотносится с фундаментальными результатами логики XX века.

Краткая научная справка (Гёдель, Тарский, Матиясевич, Гуревич, Макинтайр–Уилки):

📌 Гёдель (1931). Теоремы о неполноте - неразрешимость общих теорий над натуральными числами

Гёдель доказал, что всякая достаточно «сильная» и эффективно задаваемая теория арифметики неполна: существуют истинные утверждения о натуральных числах, которые не могут быть доказаны в рамках самой теории. Кроме того, теория не может доказать собственную непротиворечивость. Следовательно многое неразрешимо, но не всё неразрешимо, как мы сейчас увидим 👇

📌 Тарский (1948). Разрешимость элементарной теории вещественных чисел

Тарский доказал, что теория вещественных чисел с операциями +, * (назовём её Th<𝑅,+,*>) разрешима благодаря процедуре устранения кванторов.
Это довольно удивительное исключение среди логических теорий основ математики: многие арифметические/алгебраические теории неразрешимы, но теория «вещественного поля» — да.

📌 Матиясевич (1970). Теорема MRDP и X проблема Гильберта.

Матиясевич завершил работу Дэвиса–Патнэма–Робинсон: множество диофантовых уравнений, имеющих решение в целых числах, неразрешимо.
Следовательно, общая теория арифметики с сложением и умножением Th<N, +,*> неразрешима в отличии от Th<𝑅, +,*>.

📌 Гуревич (1985–1990). Теория тождеств с экспонентами.

Гуревич исследовал Th<R, +,*, ^> положительныe числa с экспонентами - просто добавим переменные в степенях. До сих пор 👆тоже были степени, но они были постоянными, а не переменными. Так вот Гуревич показал, что алгебраическая/арифметическая структура с переменными в степенях крайне сложна. В частности, он доказал, что эта теория не может быть задана конечной системой аксиом. Его результаты дополняют выводы Уилки: школьные тождества не просто неполны — никакая конечная система аксиом для всех истинных тождеств с экспонентами невозможна. Однако это не говорит о неразрешимости. Разрешимая теория Th<𝑅,+,*> тоже не поддаётся конечной аксиоматизации, однако существует алгоритм, который для любой заданной формулы проверяет, истинна ли она над полем действительных чисел или нет.
👍6🔥1
📌 Макинтайр & Уилки (1996). Теория вещественных чисел с экспонентой и гипотеза Шанюэля.

Разрешимость Th<R, +, *, ^> остаётся открытой: неизвестно, разрешима ли она.
Но Макинтайр и Уилки доказали: если верна гипотеза Шанюэля, то Th<R, +,*, ^> разрешима. Это одна из редких ситуаций, где вычислимость теории напрямую зависит от глубокой и доселе не доказанной гипотезы теории чисел.

💡🔔 Надеюсь я вас не очень утомил этим постом и, собственно, к чему я веду? Во-первых, к переходу между вычислимостью и сложностью вычислений, который затрагивается в письме Гёделя фон Нейману. Во-вторых, к возможным границам искусственных нейросетей, АI/AGI/ASI касаемо их применимости в серьезной математике. Но, не всё сразу.

Продолжение следует👇, оставайтесь на связи!
👍52
В следующем сообщении мы попробуем разобрать возможности и границы ИИ именно в математике. Пока предлагаю опрос:
💡 Под «заменить» мы понимаем не только выполнение рутинных вычислений, но и творческую, концептуальную часть математики — нахождение новых идей, подходов, создание новых структур и теорий, которых, к примеру, не было в обучающих данных.
🤷‍♂1
Цепочки рассуждений человека и машины для очень сложных задач математики: конкретные примеры.

Часть I/III. Как это работает у людей?

Итак, коллеги, давайте подумаем, сможет ли ИИ когда-либо решать нерешённые задачи математики, с которыми самые лучшие математики-люди справляются с огромным трудом, и если да — что нужно сделать ещё в области машинного обучения? Чего не хватает сейчас?

Оговорюсь сразу: я не знаю ответа на все затрагиваемые в этом сообщении вопросы, но попытаюсь подвести прежде всего себя самого к ответам. Для этого я детально рассмотрю поиск решений для двух крутейшиx задач математики. Одна решённая с огромным трудом, а другая - до сих пор нерешённая.

Прежде чем мы начнём, уточню: я не рассуждаю тут про AGI, который, как считается, превзойдёт людей в решении всех задач. Я разбираю совершенно другой вопрос: сможет ли машина превзойти лучших математиков на сложнейших задачах? Насколько хорошо машина при этом сможет писать стихи, рисовать картины и решать прочие задачи — не предмет этого сообщения.

🔷 Итак, погнали к задачам. Рассмотрим две задачи записанные на языке логики первого порядка над натуральными числами:

Задача 1:

∀x ∀y ∀z ∀n (x>0 ∧ y>0 ∧ z>0 ∧ n>2 → xⁿ + yⁿ ≠ zⁿ)

Задача 2:

∃a ∃b ∃c (
a>0 ∧ b>0 ∧ c>0 ∧
∃d₁ (d₁² = a² + b²) ∧
∃d₂ (d₂² = a² + c²) ∧
∃d₃ (d₃² = b² + c²) ∧
∃D (D² = a² + b² + c²)
)


💡Узнали ли вы эти задачи?
Первая — это Великая теорема Ферма, а вторая — задача о так называемой Пифагоровой комнате, в которой, по слухам, хранятся решения всех нерешённых задач математики 😎

На решение первой задачи людям потребовалось более 300 лет, и кто только этим не занимался — от любителей до лучших в мире профессионалов. Вторая задача до сих пор не решена (мы про неё писали тут).

Давайте посмотрим, что делает эти задачи такими сложными, и что нам могут предложить методы машинного обучения вообще и искусственные нейросети в частности.

🔷 Почему теорема Ферма так сложна

В первой задаче нужно показать, что степенное уравнение не выполняется ни для каких x, y, z, n. Очевидно, что мы не можем перебирать все x, y, z и n, ведь их бесконечно много.

Как же люди решают такие задачи? Они «вырезают» из бесконечности отдельные куски, которые точно можно не проверять, и надеются, что останется либо конечное число целых положительных четвёрок (x, y, z, n), которые можно проверить напрямую, либо не останется ничего — и тогда теорема доказана.

За 300 лет было получено множество частных результатов. Например:

- для каждого отдельного n>3: xⁿ + yⁿ = zⁿ либо не имеет решений, либо имеет лишь конечное число взаимно простых решений.

Таким образом некоторые части огромного четырёхмерного пространства оказываются «вырезаны» и их можно не проверять. И так далее. Было получено множество промежуточных результатов с вырезанием отдельных бесконечных кусков из "большой бесконечности".

Но полностью разрезать всё пространство ℕ⁴ на куски, которые точно не могут удовлетворять равенству Ферма, так и не удалось.

🔷 Ход Уайлса

В начале 90-х Эндрю Уайлс в своём знаменитом доказательстве подошёл к задаче с другой стороны. Он рассматривал семейство трёхмерных поверхностей

Xⁿ + Yⁿ = Zⁿ

и заметил: если бы существовало хоть одно целое решение (x, y, z) при n>2, то через соответствующую точку (x, y, z) можно было бы построить особую геометрическую конструкцию — кривую Фрея, лежащую на той же поверхности Xⁿ + Yⁿ = Zⁿ. Эта кривая устроена так, что её форма и свойства напрямую зависят от чисел x, y и z.
Грубо говоря, арифметические особенности гипотетического решения «переводятся» в геометрию этой кривой.

Дальше начинается самое интересное. С помощью глубоких связей между:

- геометрией эллиптических кривых,
- симметриями числовых полей (теория Галуа),
- и определёнными аналитическими объектами (модулярными формами)

можно показать, что такая кривая не может существовать в принципе. А раз она не может существовать, то не может существовать и исходное целое решение уравнения Ферма. □

Продолжение части I/III 👇
👍32
Продолжение. Начало👆

Это было очень упрощённое описание идеи знаменитого доказательства — но именно так работает современная математика: она переводит задачу из одной «вселенной» в другую. В данном случае — из вселенной чисел во вселенную геометрии и симметрий, где действуют более строгие законы, позволившие полностью исключить возможные решения равенства Ферма.

🔷 Цепочки рассуждений и гигантский граф

Работа Уайлса — это более 150 страниц, разбитых на множество технических лемм. Если грубо оценить, всё доказательство — это примерно 200–250 логических шагов вида «из утверждения А следует утверждение Б».

Можно представить утверждения А и Б как вершины графа.
Из вершины А можно перейти к вершине Б, если утверждение Б логически следует из А.

Если сравнить решение задач такого масштаба с поиском пути в графе от начальной вершины (условие задачи) до конечной (решение), то очень приблизительно можно оценить количество потенциальных вершин этого графа как что-то порядка:

👉 10²⁰⁰–10²⁵⁰ вариантов.

Но работа математика — это не перебор всего этого астрономического пространства. Математики следуют опыту и интуиции.

🔷 Как это работает у людей?

Если подойти к математику и сказать: «Вот такая задача, как её решать?» — он может ответить: «Я на конференции слышал доклад такого-то. Это не совсем про Вашу задачу, но посмотрите его работы».

То есть он видит в задаче определённые структуры или паттерны и знает, какие идеи из предыдущего опыта могут вести к решению.

Эту способность — узнавать структуры и связи, угадывать направление, ещё до того как сделан первый формальный шаг — я бы назвал математической интуицией, которая приходит с опытом.

В следующей части мы углубимся в математические цепочки рассуждений на примере этих двух задач и перейдём от построения цепочек рассуждений математиков к цепочкам рассуждений больших языковых моделей.

Продолжение следует. Оставайтесь на связи!
👍5🔥2
День математика сегодня празднуют в России. Повод, надо сказать, пристойный: день рождения Николая Ивановича Лобачевского, великого геометра, создателя (в некотором смысле) неевклидовой геометрии и ректора Казанского университета.

Я вот уже несколько месяцев размышляю о том, что математика — на самом деле очень жестокая наука. Возможно, самая жестокая из всех. В естественных науках всегда можно позаниматься какими-то экспериментами. Даже отсутствие результата — часто некий результат, информация о том, что так-то и так-то сделать нельзя. А у нас…

В математике отсутствие результата — это именно отсутствие результата. Сотни (тысячи?) исписанных страниц, всяких попыток и так далее — никому не покажешь, если ничего не доказал. А если и доказал, то часто такая ерунда, что даже и не опубликуешь. Когда я ещё писал на бумаге (уже много лет пишу в планшетнике), я как-то прикинул, что один из моих результатов — довольно ерундовый — стоил мне буквально пачки листов А4. А сколько таких «пачек» не привели вообще ни к чему…

Вот и сейчас: вымучиваю результат, которым занимаюсь уже года два, если не больше. Всего-то третий раз переписываю текст, исправляю определения, подбираю нужную общность. Сплошные мучения ради редких секунд удовольствия от пришедшего понимания.

И я ещё довольно благополучный парень. У меня есть много задач, которые розданы моим верным падаванам, и с которыми мучаются в основном они. Кстати, они зайки: часто получаются очень неплохие результаты — «я бы такого не придумал». Хотя и от них часто слышу: «Ой, ничего не получается, что делать… Ой, прокрастинация замучала… Ой, там всё сложно и/или и так всё наверное известно…»

Кстати, о самом Лобачевском. Человек вроде бы успешный: ректор университета, награждённый орденами, возведённый в потомственное дворянство. Лавировавший между религиозным фанатиком Магницким и необходимостью развивать естественные науки (банально иметь анатомические препараты). Человек, которого костерили за неевклидову геометрию не в последнюю очередь с точки зрения «недостаточной духовности» оной.

Тут небольшое замечание: в те времена к аксиомам подход был достаточно строгий. И замена Лобачевским одной аксиомы на другую воспринималась как возмутительное вольтерьянство. Чего уж: даже введение им в курс (обычной) геометрии метрической системы было воспринято как реверанс в сторону французских вольнодумцев. Ну, а за неевклидову геометрию его крыли последними словами в «Сыне отечества». Это примерно как если бы сейчас его прополоскали в эфире у Соловьёва.

В последние месяцы жизни, вытуренный из родного Казанского университета, Лобачевский ослеп. И, почти не вставая с кровати, надиктовывал последнюю книгу, «Пангеометрию», своим ученикам — которые, по воспоминаниям, были очень недовольны, что им приходится терпеть старого дурака и его бредни. Когда ещё через десяток лет, благодаря работам Бельтрами и других, построивших модели для его геометрии, к Николаю Ивановичу пришла слава, университет решил издать полное собрание сочинений. И многие работы не нашли… Кстати, и до сих пор, как я понимаю, не все его труды обнаружены.

Правда про профессию «математик» в том, что ей нужно заниматься только когда нет другого выхода. Мне кажется, если есть вариант между математикой и чем-то ещё, радующим душу, надо выбирать второй вариант.

Впрочем, очень часто бывает, что выбор — это иллюзия, и никакого варианта нет. Тогда — добро пожаловать в профессию :-)

Удачи нам, дорогие коллеги! Всех причастных — с праздником! Keep pushing!
👍21
Разберем!
Скоро будет продолжение!
Продолжение. Начало👆

Это было очень упрощённое описание идеи знаменитого доказательства — но именно так работает современная математика: она переводит задачу из одной «вселенной» в другую. В данном случае — из вселенной чисел во вселенную геометрии и симметрий, где действуют более строгие законы, позволившие полностью исключить возможные решения равенства Ферма.

🔷 Цепочки рассуждений и гигантский граф

Работа Уайлса — это более 150 страниц, разбитых на множество технических лемм. Если грубо оценить, всё доказательство — это примерно 200–250 логических шагов вида «из утверждения А следует утверждение Б».

Можно представить утверждения А и Б как вершины графа.
Из вершины А можно перейти к вершине Б, если утверждение Б логически следует из А.

Если сравнить решение задач такого масштаба с поиском пути в графе от начальной вершины (условие задачи) до конечной (решение), то очень приблизительно можно оценить количество потенциальных вершин этого графа как что-то порядка:

👉 10²⁰⁰–10²⁵⁰ вариантов.

Но работа математика — это не перебор всего этого астрономического пространства. Математики следуют опыту и интуиции.

🔷 Как это работает у людей?

Если подойти к математику и сказать: «Вот такая задача, как её решать?» — он может ответить: «Я на конференции слышал доклад такого-то. Это не совсем про Вашу задачу, но посмотрите его работы».

То есть он видит в задаче определённые структуры или паттерны и знает, какие идеи из предыдущего опыта могут вести к решению.

Эту способность — узнавать структуры и связи, угадывать направление, ещё до того как сделан первый формальный шаг — я бы назвал математической интуицией, которая приходит с опытом.

В следующей части мы углубимся в математические цепочки рассуждений на примере этих двух задач и перейдём от построения цепочек рассуждений математиков к цепочкам рассуждений больших языковых моделей.

Продолжение следует. Оставайтесь на связи!
👍2🔥21
🎄 «Цыплят по осени считают», как гласит народная мудрость. А какая научная работа в этом году заставила вас сказать «ВАУ»?

Да, до Нового года ещё аж целых три месяца, коллеги , но почему бы уже не начать подводить итоги? Что сделали физмат-науки за этот год, что вас действительно впечатлило?

В моём поле зрения оказалось два ярких кандидата на результат года:

1️⃣ Теория сложности: свежий взгляд на разделение классов P и PSPACE — новое понимание времени и пространства в вычислениях.
2️⃣ Матфизика: шаг к решению 6-й проблемы Гильберта — корректный предельный переход между неравновесной термодинамикой и уравнениями Навье–Стокса.

Но интересно не только моё мнение:
💡 Какие работы этого года заставили вас сказать «вау»? В любой области науки.
Давайте вместе составим наш рейтинг 2025 года! 🏆
1
This media is not supported in your browser
VIEW IN TELEGRAM
В последние месяцы канал, к сожалению, обновлялся нерегулярно и, что уж тут греха таить, постилась часто всякая фигня. Это нужно исправлять — и в ближайшие дни и недели публикации снова станут стабильными и глубокими.

Планируется вернуться к систематическому разбору интересных результатов и идей из физики и математики: от классических тем до современных направлений.

Начнём, пожалуй, с двух областей, которые на первый взгляд кажутся далёкими друг от друга, — теории сложности и теории категорий.
Какая между ними связь? На самом деле — самая прямая: категории всё чаще используются для формализации вычислений, а сложность можно рассматривать через структуру морфизмов и преобразований.

Поговорим о том, как абстрактные конструкции помогают лучше понимать вычисления, алгоритмы и границы того, что вообще можно эффективно посчитать.

Оставайтесь на связи — впереди будет много математики!
🔥51👍1
Читаю сейчас работу моего друга Димы Топчий про равенство классов P и NP. Разбираюсь, вникаю. Признаюсь - пока много не понимаю. Но во всяком случае меня не покидает ощущение, что мы стоим на пороге чего-то великого. Или по крайней мере сногсшибательного. Пока мне лично много не понятно, но Дима всегда готов на лайв-стрим, где может ответить на вопросы.

С моей стороны, я предлагаю, немного покопаться в этой работе прежде чем задавать вопросы автору
👍6👀1