Forwarded from Деньги и песец
"Консервативное" (К венгерским выборам)
На графике - число поколений, которое требуется, чтобы потомство, рожденное в нижних 10%, достигло среднего дохода. В Европе хуже всех дело обстоит в Венгрии – настоящая сословная страна старого типа, отмечает ув. Павел Пряников
Добавлю, что несколько лет назад вышло исследование Лондонской школы экономики Social Mobility and Political Regimes: Intergenerational Mobility in Hungary, 1949-2017 («Социальная мобильность и политический режим: межпоколенческая мобильность в Венгрии»)
Согласно его данным, корреляция социального статуса родителей и детей в Венгрии колебалась в районе 0.6-0.8 и «при социализме» (1949-1989) и при «капитализме» (1989-2017). Что при плановой экономике, что при рынке, уровень социальной мобильности венгров не менялся.
Но что еще важнее - в «коммунистической Венгрии», несмотря на полную ликвидацию помещичьего землевладения и конфискацию собственности, многочисленное венгерское дворянство оставалось экономически привилегированной стратой
Еще раз – вроде все что могли, отобрали – а вот поди ж ты -– в Венгрии, в принципе, одни и те же люди «решали вопросы» и при императоре Франце-Иосифе, и при регенте Хорти, и при свирепом сталинском наместнике Ракоши, и при «либеральном» Кадаре, который при власти Ракоши сидел в пыточной камере. И, те же самые люди «решают вопросы» сейчас, при премьере Орбане.
Империя, регентство, «диктатура на штыках», «гуляш-социализм с человеческим лицом», «демократия» – а для венгерской элиты, это было, по большому счету, все равно.
Отсюда вывод – главное богатство «начальства» заключается не столько в условных «заводах/пароходах», сколько в «связях», «семейственности», внутреннего понимания «кто с кем и как», и – нежелании пускать в свой круг «чужих» («зачем делиться, когда можно не делиться» ©)
Поэтому просто «взять все, да и поделить» - не вариант, начальники очень быстро «переобуются» и «переупакуются заново». Хотите «новую элиту» – лишите «старую элиту» возможности нетворкинга – ее главной силы, и тогда «заводы/пароходы» сами собой повалятся из рук прежних хозяев.
Кстати, не случайно РФ-элитарии так дружат с венгерскими, рассуждая о «консерватизме» (так же, как и американские «консервативные» элитарии). Им «есть о чем дружить».
Потому что «консерватизм» - он, на самом деле, не про «ценности», а про «привилегии элит» – экономические, общественные, и так далее. И в этом случае «элитарии всех стран» готовы объединяться как угодно, и с кем угодно – лишь бы никого к этим привилегиям не подпустить. Любой ценой.
На графике - число поколений, которое требуется, чтобы потомство, рожденное в нижних 10%, достигло среднего дохода. В Европе хуже всех дело обстоит в Венгрии – настоящая сословная страна старого типа, отмечает ув. Павел Пряников
Добавлю, что несколько лет назад вышло исследование Лондонской школы экономики Social Mobility and Political Regimes: Intergenerational Mobility in Hungary, 1949-2017 («Социальная мобильность и политический режим: межпоколенческая мобильность в Венгрии»)
Согласно его данным, корреляция социального статуса родителей и детей в Венгрии колебалась в районе 0.6-0.8 и «при социализме» (1949-1989) и при «капитализме» (1989-2017). Что при плановой экономике, что при рынке, уровень социальной мобильности венгров не менялся.
Но что еще важнее - в «коммунистической Венгрии», несмотря на полную ликвидацию помещичьего землевладения и конфискацию собственности, многочисленное венгерское дворянство оставалось экономически привилегированной стратой
Еще раз – вроде все что могли, отобрали – а вот поди ж ты -– в Венгрии, в принципе, одни и те же люди «решали вопросы» и при императоре Франце-Иосифе, и при регенте Хорти, и при свирепом сталинском наместнике Ракоши, и при «либеральном» Кадаре, который при власти Ракоши сидел в пыточной камере. И, те же самые люди «решают вопросы» сейчас, при премьере Орбане.
Империя, регентство, «диктатура на штыках», «гуляш-социализм с человеческим лицом», «демократия» – а для венгерской элиты, это было, по большому счету, все равно.
Отсюда вывод – главное богатство «начальства» заключается не столько в условных «заводах/пароходах», сколько в «связях», «семейственности», внутреннего понимания «кто с кем и как», и – нежелании пускать в свой круг «чужих» («зачем делиться, когда можно не делиться» ©)
Поэтому просто «взять все, да и поделить» - не вариант, начальники очень быстро «переобуются» и «переупакуются заново». Хотите «новую элиту» – лишите «старую элиту» возможности нетворкинга – ее главной силы, и тогда «заводы/пароходы» сами собой повалятся из рук прежних хозяев.
Кстати, не случайно РФ-элитарии так дружат с венгерскими, рассуждая о «консерватизме» (так же, как и американские «консервативные» элитарии). Им «есть о чем дружить».
Потому что «консерватизм» - он, на самом деле, не про «ценности», а про «привилегии элит» – экономические, общественные, и так далее. И в этом случае «элитарии всех стран» готовы объединяться как угодно, и с кем угодно – лишь бы никого к этим привилегиям не подпустить. Любой ценой.
Forwarded from Axis of Ordinary
Genetic selection in Europe over the last 10,000 years:
- There were increases in combinations of alleles that today predict measures of cognitive performance.
- People got lighter.
- Polygenic predictors of some mental disorders in modern populations became less common, especially schizophrenia.
Paper: https://www.nature.com/articles/s41586-026-10358-1
- There were increases in combinations of alleles that today predict measures of cognitive performance.
- People got lighter.
- Polygenic predictors of some mental disorders in modern populations became less common, especially schizophrenia.
Paper: https://www.nature.com/articles/s41586-026-10358-1
👍1
Forwarded from Msvcp60dll
Хаха ребятки я просто ради интереса очень тщательно смотрю за этим противоборством Codex vs Claude у себя на компе. Они не конфликтуют, но каждый хочет выслужиться.
Так вот: реально 10 из 10 раз если Codex фейлит задачу со второго раза и даешь её Claude с историей переписки с Codex, Claude фиксит с первого раза как сука самый дрессированный пёс, которому даже трит не нужен, а лишь на миг приподнятый уголок губы хозяина.
И ровно то же самое работает в обратную сторону. Клод не справился? Не удивительно, хозяин, сейчас я покажу тебе истинную силу (с) - Кодекс.
Типа пока что у меня за сутки это абсолютный процесс)
Ну и это круто, получается что нет таких тасков которые мы этой дружной толпой не можем сделать максимум получается с третьего раза)))
Так вот: реально 10 из 10 раз если Codex фейлит задачу со второго раза и даешь её Claude с историей переписки с Codex, Claude фиксит с первого раза как сука самый дрессированный пёс, которому даже трит не нужен, а лишь на миг приподнятый уголок губы хозяина.
И ровно то же самое работает в обратную сторону. Клод не справился? Не удивительно, хозяин, сейчас я покажу тебе истинную силу (с) - Кодекс.
Типа пока что у меня за сутки это абсолютный процесс)
Ну и это круто, получается что нет таких тасков которые мы этой дружной толпой не можем сделать максимум получается с третьего раза)))
👍6
Forwarded from сбежавшая нейросеть
Задача №1196
Многие слышали про “Ход 37”, который ИИ Google AlphaGo совершил в матче по Го с чемпионом Ли Седолем. Комментаторы сначала приняли ход за ошибку – никто из профессиональных игроков не сделал бы ничего похожего. Но AlphaGo в той серии обыграла Седоля, а Ход 37 стал ранним доказательством того, что ИИ способен не только повторять человека, но и придумывать свое.
Возможно, у Хода 37 появился математический аналог — задача №1196 из списка Пола Эрдёша. Знаменитый венгерский математик сформулировал ее еще в 1966 году – и лишь сейчас она сдалась GPT-5.4 Pro.
Но прежде, чем переходить к решению, коротко про список Пола Эрдёша. Он включает задачи разной сложности, интересные Эрдёшу персонально. Сейчас список закрыт примерно наполовину, а работа над ними ведется на сайте Erdosproblems, где задачи решают как математики-любители и студенты, так и профессионалы.
Когда вышла GPT-5 Pro, ей тут же попробовали скормить нерешенные задачи из списка. Поначалу модель ничего не могла решить сама, но… нашла с десяток уже готовых решений – просто они были опубликованы в малоизвестных журналах, зачастую даже не переведены на английский язык, поэтому остались не замечены.
Но уже GPT-5.2 Pro стала предлагать полноценные решения. Речь шла о “низко висящих фруктах”: задач в современной математике намного больше, чем свободных рук, и многие не решены просто потому, что на них не нашлось времени у талантливого математика.
13 апреля 2026 года случилось нечто другое.
Лиам Прайс – энтузиаст, который уже решил с помощью GPT-5.4 Pro несколько задач, – скормил модели задачу №1196. Через 80 минут она выдала готовое доказательство, которое Прайс после проверки выложил на форуме.
Доказательство разобрал легендарный Теренс Тао, а следом подключился Джаред Дукер Лихтман – сильнейший оксфордский математик, который работал с задачей №1196 семь лет. Лучшая верхняя оценка, которую ему удалось получить – примерно 1,399. GPT-5.4 Pro за 80 минут довела ее до единицы – той самой константы, к которой задача, как предполагалось, должна стремиться.
В комментарии Лихтмана интересна одна фраза: “Это ИИ-доказательство – из Книги. Возможно, первое”.
“Книга” – метафора, придуманная тем же Эрдёшем. Он любил говорить, что у Бога есть Книга, где собраны самые красивые доказательства всех теорем, и задача математика – подсмотреть оттуда как можно больше страниц.
Теперь одну из страниц написала GPT-5.4 Pro. Почему? Потому что модель решила задачу совершенно новым путем. Попросил Opus 4.6 пояснить:
Решение тоже стало дебютом. Сейчас Теренс Тао (на минуточку, один из лучших математиков современности) вместе с двумя коллегами разворачивает вокруг доказательства новую теорию: он увидел скрытый мост между двумя разделами математики, который раньше никто не замечал. Когда GPT-5.2 Pro решала прошлые задачи Эрдёша, то людям нередко приходилось подталкивать ее в нужную сторону. Теперь мы видим, как GPT-5.4 Pro подталкивает людей-математиков к новым идеям. И это выглядит как нечто из фантастических книжек.
Пока ИИ учит математиков новым трюкам, я учу использовать ИИ на Boosty. Самое время подписаться!
Многие слышали про “Ход 37”, который ИИ Google AlphaGo совершил в матче по Го с чемпионом Ли Седолем. Комментаторы сначала приняли ход за ошибку – никто из профессиональных игроков не сделал бы ничего похожего. Но AlphaGo в той серии обыграла Седоля, а Ход 37 стал ранним доказательством того, что ИИ способен не только повторять человека, но и придумывать свое.
Возможно, у Хода 37 появился математический аналог — задача №1196 из списка Пола Эрдёша. Знаменитый венгерский математик сформулировал ее еще в 1966 году – и лишь сейчас она сдалась GPT-5.4 Pro.
Но прежде, чем переходить к решению, коротко про список Пола Эрдёша. Он включает задачи разной сложности, интересные Эрдёшу персонально. Сейчас список закрыт примерно наполовину, а работа над ними ведется на сайте Erdosproblems, где задачи решают как математики-любители и студенты, так и профессионалы.
Когда вышла GPT-5 Pro, ей тут же попробовали скормить нерешенные задачи из списка. Поначалу модель ничего не могла решить сама, но… нашла с десяток уже готовых решений – просто они были опубликованы в малоизвестных журналах, зачастую даже не переведены на английский язык, поэтому остались не замечены.
Но уже GPT-5.2 Pro стала предлагать полноценные решения. Речь шла о “низко висящих фруктах”: задач в современной математике намного больше, чем свободных рук, и многие не решены просто потому, что на них не нашлось времени у талантливого математика.
13 апреля 2026 года случилось нечто другое.
Лиам Прайс – энтузиаст, который уже решил с помощью GPT-5.4 Pro несколько задач, – скормил модели задачу №1196. Через 80 минут она выдала готовое доказательство, которое Прайс после проверки выложил на форуме.
Доказательство разобрал легендарный Теренс Тао, а следом подключился Джаред Дукер Лихтман – сильнейший оксфордский математик, который работал с задачей №1196 семь лет. Лучшая верхняя оценка, которую ему удалось получить – примерно 1,399. GPT-5.4 Pro за 80 минут довела ее до единицы – той самой константы, к которой задача, как предполагалось, должна стремиться.
В комментарии Лихтмана интересна одна фраза: “Это ИИ-доказательство – из Книги. Возможно, первое”.
“Книга” – метафора, придуманная тем же Эрдёшем. Он любил говорить, что у Бога есть Книга, где собраны самые красивые доказательства всех теорем, и задача математика – подсмотреть оттуда как можно больше страниц.
Теперь одну из страниц написала GPT-5.4 Pro. Почему? Потому что модель решила задачу совершенно новым путем. Попросил Opus 4.6 пояснить:
У математики, как и у шахмат, есть свои «дебюты» — стандартные ходы, которые принято делать в задачах определённого типа. В задачах про примитивные наборы чисел такой дебют был один с 1935 года: переводить задачу в область теории вероятностей и работать там. Этот перевод работает — но с потерями точности, и именно они не давали добраться до финального ответа.
GPT-5.4 Pro вместо перевода в вероятности осталась в исходной области и использовала редкий инструмент — функцию фон Мангольдта, которая даже у студентов-математиков считается «странной» и немотивированной. В задаче №1196 она сработала.
Сам Лихтман сравнил это с шахматами: «Все основные дебюты давно изучены, а ИИ вдруг находит новую дебютную линию, которую люди упустили не из-за её слабости, а из-за привычной эстетики».
Решение тоже стало дебютом. Сейчас Теренс Тао (на минуточку, один из лучших математиков современности) вместе с двумя коллегами разворачивает вокруг доказательства новую теорию: он увидел скрытый мост между двумя разделами математики, который раньше никто не замечал. Когда GPT-5.2 Pro решала прошлые задачи Эрдёша, то людям нередко приходилось подталкивать ее в нужную сторону. Теперь мы видим, как GPT-5.4 Pro подталкивает людей-математиков к новым идеям. И это выглядит как нечто из фантастических книжек.
Пока ИИ учит математиков новым трюкам, я учу использовать ИИ на Boosty. Самое время подписаться!
🤯5👍4🔥3
Forwarded from Data Secrets
Сегодня на повестке дня у нас красивейшая математика: польский физик-теоретик доказал, что абсолютно все математические функции можно вывести из одной операции
Его статью уже заслужено называют концептуальным прорывом. Сейчас разберемся, что тут к чему.
Скорее всего, вам знакома операция NAND (NOT AND). Ее главная прелесть в том, что на ней строится ВСЯ булева логика, то есть через NAND можно представить любую другую логическую функцию (OR, AND, NOT и пр).
Это называется функциональная полнота, и используется она повсеместно. Кстати, именно из-за нее реальные процессоры часто строятся почти полностью из NAND-гейтов.
Так вот: автор этой статьи нашел аналог NAND для непрерывной математики.
Он показал, что абсолютно любую функцию и число: экспоненту, π, мнимую единицу, синусы, косинусы, сложение, умножение, корни и вообще все-все-все – можно представить в виде единицы + такого выражения:
eml(x,y)=e^x−ln(y)
Например, ln_x=eml(1,eml(eml(1,x),1)). Для других операторов выражения гораздо длиннее и глубже, но они существуют, и автор это доказал.
Это до безумия красиво, но вы спросите: есть ли тут какая-то практическая польза?
И да, она есть. И это symbolic regression.
Символьная регрессия – это когда нам нужно восстановить явную формулу, которая порождает данные. Она используется в науке и инженерии: например, по экспериментальным данным найти закон движения или компактную модель в физике/финансах. Обычно такие методы перебирают огромное пространство формул из разных операций (+, ×, sin, log…), и это очень сложный, дискретный и плохо оптимизируемый процесс.
EML открывает новый путь. Если все функции можно выразить через одну операцию, то все пространство формул становится однородным (деревья из одного типа узлов). А значит, мы можем применять для symbolic regression нейросети, оптимизируя параметры таких деревьев градиентами. Да-да, и здесь ИИ.
В статье показано, что в простых случаях модель не просто аппроксимирует данные, а может схлопнуться в точную аналитическую формулу. Если это масштабируется, то это потенциальный мост между машинным обучением и классической наукой: модели смогут не просто предсказывать данные, а выводить из них интерпретируемые законы.
www.alphaxiv.org/abs/2603.21852v2
Его статью уже заслужено называют концептуальным прорывом. Сейчас разберемся, что тут к чему.
Скорее всего, вам знакома операция NAND (NOT AND). Ее главная прелесть в том, что на ней строится ВСЯ булева логика, то есть через NAND можно представить любую другую логическую функцию (OR, AND, NOT и пр).
Это называется функциональная полнота, и используется она повсеместно. Кстати, именно из-за нее реальные процессоры часто строятся почти полностью из NAND-гейтов.
Так вот: автор этой статьи нашел аналог NAND для непрерывной математики.
Он показал, что абсолютно любую функцию и число: экспоненту, π, мнимую единицу, синусы, косинусы, сложение, умножение, корни и вообще все-все-все – можно представить в виде единицы + такого выражения:
eml(x,y)=e^x−ln(y)
Например, ln_x=eml(1,eml(eml(1,x),1)). Для других операторов выражения гораздо длиннее и глубже, но они существуют, и автор это доказал.
Это до безумия красиво, но вы спросите: есть ли тут какая-то практическая польза?
И да, она есть. И это symbolic regression.
Символьная регрессия – это когда нам нужно восстановить явную формулу, которая порождает данные. Она используется в науке и инженерии: например, по экспериментальным данным найти закон движения или компактную модель в физике/финансах. Обычно такие методы перебирают огромное пространство формул из разных операций (+, ×, sin, log…), и это очень сложный, дискретный и плохо оптимизируемый процесс.
EML открывает новый путь. Если все функции можно выразить через одну операцию, то все пространство формул становится однородным (деревья из одного типа узлов). А значит, мы можем применять для symbolic regression нейросети, оптимизируя параметры таких деревьев градиентами. Да-да, и здесь ИИ.
В статье показано, что в простых случаях модель не просто аппроксимирует данные, а может схлопнуться в точную аналитическую формулу. Если это масштабируется, то это потенциальный мост между машинным обучением и классической наукой: модели смогут не просто предсказывать данные, а выводить из них интерпретируемые законы.
www.alphaxiv.org/abs/2603.21852v2
🔥7🤔4🤯3
Forwarded from Позже всех. Ну прости
⚡️Мобильный интернет в России — самый доступный в мире
Россия — мировой лидер по доступности и низкой стоимости мобильного интернета, заявил вице-премьер Дмитрий Чернышенко.
По его словам, качество связи в России находится на высочайшем уровне.
🕰 Позже всех. Ну прости
Россия — мировой лидер по доступности и низкой стоимости мобильного интернета, заявил вице-премьер Дмитрий Чернышенко.
По его словам, качество связи в России находится на высочайшем уровне.
🕰 Позже всех. Ну прости
😁10😢3💯3
Forwarded from Наука и университеты
Академик Алексей Хохлов высказал свое мнение по поводу разрабатываемого перечня специальностей высшего образования:
«Приведенный список 25 укрупненных групп специальностей производит сильное впечатление. Например, предлагается в рамках УГС «естественные науки» объединить физику, химию и биологию. Это означает, что на первых двух курсах будущий специалист по физике элементарных частиц будет учиться по той же программе, что и специалист по ботанике. Таких несуразностей можно насчитать очень много.
Но дело даже не в перечне конкретных УГС. Удивляет другое: зачем вообще понадобилось в текущей ситуации затевать столь кардинальную реформу высшего образования? Какой от этого будет выигрыш в качестве подготовки специалистов? У российской высшей школы есть много проблем, но я никогда не слышал, чтобы к таковым относили слишком узкую специализацию подготовки на первых двух курсах.
Успокаивает только одно: это пока только планы и, судя по всему, министерство не будет их реализовывать в режиме «блицкрига». Предстоят обсуждения предлагаемых нововведений, и я надеюсь, что в ходе этих обсуждений российское научно-образовательное сообщество сумеет убедить начальников различных калибров оставаться на позициях здравого смысла».
💯4👍2
Forwarded from gonzo-обзоры ML статей
Забавная молекулярная метафора для понимания Chain-of-Thought. Приводит к интересным идеям, что в дистилляции важна не конкретная цепочка токенов, а структура, которая за ней стоит. И дистилляция от моделей с разной структурой приводит к проблемам.
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
Qiguang Chen, Yantao Du, Ziniu Li, Jinhao Liu, Songyao Duan, Jiarui Guo, Minghao Liu, Jiaheng Liu, Tong Yang, Ge Zhang, Libo Qin, Wanxiang Che, Wenhao Huang
Статья: https://arxiv.org/abs/2601.06002
Ревью: https://arxiviq.substack.com/p/the-molecular-structure-of-thought
# TL;DR
ЧТО сделали: Авторы предлагают теоретический фреймворк, моделирующий длинные цепочки рассуждений (Long CoT) как «молекулярную структуру». В этой парадигме шаги рассуждения выступают в роли узлов, а когнитивные переходы — в роли химических связей (глубокое рассуждение, саморефлексия, самоисследование). Исследователи показывают, что эффективное решение задач на рассуждение опирается на стабильное топологическое распределение этих связей, а не на поверхностную имитацию токенов. Для практического применения они разработали MOLE-SYN — метод переноса распределений, который направляет синтез структур Long CoT в более слабых моделях, что даёт существенный прирост качества и стабильности при обучении с подкреплением.
ПОЧЕМУ это важно: Работа даёт механистическое объяснение тому, почему наивная дистилляция продвинутых рассуждающих моделей часто проваливается, и почему сжатие цепочек рассуждений защищает проприетарные модели от клонирования. В более широком смысле, статья сдвигает фокус исследований скрытых рассуждений с отслеживания узловых траекторий на моделирование связей (рёбер графа), предлагая математически обоснованный план для «холодного старта» моделей, масштабирующих вычисления на инференсе.
Подробнее: https://t.me/gonzo_ML_podcasts/2529
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
Qiguang Chen, Yantao Du, Ziniu Li, Jinhao Liu, Songyao Duan, Jiarui Guo, Minghao Liu, Jiaheng Liu, Tong Yang, Ge Zhang, Libo Qin, Wanxiang Che, Wenhao Huang
Статья: https://arxiv.org/abs/2601.06002
Ревью: https://arxiviq.substack.com/p/the-molecular-structure-of-thought
# TL;DR
ЧТО сделали: Авторы предлагают теоретический фреймворк, моделирующий длинные цепочки рассуждений (Long CoT) как «молекулярную структуру». В этой парадигме шаги рассуждения выступают в роли узлов, а когнитивные переходы — в роли химических связей (глубокое рассуждение, саморефлексия, самоисследование). Исследователи показывают, что эффективное решение задач на рассуждение опирается на стабильное топологическое распределение этих связей, а не на поверхностную имитацию токенов. Для практического применения они разработали MOLE-SYN — метод переноса распределений, который направляет синтез структур Long CoT в более слабых моделях, что даёт существенный прирост качества и стабильности при обучении с подкреплением.
ПОЧЕМУ это важно: Работа даёт механистическое объяснение тому, почему наивная дистилляция продвинутых рассуждающих моделей часто проваливается, и почему сжатие цепочек рассуждений защищает проприетарные модели от клонирования. В более широком смысле, статья сдвигает фокус исследований скрытых рассуждений с отслеживания узловых траекторий на моделирование связей (рёбер графа), предлагая математически обоснованный план для «холодного старта» моделей, масштабирующих вычисления на инференсе.
Подробнее: https://t.me/gonzo_ML_podcasts/2529
arXiv.org
The Molecular Structure of Thought: Mapping the Topology of Long...
Large language models (LLMs) often fail to learn effective long chain-of-thought (Long CoT) reasoning from human or non-Long-CoT LLMs imitation. To understand this, we propose that effective and...
🔥3👍2
Forwarded from Анализ данных (Data analysis)
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Андрей Карпаты высказал про дизайн ИИ-моделей мысль, которую большинство упускает из виду.
Его тезис: передовые модели не потому огромные, что технология сложная, а потому что данные для обучения мусорные.
Когда обычный человек думает про интернет, ему в голову приходят статьи Wall Street Journal, Википедия, серьёзные тексты.
Так вот, датасет для предобучения выглядит иначе. Если открыть случайные документы из реального корпуса, то там будут тикеры акций, битый HTML, спам и бессвязный текст.
По одной из оценок, Llama 3 сжимает информацию со скоростью всего 0.07 бита на токен. То есть модель помнит большую часть обучающих данных смутно.
Поэтому мы и строим модели на триллион параметров не потому, что нам нужен мозг такого размера, а потому что нужен движок сжатия такого масштаба, чтобы выжать хоть какой-то интеллект из потока шума. Большая часть параметров работает памятью, а не мышлением.
Предложение Карпаты - разделить эти две функции. Построить когнитивное ядро - модель, в которой остались только алгоритмы рассуждения и решения задач, без энциклопедического заучивания.
А рядом поставить внешнюю память, к которой модель обращается за фактами.
По его прогнозу, когнитивное ядро, обученное на качественных данных, способно выйти на настоящий интеллект при размере около миллиарда параметров. Для сравнения: флагманские модели сегодня крутятся в диапазоне от 200 миллиардов до 1.8 триллиона параметров, и большая часть этого веса уходит на запоминание интернет-помойки.
GPT-4o работает примерно на 200 миллиардах параметров и обходит оригинальный GPT-4 на 1.8 триллиона. Стоимость инференса на уровне GPT-3.5 с 2022 по 2024 упала в 280 раз, и почти весь этот выигрыш дали модели меньшего размера, обученные на более чистых данных с более продуманной архитектурой.
Настоящим узким местом ИИ сейчас является качество данных.
@data_analysis_ml
Его тезис: передовые модели не потому огромные, что технология сложная, а потому что данные для обучения мусорные.
Когда обычный человек думает про интернет, ему в голову приходят статьи Wall Street Journal, Википедия, серьёзные тексты.
Так вот, датасет для предобучения выглядит иначе. Если открыть случайные документы из реального корпуса, то там будут тикеры акций, битый HTML, спам и бессвязный текст.
По одной из оценок, Llama 3 сжимает информацию со скоростью всего 0.07 бита на токен. То есть модель помнит большую часть обучающих данных смутно.
Поэтому мы и строим модели на триллион параметров не потому, что нам нужен мозг такого размера, а потому что нужен движок сжатия такого масштаба, чтобы выжать хоть какой-то интеллект из потока шума. Большая часть параметров работает памятью, а не мышлением.
Предложение Карпаты - разделить эти две функции. Построить когнитивное ядро - модель, в которой остались только алгоритмы рассуждения и решения задач, без энциклопедического заучивания.
А рядом поставить внешнюю память, к которой модель обращается за фактами.
По его прогнозу, когнитивное ядро, обученное на качественных данных, способно выйти на настоящий интеллект при размере около миллиарда параметров. Для сравнения: флагманские модели сегодня крутятся в диапазоне от 200 миллиардов до 1.8 триллиона параметров, и большая часть этого веса уходит на запоминание интернет-помойки.
GPT-4o работает примерно на 200 миллиардах параметров и обходит оригинальный GPT-4 на 1.8 триллиона. Стоимость инференса на уровне GPT-3.5 с 2022 по 2024 упала в 280 раз, и почти весь этот выигрыш дали модели меньшего размера, обученные на более чистых данных с более продуманной архитектурой.
Настоящим узким местом ИИ сейчас является качество данных.
@data_analysis_ml
🔥4
Forwarded from AI Projects (Vladimir Ivanov)
Я заметил по дискуссиям с коллегами, что далеко не все представляют, где теоретический потолок способностей GPT — то есть ИИ понимать и решать задачи, а также что такое «понимать».
Напомню, что GPT по факту стало торжеством дистрибутивной лингвистики Ферса, который по факту сказал, что весь смысл и всё понимание — только и исключительно в корреляции слов между собой. Это ультимативная гипотеза: никаких исключений, смысл только в корреляциях и больше ни в чем.
На первый взгляд это парадоксальное сужение «смыслов», но дело в том, что Ферс не философ и не епископ, а смотрит на задачу очень конкретно как на sequence-to-sequence (seq2seq) вопрос и ответ. Иными словами, если вы можете скоррелировать вопрос в виде последовательности слов в ответ из последовательности слов, то у вас полная модель смысла, а всё остальное — философская болтовня.
Поэтому GPT и базируется на векторах корреляции слов, т.к. решает задачу скоррелировать вопрос в ответ.
Yun в 2019 году (arXiv:1912.10077) доказывает аналог теоремы Цыбенко для GPT, где несколько трансформеров (один self-attention + position-wise FFN с ReLU) — универсальный аппроксиматор любых непрерывных seq2seq-отображений.
В 2025 Gumaan (arXiv:2507.10581) доказывает, что даже один трансформер решает задачу класса Universal Approximation Theorem (UAT) в конкретном домене и на ограниченном числе токенов. Иными словами, можно создать такой огромный трансформер, который сможет написать по любому ограниченному запросу (скажем, 1000 токенов) любой сложности и качества алгоритм также ограниченного размера. Это показывает, что «на коротком контексте и в домене» реальная мощность GPT намного выше текущего уровня.
Однако если контекст может расти неограниченно и нет фиксации домена знаний, то ситуация меняется. Базовая тут работа Merrill, W., Sabharwal, A., & Smith, N. A. (2022) «Saturated Transformers are Constant-Depth Threshold Circuits». Она показывает, что без ограничений на размер и домен контекста трансформер может решать всё равно задачи класса TC⁰. Это класс задач на «голосование нейронов». Аналогом упрощённо может быть «бесконечное ветвление IF-THEN-ELSE», но реально там пороговое срабатывание. Примерами такого класса задач является классификация контекста и ответ «на знания». Поэтому GPT всегда может понимать класс вопроса и всегда может ответить прямым извлечением знаний на любом контексте и домене.
В работе Pérez, J., Marinković, J., & Barceló, P. (2021) «Attention is Turing-Complete» авторы доказали: если Трансформеру разрешить генерировать токены один за другим (использовать их как «ленту» памяти, read/write), он становится эквивалентен Универсальной Машине Тьюринга.
Универсальная Машина Тьюринга — это абсолютный теоретический предел алгоритмических вычислений. Иными словами, на бесконечной ленте токенов/векторов GPT может создать вычисление, аналогичное абсолютно любому возможному алгоритму.
Потом Merrill, W., & Sabharwal, A. (2023 / ICLR 2024) в работе «The Expressive Power of Transformers with Chain of Thought» доказали, что трансформер на бесконечной ленте токенов может решить задачу класса PSPACE, т.е. решить задачу поиска решения в бесконечном пространстве сложности решений.
Какие тут инсайты:
🔹 Для GPT смысл в корреляции запроса в ответ; попытка расширять понятия смысла дальше корреляции бессмысленна, если вы проверяете понимание смысла именно через текст ответа.
🔹 GPT в ограниченном контексте и фиксированном домене сверхмощен и может сразу давать ответы типа «написать суперфункцию по контракту».
🔹 CoT для GPT на самом деле «векторная ёмкость» для сходимости его вычислений в N итераций; семантика скрытого пространства векторов за текстом рассуждений, что вы видите, кардинально отличается от того, что вам кажется.
🔹 Если GPT дать возможность развёртывать «ленту рассуждений», то он может эмулировать какие угодно сложные алгоритмы и какие угодно сканирования гипотез.
По мере развития GPT мы будем все ближе к этим теоретическим пределам этой нейросети.
https://arxiv.org/abs/2507.10581
Напомню, что GPT по факту стало торжеством дистрибутивной лингвистики Ферса, который по факту сказал, что весь смысл и всё понимание — только и исключительно в корреляции слов между собой. Это ультимативная гипотеза: никаких исключений, смысл только в корреляциях и больше ни в чем.
На первый взгляд это парадоксальное сужение «смыслов», но дело в том, что Ферс не философ и не епископ, а смотрит на задачу очень конкретно как на sequence-to-sequence (seq2seq) вопрос и ответ. Иными словами, если вы можете скоррелировать вопрос в виде последовательности слов в ответ из последовательности слов, то у вас полная модель смысла, а всё остальное — философская болтовня.
Поэтому GPT и базируется на векторах корреляции слов, т.к. решает задачу скоррелировать вопрос в ответ.
Yun в 2019 году (arXiv:1912.10077) доказывает аналог теоремы Цыбенко для GPT, где несколько трансформеров (один self-attention + position-wise FFN с ReLU) — универсальный аппроксиматор любых непрерывных seq2seq-отображений.
В 2025 Gumaan (arXiv:2507.10581) доказывает, что даже один трансформер решает задачу класса Universal Approximation Theorem (UAT) в конкретном домене и на ограниченном числе токенов. Иными словами, можно создать такой огромный трансформер, который сможет написать по любому ограниченному запросу (скажем, 1000 токенов) любой сложности и качества алгоритм также ограниченного размера. Это показывает, что «на коротком контексте и в домене» реальная мощность GPT намного выше текущего уровня.
Однако если контекст может расти неограниченно и нет фиксации домена знаний, то ситуация меняется. Базовая тут работа Merrill, W., Sabharwal, A., & Smith, N. A. (2022) «Saturated Transformers are Constant-Depth Threshold Circuits». Она показывает, что без ограничений на размер и домен контекста трансформер может решать всё равно задачи класса TC⁰. Это класс задач на «голосование нейронов». Аналогом упрощённо может быть «бесконечное ветвление IF-THEN-ELSE», но реально там пороговое срабатывание. Примерами такого класса задач является классификация контекста и ответ «на знания». Поэтому GPT всегда может понимать класс вопроса и всегда может ответить прямым извлечением знаний на любом контексте и домене.
В работе Pérez, J., Marinković, J., & Barceló, P. (2021) «Attention is Turing-Complete» авторы доказали: если Трансформеру разрешить генерировать токены один за другим (использовать их как «ленту» памяти, read/write), он становится эквивалентен Универсальной Машине Тьюринга.
Универсальная Машина Тьюринга — это абсолютный теоретический предел алгоритмических вычислений. Иными словами, на бесконечной ленте токенов/векторов GPT может создать вычисление, аналогичное абсолютно любому возможному алгоритму.
Потом Merrill, W., & Sabharwal, A. (2023 / ICLR 2024) в работе «The Expressive Power of Transformers with Chain of Thought» доказали, что трансформер на бесконечной ленте токенов может решить задачу класса PSPACE, т.е. решить задачу поиска решения в бесконечном пространстве сложности решений.
Какие тут инсайты:
🔹 Для GPT смысл в корреляции запроса в ответ; попытка расширять понятия смысла дальше корреляции бессмысленна, если вы проверяете понимание смысла именно через текст ответа.
🔹 GPT в ограниченном контексте и фиксированном домене сверхмощен и может сразу давать ответы типа «написать суперфункцию по контракту».
🔹 CoT для GPT на самом деле «векторная ёмкость» для сходимости его вычислений в N итераций; семантика скрытого пространства векторов за текстом рассуждений, что вы видите, кардинально отличается от того, что вам кажется.
🔹 Если GPT дать возможность развёртывать «ленту рассуждений», то он может эмулировать какие угодно сложные алгоритмы и какие угодно сканирования гипотез.
По мере развития GPT мы будем все ближе к этим теоретическим пределам этой нейросети.
https://arxiv.org/abs/2507.10581
arXiv.org
Universal Approximation Theorem for a Single-Layer Transformer
Deep learning employs multi-layer neural networks trained via the backpropagation algorithm. This approach has achieved success across many domains and relies on adaptive gradient methods such as...
👍3👎1
Forwarded from Love. Death. Transformers.
— Вот мой новый коддинг сетап. Как вам?
— Ух ты, красивый, вы только посмотрите.
— Только вчера допилил конфиг. Cursor с Claude Sonnet 4.6 в Agent Mode, .cursorrules на четыреста строк под наш монорепо, индексация через Voyage-3, MCP-серверы для Linear и Notion. Pre-commit с biome и tsc --noEmit. Фолбек на Codex CLI, когда Claude уходит в loop на третьей итерации.
— Отлично, Бейтман, но всё это пустяки. Смотри. Claude Code в headless на каждый PR, четыре sub-agent’а в отдельных git worktree: planner, implementer, test-writer, reviewer. CLAUDE.md в трёхуровневой иерархии — workspace, repo, package — с автогенерацией из docstring’ов. Двенадцать кастомных Skills во внутреннем registry: рефакторинги, миграции схем, апгрейды зависимостей, переписывание легаси с Promise.then на async/await — каждый со своими evals и версионированием. PostToolUse хуки гоняют pytest в Modal-сэндбоксе. Бюджет токенов через OTLP в Grafana, алерты в Slack когда какой-нибудь агент жжёт больше пяти баксов на тикет.
— Красиво. Высший класс. (Не думал, что у него столько вкуса. Не могу поверить, что Брайсу больше понравился стек Ван-Пата.)
— Но постойте. Вы ещё ничего не видели. Devin для долгих автономных задач, Factory Droids для миграций по сорок репозиториев за раз, Pi Agent от Imbue как code reviewer на критичные пути — все три оркестрируются через LangGraph, который роутит подзадачи по сложности и SLA. Skills у Claude Code собраны в композитный meta-skill: один тикет триггерит цепочку из шести skill’ов с автоматическим composition через progressive disclosure. RAG не на эмбеддингах — на CodeQL-графе. Verifier-агент на отдельной Opus-инстансе судит каждый коммит против спеки. End-to-end spec-driven: тикет в Linear → spec в Notion → Pi Agent пишет acceptance criteria → Devin имплементирует → Droid мигрирует зависимости → Claude Code ревьюит → мердж, без человека в цикле для P2 и ниже. Tracing в Langfuse, eval-сьют на собственном бенче ночью на каждый bump модели.
— Очень красиво… А покажи-ка сетап Пола Алена.
…О боже. Это же… один Claude Code в чистом tmux. Без Cursor. Без Devin. Без Pi Agent. Без Factory. Без LangGraph. CLAUDE.md ровно на восемьдесят строк, выверенный вручную за неделю, без единой AI-генерации… Один Skill. Один. Называется ship-it.md, сорок строк, описывает как они релизят. Других нет — он говорит, что остальное модель и так знает… Никаких sub-agent’ов. Никаких хуков. В settings.json выключено всё кроме Read, Edit и Bash с белым списком из шести команд. Plan mode по умолчанию… И — погодите — у него даже MCP не подключен. Ни одного сервера. Он говорит, агенту хватает gh и psql в bash’е… Боже, и subscription у него Pro за двадцать долларов. Не Max. Не Team. Pro. Он укладывается в лимиты.
— Ух ты, красивый, вы только посмотрите.
— Только вчера допилил конфиг. Cursor с Claude Sonnet 4.6 в Agent Mode, .cursorrules на четыреста строк под наш монорепо, индексация через Voyage-3, MCP-серверы для Linear и Notion. Pre-commit с biome и tsc --noEmit. Фолбек на Codex CLI, когда Claude уходит в loop на третьей итерации.
— Отлично, Бейтман, но всё это пустяки. Смотри. Claude Code в headless на каждый PR, четыре sub-agent’а в отдельных git worktree: planner, implementer, test-writer, reviewer. CLAUDE.md в трёхуровневой иерархии — workspace, repo, package — с автогенерацией из docstring’ов. Двенадцать кастомных Skills во внутреннем registry: рефакторинги, миграции схем, апгрейды зависимостей, переписывание легаси с Promise.then на async/await — каждый со своими evals и версионированием. PostToolUse хуки гоняют pytest в Modal-сэндбоксе. Бюджет токенов через OTLP в Grafana, алерты в Slack когда какой-нибудь агент жжёт больше пяти баксов на тикет.
— Красиво. Высший класс. (Не думал, что у него столько вкуса. Не могу поверить, что Брайсу больше понравился стек Ван-Пата.)
— Но постойте. Вы ещё ничего не видели. Devin для долгих автономных задач, Factory Droids для миграций по сорок репозиториев за раз, Pi Agent от Imbue как code reviewer на критичные пути — все три оркестрируются через LangGraph, который роутит подзадачи по сложности и SLA. Skills у Claude Code собраны в композитный meta-skill: один тикет триггерит цепочку из шести skill’ов с автоматическим composition через progressive disclosure. RAG не на эмбеддингах — на CodeQL-графе. Verifier-агент на отдельной Opus-инстансе судит каждый коммит против спеки. End-to-end spec-driven: тикет в Linear → spec в Notion → Pi Agent пишет acceptance criteria → Devin имплементирует → Droid мигрирует зависимости → Claude Code ревьюит → мердж, без человека в цикле для P2 и ниже. Tracing в Langfuse, eval-сьют на собственном бенче ночью на каждый bump модели.
— Очень красиво… А покажи-ка сетап Пола Алена.
…О боже. Это же… один Claude Code в чистом tmux. Без Cursor. Без Devin. Без Pi Agent. Без Factory. Без LangGraph. CLAUDE.md ровно на восемьдесят строк, выверенный вручную за неделю, без единой AI-генерации… Один Skill. Один. Называется ship-it.md, сорок строк, описывает как они релизят. Других нет — он говорит, что остальное модель и так знает… Никаких sub-agent’ов. Никаких хуков. В settings.json выключено всё кроме Read, Edit и Bash с белым списком из шести команд. Plan mode по умолчанию… И — погодите — у него даже MCP не подключен. Ни одного сервера. Он говорит, агенту хватает gh и psql в bash’е… Боже, и subscription у него Pro за двадцать долларов. Не Max. Не Team. Pro. Он укладывается в лимиты.
🔥4😁3👍2
Forwarded from AI Projects (Vladimir Ivanov)
🚨 Дарио обосновал свои алармистские прогнозы насчёт безработицы от ИИ цифрами исследований.
Anthropic обнаружил снижение на 14% уровня трудоустройства (job finding rate) для работников в возрасте от 22 до 25 лет в высоко подверженных ИИ профессиях с момента запуска ChatGPT. Это подтверждается и другими исследованиями социологов, а также опросами журналистов через массовые интервью.
В основном безработица от ИИ сейчас формируется у джунов в ИТ, которые изучают какой-то стек технологий и могут применять его только на простейших задачах. Это лобовая конкуренция с ИИ-ботами, поэтому многие из них сразу после колледжа по IT-специальностям в США идут в Макдональдс. При этом на студенте часто повисает еще долг за обучение порядка $200 000. Основная проблема — полная нерелевантность старого IT-образования новой ИИ-реальности.
В то же время ИИ-лоялисты зарабатывают на 47% больше, чем ИИ-скептики. Это также подтверждается другими исследованиями в США.
Дарио пишет, что есть профессии, не подверженные влиянию ИИ, и туда могут идти работать ИИ-скептики: повара, механики, бармены и посудомойки.
По исследованию Anthropic по спектру задач в области ИТ и математики ИИ теоретически способен выполнять 94% их задач. В настоящее время он выполняет 33% из них. Для офисных и административных ролей теоретическая способность составляет 90%. Текущая наблюдаемое покрытие офисных функций персонала агентами где они внедрены — 40%. По мнению Дарио это существенно меньше даже текущих возможностей LLM и бизнес просто не все успевает внедрять в таком же темпе как ИТ.
https://www.anthropic.com/research/labor-market-impacts
Anthropic обнаружил снижение на 14% уровня трудоустройства (job finding rate) для работников в возрасте от 22 до 25 лет в высоко подверженных ИИ профессиях с момента запуска ChatGPT. Это подтверждается и другими исследованиями социологов, а также опросами журналистов через массовые интервью.
В основном безработица от ИИ сейчас формируется у джунов в ИТ, которые изучают какой-то стек технологий и могут применять его только на простейших задачах. Это лобовая конкуренция с ИИ-ботами, поэтому многие из них сразу после колледжа по IT-специальностям в США идут в Макдональдс. При этом на студенте часто повисает еще долг за обучение порядка $200 000. Основная проблема — полная нерелевантность старого IT-образования новой ИИ-реальности.
В то же время ИИ-лоялисты зарабатывают на 47% больше, чем ИИ-скептики. Это также подтверждается другими исследованиями в США.
Дарио пишет, что есть профессии, не подверженные влиянию ИИ, и туда могут идти работать ИИ-скептики: повара, механики, бармены и посудомойки.
По исследованию Anthropic по спектру задач в области ИТ и математики ИИ теоретически способен выполнять 94% их задач. В настоящее время он выполняет 33% из них. Для офисных и административных ролей теоретическая способность составляет 90%. Текущая наблюдаемое покрытие офисных функций персонала агентами где они внедрены — 40%. По мнению Дарио это существенно меньше даже текущих возможностей LLM и бизнес просто не все успевает внедрять в таком же темпе как ИТ.
https://www.anthropic.com/research/labor-market-impacts
🔥4😢2👍1
Forwarded from Ньюсач/Двач
⚡️Крупнейший хостинг-провайдер Cloudflare пометил государственный мессенджер «Макс» как шпионское ПО
Пока что у домена всё ещё есть TLS-сертификат, а само приложение можно скачать в App Store и Google Play.
Но, возможно, мессенджер ждёт участь клиента Telega — после получения аналогичного статуса у него отозвали сертификаты и удалили из App Store.
Пока что у домена всё ещё есть TLS-сертификат, а само приложение можно скачать в App Store и Google Play.
Но, возможно, мессенджер ждёт участь клиента Telega — после получения аналогичного статуса у него отозвали сертификаты и удалили из App Store.
🔥7
Forwarded from AI Projects (Vladimir Ivanov)
В западных ИИ пабликах глумятся на дилетантами, которые сводят GPT к предсказанию следующего токена.
В версии дилетантов, что раз GPT предсказывает следующий токен, то это лишенная интеллекта система и просто механицизм на уровне отдельных слов.
При этом игнорируется очевидный даже дилетанту факт, что невозможно в такой версии объяснить почему ИИ может писать длинные когерентные (согласованные) тексты как программный код, что очевидно требует эмерджентных свойств планирования генерации ИИ в скрытом векторном состоянии. Сейчас такое состояние уже известно в некоторых деталях по работам Meta и др., что я публикую в канале.
Однако прикол в том, что всплыла статья из авторитетного Nature из 2022 года (до выхода GPT-3), где исследователями доказывается, что нейросеть человека при речи и письме.... предсказывает следующее слово.
Теперь секте "GPT предсказывает только следующий токен" нужно признать, что и человек лишен интеллекта, т.к. тоже самое. 😂
https://www.nature.com/articles/s41593-022-01026-4
В версии дилетантов, что раз GPT предсказывает следующий токен, то это лишенная интеллекта система и просто механицизм на уровне отдельных слов.
При этом игнорируется очевидный даже дилетанту факт, что невозможно в такой версии объяснить почему ИИ может писать длинные когерентные (согласованные) тексты как программный код, что очевидно требует эмерджентных свойств планирования генерации ИИ в скрытом векторном состоянии. Сейчас такое состояние уже известно в некоторых деталях по работам Meta и др., что я публикую в канале.
Однако прикол в том, что всплыла статья из авторитетного Nature из 2022 года (до выхода GPT-3), где исследователями доказывается, что нейросеть человека при речи и письме.... предсказывает следующее слово.
Теперь секте "GPT предсказывает только следующий токен" нужно признать, что и человек лишен интеллекта, т.к. тоже самое. 😂
https://www.nature.com/articles/s41593-022-01026-4
Nature
Shared computational principles for language processing in humans and deep language models
Nature Neuroscience - Deep language models have revolutionized natural language processing. The paper discovers three computational principles shared between deep language models and the human...
👍1
Forwarded from AI Projects (Vladimir Ivanov)
Исторически я много общаюсь с менеджерами, т.к. пока занимался разработкой Microsoft Project и его продвижением через YouTube, обучил ему более 2 миллионов человек. В основном элита проектного менеджмента — строительная и из IT. Все основные методики project management пришли из этих отраслей.
И я бы отметил именно менеджерам, что сейчас есть уникальная возможность «вписаться в ИИ-тренд», т.к. агентский софт делает необычайно востребованным менеджерский навык — составлять инструкции по бизнес-процессам и ставить задачи.
Разработчикам агентов я бы тоже отметил: ваш «промпт-инженер» возможно выглядит не так, как вы думаете, — а кто-то из ваших руководителей.
По факту ИИ-агент — это «виртуальный сотрудник». Текущий подход дать ему эмулятор мышки/клавиатуры и работать в старом ПО через «зрение скриншотами» крайне неэффективен.
Более эффективный путь — создавать Tools (инструменты) для ИИ-агентов, которыми они могут напрямую манипулировать данными в тех же ERP/ETL/BI-системах.
ИИ на обучении прочитал огромное количество бизнес-инструкций и даже их обобщил. У него огромные знания отраслевой специфики. Однако сам по себе ИИ не может ставить себе корневые цели, а когда декомпозирует поставленные — возникает дрейф. Также обычные решения ИИ — это «от Капитана Очевидность» по частотным примерам из обучения, а не самые правильные именно для вашей ситуации. Поэтому нужна экспертиза в целеполагании и постановке задач, которую обычно имеют опытные менеджеры. Нужно только учитывать специфику мышления ИИ как «суперпозицию смыслов» и т.п. Тем не менее, менеджерский навык описывать цель может быть применён почти полностью.
Поскольку ИИ уже «начитался» бюрократии и инструкций, то он — идеальный бюрократ. Он может исполнять регламенты «не по букве, а по духу», т.е. с приоритетом цели (это особенность RL-обучения). Тем не менее, кто-то должен эти регламенты вместе с ИИ создать. Сам он не может сделать их автономно, т.к. целеполагание, в том числе на создание регламентов, — внешний фактор.
Основная специфика ИИ-агентов в том, что регламент — это не «бла-бла-бла» типа корпоративной «воды», а крайне конкретный и сводится к чтению/созданию артефактов/документов по ходу бизнес-процесса и исполнению действий через вызовы Tools. На скриншоте — часть Tools моего ERP-агента. Обычно норма — 50+ инструментов для них.
Отмечу, что в части регламентации бизнес-процессов с ИИ работать даже проще, чем с людьми, т.к. это более конкретные инструкции, и сам ИИ будет активно помогать вам их составлять.
Спрос на такой дизайн бизнес-процессов через большие базы знаний для агентов будет скоро очень большим. Такие агенты будут сразу вытеснять офисный персонал, если ИИ получит доступ к его системам через Tools. Однако бизнес будет вкладывать огромные деньги в эту регламентацию, т.к. именно возможность сократить персонал быстро окупает такие ИИ-системы.
Дополнительный фактор: большинство «офисного планктона» делают низкоквалифицированную работу — просто «перекладывают бумажки» и выполняют простые функции типа заполнения форм. Для замены такого персонала по факту не нужна даже LLM, а скорее SLM до 10B параметров. Это 100 тысяч рублей за замену офисного служащего — экономия сразу же огромная.
Тем не менее, сам по себе ИИ не сможет заменять офисных клерков — ему надо в этом помочь. ИИ нужны регламенты, как работать по бизнес-процессам, а также «руки» в виде Tools.
Давайте поможем ИИ это сделать. 😎
И я бы отметил именно менеджерам, что сейчас есть уникальная возможность «вписаться в ИИ-тренд», т.к. агентский софт делает необычайно востребованным менеджерский навык — составлять инструкции по бизнес-процессам и ставить задачи.
Разработчикам агентов я бы тоже отметил: ваш «промпт-инженер» возможно выглядит не так, как вы думаете, — а кто-то из ваших руководителей.
По факту ИИ-агент — это «виртуальный сотрудник». Текущий подход дать ему эмулятор мышки/клавиатуры и работать в старом ПО через «зрение скриншотами» крайне неэффективен.
Более эффективный путь — создавать Tools (инструменты) для ИИ-агентов, которыми они могут напрямую манипулировать данными в тех же ERP/ETL/BI-системах.
ИИ на обучении прочитал огромное количество бизнес-инструкций и даже их обобщил. У него огромные знания отраслевой специфики. Однако сам по себе ИИ не может ставить себе корневые цели, а когда декомпозирует поставленные — возникает дрейф. Также обычные решения ИИ — это «от Капитана Очевидность» по частотным примерам из обучения, а не самые правильные именно для вашей ситуации. Поэтому нужна экспертиза в целеполагании и постановке задач, которую обычно имеют опытные менеджеры. Нужно только учитывать специфику мышления ИИ как «суперпозицию смыслов» и т.п. Тем не менее, менеджерский навык описывать цель может быть применён почти полностью.
Поскольку ИИ уже «начитался» бюрократии и инструкций, то он — идеальный бюрократ. Он может исполнять регламенты «не по букве, а по духу», т.е. с приоритетом цели (это особенность RL-обучения). Тем не менее, кто-то должен эти регламенты вместе с ИИ создать. Сам он не может сделать их автономно, т.к. целеполагание, в том числе на создание регламентов, — внешний фактор.
Основная специфика ИИ-агентов в том, что регламент — это не «бла-бла-бла» типа корпоративной «воды», а крайне конкретный и сводится к чтению/созданию артефактов/документов по ходу бизнес-процесса и исполнению действий через вызовы Tools. На скриншоте — часть Tools моего ERP-агента. Обычно норма — 50+ инструментов для них.
Отмечу, что в части регламентации бизнес-процессов с ИИ работать даже проще, чем с людьми, т.к. это более конкретные инструкции, и сам ИИ будет активно помогать вам их составлять.
Спрос на такой дизайн бизнес-процессов через большие базы знаний для агентов будет скоро очень большим. Такие агенты будут сразу вытеснять офисный персонал, если ИИ получит доступ к его системам через Tools. Однако бизнес будет вкладывать огромные деньги в эту регламентацию, т.к. именно возможность сократить персонал быстро окупает такие ИИ-системы.
Дополнительный фактор: большинство «офисного планктона» делают низкоквалифицированную работу — просто «перекладывают бумажки» и выполняют простые функции типа заполнения форм. Для замены такого персонала по факту не нужна даже LLM, а скорее SLM до 10B параметров. Это 100 тысяч рублей за замену офисного служащего — экономия сразу же огромная.
Тем не менее, сам по себе ИИ не сможет заменять офисных клерков — ему надо в этом помочь. ИИ нужны регламенты, как работать по бизнес-процессам, а также «руки» в виде Tools.
Давайте поможем ИИ это сделать. 😎
👍1
Forwarded from Data Secrets
Нейросети думают сложными геометрическими структурами – новое исследование от Goodfire
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
Эта статья вызвала в последние дни очень много интереса в сообществе. Исследователи из Goodfire впервые показали занятную вещь: внутреннее пространство активаций моделей организовано не хаотично, а в виде многомерных форм, поверхностей и траекторий. Часто эти многообразия вполне интерпретируемы.
Выглядит это примерно как на первом видео. Авторы назвали явление neural geometry. Причем наблюдается оно не только в LLM, но и в vision моделях, и даже в хайповых world models.
Отличный пример – дни недели. Внутри модели они лежат не по прямой, а по круговой траектории. То есть Monday → Tuesday → Wednesday → … → Sunday образуют циклическую структуру в пространстве активаций.
На практике это значит, что если пытаться линейно перейти от понедельника к пятнице, промежуточные состояния будут бессмысленны, а вот если двигаться, глубо говоря, по окружности – с изменением угла, а не линейным смешиванием координат, – то по пути попадутся вторник, среда и четверг (второе видео).
Подобным геометрическим образом на многообразиях определенных форм лежат время, числа, цвета, биологическая таксономия и куча всего другого.
Авторы настаивают, что исследования neural geometry – это новый фронтир в интерпретации нейросетей, и именно геометрия может стать ключом от черного ящика.
www.goodfire.ai/research/the-world-inside-neural-networks#
👍1
Forwarded from Психиатрия. Канал доктора Гилёва о психиатрии.
Редкие вариации в кодирующих генах при ОКР указывают на наличие общих генов с другими психическими расстройствами.
РЕЗУЛЬТАТЫ: Анализ показал, что примерно 470 аутосомных генов могут влиять на риск развития ОКР за счет редких генетических вариантов. Ген CHD8 достиг общегеномной значимости (q < 0,05). Мета-анализ с данными по хроническим тикозным расстройствам (ХТР) выявил дополнительные гены риска, включая CELSR3 (q < 0,05), QRICH1 и WWC1 (q < 0,1). Мы наблюдали значительное генетическое перекрытие между ОКР, расстройством аутистического спектра (РАС) и задержкой развития: 33% генов, ассоциированных с РАС при FDR < 0,1, показали связь с ОКР (p < 0,001), а 36% продемонстрировали возможные ассоциации в общей генетической архитектуре ОКР-ХТР (p < 0,001), однако перекрытие по редким вариантам с генами риска биполярного расстройства и шизофрении было минимальным. Мы также обнаружили, что гены, регулируемые CHD8, были обогащены ассоциациями как с редкими, так и с распространенными вариантами при ОКР.
ВЫВОДЫ И ЗНАЧИМОСТЬ: В этом крупнейшем на сегодняшний день исследовании редких кодирующих вариантов при ОКР мы подтверждаем, что CHD8 является первым геном риска, связанным с редкими вариантами и достигшим общегеномной значимости; показано, что гены-мишени CHD8 могут нести риск развития ОКР как за счет редких, так и распространенных вариантов; и идентифицированы многочисленные дополнительные гены и пути, вовлеченные в формирование риска. В совокупности полученные данные свидетельствуют о том, что ОКР имеет значительно большее генетическое сходство с расстройствами нейроразвития, чем с психическими заболеваниями взрослого возраста, что уточняет нейроразвивающую модель ОКР и определяет направления для будущих механистических и клинических исследований.
КЛЮЧЕВЫЕ ПОЛОЖЕНИЯ:
· Вопрос: Как редкие генетические варианты влияют на риск развития ОКР и в какой степени они перекрываются с вариантами, связанными с хроническими тикозными расстройствами (ХТР) и другими состояниями нейроразвития?
· Результаты: Секвенирование экзомов 6071 пациента с ОКР продемонстрировало значительное обогащение редких повреждающих вариантов в эволюционно консервативных генах, а CHD8 стал первым геном риска ОКР, достигшим общегеномной значимости. Профили редких вариантов при ОКР и ХТР соответствовали таковым при расстройствах нейроразвития, но не при психических заболеваниях взрослого возраста, что указывает на общие нейроразвивающие пути.
· Значение: Эти данные уточняют нейроразвивающую генетическую архитектуру ОКР, идентифицируют CHD8 как ключевой путь риска и выявляют перекрытие с ХТР и другими состояниями.
РЕЗУЛЬТАТЫ: Анализ показал, что примерно 470 аутосомных генов могут влиять на риск развития ОКР за счет редких генетических вариантов. Ген CHD8 достиг общегеномной значимости (q < 0,05). Мета-анализ с данными по хроническим тикозным расстройствам (ХТР) выявил дополнительные гены риска, включая CELSR3 (q < 0,05), QRICH1 и WWC1 (q < 0,1). Мы наблюдали значительное генетическое перекрытие между ОКР, расстройством аутистического спектра (РАС) и задержкой развития: 33% генов, ассоциированных с РАС при FDR < 0,1, показали связь с ОКР (p < 0,001), а 36% продемонстрировали возможные ассоциации в общей генетической архитектуре ОКР-ХТР (p < 0,001), однако перекрытие по редким вариантам с генами риска биполярного расстройства и шизофрении было минимальным. Мы также обнаружили, что гены, регулируемые CHD8, были обогащены ассоциациями как с редкими, так и с распространенными вариантами при ОКР.
ВЫВОДЫ И ЗНАЧИМОСТЬ: В этом крупнейшем на сегодняшний день исследовании редких кодирующих вариантов при ОКР мы подтверждаем, что CHD8 является первым геном риска, связанным с редкими вариантами и достигшим общегеномной значимости; показано, что гены-мишени CHD8 могут нести риск развития ОКР как за счет редких, так и распространенных вариантов; и идентифицированы многочисленные дополнительные гены и пути, вовлеченные в формирование риска. В совокупности полученные данные свидетельствуют о том, что ОКР имеет значительно большее генетическое сходство с расстройствами нейроразвития, чем с психическими заболеваниями взрослого возраста, что уточняет нейроразвивающую модель ОКР и определяет направления для будущих механистических и клинических исследований.
КЛЮЧЕВЫЕ ПОЛОЖЕНИЯ:
· Вопрос: Как редкие генетические варианты влияют на риск развития ОКР и в какой степени они перекрываются с вариантами, связанными с хроническими тикозными расстройствами (ХТР) и другими состояниями нейроразвития?
· Результаты: Секвенирование экзомов 6071 пациента с ОКР продемонстрировало значительное обогащение редких повреждающих вариантов в эволюционно консервативных генах, а CHD8 стал первым геном риска ОКР, достигшим общегеномной значимости. Профили редких вариантов при ОКР и ХТР соответствовали таковым при расстройствах нейроразвития, но не при психических заболеваниях взрослого возраста, что указывает на общие нейроразвивающие пути.
· Значение: Эти данные уточняют нейроразвивающую генетическую архитектуру ОКР, идентифицируют CHD8 как ключевой путь риска и выявляют перекрытие с ХТР и другими состояниями.
👍1