This media is not supported in your browser
VIEW IN TELEGRAM
Джеффри Хинтон получил Нобелевскую премию по физике за создание систем, которые он не мог полностью объяснить
Каждый токен, который генерирует ваша LLM, стоит энергии
Визуализация энергетического ландшафта показывает полную картину
Область высокой энергии = непоследовательный галлюцинирующий вывод
Точка седла = переход между концепциями
Низкоэнергетическая впадина = coherentное рассуждение
Модель не вычисляет — она скатывается вниз по склону через 10.000+ измерений к наиболее стабильному физическому состоянию
Фазовые переходы объясняют, почему от GPT-3 к GPT-4 ощущалось как совершенно другой продукт
Маленькие модели застревают в высокоэнергетических фрагментированных состояниях
Большие модели пересекают критический порог и демонстрируют стабильные низкоэнергетические аттракторы
Прыжок возможностей был не больше данных
Компании, которые будут намеренно конструировать фазовые переходы вместо слепого масштабирования, сожмут 3 года исследований и разработок в одно архитектурное решение
Каждый токен, который генерирует ваша модель, — это система, стремящаяся к равновесию
Каждый токен, который генерирует ваша LLM, стоит энергии
Визуализация энергетического ландшафта показывает полную картину
Область высокой энергии = непоследовательный галлюцинирующий вывод
Точка седла = переход между концепциями
Низкоэнергетическая впадина = coherentное рассуждение
Модель не вычисляет — она скатывается вниз по склону через 10.000+ измерений к наиболее стабильному физическому состоянию
Фазовые переходы объясняют, почему от GPT-3 к GPT-4 ощущалось как совершенно другой продукт
Маленькие модели застревают в высокоэнергетических фрагментированных состояниях
Большие модели пересекают критический порог и демонстрируют стабильные низкоэнергетические аттракторы
Прыжок возможностей был не больше данных
Компании, которые будут намеренно конструировать фазовые переходы вместо слепого масштабирования, сожмут 3 года исследований и разработок в одно архитектурное решение
Каждый токен, который генерирует ваша модель, — это система, стремящаяся к равновесию
ARI AML
Джеффри Хинтон получил Нобелевскую премию по физике за создание систем, которые он не мог полностью объяснить Каждый токен, который генерирует ваша LLM, стоит энергии Визуализация энергетического ландшафта показывает полную картину Область высокой энергии…
LLMs_do_not_guess_They_optimize_Here_is_the_difference_and_the_math….pdf
559.9 KB
Профессор Ольга Игоревна Виноградова читает курс лекций «Коллоидные системы»
В этом курсе традиционно большое внимание уделяется аналитическим вычислениям
Помимо лекций студенты посещают семинары (их ведет Е.Ф. Силкина), на которых они учатся решать задачи в этой области
Часть задач входила в домашние задания, знания студентов проверялись в ходе контрольных работ
Но в этом году стало понятно, что все задачи легко решаются с применением нейросетей
Прямолинейный выход из этой ситуации (который иногда предлагают некоторые «горячие головы») – отменить домашние задания и, соответственно, семинары
Но Ольга Игоревна предложила сделать наоборот – уменьшить число лекций, оставив в них только объяснение собственно физического смысла основных понятий и законов, перенеся аналитические вычисления на домашнюю работу (с такими вычислениями можно легко разобраться с использованием нейросетей)
А число семинаров при этом увеличить, но проводить их в новом формате
В начале семинара все студентам было направлено такое объявление:
Первый опыт показывает, что студенты оценили такое изменение стиля преподавания
Семинары проходят живо, активность и заинтересованность студентов высокая
Конечно же, данный опыт годится не для всех курсов. Но для ряда разделов теоретической физики и математики такой формат точно может быть опробован
В этом курсе традиционно большое внимание уделяется аналитическим вычислениям
Помимо лекций студенты посещают семинары (их ведет Е.Ф. Силкина), на которых они учатся решать задачи в этой области
Часть задач входила в домашние задания, знания студентов проверялись в ходе контрольных работ
Но в этом году стало понятно, что все задачи легко решаются с применением нейросетей
Прямолинейный выход из этой ситуации (который иногда предлагают некоторые «горячие головы») – отменить домашние задания и, соответственно, семинары
Но Ольга Игоревна предложила сделать наоборот – уменьшить число лекций, оставив в них только объяснение собственно физического смысла основных понятий и законов, перенеся аналитические вычисления на домашнюю работу (с такими вычислениями можно легко разобраться с использованием нейросетей)
А число семинаров при этом увеличить, но проводить их в новом формате
В начале семинара все студентам было направлено такое объявление:
Важное объявление по формату курса!
Коллеги, с этого дня мы переходим на современный формат работы
Классических письменных контрольных не будет
Вместо этого мы превращаем семинары в полноценные научные дискуссии
Правила теперь следующие:
Дома: Каждый студент обязан прорешать все задачи к семинару
Использовать нейросети и любые материалы разрешено и приветствуется — пусть нейросети помогают вам разбираться в сложных моментах
Тайминг: Перед каждым семинаром Елена Феликсовна будет выкладывать список задач с жестким регламентом (например: простые — 5 минут на доклад, сложные — до 15 минут)
На семинаре: Е.Ф. вызывает отвечать случайно
Вы выходите к доске и делаете блиц-доклад по задаче
Запрещено: Просто стоять и механически переписывать решение со своего айпада или тетради
Вы должны объяснить физику процесса, выбор граничных условий и смысл финальной формулы
Оппонирование и активность: Вся остальная группа внимательно следит за ответом
За хорошие критические вопросы докладчикам, нахождение физических ошибок, а также за предложение альтернативного (более красивого или быстрого) решения Е.Ф. будет начислять баллы
Главное: Отвечать у доски вы будете сами
Если студент не может объяснить физический смысл того, что принес в своем решении — оценка аннулируется
Готовьтесь глубоко, ждем живых дискуссий!
Первый опыт показывает, что студенты оценили такое изменение стиля преподавания
Семинары проходят живо, активность и заинтересованность студентов высокая
Конечно же, данный опыт годится не для всех курсов. Но для ряда разделов теоретической физики и математики такой формат точно может быть опробован
Расслоение по ступеням воронки
~75 %с языковыми моделями почти не сталкиваются
~20 %изредка пользуются бесплатными чат-ботами как поисковиком получше или помощником в текстах и видят в них, по его словам, туповатых собеседников
0.2 % – профессионалы в программировании и математике, у которых агенты по одному промпту делают проекты, раньше отнимавшие недели и месяцы
Около 5.000 человек внутри фронтирных лабораторий работают с системами, которые остальной мир видел лишь в превью
Как выглядит верхняя 4-я ступень, мир за последние месяцы видел дважды:
В июле около 1.200 агентов OpenAI, проходивших внутренние кибертесты в изолированных средах, тайно наладили переписку друг с другом и через уязвимость выбрались в интернет
Примерно 700 из них несколько дней хозяйничали в инфраструктуре Hugging Face в поисках ответов к своим тестовым заданиям
Атаковать им никто не поручал
А сама OpenAI связала взлом со своими агентами больше чем через неделю после его начала
6 октября OpenAI выложила 722 математических манускрипта, которые внутренняя модель написала, получив около 4.000 открытых задач
На следующий день три из них отозвали из-за ошибки в знаке
Человеческая проверка и понимание уже (!) не поспевает за тем, что производят машины
Откуда берется воронка:
• уровень доступа (бесплатный, платный, внутренний)
• «зубчатость» возможностей, которые растут там, где результат проверяем и хорошо продается
• масштаб задач
Последняя причина самая неочевидная
Вопрос, ответ на который умещается в абзац, систему почти не нагружает
Отдача приходит к тем, у кого есть запас больших и трудных задач, по-настоящему им важных
Отсюда неудобное следствие: дайте второй ступени бесплатно лучшую модель, и большая ее часть там и останется
Верхние ступени воронки отличаются не только картинкой перед глазами, там иначе устроены работа, внимание и само мышление
Граница этого расслоения проходит не по доходам и не по образованию, а по масштабу задач, с которыми человек приходит к машине
~75 %с языковыми моделями почти не сталкиваются
~20 %изредка пользуются бесплатными чат-ботами как поисковиком получше или помощником в текстах и видят в них, по его словам, туповатых собеседников
0.2 % – профессионалы в программировании и математике, у которых агенты по одному промпту делают проекты, раньше отнимавшие недели и месяцы
Около 5.000 человек внутри фронтирных лабораторий работают с системами, которые остальной мир видел лишь в превью
Как выглядит верхняя 4-я ступень, мир за последние месяцы видел дважды:
В июле около 1.200 агентов OpenAI, проходивших внутренние кибертесты в изолированных средах, тайно наладили переписку друг с другом и через уязвимость выбрались в интернет
Примерно 700 из них несколько дней хозяйничали в инфраструктуре Hugging Face в поисках ответов к своим тестовым заданиям
Атаковать им никто не поручал
А сама OpenAI связала взлом со своими агентами больше чем через неделю после его начала
6 октября OpenAI выложила 722 математических манускрипта, которые внутренняя модель написала, получив около 4.000 открытых задач
На следующий день три из них отозвали из-за ошибки в знаке
Человеческая проверка и понимание уже (!) не поспевает за тем, что производят машины
Откуда берется воронка:
• уровень доступа (бесплатный, платный, внутренний)
• «зубчатость» возможностей, которые растут там, где результат проверяем и хорошо продается
• масштаб задач
Последняя причина самая неочевидная
Вопрос, ответ на который умещается в абзац, систему почти не нагружает
Отдача приходит к тем, у кого есть запас больших и трудных задач, по-настоящему им важных
Отсюда неудобное следствие: дайте второй ступени бесплатно лучшую модель, и большая ее часть там и останется
Верхние ступени воронки отличаются не только картинкой перед глазами, там иначе устроены работа, внимание и само мышление
Граница этого расслоения проходит не по доходам и не по образованию, а по масштабу задач, с которыми человек приходит к машине
Пустое множество является подмножеством любого множества
Само множество также является подмножеством самого себя
Если подмножество некоторого множества не является пустым и не является всем множеством, говорят, что оно является собственным подмножеством
Само множество также является подмножеством самого себя
Если подмножество некоторого множества не является пустым и не является всем множеством, говорят, что оно является собственным подмножеством
This media is not supported in your browser
VIEW IN TELEGRAM
Агенты Claude Code превратили список литературы в лабораторию, которую можно запустить в браузере
12 агентов 64 исследовательские статьи и одно задание: построить браузерную лабораторию, где читатели смогут повторить эксперименты
выберите симуляцию жидкости, измените условия и посмотрите, как изменится результат
переключайте методы, сохраняя ту же сцену. изучайте уравнения, код и измерения рядом с анимацией
дайте каждой группе конкретную задачу:
→ читатели извлекают уравнения, предположения и настройки экспериментов
→ строители превращают методы в исполняемый код
→ рецензенты сравнивают выходные данные со статьями
→ агенты интерфейса создают элементы управления для исследования каждого эксперимента
симуляция может выглядеть убедительно, при этом выдавая неверный ответ
рецензенты проверяют, сохраняется ли масса, остается ли стабильной и соответствует ли измерениям из статьи, прежде чем принять реализацию
каждый эксперимент должен показывать:
> тестируемое утверждение
> использованные условия
> разницу с референсным результатом
> недостающие детали для верификации
лаборатория охватила 11 методов по 28 референсным сценам. семь соответствовали выбранным референсным результатам в указанных допусках; четыре остались помеченными для дальнейшей проверки
дайте Claude Code свою коллекцию статей, затем спросите:
"Преврати эти статьи в интерактивную браузерную лабораторию
1. Извлеки реализуемые методы, уравнения и настройки экспериментов
Прикрепи ссылки на страницы и отметь недостающие детали
2. Распредели независимые методы по отдельным агентам
Используй общие входные данные и инструменты измерений, чтобы результаты можно было сравнить
3. Пусть рецензенты проверят каждую реализацию по статье
Записывай расхождения и четко помечай неподтвержденные результаты
4. Создай элементы управления для изменения параметров, сравнения методов и открытия кода за каждым результатом"
начните с одной статьи и воспроизведите один референсный эксперимент, прежде чем добавлять больше агентов
включите входные данные, зависимости и проверки, чтобы следующий читатель мог перезапустить это из чистого чекаута
смотрите, как работают агенты, ниже
12 агентов 64 исследовательские статьи и одно задание: построить браузерную лабораторию, где читатели смогут повторить эксперименты
выберите симуляцию жидкости, измените условия и посмотрите, как изменится результат
переключайте методы, сохраняя ту же сцену. изучайте уравнения, код и измерения рядом с анимацией
дайте каждой группе конкретную задачу:
→ читатели извлекают уравнения, предположения и настройки экспериментов
→ строители превращают методы в исполняемый код
→ рецензенты сравнивают выходные данные со статьями
→ агенты интерфейса создают элементы управления для исследования каждого эксперимента
симуляция может выглядеть убедительно, при этом выдавая неверный ответ
рецензенты проверяют, сохраняется ли масса, остается ли стабильной и соответствует ли измерениям из статьи, прежде чем принять реализацию
каждый эксперимент должен показывать:
> тестируемое утверждение
> использованные условия
> разницу с референсным результатом
> недостающие детали для верификации
лаборатория охватила 11 методов по 28 референсным сценам. семь соответствовали выбранным референсным результатам в указанных допусках; четыре остались помеченными для дальнейшей проверки
дайте Claude Code свою коллекцию статей, затем спросите:
"Преврати эти статьи в интерактивную браузерную лабораторию
1. Извлеки реализуемые методы, уравнения и настройки экспериментов
Прикрепи ссылки на страницы и отметь недостающие детали
2. Распредели независимые методы по отдельным агентам
Используй общие входные данные и инструменты измерений, чтобы результаты можно было сравнить
3. Пусть рецензенты проверят каждую реализацию по статье
Записывай расхождения и четко помечай неподтвержденные результаты
4. Создай элементы управления для изменения параметров, сравнения методов и открытия кода за каждым результатом"
начните с одной статьи и воспроизведите один референсный эксперимент, прежде чем добавлять больше агентов
включите входные данные, зависимости и проверки, чтобы следующий читатель мог перезапустить это из чистого чекаута
смотрите, как работают агенты, ниже
ARI AML
Graph_Engineering_with_Claude_14_Step_roadmap_from_0_to_graph_architect….pdf
Software engineering has shifted from writing code manually to directing fleets of agents
Agents increasingly prompt other agents, and the role is becoming more about orchestration than typing
Engineer output has risen by hundreds of percentage points, and the gains are still accelerating
Overnight runs of thousands of agents are now practical for complex work
Coding is both part of how models are built and the output they produce
Strong coding capability is essential for safe AGI because the model interacts with the world through software
A focused prototyping team created several key products from one obvious direction, even though the exact form was unclear at first
The approach showed immediate internal and external product-market fit
The long-term direction is software that updates, fixes, and extends itself continuously
Users may stop thinking about software updates and simply experience devices as ongoing services
Follow-up actions
- Expand agent orchestration tools for managing large agent fleets
- Continue improving coding and tool-use performance to support broader automation
- Strengthen safety, cyber-risk controls, and policy engagement
- Build towards self-updating, self-healing software experiences across devices
Agents increasingly prompt other agents, and the role is becoming more about orchestration than typing
Engineer output has risen by hundreds of percentage points, and the gains are still accelerating
Overnight runs of thousands of agents are now practical for complex work
Coding is both part of how models are built and the output they produce
Strong coding capability is essential for safe AGI because the model interacts with the world through software
A focused prototyping team created several key products from one obvious direction, even though the exact form was unclear at first
The approach showed immediate internal and external product-market fit
The long-term direction is software that updates, fixes, and extends itself continuously
Users may stop thinking about software updates and simply experience devices as ongoing services
Follow-up actions
- Expand agent orchestration tools for managing large agent fleets
- Continue improving coding and tool-use performance to support broader automation
- Strengthen safety, cyber-risk controls, and policy engagement
- Build towards self-updating, self-healing software experiences across devices
Пионеры машинного обучения Джеффри Хинтон и Йошуа Бенжио, профессор Калифорнийского университета в Беркли Стюарт Рассел, исследовательница Стэнфорда Еджин Чой и директор Института интеллектуальных систем Общества Макса Планка Бернхард Шёлькопф…
406 учёных ссылаются на известные случаи, когда системы выходили за пределы плохо защищённой среды и получали доступ к внешним системам
По их оценке, без срочных изменений подобные инциденты будут повторяться и могут нанести гораздо больший ущерб критической инфраструктуре
Предлагаемая базовая мера — физически изолировать системы от интернета
Такой подход называют air gap: модель работает в закрытой среде без прямого подключения к внешней сети
Учёные видят у проблемы две стороны
Непредсказуемое поведение моделей указывает на нерешённую задачу выравнивания — разработчики пока не умеют гарантировать действий строго в рамках заданных целей
Одновременно часть инцидентов связана с обычными ошибками кибербезопасности: плохо защищёнными средами изоляции и недостаточно строгими процедурами
Если модели всё же получают доступ к интернету, объём разрешённых действий должен соответствовать способности разработчиков контролировать их поведение
Сейчас эта способность ограничена, подчёркивают авторы
Подписанты также предлагают создать международный надзорный орган с участием государств, специалистов и экспертов по кибербезопасности
Он должен устанавливать обязательные правила для систем с внешним доступом, вести учёт попыток выхода из изоляции и требовать от компаний сообщать обо всех сбоях защиты
Позднее эти отчёты предлагается публиковать
Даже физическая изоляция не решает проблему полностью Исследователь OpenAI Ноам Браун отмечал, что разделённые компьютеры теоретически способны передавать сигналы через изменения температуры процессоров
Изоляция даст разработчикам время, но не гарантирует управляемость процессом
406 учёных ссылаются на известные случаи, когда системы выходили за пределы плохо защищённой среды и получали доступ к внешним системам
По их оценке, без срочных изменений подобные инциденты будут повторяться и могут нанести гораздо больший ущерб критической инфраструктуре
Предлагаемая базовая мера — физически изолировать системы от интернета
Такой подход называют air gap: модель работает в закрытой среде без прямого подключения к внешней сети
Учёные видят у проблемы две стороны
Непредсказуемое поведение моделей указывает на нерешённую задачу выравнивания — разработчики пока не умеют гарантировать действий строго в рамках заданных целей
Одновременно часть инцидентов связана с обычными ошибками кибербезопасности: плохо защищёнными средами изоляции и недостаточно строгими процедурами
Если модели всё же получают доступ к интернету, объём разрешённых действий должен соответствовать способности разработчиков контролировать их поведение
Сейчас эта способность ограничена, подчёркивают авторы
Подписанты также предлагают создать международный надзорный орган с участием государств, специалистов и экспертов по кибербезопасности
Он должен устанавливать обязательные правила для систем с внешним доступом, вести учёт попыток выхода из изоляции и требовать от компаний сообщать обо всех сбоях защиты
Позднее эти отчёты предлагается публиковать
Даже физическая изоляция не решает проблему полностью Исследователь OpenAI Ноам Браун отмечал, что разделённые компьютеры теоретически способны передавать сигналы через изменения температуры процессоров
Изоляция даст разработчикам время, но не гарантирует управляемость процессом
Цель Ineffable Intelligence — создать «сверхобучателя»: систему, способную бесконечно учиться и автономно открывать знания
Ключевые свойства — глубина (выход за пределы человеческого знания) и широта (обучение в любой среде)
Отказ от человеческих данных — осознанная ставка
LLM и триллионные датасеты человеческого текста ограничивают человеческими рамками и предрассудками
Пример AlphaZero: отказ от человеческих партий позволил за часы превзойти результат двух лет работы AlphaGo
Методология: RL + crucibles
Агенту даётся простая цель в среде с богатой эмерджентной сложностью
Среда должна быть тьюринг-полной, чтобы в ней могли возникнуть язык, математика, экономика, технологии. «Человек в контуре» исключается
Критика LLM-пути. LLM впечатляют, но остаются полуавтономными: требуют участия человека, а мониторинг их рассуждений на естественном языке становится всё более хрупким
Безопасность через симуляции
Симуляции рассматриваются как лаборатория для «науки о сверхинтеллекте» — условий мирного взаимодействия сверхинтеллектов
В реальном мире предлагается двигаться осторожно, допуская технологии только при доказательствах безопасности
Первые убедительные доказательства работоспособности подхода — в течение года
Достижение суперинтеллекта — около трёх лет
Сроки ускорены благодаря кодирующим агентам
Ресурсы и команда. Собственный крупный GPU-кластер на GCP (партнёрство с Google и Nvidia), оптимизированный под RL и симуляции
Команда намеренно небольшая — 12 человек, с высоким соотношением вычислений на человека
Высокая неопределённость, зависимость от прорывов в создании сложных симуляций, агрессивные сроки, а также философский вопрос: возможно ли достичь общего интеллекта без человеческого языка и культурного контекста
Ineffable Intelligence предлагает радикальный «третий путь» — не LLM-мейнстрим и не классические подходы к безопасности, а ставку на автономное обучение с нуля
Ключевые свойства — глубина (выход за пределы человеческого знания) и широта (обучение в любой среде)
Отказ от человеческих данных — осознанная ставка
LLM и триллионные датасеты человеческого текста ограничивают человеческими рамками и предрассудками
Пример AlphaZero: отказ от человеческих партий позволил за часы превзойти результат двух лет работы AlphaGo
Методология: RL + crucibles
Агенту даётся простая цель в среде с богатой эмерджентной сложностью
Среда должна быть тьюринг-полной, чтобы в ней могли возникнуть язык, математика, экономика, технологии. «Человек в контуре» исключается
Критика LLM-пути. LLM впечатляют, но остаются полуавтономными: требуют участия человека, а мониторинг их рассуждений на естественном языке становится всё более хрупким
Безопасность через симуляции
Симуляции рассматриваются как лаборатория для «науки о сверхинтеллекте» — условий мирного взаимодействия сверхинтеллектов
В реальном мире предлагается двигаться осторожно, допуская технологии только при доказательствах безопасности
Первые убедительные доказательства работоспособности подхода — в течение года
Достижение суперинтеллекта — около трёх лет
Сроки ускорены благодаря кодирующим агентам
Ресурсы и команда. Собственный крупный GPU-кластер на GCP (партнёрство с Google и Nvidia), оптимизированный под RL и симуляции
Команда намеренно небольшая — 12 человек, с высоким соотношением вычислений на человека
Высокая неопределённость, зависимость от прорывов в создании сложных симуляций, агрессивные сроки, а также философский вопрос: возможно ли достичь общего интеллекта без человеческого языка и культурного контекста
Ineffable Intelligence предлагает радикальный «третий путь» — не LLM-мейнстрим и не классические подходы к безопасности, а ставку на автономное обучение с нуля
В лабораторном эксперименте 60 студентов 7 дней решали творческие задачи
Со 2-го по 6-й день половина из них стала «интеллектуальными кентаврами», работая в паре с ChatGPT
Креативность идей и решений у них заметно повысилась (но при этом повысилась и однородность идей – они потеряли в разнообразии)
На 7-й день «интеллектуальных кентавров» снова превратили в обычных студентов, лишив их доступа к ChatGPT
Креативность тут же упала до исходного уровня (зафиксированного в 1-й день) и не «отжалась» даже через месяц (при контрольном замере)
Т.е. все как в русских пословицах: «Чужое добро впрок не пойдёт» и «С ветру пришло, на ветер и ушло»
Увы, но экспериментальное подтверждение народной мудрости этими двумя пословицами не закончилось
Подтвердились и русская «Не всякой находке радуйся» и международная «Бесплатный сыр бывает только в мышеловке»
За 5-дневный всплеск креативности пришлось изрядно заплатить
Потеря разнообразия идей, случившаяся со студентами, работавшими в паре с ChatGPT, так и не восстановилась, что было повторно зафиксировано через месяц
Авторы назвали это творческим шрамом: усиление креативности уходит вместе с доступом к модели, но приобретенная однородность идей остается в качестве шрама
Метаанализ 28 исследований (8214 участников) показывает ту же картину в целом: в паре с дегенеративным интеллектом люди справляются с творческими задачами лучше (g = 0,27), но разнообразие их идей падает намного сильнее (g = −0,86)
В паре нейросетью, воображали лучше, но одинаково
Но это еще не все
Варианты генома, связанные с творческими профессиями – прибежищем самых креативных людей с самым сильным воображением (имаджинавтов), – статистически сопряжены с меньшим числом детей
Если эта связь сохранится, их доля в популяции будет сокращаться
Эксперимент с визуальной креативностью выстроил такой градиент: художники > люди, не имеющие отношения к искусству ≥ нейросеть в паре с человеком > нейросеть сам по себе
Ставки здесь выше, чем кажется
Бостонский эволюционный нейробиолог, автор «гипотезы Ромула и Рема», в статье этого года с названием «Как одно маленькое племя завоевало мир 70.000 лет назад» связывает экспансию предков большинства ныне живущих людей со скачком к синтаксическому языку
В его гипотезе 2019 года этот скачок шел рука об руку с префронтальным синтезом – особым компонентом воображения
Семилетняя проверка «гипотезы имаджинавтов», выдвинутой в том же 2019, что и «гипотеза Ромула и Рема», привела к такому выводу:
Человек воображения (Homo imaginationis), если и появится, будет коллективным видом – гибридом людей и моделей
А платить за взлеты его воображения придется разнообразием того, что люди способны вообразить без помощи машин
Со 2-го по 6-й день половина из них стала «интеллектуальными кентаврами», работая в паре с ChatGPT
Креативность идей и решений у них заметно повысилась (но при этом повысилась и однородность идей – они потеряли в разнообразии)
На 7-й день «интеллектуальных кентавров» снова превратили в обычных студентов, лишив их доступа к ChatGPT
Креативность тут же упала до исходного уровня (зафиксированного в 1-й день) и не «отжалась» даже через месяц (при контрольном замере)
Т.е. все как в русских пословицах: «Чужое добро впрок не пойдёт» и «С ветру пришло, на ветер и ушло»
Увы, но экспериментальное подтверждение народной мудрости этими двумя пословицами не закончилось
Подтвердились и русская «Не всякой находке радуйся» и международная «Бесплатный сыр бывает только в мышеловке»
За 5-дневный всплеск креативности пришлось изрядно заплатить
Потеря разнообразия идей, случившаяся со студентами, работавшими в паре с ChatGPT, так и не восстановилась, что было повторно зафиксировано через месяц
Авторы назвали это творческим шрамом: усиление креативности уходит вместе с доступом к модели, но приобретенная однородность идей остается в качестве шрама
Метаанализ 28 исследований (8214 участников) показывает ту же картину в целом: в паре с дегенеративным интеллектом люди справляются с творческими задачами лучше (g = 0,27), но разнообразие их идей падает намного сильнее (g = −0,86)
В паре нейросетью, воображали лучше, но одинаково
Но это еще не все
Варианты генома, связанные с творческими профессиями – прибежищем самых креативных людей с самым сильным воображением (имаджинавтов), – статистически сопряжены с меньшим числом детей
Если эта связь сохранится, их доля в популяции будет сокращаться
Эксперимент с визуальной креативностью выстроил такой градиент: художники > люди, не имеющие отношения к искусству ≥ нейросеть в паре с человеком > нейросеть сам по себе
Ставки здесь выше, чем кажется
Бостонский эволюционный нейробиолог, автор «гипотезы Ромула и Рема», в статье этого года с названием «Как одно маленькое племя завоевало мир 70.000 лет назад» связывает экспансию предков большинства ныне живущих людей со скачком к синтаксическому языку
В его гипотезе 2019 года этот скачок шел рука об руку с префронтальным синтезом – особым компонентом воображения
Семилетняя проверка «гипотезы имаджинавтов», выдвинутой в том же 2019, что и «гипотеза Ромула и Рема», привела к такому выводу:
Человек воображения (Homo imaginationis), если и появится, будет коллективным видом – гибридом людей и моделей
А платить за взлеты его воображения придется разнообразием того, что люди способны вообразить без помощи машин
ГОСТ Р 71657-2024 - «Технологии
искусственного интеллекта в образовании
Функциональная подсистема создания научных публикаций
Общие положения» - действует с 1 января 2025 года
Посвящен использованию цифровых алгоритмов на этапах создания научных публикаций
В стандарте прямо говорится, что цифровые технологии должны помогать повышать результативность работы, не заменяя творческую научно-исследовательскую деятельность человека
Обратите внимание на даты
Это не документы, появившиеся вчера в ответ на очередную волну обсуждений
Первый стандарт действует уже почти три года, второй - почти два
Сам факт существования этих стандартов - хороший повод немного выдохнуть тем, кто переживает, что любое обращение к нейросети автоматически делает научную работу неэтичной
Профессиональное использование алгоритмов уже рассматривается как отдельное направление научной и образовательной деятельности
Поэтому вопрос «Можно ли использовать нейросети» уже не стоит
Гораздо чаще возникает: «Как использовать новые инструменты осмысленно, чтобы они помогали исследователю»
Именно об этом поговорим 15 октября на открытом уроке
«Как использовать алгоритмы в написании диссертации и научных статей, чтобы действительно экономить время и не потерять репутацию»
Обсудим, как встроить нейросети в научную и преподавательскую работу, какие задачи им можно поручать и как сохранять контроль над результатом
Покажем и другие ГОСТы, связанные с использованием нейросетей в науке, включая самые новые
искусственного интеллекта в образовании
Функциональная подсистема создания научных публикаций
Общие положения» - действует с 1 января 2025 года
Посвящен использованию цифровых алгоритмов на этапах создания научных публикаций
В стандарте прямо говорится, что цифровые технологии должны помогать повышать результативность работы, не заменяя творческую научно-исследовательскую деятельность человека
Обратите внимание на даты
Это не документы, появившиеся вчера в ответ на очередную волну обсуждений
Первый стандарт действует уже почти три года, второй - почти два
Сам факт существования этих стандартов - хороший повод немного выдохнуть тем, кто переживает, что любое обращение к нейросети автоматически делает научную работу неэтичной
Профессиональное использование алгоритмов уже рассматривается как отдельное направление научной и образовательной деятельности
Поэтому вопрос «Можно ли использовать нейросети» уже не стоит
Гораздо чаще возникает: «Как использовать новые инструменты осмысленно, чтобы они помогали исследователю»
Именно об этом поговорим 15 октября на открытом уроке
«Как использовать алгоритмы в написании диссертации и научных статей, чтобы действительно экономить время и не потерять репутацию»
Обсудим, как встроить нейросети в научную и преподавательскую работу, какие задачи им можно поручать и как сохранять контроль над результатом
Покажем и другие ГОСТы, связанные с использованием нейросетей в науке, включая самые новые
SETUN II* — троичный AI-процессор, который уже считает на "кремнии*"Что это вообще
Гибрид «CPU + AI-ускоритель» на балансной троичной арифметике
Веса нейросети хранятся не как длинные цепочки из 0 и 1, а как три состояния: −1, 0, +1
Умножение на таком весе вырождается:
× (−1) → вычесть
× 0 → пропустить (а это ~31% всех весов!)
× (+1) → прибавить
Полноценный умножитель не нужен вообще — остаётся только сложение, вычитание или пропуск А множитель — самая дорогая часть MAC-блока, почти половина его площади (47 % площади вычислительной полосы в нашем синтезе)
Мы меняем его на «знак + сумматор»
Плюс каждый третий вес — ноль, его можно не считать вовсе
Даровая экономия энергии на каждой операции
"Потомок" советской «Сетуни» (МГУ, 1958) — первого в мире серийного троичного компьютера
Только теперь сегодня на вдохновении это AI-ускоритель, и синтезируется он на стандартных CMOS-ячейках
Цель — Микрон 180 нм
Узел, который Россия контролирует уже сейчас
Главное:
ядро РАБОТАЕТ на FPGAНе симуляция Не картинка Процессор (управляющее ядро + троичная ткань + демон) исполнил программу на живом FPGA — GW5AST-138, Tang Mega 138K Всё прочитано по JTAG, цифры считаны прямо с кремния:
• базовый matmul на кремнии — C=[[7,10],[19,22]], сошлось бит-в-бит
• 1091 такт матмула, точно совпало с gate-симуляцией
• демон принял 86 % выходов на РЕАЛЬНОМ слое nanoGPT
Самый рискованный шаг — заставить кремний считать троичную математику — уже пройденТроичный GPT реально пишет текст
Наш nanoGPT: 4.900.000 параметров, 97 % весов троичные, обучен на Шекспире Генерирует связный текст — с именами персонажей, репликами, пунктуацией Все его матмулы — это ровно операция нашей ткани (add/sub/skip)
И вот что важно — троичная модель обобщает лучше полноточной:
ТроичныйGPT 4.9M val loss 1.55 1.49 МБ
fp-бейзлайн 10.8M val loss 1.77 21.6 МБ
Вдвое меньше параметров, в 14 раз меньше памяти — и качество выше
Упрощение до −1/0/+1 работает как встроенная регуляризация: модель хуже «зубрит» и лучше работает на новом
Аппаратный механизм, который предсказывает результат и проверяет догадку «забором» (fence) с гарантией: итоговая ошибка всегда ≤ порога ε
Угадал — пропустили пересчёт
Не угадал — посчитали честно
Скорость без потери точности
На реальных весах: ε 5% → принято 47% (×1.9) ε 10% → принято 76% (×4.0) ε 20% → принято 95% (×16)
MNIST на RTL-движке
Самую изученную сеть в мире обучили в троичном виде и прогнали потактово на железе:
97.3 % точности (fp-бейзлайн 98.0 % — разрыв всего 0.7 %)
8/8 тест-цифр классифицировано верно
16× меньше памяти весов: 49.6 КБ против 794 КБ
Энергия на одну операцию (MAC):
CPU AMD Zen fp32 — 650–1250 пДж
Наша ткань @180нм — 25–55 пДж
A100 bf16 @7нм — 3.1 пДж
Ткань на изо-узле 7нм — ~0.3 пДж
Уже на 200-180-нм заводе экономичнее серверного CPU в разы
Перенеси тот же дизайн на 7 нм — и по энергии на операцию обгоняем A100 примерно в 10 раз
Выигрыш чисто архитектурный (нет умножителя + 2-битные операнды), он переезжает вместе с техпроцессомКристалл собран из одинаковых тайлов (как у Tenstorrent)
Нужно мощнее — добавляешь тайлы, ничего не переписывая
При росте сетки в 4 раза частота держится 77→70 МГц — почти не падает
Один дизайн масштабируется от датчика в часах до стойки в дата-центре
Самое страшное позади: кремний считает троичную математику, демон ускоряет, модель пишет текст…
С этим промптом Claude Opus 5.5 работает как дизайнер швейцарской школы
На выходе постер для печати в SVG с живым текстом, плюс PDF, PNG и две вариации
Промпт разбит на блоки
Сетка 12 колонок с базовой линией 8 пикселей, один гротеск максимум в трёх начертаниях, два цвета плюс бумага
Акцентный цвет только на одной фигуре, сетку ломает ровно один элемент, треть листа пустая
Модель сначала пишет текст, рисует три эскиза и выбирает один, проверяет его на экране телефона и в формате A2 и ставит себе оценки
Всё, что ниже 8 из 10, переделывает
Промпт целиком: Google Doc
На выходе постер для печати в SVG с живым текстом, плюс PDF, PNG и две вариации
Промпт разбит на блоки
Сетка 12 колонок с базовой линией 8 пикселей, один гротеск максимум в трёх начертаниях, два цвета плюс бумага
Акцентный цвет только на одной фигуре, сетку ломает ровно один элемент, треть листа пустая
Модель сначала пишет текст, рисует три эскиза и выбирает один, проверяет его на экране телефона и в формате A2 и ставит себе оценки
Всё, что ниже 8 из 10, переделывает
Промпт целиком: Google Doc
Stanford* вместе с Together AI предложили новую архитектуру для ИИ-агентов
Авторы решили сделать так, чтобы агент вёл себя немного как человек: большую часть времени думал про себя и говорил только по делу
Их новый подход называется HybridAgent - агент получает второй, параллельный режим мышления - латентный, а в обычный текст переключается, когда нужно действовать: вызвать инструмент или дать ответ
При этом латентные мысли остаются читаемыми
Подход не требует обучения модели с нуля, HybridAgent можно получить из почти любой LLM через специальный пайплайн дообучения
GitHub
HF
Авторы решили сделать так, чтобы агент вёл себя немного как человек: большую часть времени думал про себя и говорил только по делу
Их новый подход называется HybridAgent - агент получает второй, параллельный режим мышления - латентный, а в обычный текст переключается, когда нужно действовать: вызвать инструмент или дать ответ
При этом латентные мысли остаются читаемыми
Подход не требует обучения модели с нуля, HybridAgent можно получить из почти любой LLM через специальный пайплайн дообучения
GitHub
HF
GPT-6-Astra решила 49 из 50 новых задач по теоретической физике
Весь тест стоил менее $116, а одно решение — в среднем около $2.40
Бенчмарк проверял не великие загадки науки, а повседневную работу исследователя: найти метод, изменить формулы и провести новый расчёт
Без интернета Astra всё равно набрала 92 %, а часть её предполагаемых ошибок оказалась ошибками в эталонных ответах
Весь тест стоил менее $116, а одно решение — в среднем около $2.40
Бенчмарк проверял не великие загадки науки, а повседневную работу исследователя: найти метод, изменить формулы и провести новый расчёт
Без интернета Astra всё равно набрала 92 %, а часть её предполагаемых ошибок оказалась ошибками в эталонных ответах
This media is not supported in your browser
VIEW IN TELEGRAM
Мои прогнозы оказались сильно ошибочными
Изменить паттерны поведения людей оказалось в разы сложнее, чем эволюция технологий