Модель может быть полезным собеседником — быстрым, начитанным, терпеливым, но не судьёй
Формальная система — тоже не судья: она не знает, хорошо ли поставлена задача, верно ли описание реального объекта, интересно ли получившееся утверждение, но она честно проверяет, что из заданных предпосылок действительно следует заявленный вывод
В этом контуре появляется новая компетенция: не «уметь спросить модель», а построить логический путь
Между этими режимами очень большая разница
На задачах Lean-IMO-Bench обычные большие языковые модели в одношаговом режиме решали мало задач
Агентный подход LEAP, разбивает работу на шаги и используя проверку компилятором Lean как обратную связь, довёл результат до 70 %
Модель не научилась мыслить как математик, но строгая среда проверки радикально меняет качество работы модели
Ошибка перестаёт быть финалом ответа — она становится продолжением решения, строит надёжные артефакты: доказательства, спецификации, фрагменты кода, модели
И это касается не одной чистой математики
В августе была представлена EconCSLib — библиотека и рабочий процесс для формализации исследований в экономике и вычислениях
Схема предельно инженерная: модель переводит определения и утверждения статьи в Lean, Lean проверяет код, а человек и дополнительные процедуры контроля проверяют, не исказился ли смысл исходного текста
В открытом репозитории проекта к июлю было почти миллион строк Lean-кода и 24 формализации работ — 20 полных и 4 частичных
Вот где проходит реальная граница будущей грамотности
Не между «гуманитариями» и «технарями»
И даже не между теми, кто пишет код, и теми, кто его не пишет
А между теми, кто принимает правдоподобный ответ на веру, и теми, кто умеет спросить: какие здесь предпосылки, что именно проверено, где границы модели и каким механизмом мы ловим ошибку?
Алгоритмы не отменяют необходимость думать
Они делают цену недуманья заметно выше
Впереди разговор о том, почему автоматическое доказательство меняет не только математику, но и темп инженерной работы
А в какой задаче вы уже сегодня готовы доверить алгоритмам черновую работу, но ни за что не доверите ему финальную проверку?
Формальная система — тоже не судья: она не знает, хорошо ли поставлена задача, верно ли описание реального объекта, интересно ли получившееся утверждение, но она честно проверяет, что из заданных предпосылок действительно следует заявленный вывод
В этом контуре появляется новая компетенция: не «уметь спросить модель», а построить логический путь
Между этими режимами очень большая разница
На задачах Lean-IMO-Bench обычные большие языковые модели в одношаговом режиме решали мало задач
Агентный подход LEAP, разбивает работу на шаги и используя проверку компилятором Lean как обратную связь, довёл результат до 70 %
Модель не научилась мыслить как математик, но строгая среда проверки радикально меняет качество работы модели
Ошибка перестаёт быть финалом ответа — она становится продолжением решения, строит надёжные артефакты: доказательства, спецификации, фрагменты кода, модели
И это касается не одной чистой математики
В августе была представлена EconCSLib — библиотека и рабочий процесс для формализации исследований в экономике и вычислениях
Схема предельно инженерная: модель переводит определения и утверждения статьи в Lean, Lean проверяет код, а человек и дополнительные процедуры контроля проверяют, не исказился ли смысл исходного текста
В открытом репозитории проекта к июлю было почти миллион строк Lean-кода и 24 формализации работ — 20 полных и 4 частичных
Вот где проходит реальная граница будущей грамотности
Не между «гуманитариями» и «технарями»
И даже не между теми, кто пишет код, и теми, кто его не пишет
А между теми, кто принимает правдоподобный ответ на веру, и теми, кто умеет спросить: какие здесь предпосылки, что именно проверено, где границы модели и каким механизмом мы ловим ошибку?
Алгоритмы не отменяют необходимость думать
Они делают цену недуманья заметно выше
Впереди разговор о том, почему автоматическое доказательство меняет не только математику, но и темп инженерной работы
А в какой задаче вы уже сегодня готовы доверить алгоритмам черновую работу, но ни за что не доверите ему финальную проверку?
Даже если самые передовые модели завершены, они не публикуются сразу, а используются внутри для разработки моделей следующего поколения
Это «пересечением горизонта событий»
Это не то, что каузуэйлловская сингулярность в смысле технологической сингулярности, но в смысле того, что из петли самоускорения уже трудно вернуться, это может быть вполне справедливо
На Fellows Forum в конце сентября, руководитель прикладных исследований OpenAI, заявил, что сейчас 90 % исследований компании направлены на обучение GPT-7 и GPT-8 — там наибольшая ценность
И постепенные обновления внутри одного поколения, такие как 5.1 или 5.2, считаются краткосрочной ставкой и крайне недальновидными
То есть исследователи работают на два поколения вперед по сравнению с тем, что используется сейчас
Самые передовые модели уже разработаны, но не публикуются и удерживаются
Скоро такие модели следующего поколения перестанут быть общедоступными и начнут использоваться только для специфических целей внутри исследовательских институтов
Самое большое вознаграждение за токен в текущих фронтир-моделях, по крайней мере то, что генерирует наибольшую дисконтированную текущую стоимость в будущем, — это разработка еще более мощных моделей через рекурсивное самоулучшение
По этому пункту «горизонт событий» уже пересечён, именно поэтому это и называют сингулярностью
Это «пересечением горизонта событий»
Это не то, что каузуэйлловская сингулярность в смысле технологической сингулярности, но в смысле того, что из петли самоускорения уже трудно вернуться, это может быть вполне справедливо
На Fellows Forum в конце сентября, руководитель прикладных исследований OpenAI, заявил, что сейчас 90 % исследований компании направлены на обучение GPT-7 и GPT-8 — там наибольшая ценность
И постепенные обновления внутри одного поколения, такие как 5.1 или 5.2, считаются краткосрочной ставкой и крайне недальновидными
То есть исследователи работают на два поколения вперед по сравнению с тем, что используется сейчас
Самые передовые модели уже разработаны, но не публикуются и удерживаются
Скоро такие модели следующего поколения перестанут быть общедоступными и начнут использоваться только для специфических целей внутри исследовательских институтов
Самое большое вознаграждение за токен в текущих фронтир-моделях, по крайней мере то, что генерирует наибольшую дисконтированную текущую стоимость в будущем, — это разработка еще более мощных моделей через рекурсивное самоулучшение
По этому пункту «горизонт событий» уже пересечён, именно поэтому это и называют сингулярностью
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Математика требует образного мышления, это не путь последовательного вывода следствий из причин, это периодические скачки на бесконечные расстояния посредством того самого образного мышления
Теория Галуа, геометрия Лобачевского, комплексные числа - это всё прыжки на бесконечные расстояния, после чего в новом месте идёт обустройство
У машинного обучения образного мышления нет и не будет
Ничем кроме помощи в обустройстве на новом месте он не поможет
До нового прыжка на бесконечное расстояние в высшие абстракции
Теория Галуа, геометрия Лобачевского, комплексные числа - это всё прыжки на бесконечные расстояния, после чего в новом месте идёт обустройство
У машинного обучения образного мышления нет и не будет
Ничем кроме помощи в обустройстве на новом месте он не поможет
До нового прыжка на бесконечное расстояние в высшие абстракции
В ситуации целенаправленной синхронной цензуры, AML теряет способность различать правду и ложь, и становится инструментом дезинформации
А когда в данных присутствует плюрализм, даже с конкурирующими ошибочными мнениями - AML становится фильтром истины
- когда AML обучается на данных со случайными ошибками, истина (верные суждения) возникает сама собой как артефакт сжатия
- когда в данные для обучения введен намеренный трек фальсификации (по определенной теме), то в результате обучения AML полностью теряет способность различать правду и ложь
- однако когда в массиве даных конкурирует несколько фальсификаций (лжи по определенному поводу) - AML в процессе обучения снова с начинает производить истину
А когда в данных присутствует плюрализм, даже с конкурирующими ошибочными мнениями - AML становится фильтром истины
- когда AML обучается на данных со случайными ошибками, истина (верные суждения) возникает сама собой как артефакт сжатия
- когда в данные для обучения введен намеренный трек фальсификации (по определенной теме), то в результате обучения AML полностью теряет способность различать правду и ложь
- однако когда в массиве даных конкурирует несколько фальсификаций (лжи по определенному поводу) - AML в процессе обучения снова с начинает производить истину
This media is not supported in your browser
VIEW IN TELEGRAM
Набрать предложение и наблюдать, как Transformer его обрабатывает…
Этот интерактивный эксплейнер запускает модель в стиле GPT прямо в браузере и позволяет проследить весь путь:
токенизация → эмбеддинги → Q/K/V → внимание → MLP → логиты → вероятности следующего токена
Можно изучать карты внимания, промежуточные значения и изменить температуру, top-k и top-p, чтобы увидеть, как меняется генерация
Этот интерактивный эксплейнер запускает модель в стиле GPT прямо в браузере и позволяет проследить весь путь:
токенизация → эмбеддинги → Q/K/V → внимание → MLP → логиты → вероятности следующего токена
Можно изучать карты внимания, промежуточные значения и изменить температуру, top-k и top-p, чтобы увидеть, как меняется генерация
Интеллект из хаоса: как сложные системы рождают результат
Нейросети могут научиться это делать и без человеческого опыта
Как рождается интеллект - любой интеллект:
от милипизерного интеллекта крохотной Нематоды с ее 300 нейронами
• до интеллекта венца природы Homo sapiens с его 76.000.000.000 нейронов
С появлением дегенеративного интеллекта машин, этот вопрос лишь еще больше запутался
Как рождается результат
• не только, естественный (биологический)
• но и искусственный (машинный) результат тоже
Дегенеративный искусственный интеллект, - появляется в результате способности моделей предсказывать следующий токен (напр. символ или слово)
Для этого модель использует колоссальных объемов статистику вероятностей встречающихся паттернов токенов, извлекаемую ею из предоставленных ей гигантских корпусов обучающих данных
Так что ж получается – результат рождается из данных?
И достаточно, собрав чертову тучу данных, заложить в машину логические правила извлечения из них статистики паттернов?
А потом, - интеллект сам заведется, как тараканы на немытой кухне?
Не совсем так, точнее, совсем не так
Нейросети могут научиться это делать и без человеческого опыта
Как рождается интеллект - любой интеллект:
от милипизерного интеллекта крохотной Нематоды с ее 300 нейронами
• до интеллекта венца природы Homo sapiens с его 76.000.000.000 нейронов
С появлением дегенеративного интеллекта машин, этот вопрос лишь еще больше запутался
Как рождается результат
• не только, естественный (биологический)
• но и искусственный (машинный) результат тоже
Дегенеративный искусственный интеллект, - появляется в результате способности моделей предсказывать следующий токен (напр. символ или слово)
Для этого модель использует колоссальных объемов статистику вероятностей встречающихся паттернов токенов, извлекаемую ею из предоставленных ей гигантских корпусов обучающих данных
Так что ж получается – результат рождается из данных?
И достаточно, собрав чертову тучу данных, заложить в машину логические правила извлечения из них статистики паттернов?
А потом, - интеллект сам заведется, как тараканы на немытой кухне?
Не совсем так, точнее, совсем не так
Проектируйте AML систему так, будто модель уже скомпрометирована
Контроль должен существовать и за пределами моделей
Что это означает на практике:
• Права задаёт система
Модель не определяет сама, какие ресурсы ей доступны
• Действия оставляют проверяемый след
Логи должны быть защищены от изменения агентом
• Аудит независим
Агент не должен одновременно действовать и контролировать доказательства корректности своих действий
• Есть аварийная остановка
Уполномоченный человек может прервать работу посреди задачи
• Тестируются и провалы: атаки, ошибки, пограничные случаи и изменения окружения
Контроль должен существовать и за пределами моделей
Что это означает на практике:
• Права задаёт система
Модель не определяет сама, какие ресурсы ей доступны
• Действия оставляют проверяемый след
Логи должны быть защищены от изменения агентом
• Аудит независим
Агент не должен одновременно действовать и контролировать доказательства корректности своих действий
• Есть аварийная остановка
Уполномоченный человек может прервать работу посреди задачи
• Тестируются и провалы: атаки, ошибки, пограничные случаи и изменения окружения
Бывший генеральный директор Google Эрик Шмидт:
«произойдет взрыв в обучении, который ускорится за пределы того, что люди смогут понять»
Представьте математическое доказательство, которое слишком сложно для понимания любым человеком, но мы можем подтвердить, что оно истинно
Что это значит, если люди никогда не смогут его понять?
«произойдет взрыв в обучении, который ускорится за пределы того, что люди смогут понять»
Представьте математическое доказательство, которое слишком сложно для понимания любым человеком, но мы можем подтвердить, что оно истинно
Что это значит, если люди никогда не смогут его понять?
«Если у вас есть какая-либо теория о том, как работает мозг, вы можете смоделировать её на цифровом компьютере» — за исключением квантовых эффектов
Это не верно
Все формы биологического интеллекта АНАЛОГОВЫЕ
LLM симулируют ВЫВОД интеллекта
Это статичные кучи человеческих данных, сжатые в многомерной математике
Вся идея, что они интеллектуальны, не верна
Вы никогда не получите интеллектуальный цифровой компьютер, не говоря уже о сознательном
Будущее — это аналоговые вычисления
Когда компьютеры будут использовать вселенную для расчётов, когда они будут адаптироваться на основе входных данных из физического мира, мы сблизимся
До тех пор — это тупик
Это не верно
Все формы биологического интеллекта АНАЛОГОВЫЕ
LLM симулируют ВЫВОД интеллекта
Это статичные кучи человеческих данных, сжатые в многомерной математике
Вся идея, что они интеллектуальны, не верна
Вы никогда не получите интеллектуальный цифровой компьютер, не говоря уже о сознательном
Будущее — это аналоговые вычисления
Когда компьютеры будут использовать вселенную для расчётов, когда они будут адаптироваться на основе входных данных из физического мира, мы сблизимся
До тех пор — это тупик
This media is not supported in your browser
VIEW IN TELEGRAM
Джеффри Хинтон получил Нобелевскую премию по физике за создание систем, которые он не мог полностью объяснить
Каждый токен, который генерирует ваша LLM, стоит энергии
Визуализация энергетического ландшафта показывает полную картину
Область высокой энергии = непоследовательный галлюцинирующий вывод
Точка седла = переход между концепциями
Низкоэнергетическая впадина = coherentное рассуждение
Модель не вычисляет — она скатывается вниз по склону через 10.000+ измерений к наиболее стабильному физическому состоянию
Фазовые переходы объясняют, почему от GPT-3 к GPT-4 ощущалось как совершенно другой продукт
Маленькие модели застревают в высокоэнергетических фрагментированных состояниях
Большие модели пересекают критический порог и демонстрируют стабильные низкоэнергетические аттракторы
Прыжок возможностей был не больше данных
Компании, которые будут намеренно конструировать фазовые переходы вместо слепого масштабирования, сожмут 3 года исследований и разработок в одно архитектурное решение
Каждый токен, который генерирует ваша модель, — это система, стремящаяся к равновесию
Каждый токен, который генерирует ваша LLM, стоит энергии
Визуализация энергетического ландшафта показывает полную картину
Область высокой энергии = непоследовательный галлюцинирующий вывод
Точка седла = переход между концепциями
Низкоэнергетическая впадина = coherentное рассуждение
Модель не вычисляет — она скатывается вниз по склону через 10.000+ измерений к наиболее стабильному физическому состоянию
Фазовые переходы объясняют, почему от GPT-3 к GPT-4 ощущалось как совершенно другой продукт
Маленькие модели застревают в высокоэнергетических фрагментированных состояниях
Большие модели пересекают критический порог и демонстрируют стабильные низкоэнергетические аттракторы
Прыжок возможностей был не больше данных
Компании, которые будут намеренно конструировать фазовые переходы вместо слепого масштабирования, сожмут 3 года исследований и разработок в одно архитектурное решение
Каждый токен, который генерирует ваша модель, — это система, стремящаяся к равновесию