Гибель или взлет, что он нам несет – поворот к базисным моделям.
Это революция в обучении машин, последствия которой пока непредставимы.
Для подавляющего числа читателей, термин «базисные модели (foundation models - адаптируемые к приложениям модели машинного обучения, которые обучаются независимым от задач способом на необработанных данных) неизвестен. А ведь это самый важный технологический термин ближайших десятилетий.
Обучение машин на базисных моделях имеет две принципиальные особенности, позволяющие говорить о смене парадигмы машинного обучения и о революционном прорыве в развитии ИИ технологий:
1) Переход количества в качество обучения при колоссальном масштабировании моделей.
2) Эмерджентность (возникновение у системы свойств, отсутствующих у ее элементов) умений прикладных систем, полученных путем машинного обучения на «базисных моделях».
Поэтому не будет преувеличением сказать, что переход на базисные модели обучения машин повлечет:
• гигантские практические последствия для многих областей деятельности людей, несопоставимые даже с революциями пара, электричества и атома.
• сопутствующие этому риски столь же титанические, как в части социальных последствий, так и в плане создания непреодолимых препятствий для дальнейших научно-технологических разработок.
Только представьте.
- Поисковик Google (созданный на базисной модели BERT) для 4 млрд землян осуществляет 6 млрд поисковых запросов в день.
- Система обработки естественного языка GPT-3 от OpenAI, используемая десятками тысяч разработчиков более чем 300 приложений, генерирует 4,5 млрд слов в лень, что позволит ей к концу следующего года произвести больше текстов, чем было накоплено человечеством за всю докомпьютерную эпоху.
И это лишь только начало. Переход на базисные модели через 10-20 лет может привести не только к технологиям уровня возможностей человеческого интеллекта (AGI), но и вообще к слабо представимым последствиям, типа материализации «призрака трансгуманизма», о котором я писал недавно в посте про «Манифест Кларка» .
Ведь базисные модели - это те модели из «Манифеста Кларка», что он назвал для массового читателя более привычным для них термином «Большие модели».
Это новое поколение моделей, что может открыть для людей невиданные ранее материальные и нематериальные блага, которые:
✔️ получат лишь самые богатые бизнесмены, высокие правительственные чиновники и ведущие разработчики ИИ,
✔️ а подавляющему большинству людей эти сверхценные блага просто не достанутся.
Помимо обострения неравенства и централизации власти, распространение приложений на основе базисных моделей, способно провоцировать
✔️ появление на Земле новых классов предубеждений, деформирующих коллективный интеллект человечества;
✔️ полной отказ от понятия «истина».
Наконец, мы даже не можем представить к каким новым классам катастроф могут вести такие приложения в стратегических инфраструктурах.
Подробней о перспективах и рисках базисных моделей читайте отчет CRFM - Стэнфордского центра человеко-ориентированного ИИ (HAI) по изучению базисных моделей (именно здесь выступал со своим «манифестом» Джек Кларк).
Под отчетом, соавтор которого содиректор HAI и бывший руководитель Google Cloud AI Фэй Фэй Ли, более 60 подписей.
Авторы пишут:
• нужно торопиться уводить базисные модели из под полного контроля китов БигТеха, движимых лишь бизнес-мотивацией;
• необходимо срочное создание инфраструктуры для общественных проектов ИИ, подобных космическому телескопу Хаббла и Большому адронному коллайдеру.
Подробней https://arxiv.org/abs/2108.07258 (213 стр.)
#БазисныеМодели #ИИ
Это революция в обучении машин, последствия которой пока непредставимы.
Для подавляющего числа читателей, термин «базисные модели (foundation models - адаптируемые к приложениям модели машинного обучения, которые обучаются независимым от задач способом на необработанных данных) неизвестен. А ведь это самый важный технологический термин ближайших десятилетий.
Обучение машин на базисных моделях имеет две принципиальные особенности, позволяющие говорить о смене парадигмы машинного обучения и о революционном прорыве в развитии ИИ технологий:
1) Переход количества в качество обучения при колоссальном масштабировании моделей.
2) Эмерджентность (возникновение у системы свойств, отсутствующих у ее элементов) умений прикладных систем, полученных путем машинного обучения на «базисных моделях».
Поэтому не будет преувеличением сказать, что переход на базисные модели обучения машин повлечет:
• гигантские практические последствия для многих областей деятельности людей, несопоставимые даже с революциями пара, электричества и атома.
• сопутствующие этому риски столь же титанические, как в части социальных последствий, так и в плане создания непреодолимых препятствий для дальнейших научно-технологических разработок.
Только представьте.
- Поисковик Google (созданный на базисной модели BERT) для 4 млрд землян осуществляет 6 млрд поисковых запросов в день.
- Система обработки естественного языка GPT-3 от OpenAI, используемая десятками тысяч разработчиков более чем 300 приложений, генерирует 4,5 млрд слов в лень, что позволит ей к концу следующего года произвести больше текстов, чем было накоплено человечеством за всю докомпьютерную эпоху.
И это лишь только начало. Переход на базисные модели через 10-20 лет может привести не только к технологиям уровня возможностей человеческого интеллекта (AGI), но и вообще к слабо представимым последствиям, типа материализации «призрака трансгуманизма», о котором я писал недавно в посте про «Манифест Кларка» .
Ведь базисные модели - это те модели из «Манифеста Кларка», что он назвал для массового читателя более привычным для них термином «Большие модели».
Это новое поколение моделей, что может открыть для людей невиданные ранее материальные и нематериальные блага, которые:
✔️ получат лишь самые богатые бизнесмены, высокие правительственные чиновники и ведущие разработчики ИИ,
✔️ а подавляющему большинству людей эти сверхценные блага просто не достанутся.
Помимо обострения неравенства и централизации власти, распространение приложений на основе базисных моделей, способно провоцировать
✔️ появление на Земле новых классов предубеждений, деформирующих коллективный интеллект человечества;
✔️ полной отказ от понятия «истина».
Наконец, мы даже не можем представить к каким новым классам катастроф могут вести такие приложения в стратегических инфраструктурах.
Подробней о перспективах и рисках базисных моделей читайте отчет CRFM - Стэнфордского центра человеко-ориентированного ИИ (HAI) по изучению базисных моделей (именно здесь выступал со своим «манифестом» Джек Кларк).
Под отчетом, соавтор которого содиректор HAI и бывший руководитель Google Cloud AI Фэй Фэй Ли, более 60 подписей.
Авторы пишут:
• нужно торопиться уводить базисные модели из под полного контроля китов БигТеха, движимых лишь бизнес-мотивацией;
• необходимо срочное создание инфраструктуры для общественных проектов ИИ, подобных космическому телескопу Хаббла и Большому адронному коллайдеру.
Подробней https://arxiv.org/abs/2108.07258 (213 стр.)
#БазисныеМодели #ИИ
ИИ превращается в ящик Пандоры с неисчислимой стаей Черных лебедей внутри.
Два жутких отчета о рисках «злонамеренного ИИ», снизить которые может лишь институциональная защита.
Обобщить выводы двух новых отчетов авторитетных исследовательских организаций, можно примерно так.
А) Масштабирование (увеличение размера) больших генеративных моделей ИИ (также называемых «базисные модели) - типа CLIP, Ernie 3.0 Titan, FLAN, Gopher, GPT-3, HyperClova, Jurassic-1-Jumbo, Megatron Turing NLG, LaMDA, Pan Gu, Yuan 1.0 и пр.), - неостановимо.
(1) Этот путь уже доказал свою эффективность для решения все более сложных задач.
(2) Он экономически выгодней любых иных путей.
Т.о. используемые в ИИ размеры моделей будут неуклонно расти.
Б) Последствием роста больших генеративных моделей ИИ является непредсказуемость рисков его применения. С увеличением размера моделей ИИ буквально превращается в ящик Пандоры, в котором обитает неисчислимое множество Черных лебедей – серьёзных, «злонамеренных» последствий действий ИИ, которые заранее невозможно предсказать.
Например:
-- ИИ самоуправляемого авто может начать максимизировать безопасность своих пассажиров за счет снижения безопасности пассажиров чужих авто
-- ИИ, управляющий балансировкой нагрузки электросетей, может максимизировать удовлетворение потребностей одного класса потребителей за счет другого.
N.B. Кавычки означают, что никаких намерений у ИИ конечно нет, а «злонамеренность» получается просто по факту.
В) Поскольку предсказать Черных лебедей «злонамеренности» ИИ невозможно, остается лишь строить универсальную систему защиты, способную понизить потенциальный урон.
Г) Цивилизация придумала лишь две универсальные системы защиты от злонамеренных действий интеллектуальных агентов (людей): мораль и закон.
-- Мораль в случае ИИ не подходит, ибо это не живой продукт эволюции, а машина, у которой нет базы для существования морали.
-- А вот система регулирующих ИИ законов, устанавливаемых соответствующими институтами, а другими институтами контролируемая, - может помочь.
Д) В частности, для регулирования самого перспективного из существующих ИИ – систем на основе обучения с подкреплением (Reinforcement Learning), - необходимо срочно создать институт нормативных «отчетов о вознаграждениях». Эти отчеты для ИИ-агентов будут подобны комбинации отчетов, существующих у людей – типа интеграции финансовой декларации человека с его психометрической оценкой и личным делом.
Е) Забить на ящик Пандоры с Черными лебедями для человечества себе дороже.
-- Системы обучения с подкреплением будут действовать на все более длительных временных горизонтах, принимая все более независимые решения, напрямую манипулируя реальностью и меняя ее в соответствии со своими неизвестными людям критериями.
-- ИИ-системы глубокого обучения – это «усилители культуры», которые повторяют и усиливают когнитивные искажения, мемы и идеологию людей, в скрытой форме содержащиеся в наборах данных, на которых ИИ обучался. Но поскольку эффект масштабирования ИИ несоизмеримо сильнее даже самых влиятельных лидеров мнений, интеллектуальная слепота, предвзятость и зашоренность людей будут катастрофически расти.
• 1й отчет Predictability and Surprise in Large Generative Models опубликовала компания Anthropic, являющейся на сегодня лидером в исследованиях потенциала и рисков масштабирования ИИ.
• 2й отчет Choices, Risks, and Reward Reports: Charting Public Policy for Reinforcement Learning Systems выпущен CLTC (Центр долгосрочной кибербезопасности Беркли).
О рисках базисных моделей также см. мой пост
#БазисныеМодели #РискиИИ
Два жутких отчета о рисках «злонамеренного ИИ», снизить которые может лишь институциональная защита.
Обобщить выводы двух новых отчетов авторитетных исследовательских организаций, можно примерно так.
А) Масштабирование (увеличение размера) больших генеративных моделей ИИ (также называемых «базисные модели) - типа CLIP, Ernie 3.0 Titan, FLAN, Gopher, GPT-3, HyperClova, Jurassic-1-Jumbo, Megatron Turing NLG, LaMDA, Pan Gu, Yuan 1.0 и пр.), - неостановимо.
(1) Этот путь уже доказал свою эффективность для решения все более сложных задач.
(2) Он экономически выгодней любых иных путей.
Т.о. используемые в ИИ размеры моделей будут неуклонно расти.
Б) Последствием роста больших генеративных моделей ИИ является непредсказуемость рисков его применения. С увеличением размера моделей ИИ буквально превращается в ящик Пандоры, в котором обитает неисчислимое множество Черных лебедей – серьёзных, «злонамеренных» последствий действий ИИ, которые заранее невозможно предсказать.
Например:
-- ИИ самоуправляемого авто может начать максимизировать безопасность своих пассажиров за счет снижения безопасности пассажиров чужих авто
-- ИИ, управляющий балансировкой нагрузки электросетей, может максимизировать удовлетворение потребностей одного класса потребителей за счет другого.
N.B. Кавычки означают, что никаких намерений у ИИ конечно нет, а «злонамеренность» получается просто по факту.
В) Поскольку предсказать Черных лебедей «злонамеренности» ИИ невозможно, остается лишь строить универсальную систему защиты, способную понизить потенциальный урон.
Г) Цивилизация придумала лишь две универсальные системы защиты от злонамеренных действий интеллектуальных агентов (людей): мораль и закон.
-- Мораль в случае ИИ не подходит, ибо это не живой продукт эволюции, а машина, у которой нет базы для существования морали.
-- А вот система регулирующих ИИ законов, устанавливаемых соответствующими институтами, а другими институтами контролируемая, - может помочь.
Д) В частности, для регулирования самого перспективного из существующих ИИ – систем на основе обучения с подкреплением (Reinforcement Learning), - необходимо срочно создать институт нормативных «отчетов о вознаграждениях». Эти отчеты для ИИ-агентов будут подобны комбинации отчетов, существующих у людей – типа интеграции финансовой декларации человека с его психометрической оценкой и личным делом.
Е) Забить на ящик Пандоры с Черными лебедями для человечества себе дороже.
-- Системы обучения с подкреплением будут действовать на все более длительных временных горизонтах, принимая все более независимые решения, напрямую манипулируя реальностью и меняя ее в соответствии со своими неизвестными людям критериями.
-- ИИ-системы глубокого обучения – это «усилители культуры», которые повторяют и усиливают когнитивные искажения, мемы и идеологию людей, в скрытой форме содержащиеся в наборах данных, на которых ИИ обучался. Но поскольку эффект масштабирования ИИ несоизмеримо сильнее даже самых влиятельных лидеров мнений, интеллектуальная слепота, предвзятость и зашоренность людей будут катастрофически расти.
• 1й отчет Predictability and Surprise in Large Generative Models опубликовала компания Anthropic, являющейся на сегодня лидером в исследованиях потенциала и рисков масштабирования ИИ.
• 2й отчет Choices, Risks, and Reward Reports: Charting Public Policy for Reinforcement Learning Systems выпущен CLTC (Центр долгосрочной кибербезопасности Беркли).
О рисках базисных моделей также см. мой пост
#БазисныеМодели #РискиИИ
Главный кандидат в гегемоны мира определил дорожную карту ИИ на 20 лет.
Как будет развиваться ИИ в Эру Больших Моделей.
Поскольку согласно многим расчетам Китай в ближайшие десятилетия по всем показателям превзойдет США (или, как минимум, приблизится к тому, чтобы превзойти), демократические страны столкнутся с ситуацией возникновения в мире авторитарной державы-гегемона.
О конкретике китайского плана превращения к 2050 в мирового гегемона я напишу в следующий раз. А сегодняшняя супер-новость - публикация Китаем дорожной карты развития ИИ на ближайшую пару десятилетий.
Ведь на то Китай и главный кандидат в мировые гегемоны, чтобы, не оглядываясь на США, отчеканить:
Наступила Эра Больших Моделей. Теперь ИИ будет развиваться вот так (цели, задачи, пути и способы решения, последствия и риски). Будет так, и никак иначе.
Большими моделями (БМ) в Китае называют Базисные модели (Foundation Models), о которых в августе прошлого года я написал пост с длинным названием «Гибель или взлет, что он нам несет – поворот к базисным моделям. Это революция в обучении машин, последствия которой пока непредставимы» (1).
А еще через месяц в посте «Почему Россия аутсайдер в ИИ» (2) я рискнул предположить, что одной из основных причин аутсайдерства России в ИИ является «разруха в головах», наилучшей иллюстрацией которой стало полное пренебрежение в медиаповестке к важнейшей для ИИ теме Базисных моделей.
Прошло полгода, и Китай показал, кто в мировой лавке хозяин.
Собрав грандиозный интеллектуальный пул из 100 китайских специалистов, работающих в Китайской академии ИИ-наук, в 8-и ведущих университетах Китая и США, в 5-и ведущих НИИ по ИИ Китая, США и Канады, в 5-и ИИ-лабораториях гигантов бизнеса Tencent, Huawei, ByteDance, Microsoft, JD, - за 6 месяцев была разработана дорожная карта развития ИИ в Эру Больших Моделей (200 страниц со списком литературы из 1637 ссылок).
Дорожная карта ведет разработчиков ИИ к решению 3х ключевых проблем современных ИИ.
1. Непереносимость моделей.
Модель, построенная для конкретной задачи и обученная в рамках конкретного прикладного сценария, неприменима в другом сценарии и уж тем более для другой задачи. Обучение модели всегда приходится начинать с нуля, что ведет к высокой стоимости обучения.
2. Недопустимо много ручной работы.
Нынешнее обучение модели в основном проводится по схеме “ручной работы", поскольку для настройки параметров требуется много ручной работы, требующей большого количества специалистов по ИИ.
3. Дефицит качественных данных.
Модельное обучение предполагает высокие стандарты качества данных, и наличие крупномасштабных маркированных данных. Недостаток таких данных в некоторых областях ограничивает применение технологий ИИ.
Помимо устранения 3х названных проблем на основе применения БМ, целью дорожной карты также является устранения главного риска таких моделей - любые их дефекты будут наследоваться всеми последующими моделями, что быстро распространится на все сообщество базисных моделей.
▶️ Обзор БM включает 4 части: Ресурсы, Модели, Ключевые технологии и Приложения.
▶️ Представлено 16 конкретных тем, связанных с БM:
-- Ресурсы: данные, знания, вычислительные системы;
-- Модели: языка, зрения, мультимодальная модель:
-- Ключевые технологии: рассуждение, интерпретация, надежность и безопасность, управление, оценка;
-- Приложения: диалог, генерация текста, машинный перевод и предсказание структуры белка.
▶️ В каждой теме обобщаются текущие исследования и предлагаются направления будущих исследований.
Вот как становятся гегемоном:
Будет так, - я сказал!!! (4)
1
2
3
4
#Китай #БазисныеМодели #ИИ
Как будет развиваться ИИ в Эру Больших Моделей.
Поскольку согласно многим расчетам Китай в ближайшие десятилетия по всем показателям превзойдет США (или, как минимум, приблизится к тому, чтобы превзойти), демократические страны столкнутся с ситуацией возникновения в мире авторитарной державы-гегемона.
О конкретике китайского плана превращения к 2050 в мирового гегемона я напишу в следующий раз. А сегодняшняя супер-новость - публикация Китаем дорожной карты развития ИИ на ближайшую пару десятилетий.
Ведь на то Китай и главный кандидат в мировые гегемоны, чтобы, не оглядываясь на США, отчеканить:
Наступила Эра Больших Моделей. Теперь ИИ будет развиваться вот так (цели, задачи, пути и способы решения, последствия и риски). Будет так, и никак иначе.
Большими моделями (БМ) в Китае называют Базисные модели (Foundation Models), о которых в августе прошлого года я написал пост с длинным названием «Гибель или взлет, что он нам несет – поворот к базисным моделям. Это революция в обучении машин, последствия которой пока непредставимы» (1).
А еще через месяц в посте «Почему Россия аутсайдер в ИИ» (2) я рискнул предположить, что одной из основных причин аутсайдерства России в ИИ является «разруха в головах», наилучшей иллюстрацией которой стало полное пренебрежение в медиаповестке к важнейшей для ИИ теме Базисных моделей.
Прошло полгода, и Китай показал, кто в мировой лавке хозяин.
Собрав грандиозный интеллектуальный пул из 100 китайских специалистов, работающих в Китайской академии ИИ-наук, в 8-и ведущих университетах Китая и США, в 5-и ведущих НИИ по ИИ Китая, США и Канады, в 5-и ИИ-лабораториях гигантов бизнеса Tencent, Huawei, ByteDance, Microsoft, JD, - за 6 месяцев была разработана дорожная карта развития ИИ в Эру Больших Моделей (200 страниц со списком литературы из 1637 ссылок).
Дорожная карта ведет разработчиков ИИ к решению 3х ключевых проблем современных ИИ.
1. Непереносимость моделей.
Модель, построенная для конкретной задачи и обученная в рамках конкретного прикладного сценария, неприменима в другом сценарии и уж тем более для другой задачи. Обучение модели всегда приходится начинать с нуля, что ведет к высокой стоимости обучения.
2. Недопустимо много ручной работы.
Нынешнее обучение модели в основном проводится по схеме “ручной работы", поскольку для настройки параметров требуется много ручной работы, требующей большого количества специалистов по ИИ.
3. Дефицит качественных данных.
Модельное обучение предполагает высокие стандарты качества данных, и наличие крупномасштабных маркированных данных. Недостаток таких данных в некоторых областях ограничивает применение технологий ИИ.
Помимо устранения 3х названных проблем на основе применения БМ, целью дорожной карты также является устранения главного риска таких моделей - любые их дефекты будут наследоваться всеми последующими моделями, что быстро распространится на все сообщество базисных моделей.
▶️ Обзор БM включает 4 части: Ресурсы, Модели, Ключевые технологии и Приложения.
▶️ Представлено 16 конкретных тем, связанных с БM:
-- Ресурсы: данные, знания, вычислительные системы;
-- Модели: языка, зрения, мультимодальная модель:
-- Ключевые технологии: рассуждение, интерпретация, надежность и безопасность, управление, оценка;
-- Приложения: диалог, генерация текста, машинный перевод и предсказание структуры белка.
▶️ В каждой теме обобщаются текущие исследования и предлагаются направления будущих исследований.
Вот как становятся гегемоном:
Будет так, - я сказал!!! (4)
1
2
3
4
#Китай #БазисныеМодели #ИИ
Что сулит планируемый Китаем 30-тикратный отрыв от США в ИИ?
Все медиа мира взахлеб обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка.
Система PaLM способна рассуждать, применяя арифметическое и логическое мышление.
Она на раз-два решает задачи типа: «У Роджера 5 теннисных мячей. Он покупает еще 2 упаковки мячей. В каждой упаковке по 3 мяча. Сколько теннисных мячей теперь у Роджера?»
PaLM умеет объяснять
Например, шутку
«Я собирался лететь в гости к семье 6 апреля. Но мама сказала, что у отчима поэтические чтения в этот вечер, и я решил лететь 7го»
PaLM объясняет так
«Шутка в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, и поэтому он меняет свой рейс на следующий день после поэтических чтений».
PaLM выстраивает цепочки рассуждений.
Например, систему спрашивают:
«Дженни смотрит в окно и видит под собой очень красивое облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?»
Цепочка рассуждений PaLM:
«300 миль в час – это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте»
Следовательно, ответ «Да».
А теперь внимание.
✔️ ИИ системы PaLM умеет все вышеупомянутое (и много больше) используя в языковой модели для предварительного обучения до 540 млрд параметров.
✔️ ИИ-платформу BaGuaLu – совместную разработку Университета Цинхуа, Alibaba Group, Zhejiang Lab и Пекинской академии искусственного интеллекта: уже обучают на 2-х триллионах параметров; до конца года планируют довести до 14,5 трлн, а потом и до 174 трлн параметров.
Это значит, что уже до конца года у Китая может появиться отрыв в мощности языковых моделей от США в несколько десятков раз.
Ну а что будут уметь столь огромные модели с числом параметров, превосходящим число синапсов в человеческом мозге, мы не знаем. Но это может оказаться для человечества большим откровением.
Подробней см. презентацию BaGuaLu, сделанную на PPoPP несколько дней назад
https://www.youtube.com/watch?v=T3-6WH1GyRw
И описание BaGuaLu в ACM https://dl.acm.org/doi/10.1145/3503221.3508417
#Китай #БазисныеМодели #ИИ
Все медиа мира взахлеб обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка.
Система PaLM способна рассуждать, применяя арифметическое и логическое мышление.
Она на раз-два решает задачи типа: «У Роджера 5 теннисных мячей. Он покупает еще 2 упаковки мячей. В каждой упаковке по 3 мяча. Сколько теннисных мячей теперь у Роджера?»
PaLM умеет объяснять
Например, шутку
«Я собирался лететь в гости к семье 6 апреля. Но мама сказала, что у отчима поэтические чтения в этот вечер, и я решил лететь 7го»
PaLM объясняет так
«Шутка в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, и поэтому он меняет свой рейс на следующий день после поэтических чтений».
PaLM выстраивает цепочки рассуждений.
Например, систему спрашивают:
«Дженни смотрит в окно и видит под собой очень красивое облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?»
Цепочка рассуждений PaLM:
«300 миль в час – это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте»
Следовательно, ответ «Да».
А теперь внимание.
✔️ ИИ системы PaLM умеет все вышеупомянутое (и много больше) используя в языковой модели для предварительного обучения до 540 млрд параметров.
✔️ ИИ-платформу BaGuaLu – совместную разработку Университета Цинхуа, Alibaba Group, Zhejiang Lab и Пекинской академии искусственного интеллекта: уже обучают на 2-х триллионах параметров; до конца года планируют довести до 14,5 трлн, а потом и до 174 трлн параметров.
Это значит, что уже до конца года у Китая может появиться отрыв в мощности языковых моделей от США в несколько десятков раз.
Ну а что будут уметь столь огромные модели с числом параметров, превосходящим число синапсов в человеческом мозге, мы не знаем. Но это может оказаться для человечества большим откровением.
Подробней см. презентацию BaGuaLu, сделанную на PPoPP несколько дней назад
https://www.youtube.com/watch?v=T3-6WH1GyRw
И описание BaGuaLu в ACM https://dl.acm.org/doi/10.1145/3503221.3508417
#Китай #БазисныеМодели #ИИ
YouTube
BAGUALU: Targeting Brain Scale Pretrained Models with over 37 Million Cores
Битва между биологическими и кремниевыми сущностями началась.
Выиграют те, кто получит лучший доступ к скрытому пространству идей.
Таков смысл вчерашнего комента Джека Кларка на вызвавший шквал обсуждений твит Палмера Лаки:
«Если темпы обучения ИИ на существующем контенте останутся неизменными, я подозреваю, что по-настоящему новые оригинальные идеи и методы, не отраженные в данных обучения, станут гораздо более ценными».
Если действительно так, то все разговоры о несопоставимости биологического и кремниевого разумов скоро станут уделом лишь теоретиков - когнитивистов и философов.
А практики будут вовсю использовать кремниевый разум ИИ.
• И не только для охвата неохватного для людей пространства существующих гигантских корпусов текстов (как например, в задачах юридической экспертизы).
• Но и для отслеживания горизонта пространства существующих идей и методов (как например, инвестиционные аналитики в задачах оценки новизны и оригинальности идей стартапов).
Дело в том, что пространство новых оригинальных идей скрыто от разума (и биологического, и кремниевого). Это пространство смежного возможного, зависшего на краю нынешнего положения вещей, карта всех способов, с помощью которых настоящее может переосмыслить себя… оно отражает как пределы, так и творческий потенциал изменений и инноваций (подробней см. мой пост «Невычислимая тень будущего»).
Кремниевый разум, казалось бы, имеет здесь лишь одно преимущество. Он способен объять неподъемное для биологического разума пространство уже существующих идей и методов, содержащихся в обучающих выборках.
Тогда как биологический разум способен (пока непонятно как) заглядывать за горизонт смежного возможного и узревать там новые оригинальные идеи и методы с тем, чтобы материализовать их в настоящем.
Однако, все может оказаться еще интересней.
Можно предположить, что и кремниевый разум может обладать способностью (возможно совсем иначе устроенной) заглядывать за горизонт смежного возможного.
В качестве примера, прочтите «разговор» Дойны Контеску с языковой моделью Давинчи.
Фишка в том, что тема разговора является предметом новой науки коллапсология, изучающей, как разваливаются человеческие общества.
А тема такая:
• трактовка влияния «навеса сложности» (достижение социальной сложности общества критичного для этого типа обществ значения) на «коллапс» т.н. «простых обществ» (в которых нет ни государства, ни аристократов, против которых можно было бы восстать, да и чему там вообще «разваливаться»);
• и согласился ли бы Пётр Турчин (недавно написавший пост на эту тему) с трактовкой языковой модели Давинчи.
Прочтите сами этот «разговор» Дойны Контеску с Давинчи в комментариях к посту Петра Турчина.
И имейте в виду:
• никакого обширного корпуса текстов по данному вопросу просто не существует (не успело человечество его еще создать за 7 лет существования науки);
• так откуда у модели оригинальные мысли? (может все же заглянула за горизонт смежного возможного?))
Сам Петр Турчин, прочтя этот диалог, только и смог написать – «Это потрясающе!»
#БазисныеМодели #ИИ
Выиграют те, кто получит лучший доступ к скрытому пространству идей.
Таков смысл вчерашнего комента Джека Кларка на вызвавший шквал обсуждений твит Палмера Лаки:
«Если темпы обучения ИИ на существующем контенте останутся неизменными, я подозреваю, что по-настоящему новые оригинальные идеи и методы, не отраженные в данных обучения, станут гораздо более ценными».
Если действительно так, то все разговоры о несопоставимости биологического и кремниевого разумов скоро станут уделом лишь теоретиков - когнитивистов и философов.
А практики будут вовсю использовать кремниевый разум ИИ.
• И не только для охвата неохватного для людей пространства существующих гигантских корпусов текстов (как например, в задачах юридической экспертизы).
• Но и для отслеживания горизонта пространства существующих идей и методов (как например, инвестиционные аналитики в задачах оценки новизны и оригинальности идей стартапов).
Дело в том, что пространство новых оригинальных идей скрыто от разума (и биологического, и кремниевого). Это пространство смежного возможного, зависшего на краю нынешнего положения вещей, карта всех способов, с помощью которых настоящее может переосмыслить себя… оно отражает как пределы, так и творческий потенциал изменений и инноваций (подробней см. мой пост «Невычислимая тень будущего»).
Кремниевый разум, казалось бы, имеет здесь лишь одно преимущество. Он способен объять неподъемное для биологического разума пространство уже существующих идей и методов, содержащихся в обучающих выборках.
Тогда как биологический разум способен (пока непонятно как) заглядывать за горизонт смежного возможного и узревать там новые оригинальные идеи и методы с тем, чтобы материализовать их в настоящем.
Однако, все может оказаться еще интересней.
Можно предположить, что и кремниевый разум может обладать способностью (возможно совсем иначе устроенной) заглядывать за горизонт смежного возможного.
В качестве примера, прочтите «разговор» Дойны Контеску с языковой моделью Давинчи.
Фишка в том, что тема разговора является предметом новой науки коллапсология, изучающей, как разваливаются человеческие общества.
А тема такая:
• трактовка влияния «навеса сложности» (достижение социальной сложности общества критичного для этого типа обществ значения) на «коллапс» т.н. «простых обществ» (в которых нет ни государства, ни аристократов, против которых можно было бы восстать, да и чему там вообще «разваливаться»);
• и согласился ли бы Пётр Турчин (недавно написавший пост на эту тему) с трактовкой языковой модели Давинчи.
Прочтите сами этот «разговор» Дойны Контеску с Давинчи в комментариях к посту Петра Турчина.
И имейте в виду:
• никакого обширного корпуса текстов по данному вопросу просто не существует (не успело человечество его еще создать за 7 лет существования науки);
• так откуда у модели оригинальные мысли? (может все же заглянула за горизонт смежного возможного?))
Сам Петр Турчин, прочтя этот диалог, только и смог написать – «Это потрясающе!»
#БазисныеМодели #ИИ
