Forwarded from Малоизвестное интересное
Люди так в принципе не могут.
Разработчики GPT не понимают, как модель смогла выучить китайский.
Представьте ситуацию.
Ваш ребенок отучился в английской школе, где:
• все предметы преподавались на английском;
• учителя говорили по-английски;
• среди 900 учащихся в школе был лишь 1 ученик - китаец, остальные же ученики и преподаватели китайского языка не знали.
Однако, закончив школу, ваш ребенок, помимо английского, еще бегло и со смыслом говорит по-китайски. Причем говорит лучше, чем любой выпускник китайской школы.
С людьми подобная история невозможна. А с нечеловеческим интеллектом больших языковых моделей наблюдается именно это.
Что подтверждается скрупулезным тестированием SuperCLUE benchmark.
Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла (включение в список тестируемых моделей модели Ernie от Baidu планируется, но предварительная оценка также сильно не в пользу Ernie).
Совершенно необъяснимым является тот факт, что:
• GPT порвал все китайские модели в тестах на понимание особенностей китайского языка: понимание китайских идиом, знание классической китайской литературы и поэзии, умение разбираться в тонкостях китайской иероглифики;
• но при этом китайскому языку GPT почти не учили (это «почти» заключается в том, что для обучения GPT3 был использован корпус из 181 млрд английских слов и лишь 190 млн китайских, что составляет 900-кратную разницу)
Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.
«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом» - пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.
Имхо, единственное объяснение этому - что GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.
И если это так, то последствия могут быть довольно страшными. Ибо такое самостоятельное обобщение целей со стороны ИИ сулит человечеству не только приятные сюрпризы, как с китайским языком.
Следующий сюрприз вполне может быть малоприятным для нас. Как для отдельных людей, так и для всего человечества.
#РискиИИ
Разработчики GPT не понимают, как модель смогла выучить китайский.
Представьте ситуацию.
Ваш ребенок отучился в английской школе, где:
• все предметы преподавались на английском;
• учителя говорили по-английски;
• среди 900 учащихся в школе был лишь 1 ученик - китаец, остальные же ученики и преподаватели китайского языка не знали.
Однако, закончив школу, ваш ребенок, помимо английского, еще бегло и со смыслом говорит по-китайски. Причем говорит лучше, чем любой выпускник китайской школы.
С людьми подобная история невозможна. А с нечеловеческим интеллектом больших языковых моделей наблюдается именно это.
Что подтверждается скрупулезным тестированием SuperCLUE benchmark.
Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла (включение в список тестируемых моделей модели Ernie от Baidu планируется, но предварительная оценка также сильно не в пользу Ernie).
Совершенно необъяснимым является тот факт, что:
• GPT порвал все китайские модели в тестах на понимание особенностей китайского языка: понимание китайских идиом, знание классической китайской литературы и поэзии, умение разбираться в тонкостях китайской иероглифики;
• но при этом китайскому языку GPT почти не учили (это «почти» заключается в том, что для обучения GPT3 был использован корпус из 181 млрд английских слов и лишь 190 млн китайских, что составляет 900-кратную разницу)
Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.
«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом» - пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.
Имхо, единственное объяснение этому - что GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.
И если это так, то последствия могут быть довольно страшными. Ибо такое самостоятельное обобщение целей со стороны ИИ сулит человечеству не только приятные сюрпризы, как с китайским языком.
Следующий сюрприз вполне может быть малоприятным для нас. Как для отдельных людей, так и для всего человечества.
#РискиИИ
Forwarded from Малоизвестное интересное
Перед тем, как трогаться в путь, следует проверить тормоза.
Китай предостерегает США и весь мир от потенциально катастрофической ошибки.
На пресс-брифинге в ходе ежегодного собрания национального законодательного собрания Китая «Две сессии» Министр иностранных дел Китая Ван И (王毅) ответил на вопрос о глобальном управлении ИИ и международном сотрудничестве в области ИИ [1] (цитата Ван И – в заголовке поста).
Министр сформулировал три принципа, которые необходимо обеспечить для ИИ:
1) ИИ как сила добра (в чьих руках ИИ).
2) Обеспечение безопасности, включая обеспечение контроля со стороны человека, улучшение интерпретируемости и предсказуемости, а также оценку рисков.
3) Обеспечение справедливости и создание международного института управления ИИ в рамках ООН.
Ван И также выступил с завуалированной критикой технологической политики США в отношении Китая, назвав подход «маленький дворик, высокий забор» «ошибками с историческими последствиями», которые «только фрагментируют международные промышленные и логистические цепочки и подорвут способность человечества справляться с рисками и проблемами».
Министр также заявил, что Китай представит Генеральной Ассамблее ООН резолюцию о международном сотрудничестве для преодоления разрыва в области ИИ и поощрения обмена технологиями.
Тормоза, о необходимости проверки которых говорил Ван И, относятся не только к Китаю, но и к США и другим ведущим технологическим странам.
— Скорость прогресса ИИ уже как у самолета.
— А скорость осознания и понимания ИИ-рисков в обществе - как у автомобиля.
— Тогда как скорость появления национальных законодательств в этой области, как у пешехода, а международных соглашений - как у улитки.
В соотвествии с названными принципами, в Китае:
✔️ Создаются муниципальные экспертные комитеты по стратегическим консультациям в области ИИ (в составе 1го в Пекине представители Китайской академии наук, Университета Цинхуа, Пекинского университета, Baidu, стартапа LM Zhipu AI и стартап-инкубатора MiraclePlus [2].
✔️ Разрабатывается новая парадигма согласования Больших языковых моделей, учитывающая их мультимодальную и личностную ориентацию [3].
✔️ Берется под госконтроль наиболее опасная группа ИИ-рисков на стыке ИИ и биотехнологий (отвественный — Центр исследований развития Института международных технологий и экономики — это связанный с правительством аналитический центр, напрямую подчиняющийся кабинету министров Китая и Госсовету, что делает его одним из самых влиятельных центров в Китае) [4]
Так что Ван И не просто хорошо излагает, и есть тут чему поучиться [5]
0 рисунок https://telegra.ph/file/c8f1940a2c396c16c478a.jpg
1 https://bit.ly/3VmrnYy
2 https://bit.ly/49RjSwY
3 https://arxiv.org/abs/2403.04204
4 https://bit.ly/3IDe7XE
5 https://www.youtube.com/watch?v=G1DYizqNJfE
#Китай #РискиИИ #США
Китай предостерегает США и весь мир от потенциально катастрофической ошибки.
На пресс-брифинге в ходе ежегодного собрания национального законодательного собрания Китая «Две сессии» Министр иностранных дел Китая Ван И (王毅) ответил на вопрос о глобальном управлении ИИ и международном сотрудничестве в области ИИ [1] (цитата Ван И – в заголовке поста).
Министр сформулировал три принципа, которые необходимо обеспечить для ИИ:
1) ИИ как сила добра (в чьих руках ИИ).
2) Обеспечение безопасности, включая обеспечение контроля со стороны человека, улучшение интерпретируемости и предсказуемости, а также оценку рисков.
3) Обеспечение справедливости и создание международного института управления ИИ в рамках ООН.
Ван И также выступил с завуалированной критикой технологической политики США в отношении Китая, назвав подход «маленький дворик, высокий забор» «ошибками с историческими последствиями», которые «только фрагментируют международные промышленные и логистические цепочки и подорвут способность человечества справляться с рисками и проблемами».
Министр также заявил, что Китай представит Генеральной Ассамблее ООН резолюцию о международном сотрудничестве для преодоления разрыва в области ИИ и поощрения обмена технологиями.
Тормоза, о необходимости проверки которых говорил Ван И, относятся не только к Китаю, но и к США и другим ведущим технологическим странам.
— Скорость прогресса ИИ уже как у самолета.
— А скорость осознания и понимания ИИ-рисков в обществе - как у автомобиля.
— Тогда как скорость появления национальных законодательств в этой области, как у пешехода, а международных соглашений - как у улитки.
В соотвествии с названными принципами, в Китае:
✔️ Создаются муниципальные экспертные комитеты по стратегическим консультациям в области ИИ (в составе 1го в Пекине представители Китайской академии наук, Университета Цинхуа, Пекинского университета, Baidu, стартапа LM Zhipu AI и стартап-инкубатора MiraclePlus [2].
✔️ Разрабатывается новая парадигма согласования Больших языковых моделей, учитывающая их мультимодальную и личностную ориентацию [3].
✔️ Берется под госконтроль наиболее опасная группа ИИ-рисков на стыке ИИ и биотехнологий (отвественный — Центр исследований развития Института международных технологий и экономики — это связанный с правительством аналитический центр, напрямую подчиняющийся кабинету министров Китая и Госсовету, что делает его одним из самых влиятельных центров в Китае) [4]
Так что Ван И не просто хорошо излагает, и есть тут чему поучиться [5]
0 рисунок https://telegra.ph/file/c8f1940a2c396c16c478a.jpg
1 https://bit.ly/3VmrnYy
2 https://bit.ly/49RjSwY
3 https://arxiv.org/abs/2403.04204
4 https://bit.ly/3IDe7XE
5 https://www.youtube.com/watch?v=G1DYizqNJfE
#Китай #РискиИИ #США
