Китай ушёл в отрыв, а Россия лишилась чемпиона.
Опубликован августовский выпуск мирового трекера ИИ-исследований.
Исследования в области ИИ развиваются столь быстро, что ежегодные мировые ИИ рейтинги и индексы превращаются в «прогнозы погоды на позавчера».
Но слава богу, есть уже в этой области и «прогнозы на сегодня». Например, ежемесячно обновляемый мировой трекер ИИ-исследований Центра безопасности и новых технологий CSET.
Трекер отслеживает ИИ исследования в большинстве стран мира, чтобы дать обзор исследовательского потенциала в каждой из них, а также предоставить информацию о конкурентоспособности и сотрудничестве в глобальном масштабе. В трекере представлены показатели исследований ИИ, патентов и инвестиционной деятельности для ИИ области в целом и его различных подобластей.
Из августовского выпуска мне бросилось в глаза следующее.
1. Китай просто ушел в отрыв. По главному показателю числа публикаций (Scholarly AI output) Китай уже опережает США вдвое (и это при том, что США опережает в 3-4 раза идущих за ними следом Индию, Британию, Германию, Японию, Францию и Австралию).
2. Россия по Scholarly AI output на 17-ом месте. Это стало результатом колоссального роста - с 2010 более 1000%. Еще более фантастический рост с супернизкой базы показали 18 небольших стран мира.
3. По проценту работ, отражающих уровень международной кооперации, место России катастрофично – 209-е. Если же учесть, что из десятки лидеров по сотрудничеству с Россией в области ИИ, скорее всего, уходят 7 стран, то через год 209 место будет вспоминаться славным достижением.
4. Чемпионом по цитированию его работ стал россиянин Виктор Лемпицкий (почти 500 цитирований). За плечами у Виктора Яндекс, Сколтех и Центр ИИ Самсунга в Москве. Увы, но похоже, что с этого лета Виктор лишь условно российский чемпион. С июля он стал CEO Cinemersive Labs в Армении. И судя по контенту его Мордокниги, шансов на скорый возврат нет.
#ИИ #Россия #Китай
Опубликован августовский выпуск мирового трекера ИИ-исследований.
Исследования в области ИИ развиваются столь быстро, что ежегодные мировые ИИ рейтинги и индексы превращаются в «прогнозы погоды на позавчера».
Но слава богу, есть уже в этой области и «прогнозы на сегодня». Например, ежемесячно обновляемый мировой трекер ИИ-исследований Центра безопасности и новых технологий CSET.
Трекер отслеживает ИИ исследования в большинстве стран мира, чтобы дать обзор исследовательского потенциала в каждой из них, а также предоставить информацию о конкурентоспособности и сотрудничестве в глобальном масштабе. В трекере представлены показатели исследований ИИ, патентов и инвестиционной деятельности для ИИ области в целом и его различных подобластей.
Из августовского выпуска мне бросилось в глаза следующее.
1. Китай просто ушел в отрыв. По главному показателю числа публикаций (Scholarly AI output) Китай уже опережает США вдвое (и это при том, что США опережает в 3-4 раза идущих за ними следом Индию, Британию, Германию, Японию, Францию и Австралию).
2. Россия по Scholarly AI output на 17-ом месте. Это стало результатом колоссального роста - с 2010 более 1000%. Еще более фантастический рост с супернизкой базы показали 18 небольших стран мира.
3. По проценту работ, отражающих уровень международной кооперации, место России катастрофично – 209-е. Если же учесть, что из десятки лидеров по сотрудничеству с Россией в области ИИ, скорее всего, уходят 7 стран, то через год 209 место будет вспоминаться славным достижением.
4. Чемпионом по цитированию его работ стал россиянин Виктор Лемпицкий (почти 500 цитирований). За плечами у Виктора Яндекс, Сколтех и Центр ИИ Самсунга в Москве. Увы, но похоже, что с этого лета Виктор лишь условно российский чемпион. С июля он стал CEO Cinemersive Labs в Армении. И судя по контенту его Мордокниги, шансов на скорый возврат нет.
#ИИ #Россия #Китай
Мировой рейтинг научно-технической мощи государств в 2022.
Кто есть кто среди лидеров и аутсайдеров 2ой НТР.
2я НТР – это процесс тотальной оцифровки мира, начавшийся в 21 веке. Все важнейшие виды деятельности людей проходят через этап цифровизации. В результате чего вычисления (компьютинг) становятся основой новых наук и технологий, обучения и промышленности, логистических и креативных процессов. Ну а самая многообещающая междисциплинарная область - искусственный интеллект, - состоит исключительно из вычислительных процессов (кроме вычислений там нет ничего).
Поэтому не удивительно, что ключевым фактором научно-технической мощи государств в новом цифровом мире стала их вычислительная мощь. Именно она определяет теперь, кто из стран – лидер, а кто – аутсайдер: в науке, в технологиях и практически во всех индустриях от нефтедобычи до телекоммуникаций, от производства самолетов до производства лекарств и т.д. Вся экономика и финансы, обороноспособность и социальная сфера, образование и медицина теперь завязаны на компьютинг. И чем он мощнее у страны, тем выше её научно-техническая мощь в каждой из названных областей.
Только что вышедший совместный отчет IDC и Inspur «2021-2022 Global Computing Index Assessment Report» – наглядное подтверждение вышесказанного.
• Интегральный Computing Index 15ти стран коррелирует с их ВВП лучше большинства других показателей (см. приложенную диаграмму).
• На каждый 1 пункт увеличения Computing Index страны её цифровая экономика получает 3,5% роста, а ВВП увеличивается на 1,8%.
Отчет также наглядно показывает, что в мире лишь две сверхдержавы: США, обладающие заоблачным Computing Index, и Китай, немыслимо быстро догоняющий лидера (к концу июня 2022 г. общий масштаб стоек центров обработки данных в стране превысил 5,9 млн, масштаб серверов — около 20 млн, а общий масштаб вычислительной мощности превысил 150 EFlops).
В группу развитых по показателю Computing Index стран входят: Япония, германия, Великобритания, Франция, Канада, Юж. Корея и Австралия.
Группа отстающих, но пытающихся догонять – это Индия, Италия, Бразилия, Россия (№13), Юж. Африка и Малайзия.
N.B. Computing Index – это не просто вычислительная производительность HW. Расчет ведется по сложной формуле (см. отчет), учитывающей: теоретический максимум производительности HW, уровень эффективности компьютинга (облачные вычисления, виртуализация и т.д.), эффективность работы приложений и уровень вычислительной инфраструктуры.
#Компьютинг #США #Китай #Россия
Кто есть кто среди лидеров и аутсайдеров 2ой НТР.
2я НТР – это процесс тотальной оцифровки мира, начавшийся в 21 веке. Все важнейшие виды деятельности людей проходят через этап цифровизации. В результате чего вычисления (компьютинг) становятся основой новых наук и технологий, обучения и промышленности, логистических и креативных процессов. Ну а самая многообещающая междисциплинарная область - искусственный интеллект, - состоит исключительно из вычислительных процессов (кроме вычислений там нет ничего).
Поэтому не удивительно, что ключевым фактором научно-технической мощи государств в новом цифровом мире стала их вычислительная мощь. Именно она определяет теперь, кто из стран – лидер, а кто – аутсайдер: в науке, в технологиях и практически во всех индустриях от нефтедобычи до телекоммуникаций, от производства самолетов до производства лекарств и т.д. Вся экономика и финансы, обороноспособность и социальная сфера, образование и медицина теперь завязаны на компьютинг. И чем он мощнее у страны, тем выше её научно-техническая мощь в каждой из названных областей.
Только что вышедший совместный отчет IDC и Inspur «2021-2022 Global Computing Index Assessment Report» – наглядное подтверждение вышесказанного.
• Интегральный Computing Index 15ти стран коррелирует с их ВВП лучше большинства других показателей (см. приложенную диаграмму).
• На каждый 1 пункт увеличения Computing Index страны её цифровая экономика получает 3,5% роста, а ВВП увеличивается на 1,8%.
Отчет также наглядно показывает, что в мире лишь две сверхдержавы: США, обладающие заоблачным Computing Index, и Китай, немыслимо быстро догоняющий лидера (к концу июня 2022 г. общий масштаб стоек центров обработки данных в стране превысил 5,9 млн, масштаб серверов — около 20 млн, а общий масштаб вычислительной мощности превысил 150 EFlops).
В группу развитых по показателю Computing Index стран входят: Япония, германия, Великобритания, Франция, Канада, Юж. Корея и Австралия.
Группа отстающих, но пытающихся догонять – это Индия, Италия, Бразилия, Россия (№13), Юж. Африка и Малайзия.
N.B. Computing Index – это не просто вычислительная производительность HW. Расчет ведется по сложной формуле (см. отчет), учитывающей: теоретический максимум производительности HW, уровень эффективности компьютинга (облачные вычисления, виртуализация и т.д.), эффективность работы приложений и уровень вычислительной инфраструктуры.
#Компьютинг #США #Китай #Россия
Человечеству предстоит сыграть в русскую рулетку.
Макс Тегмарк подсчитал шансы мира на скорую гибель.
Исходя их приложенной диаграммы сценариев, шансы земной цивилизации в ближайшее время погибнуть из-за ядерной мировой войны такие же, как при игре в русскую рулетку – 1/6.
Эта вероятность вытекает из оценки Тегмарком текущего состояния и вероятностей трех следующих сценарных переходов:
1. 30%-ая вероятность перехода ситуации в состояние kaboom («малый бабах») – ядерный удар по Украине;
2. после 1, с 80%-ой вероятностью переход в состояние «Расширение конфликта с неядерным участием НАТО»;
3. после 2, с 70%-ой вероятностью переход в состояние KABOOM («большой бабах») – ядерная 3-я мировая.
4. ИТОГО: 30% x 80% x 70% ~ 1/6
Кроме названных состояний самого опасного для мира сценария, диаграмма включает такие возможные сценарии: два полярных «Косово» и «Вьетнам»; три промежуточных «Финляндия», «Корея» и «Ливия».
Остальное (детали, обоснования, предположения) понятно из сопроводительного текста Тегмарка.
Завершается текст захватывающим резюме «Влияние 3-ей мировой войны».
Тут со ссылкой на рассекреченную американскую карту целей ядерных ударов по России и Китаю, Тегмарк отмечает:
• в случае ядерной войны России и США, последние ударят и по Китаю, чтобы тот не стал самой сильной послевоенной экономикой;
• поскольку в Китае гораздо больше крупных городов, чем в США и России, это значительно увеличит производство дыма и сажи, ведущих к ядерной зиме.
#БольшаяВойна #Россия #США #Китай
Макс Тегмарк подсчитал шансы мира на скорую гибель.
Исходя их приложенной диаграммы сценариев, шансы земной цивилизации в ближайшее время погибнуть из-за ядерной мировой войны такие же, как при игре в русскую рулетку – 1/6.
Эта вероятность вытекает из оценки Тегмарком текущего состояния и вероятностей трех следующих сценарных переходов:
1. 30%-ая вероятность перехода ситуации в состояние kaboom («малый бабах») – ядерный удар по Украине;
2. после 1, с 80%-ой вероятностью переход в состояние «Расширение конфликта с неядерным участием НАТО»;
3. после 2, с 70%-ой вероятностью переход в состояние KABOOM («большой бабах») – ядерная 3-я мировая.
4. ИТОГО: 30% x 80% x 70% ~ 1/6
Кроме названных состояний самого опасного для мира сценария, диаграмма включает такие возможные сценарии: два полярных «Косово» и «Вьетнам»; три промежуточных «Финляндия», «Корея» и «Ливия».
Остальное (детали, обоснования, предположения) понятно из сопроводительного текста Тегмарка.
Завершается текст захватывающим резюме «Влияние 3-ей мировой войны».
Тут со ссылкой на рассекреченную американскую карту целей ядерных ударов по России и Китаю, Тегмарк отмечает:
• в случае ядерной войны России и США, последние ударят и по Китаю, чтобы тот не стал самой сильной послевоенной экономикой;
• поскольку в Китае гораздо больше крупных городов, чем в США и России, это значительно увеличит производство дыма и сажи, ведущих к ядерной зиме.
#БольшаяВойна #Россия #США #Китай
Россияне на грани нервного срыва.
Цунами тревог накрыло одну из самых душевно неуравновешенных стран мира.
Согласно данным ФОМ, в конце сентября психика россиян испытала беспрецедентный удар – всего за неделю уровень тревоги в российском обществе взлетел вдвое (с 35% до 69%).
Даже когда подобное цунами тревог накрывает душевно уравновешенных людей, последствия могут быть довольно серьезными. Когда же такое цунами обрушивается на психику душевно неуравновешенных людей, последствия для них самих и окружающих могут стать очень опасными, ибо плохо предсказуемы.
Увы, но согласно новому мировому исследованию уровня душевного равновесия населения разных стран:
• Россия на 29-м с конца 87-м месте (хуже нас Таджикистан, Алжир, ЮАР и еще 26 стран, а перед нами Нигерия и Венесуэла).
• Для справки:
-- самые душевно уравновешенные люди сейчас живут в Финляндии, Норвегии и Нидерландах;
-- Китай №19, Германия №25, США №28, а Франция лишь №47.
Опрос этого мирового исследования происходил в конце 2020 – начале 2021. Т.е. тогда, когда по данным ФОМ уровень тревог в России был, хоть и далек от хорошего, но все же был терпимым (спокойное и тревожное состояние тогда ощущали примерно равные доли опрошенных).
Это значит, что даже при удовлетворительном уровне внешних тревог в 2020-2021, душевное равновесие россиян было ниже плинтуса. И остается только гадать, что стало с душевным равновесием россиян, начиная с октября, при двукратном взлете уровня тревог.
• Отдельные люди в подобных ситуациях оказываются на грани нервного срыва (впадают в истерику, проявляют агрессию или их сочетание).
• Как поведет себя на грани нервного срыва все общество – вряд ли знает хоть кто-то. Но что мало никому не покажется, и к добру это не приведет, - весьма вероятно.
#Россия #Социология #СоциальнаяПсихология
Цунами тревог накрыло одну из самых душевно неуравновешенных стран мира.
Согласно данным ФОМ, в конце сентября психика россиян испытала беспрецедентный удар – всего за неделю уровень тревоги в российском обществе взлетел вдвое (с 35% до 69%).
Даже когда подобное цунами тревог накрывает душевно уравновешенных людей, последствия могут быть довольно серьезными. Когда же такое цунами обрушивается на психику душевно неуравновешенных людей, последствия для них самих и окружающих могут стать очень опасными, ибо плохо предсказуемы.
Увы, но согласно новому мировому исследованию уровня душевного равновесия населения разных стран:
• Россия на 29-м с конца 87-м месте (хуже нас Таджикистан, Алжир, ЮАР и еще 26 стран, а перед нами Нигерия и Венесуэла).
• Для справки:
-- самые душевно уравновешенные люди сейчас живут в Финляндии, Норвегии и Нидерландах;
-- Китай №19, Германия №25, США №28, а Франция лишь №47.
Опрос этого мирового исследования происходил в конце 2020 – начале 2021. Т.е. тогда, когда по данным ФОМ уровень тревог в России был, хоть и далек от хорошего, но все же был терпимым (спокойное и тревожное состояние тогда ощущали примерно равные доли опрошенных).
Это значит, что даже при удовлетворительном уровне внешних тревог в 2020-2021, душевное равновесие россиян было ниже плинтуса. И остается только гадать, что стало с душевным равновесием россиян, начиная с октября, при двукратном взлете уровня тревог.
• Отдельные люди в подобных ситуациях оказываются на грани нервного срыва (впадают в истерику, проявляют агрессию или их сочетание).
• Как поведет себя на грани нервного срыва все общество – вряд ли знает хоть кто-то. Но что мало никому не покажется, и к добру это не приведет, - весьма вероятно.
#Россия #Социология #СоциальнаяПсихология
«В последние 50 лет геополитику определяло то, где находятся нефтяные резервы. В следующие пять десятилетий важнее станет то, где будут расположены предприятия по производству чипов», – заявил главный исполнительный директор Intel Corp. Пэт Гелсингер в конце октября на технологической конференции, организованной Wall Street Journal.
В России современных (по западным меркам) предприятий по производству чипов просто нет. И если свои предприятия не появятся, а санкционные экспортные ограничения не будут позволять закупку высокопроизводительных чипов, то это будет иметь катастрофические последствия. Деградирует всё - наука и производство, финансы и телеком, сбор налогов и предоставление услуг. Отставание от развитых стран будет расти темпами, соизмеримыми с законом Мура.
Короче, из-за перспективы падения в пропасть цифровой экономики, России светит довольно крутое пике. «Чиповая ситуация» превращается в пиковую ситуацию для всей экономики страны.
О складывающейся в России «чиповой ситуации» и о том, что игнорировать законы развития технологических систем не удастся даже при неограниченном – в идеале – финансировании, мы говорили с Ответственным редактором приложения "НГ-Наука" Андреем Вагановым.
И пару дней назад в НГ был опубликован большой материал Андрея «Чиповой ситуации» с развернутым анализом перспектив России перепрыгнуть цифровую пропасть способом, напоминающим мне тройной прыжок.
Рекомендую вам это интересное и полезное чтение на выходных, дабы лучше ориентироваться в хитросплетениях струй и течений высоких технологий, экономики и науки.
https://www.ng.ru/nauka/2022-11-08/9_8584_situation.html
#Россия #Технологии #ЭкспортныйКонтроль #Чипы
В России современных (по западным меркам) предприятий по производству чипов просто нет. И если свои предприятия не появятся, а санкционные экспортные ограничения не будут позволять закупку высокопроизводительных чипов, то это будет иметь катастрофические последствия. Деградирует всё - наука и производство, финансы и телеком, сбор налогов и предоставление услуг. Отставание от развитых стран будет расти темпами, соизмеримыми с законом Мура.
Короче, из-за перспективы падения в пропасть цифровой экономики, России светит довольно крутое пике. «Чиповая ситуация» превращается в пиковую ситуацию для всей экономики страны.
О складывающейся в России «чиповой ситуации» и о том, что игнорировать законы развития технологических систем не удастся даже при неограниченном – в идеале – финансировании, мы говорили с Ответственным редактором приложения "НГ-Наука" Андреем Вагановым.
И пару дней назад в НГ был опубликован большой материал Андрея «Чиповой ситуации» с развернутым анализом перспектив России перепрыгнуть цифровую пропасть способом, напоминающим мне тройной прыжок.
Рекомендую вам это интересное и полезное чтение на выходных, дабы лучше ориентироваться в хитросплетениях струй и течений высоких технологий, экономики и науки.
https://www.ng.ru/nauka/2022-11-08/9_8584_situation.html
#Россия #Технологии #ЭкспортныйКонтроль #Чипы
Независимая
Чиповая ситуация / / Независимая газета
«В последние 50 лет геополитику определяло то, где находятся нефтяные резервы. В следующие пять десятилетий важнее станет то, где будут расположены предприятия по производству чипов», – заявил главный исполнительный директор Intel Corp. Пэт Гелсингер в конце…
Отставание России от США в области ИИ уже колоссально.
А через несколько лет оно увеличится до трёх километров.
Так уж получилось, что прогресс в области ИИ во многом определяется наличием огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров.
Грег Брокман (соучредитель и СТО OpenAI) формулирует это так:
«Мы думаем, что наибольшую выгоду получит тот, у кого самый большой компьютер».
Я уже демонстрировал, насколько критично наличие мощного компьютинга для обучения Больших моделей в посте «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке».
Место России на карте мира по вычислительной мощности суперкомпьютеров более чем скромное. В списке ТОР500 суперкомпьютеров на этот год у США 149 систем, а у России 7. При этом, только одна из систем США по своей производительности превышает производительность всех российских систем (см. мой пост). Председатель оргкомитета суперкомпьютерного форума России, д.ф.м.н, член-корр. РАН Сергей Абрамов оценивает отставание России от США в области суперкомпьютинга примерно в 10 лет.
Но в области обучения больших моделей для ИИ-приложений ситуация еще хуже. Здесь мало вычислительной мощности обычных серверов и требуются специальные ускорители вычислений. Спецы по машинному обучению из Яндекса это комментируют так.
«Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели.»
Поэтому, показатель числа GPU-ускорителей в вычислительных кластерах разных стран (общедоступных, частных и национальных) позволяет оценивать темпы развития систем ИИ в этих странах. Актуальная статистика данного показателя ведется в State of AI Report Compute Index. Состояние на 20 ноября приведено на приложенном рисунке, куда я добавил данные по пяти крупнейшим HPC-кластерам России (разбивка по public/private – моя оценка).
Из рисунка видно, что обучение больших моделей, занимающее на HPC-кластере всем известной американской компании дни и недели, будет требовать на HPC-кластере Яндекса месяцев, а то и лет.
Но это еще не вся беда. Введенные экспортные ограничения на поставку GPU-ускорителей в Россию и Китай за несколько лет многократно увеличат отрыв США в области обучения больших моделей для ИИ-приложений.
И этот отрыв будет измеряться уже не годами и даже не десятилетиями, а километрами, - как в старом советском анекдоте.
«Построили у нас самый мощный в мире компьютер и задали ему задачу, когда же наступит коммунизм. Компьютер думал, думал и выдал ответ: "Через 3 километра". На требование расшифровать столь странный ответ компьютер выдал:
— Каждая пятилетка — шаг к коммунизму.»
#ИИ #HPC #Россия #ЭкспортныйКонтроль
А через несколько лет оно увеличится до трёх километров.
Так уж получилось, что прогресс в области ИИ во многом определяется наличием огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров.
Грег Брокман (соучредитель и СТО OpenAI) формулирует это так:
«Мы думаем, что наибольшую выгоду получит тот, у кого самый большой компьютер».
Я уже демонстрировал, насколько критично наличие мощного компьютинга для обучения Больших моделей в посте «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке».
Место России на карте мира по вычислительной мощности суперкомпьютеров более чем скромное. В списке ТОР500 суперкомпьютеров на этот год у США 149 систем, а у России 7. При этом, только одна из систем США по своей производительности превышает производительность всех российских систем (см. мой пост). Председатель оргкомитета суперкомпьютерного форума России, д.ф.м.н, член-корр. РАН Сергей Абрамов оценивает отставание России от США в области суперкомпьютинга примерно в 10 лет.
Но в области обучения больших моделей для ИИ-приложений ситуация еще хуже. Здесь мало вычислительной мощности обычных серверов и требуются специальные ускорители вычислений. Спецы по машинному обучению из Яндекса это комментируют так.
«Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели.»
Поэтому, показатель числа GPU-ускорителей в вычислительных кластерах разных стран (общедоступных, частных и национальных) позволяет оценивать темпы развития систем ИИ в этих странах. Актуальная статистика данного показателя ведется в State of AI Report Compute Index. Состояние на 20 ноября приведено на приложенном рисунке, куда я добавил данные по пяти крупнейшим HPC-кластерам России (разбивка по public/private – моя оценка).
Из рисунка видно, что обучение больших моделей, занимающее на HPC-кластере всем известной американской компании дни и недели, будет требовать на HPC-кластере Яндекса месяцев, а то и лет.
Но это еще не вся беда. Введенные экспортные ограничения на поставку GPU-ускорителей в Россию и Китай за несколько лет многократно увеличат отрыв США в области обучения больших моделей для ИИ-приложений.
И этот отрыв будет измеряться уже не годами и даже не десятилетиями, а километрами, - как в старом советском анекдоте.
«Построили у нас самый мощный в мире компьютер и задали ему задачу, когда же наступит коммунизм. Компьютер думал, думал и выдал ответ: "Через 3 километра". На требование расшифровать столь странный ответ компьютер выдал:
— Каждая пятилетка — шаг к коммунизму.»
#ИИ #HPC #Россия #ЭкспортныйКонтроль
У Китая и России появился шанс не дать США уйти в отрыв в области ИИ.
В этом году США пошли на крайние меры, чтобы не позволить Китаю догнать и перегнать США в важнейшей для нацбезопасности индустрии ИИ. Введенные США экспортные ограничения на высокопроизводительные процессоры сильно усложняют Китаю (не имеющему пока соизмеримых по производительности собственных процессоров) возможность конкуренции в области ИИ. Заодно под раздачу экспортных ограничений (по известным причинам) попала и Россия. И это лишает российские компании и без того тусклой перспективы, - пусть не догнать США, но хотя бы отставать на годы, а не на десятилетия.
Но тут случилось такое, что мало кто мог предвидеть.
Компания Together объявила, что смогла обучить свою модель с открытым кодом GPT-JT (6 млрд параметров):
• децентрализованно (на разнородной группе не самых крутых графических процессоров)
• соединенных медленными интернет-каналами (1 Гбит/с)
Авторы модели GPT-JT придумали кучу хитрых способов уменьшения вычислительной и коммуникационной нагрузки при децентрализованном обучении. В результате, эта модель на тестах классификации приближается к современным моделям, которые намного её крупнее (например, InstructGPT davinci v2).
Это достижение может иметь колоссальные последствия.
✔️ До сих пор магистральная линия развития ИИ определялась ограниченным набором компаний, имеющих доступ к большим централизованным компьютерам. На этих высокопроизводительных вычислительных комплексах обучались все т.н. большие модели, начиная от AlphaZero и заканчивая GPT3.
✔️ Компаниям, не имеющим в распоряжении суперкомпьютерных мощностей в этой гонке было нечего ловить (см мой пост «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»).
GPT-JT сметает шашки с доски, предлагая совершенно иной сценарий будущего.
Вместо нескольких компаний – гигантов, оснащенных суперкомпьютерными системами для ИИ, распределенные коллективы разработчиков могут объединять свои скромные компьютерные мощности через не самые быстрые интернет-каналы, чтобы вместе обучать большие модели.
Но это возможно лишь при условии, что разработчики GPT-JT смогут её масштабировать со скромных 6 млрд параметров на сотни миллиардов. Ибо таково требование сегодняшних больших моделей. А в 2023 счет пойдет уже на триллионы параметров.
#ИИ #HPC #Россия #Китай #ЭкспортныйКонтроль
В этом году США пошли на крайние меры, чтобы не позволить Китаю догнать и перегнать США в важнейшей для нацбезопасности индустрии ИИ. Введенные США экспортные ограничения на высокопроизводительные процессоры сильно усложняют Китаю (не имеющему пока соизмеримых по производительности собственных процессоров) возможность конкуренции в области ИИ. Заодно под раздачу экспортных ограничений (по известным причинам) попала и Россия. И это лишает российские компании и без того тусклой перспективы, - пусть не догнать США, но хотя бы отставать на годы, а не на десятилетия.
Но тут случилось такое, что мало кто мог предвидеть.
Компания Together объявила, что смогла обучить свою модель с открытым кодом GPT-JT (6 млрд параметров):
• децентрализованно (на разнородной группе не самых крутых графических процессоров)
• соединенных медленными интернет-каналами (1 Гбит/с)
Авторы модели GPT-JT придумали кучу хитрых способов уменьшения вычислительной и коммуникационной нагрузки при децентрализованном обучении. В результате, эта модель на тестах классификации приближается к современным моделям, которые намного её крупнее (например, InstructGPT davinci v2).
Это достижение может иметь колоссальные последствия.
✔️ До сих пор магистральная линия развития ИИ определялась ограниченным набором компаний, имеющих доступ к большим централизованным компьютерам. На этих высокопроизводительных вычислительных комплексах обучались все т.н. большие модели, начиная от AlphaZero и заканчивая GPT3.
✔️ Компаниям, не имеющим в распоряжении суперкомпьютерных мощностей в этой гонке было нечего ловить (см мой пост «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»).
GPT-JT сметает шашки с доски, предлагая совершенно иной сценарий будущего.
Вместо нескольких компаний – гигантов, оснащенных суперкомпьютерными системами для ИИ, распределенные коллективы разработчиков могут объединять свои скромные компьютерные мощности через не самые быстрые интернет-каналы, чтобы вместе обучать большие модели.
Но это возможно лишь при условии, что разработчики GPT-JT смогут её масштабировать со скромных 6 млрд параметров на сотни миллиардов. Ибо таково требование сегодняшних больших моделей. А в 2023 счет пойдет уже на триллионы параметров.
#ИИ #HPC #Россия #Китай #ЭкспортныйКонтроль
5 лет назад в этом прогнозе сомневался не только Стивен Пинкер.
Моё интервью об уже сбывшихся и новых прогнозах.
Менее чем за полчаса я рассказал в интервью Роману Душкину о многом.
1. Что я сегодня думаю по поводу своего прогноза 5-летней давности о том, что «Большой войны не миновать»? (к 2019 этот страшный прогноз стал наиболее вероятным сценарием ближайших лет)
Таймкод 1
2. Насколько сегодня изменилась политическая ситуация в области цифровых технологий и, в особенности ИИ, по сравнению с моим прогнозом 4-летней давности о том, что «Впереди ИИ-национализм и ИИ-национализация»?
Таймкод 2
3. Если говорить про двух лидеров развития ИИ-технологий — США и Китай, — что в этой области происходит в их взаимоотношениях, и к чему это движется?
Таймкод 3
4. Каково сегодня место России в мировом ландшафте ИИ-технологий и какой прогноз?
Таймкод 4
5. Так что же такое современный ИИ в контексте вопросов 2-4?
Таймкод 5
6. Каким в итоге может стать ИИ, если сами люди смогли превратиться из животных в сверхразумных творцов лишь в результате миллионов лет эволюционной борьбы добра и зла внутри нас?
Таймкод 6
#БольшаяВойна #ИИгонка #Россия #Китай #Sapientissimus
Моё интервью об уже сбывшихся и новых прогнозах.
Менее чем за полчаса я рассказал в интервью Роману Душкину о многом.
1. Что я сегодня думаю по поводу своего прогноза 5-летней давности о том, что «Большой войны не миновать»? (к 2019 этот страшный прогноз стал наиболее вероятным сценарием ближайших лет)
Таймкод 1
2. Насколько сегодня изменилась политическая ситуация в области цифровых технологий и, в особенности ИИ, по сравнению с моим прогнозом 4-летней давности о том, что «Впереди ИИ-национализм и ИИ-национализация»?
Таймкод 2
3. Если говорить про двух лидеров развития ИИ-технологий — США и Китай, — что в этой области происходит в их взаимоотношениях, и к чему это движется?
Таймкод 3
4. Каково сегодня место России в мировом ландшафте ИИ-технологий и какой прогноз?
Таймкод 4
5. Так что же такое современный ИИ в контексте вопросов 2-4?
Таймкод 5
6. Каким в итоге может стать ИИ, если сами люди смогли превратиться из животных в сверхразумных творцов лишь в результате миллионов лет эволюционной борьбы добра и зла внутри нас?
Таймкод 6
#БольшаяВойна #ИИгонка #Россия #Китай #Sapientissimus
Каков на самом деле военный потенциал Китая.
В 2023 от этого в мире будет зависеть многое.
Уж если какую страну «не понять умом», то не Россию, а Китай. По крайней мере, для европейцев и американцев.
Обычная аналитика для Китая часто дает искаженную картину. И поэтому аналитический проект ChinaPower (цель которого препарировать сложность понимания взлета экономической, научно-технологической, политической и военной мощи Китая) особенно ценен своей визуальной аналитикой.
Новый интерактивный визуализатор истинных военных расходов Китая (фрагменты которого приведены на картинке к посту) позволяет наглядно увидеть, например, такое:
• что скорость роста военных расходов Китая, в сравнении с остальными ТОР10 странами мира, все равно как Формула-1 против всех моделей Автоваза;
• что расходы на персонал –наименьшая часть военных расходов, а наибольшая часть – это расходы на новое вооружение и военные технологии.
Также открывается много интересного и про другие страны.
Например, такое:
• что абсолютным чемпионом мира по доле госрасходов на военные нужды является Беларусь (30% против 5% у Китая);
• что в Азии Китай абсолютно доминирует, имея военные расходы, не уступающие сумме таковых всех стран №№2-13 (Индия, Япония, Ю.Корея, Австралия, Тайвань и еще восемь стран);
• что Россия является чистым стратегическим активом Китая.
#Китай #Россия #БольшаяВойна
В 2023 от этого в мире будет зависеть многое.
Уж если какую страну «не понять умом», то не Россию, а Китай. По крайней мере, для европейцев и американцев.
Обычная аналитика для Китая часто дает искаженную картину. И поэтому аналитический проект ChinaPower (цель которого препарировать сложность понимания взлета экономической, научно-технологической, политической и военной мощи Китая) особенно ценен своей визуальной аналитикой.
Новый интерактивный визуализатор истинных военных расходов Китая (фрагменты которого приведены на картинке к посту) позволяет наглядно увидеть, например, такое:
• что скорость роста военных расходов Китая, в сравнении с остальными ТОР10 странами мира, все равно как Формула-1 против всех моделей Автоваза;
• что расходы на персонал –наименьшая часть военных расходов, а наибольшая часть – это расходы на новое вооружение и военные технологии.
Также открывается много интересного и про другие страны.
Например, такое:
• что абсолютным чемпионом мира по доле госрасходов на военные нужды является Беларусь (30% против 5% у Китая);
• что в Азии Китай абсолютно доминирует, имея военные расходы, не уступающие сумме таковых всех стран №№2-13 (Индия, Япония, Ю.Корея, Австралия, Тайвань и еще восемь стран);
• что Россия является чистым стратегическим активом Китая.
#Китай #Россия #БольшаяВойна
Мы уже сильно облажались, а международное сообщество по-прежнему в тупике дилеммы заключенного
Так считает бывший руководитель Google X Мо Гавдат, говоря об этом во вчерашней дискуссии в Cinnamon Lakeside Colombo (Шри Ланка) и последующем интервью Sky News.
Эра людей, как самого разумного вида на планете закончилась – говорит Гавдат, – ИИ служит нашей одержимости жадностью, потребительством и оружием войны, и это поставило международное сообщество в тупик дилеммы заключенного.
И если 1я часть этого высказывания еще остается дискуссионной, то 2-я – это неоспоримый факт.
Судите сами.
В июле состоялось 1-е в истории обсуждение темы ИИ в Совете Безопасности ООН. Комментарий о его итогах в Коммерсантъ озаглавлен «У международного сообщества проблемы с интеллектом». И этот заголовок абсолютно точно отражает диагноз.
Если члены Совбеза ООН (каждый из который обладает правом вето) стоят на столь разных позициях, им не договориться по этому важнейшему вопросу современности. А значит, жди мир беды.
«Сухой остаток» изложения позиции сторон (в моем понимании выступлений представителей стран) таков.
Позиция Китая основана на том, что безопасность должна быть приоритетной темой международного регулировании развития ИИ, поскольку оно таит в себе риски вызвать вымирание человечества. И потому предлагается на уровне международного законодательства создать «кнопку выключения» развития ИИ, если оно зайдет в зону чрезмерного риска.
У США иная позиция.
Во-первых, главной целью международного регулировании должен быть контроль, предотвращающий использование ИИ для цензуры, ограничения свобод, подавления или лишения прав людей.
Во-вторых, государства не должны пускать развитие ИИ исключительно по воле бизнеса, иначе придется жить под диктовку исключительно небольшого числа фирм, конкурирующих друг с другом на рынке ИИ.
У России своя позиция.
Во-первых, сама постановка вопроса об ИИ в непосредственной связи с угрозой миру и безопасности «несколько искусственная». А уж обсуждение этого вопроса в Совбезе ООН вообще контрпродуктивно. Необходимо определиться с природой угрозы, и для этого нужна научная и экспертная дискуссия на профильных площадках, на которую могут уйти годы.
Во-вторых, «основным генератором вызовов и угроз в этом смысле выступает не сам искусственный интеллект, а недобросовестные поборники искусственного интеллекта из числа особо продвинутых демократий»
Предоставляю читателям самим оценить позиции трёх стран.
Я же лишь напомню.
Дилемма заключённого — это классическая задача теории игр, демонстрирующая ситуацию, в которой игроки, действуя рационально и пытаясь максимизировать свою выгоду, могут прийти к худшему исходу для каждого из них.
Для преодоления дилеммы заключенного, требуется сочетание коммуникации, доверия и долгосрочного мышления.
Но их, увы, пока нет …
#РискиИИ #Китай #США #Россия
Так считает бывший руководитель Google X Мо Гавдат, говоря об этом во вчерашней дискуссии в Cinnamon Lakeside Colombo (Шри Ланка) и последующем интервью Sky News.
Эра людей, как самого разумного вида на планете закончилась – говорит Гавдат, – ИИ служит нашей одержимости жадностью, потребительством и оружием войны, и это поставило международное сообщество в тупик дилеммы заключенного.
И если 1я часть этого высказывания еще остается дискуссионной, то 2-я – это неоспоримый факт.
Судите сами.
В июле состоялось 1-е в истории обсуждение темы ИИ в Совете Безопасности ООН. Комментарий о его итогах в Коммерсантъ озаглавлен «У международного сообщества проблемы с интеллектом». И этот заголовок абсолютно точно отражает диагноз.
Если члены Совбеза ООН (каждый из который обладает правом вето) стоят на столь разных позициях, им не договориться по этому важнейшему вопросу современности. А значит, жди мир беды.
«Сухой остаток» изложения позиции сторон (в моем понимании выступлений представителей стран) таков.
Позиция Китая основана на том, что безопасность должна быть приоритетной темой международного регулировании развития ИИ, поскольку оно таит в себе риски вызвать вымирание человечества. И потому предлагается на уровне международного законодательства создать «кнопку выключения» развития ИИ, если оно зайдет в зону чрезмерного риска.
У США иная позиция.
Во-первых, главной целью международного регулировании должен быть контроль, предотвращающий использование ИИ для цензуры, ограничения свобод, подавления или лишения прав людей.
Во-вторых, государства не должны пускать развитие ИИ исключительно по воле бизнеса, иначе придется жить под диктовку исключительно небольшого числа фирм, конкурирующих друг с другом на рынке ИИ.
У России своя позиция.
Во-первых, сама постановка вопроса об ИИ в непосредственной связи с угрозой миру и безопасности «несколько искусственная». А уж обсуждение этого вопроса в Совбезе ООН вообще контрпродуктивно. Необходимо определиться с природой угрозы, и для этого нужна научная и экспертная дискуссия на профильных площадках, на которую могут уйти годы.
Во-вторых, «основным генератором вызовов и угроз в этом смысле выступает не сам искусственный интеллект, а недобросовестные поборники искусственного интеллекта из числа особо продвинутых демократий»
Предоставляю читателям самим оценить позиции трёх стран.
Я же лишь напомню.
Дилемма заключённого — это классическая задача теории игр, демонстрирующая ситуацию, в которой игроки, действуя рационально и пытаясь максимизировать свою выгоду, могут прийти к худшему исходу для каждого из них.
Для преодоления дилеммы заключенного, требуется сочетание коммуникации, доверия и долгосрочного мышления.
Но их, увы, пока нет …
#РискиИИ #Китай #США #Россия
YouTube
‘We messed up badly’: Former Google X boss warns of AI threat
The era of humans being the most intelligent species on the planet is over, according to the former boss of Google's advanced innovation team.
Mo Gawdat says AI is serving our obsession with greed, consumerism, and weapons of war, which is creating what…
Mo Gawdat says AI is serving our obsession with greed, consumerism, and weapons of war, which is creating what…
Интеллектуальная вычислительная мощь Китая в 4 тыс раз больше России.
К 2030 отставание России может сократиться … до 3,5 тыс раз.
Эти кажущиеся бредом цифры следуют из сопоставления двух авторитетных источников.
1. Материалы стратегической сессии «Развитие искусственного интеллекта», проведенной правительством России 26 сентября 2023.
2. Совместный отчет International Data Corporation (IDC), китайского производителя серверов Inspur и Института глобальной промышленности Университета Цинхуа «2022-2023 Оценка развития вычислительной мощности искусственного интеллекта в Китае».
Первый из названных документов предполагает следующее:
• В России вычислительная мощность инфраструктуры исследований, разработок и применения ИИ вырастет с нынешних примерно 0.1 экзафлопса до 1 экзафлопса в 2027.
• Увеличение этого показателя к 2030 возможно лишь теоретически, «благодаря прогрессу в области GPU» (что это за прогресс, чей прогресс и за счет чего, - в материалах не указано).
• Рассуждая же практически, 1 экзафлопс вычислительной мощности может так и остаться непревзойденным максимумом вычислительной мощности российской ИИ инфраструктуры вплоть до 2030 (хотя потребности вычислительной мощности инфраструктуры ИИ к тому времени составят 6,2 экзафлопса).
Второй из вышеназванных документов сообщает и предполагает абсолютно несравнимые по масштабу цифры:
• Сейчас (в 2023) вычислительная мощность инфраструктуры исследований, разработок и применения ИИ в Китае составляет около 427 экзафлопсов.
• Планируется, что к 2026 эта величина вырастет до 1271 экзафлопса.
• К 2030 году, как легко подсчитать самостоятельно на основе приведенных в отчете данных, вычислительная мощность инфраструктуры исследований, разработок и применения ИИ может составить в Китае примерно 3550 экзафлопса (или 3,55 зетафлопса).
Также напомню, что в США вычислительная мощность инфраструктуры исследований, разработок и применения ИИ сейчас, где-то на 30-40% больше, чем у Китая (а к 2030 США планируют оторваться примерно в 2 раза за счет экспортных ограничений на микроэлектронику).
В заключение, мне остается лишь с сожалением заметить вот что.
Зря глава Сбера Герман Греф не начал свой 1й доклад на стратегической сессию с уже цитировавшегося им ранее анекдота про снаряды:
«Здесь как в том анекдоте: назовите три причины, почему следует отступить? Причина первая: у нас нет снарядов. Вот так же и здесь: у нас нет такого количества снарядов».
Ведь и с развитием ИИ то же самое: если нет и не планируется в России обретение ИИ инфраструктуры, обладающей хоть как-то сопоставимой вычислительной мощностью, обсуждать пути преодоления остальных шести вызовов (что обсуждались на сессии) нет смысла.
Об этом я предупреждаю уже не один год в своих постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»
#ИИ #Компьютинг #Россия #Китай
К 2030 отставание России может сократиться … до 3,5 тыс раз.
Эти кажущиеся бредом цифры следуют из сопоставления двух авторитетных источников.
1. Материалы стратегической сессии «Развитие искусственного интеллекта», проведенной правительством России 26 сентября 2023.
2. Совместный отчет International Data Corporation (IDC), китайского производителя серверов Inspur и Института глобальной промышленности Университета Цинхуа «2022-2023 Оценка развития вычислительной мощности искусственного интеллекта в Китае».
Первый из названных документов предполагает следующее:
• В России вычислительная мощность инфраструктуры исследований, разработок и применения ИИ вырастет с нынешних примерно 0.1 экзафлопса до 1 экзафлопса в 2027.
• Увеличение этого показателя к 2030 возможно лишь теоретически, «благодаря прогрессу в области GPU» (что это за прогресс, чей прогресс и за счет чего, - в материалах не указано).
• Рассуждая же практически, 1 экзафлопс вычислительной мощности может так и остаться непревзойденным максимумом вычислительной мощности российской ИИ инфраструктуры вплоть до 2030 (хотя потребности вычислительной мощности инфраструктуры ИИ к тому времени составят 6,2 экзафлопса).
Второй из вышеназванных документов сообщает и предполагает абсолютно несравнимые по масштабу цифры:
• Сейчас (в 2023) вычислительная мощность инфраструктуры исследований, разработок и применения ИИ в Китае составляет около 427 экзафлопсов.
• Планируется, что к 2026 эта величина вырастет до 1271 экзафлопса.
• К 2030 году, как легко подсчитать самостоятельно на основе приведенных в отчете данных, вычислительная мощность инфраструктуры исследований, разработок и применения ИИ может составить в Китае примерно 3550 экзафлопса (или 3,55 зетафлопса).
Также напомню, что в США вычислительная мощность инфраструктуры исследований, разработок и применения ИИ сейчас, где-то на 30-40% больше, чем у Китая (а к 2030 США планируют оторваться примерно в 2 раза за счет экспортных ограничений на микроэлектронику).
В заключение, мне остается лишь с сожалением заметить вот что.
Зря глава Сбера Герман Греф не начал свой 1й доклад на стратегической сессию с уже цитировавшегося им ранее анекдота про снаряды:
«Здесь как в том анекдоте: назовите три причины, почему следует отступить? Причина первая: у нас нет снарядов. Вот так же и здесь: у нас нет такого количества снарядов».
Ведь и с развитием ИИ то же самое: если нет и не планируется в России обретение ИИ инфраструктуры, обладающей хоть как-то сопоставимой вычислительной мощностью, обсуждать пути преодоления остальных шести вызовов (что обсуждались на сессии) нет смысла.
Об этом я предупреждаю уже не один год в своих постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»
#ИИ #Компьютинг #Россия #Китай
