FSCP
18.5K subscribers
30K photos
3.42K videos
858 files
76.9K links
another filter bubble канал изначально созданный несколькими друзьями чтобы делиться копипастой, иногда оценочным суждением

технологии, деньги, социум

редакция @id9QGq_bot
реклама @johneditor
в будущее возьмут не всех
выводы самостоятельно

мир меняется
Download Telegram
​​Отставание России от США в области ИИ уже колоссально.
А через несколько лет оно увеличится до трёх километров.

Так уж получилось, что прогресс в области ИИ во многом определяется наличием огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров.
Грег Брокман (соучредитель и СТО OpenAI) формулирует это так:
«Мы думаем, что наибольшую выгоду получит тот, у кого самый большой компьютер».
Я уже демонстрировал, насколько критично наличие мощного компьютинга для обучения Больших моделей в посте «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке».

Место России на карте мира по вычислительной мощности суперкомпьютеров более чем скромное. В списке ТОР500 суперкомпьютеров на этот год у США 149 систем, а у России 7. При этом, только одна из систем США по своей производительности превышает производительность всех российских систем (см. мой пост). Председатель оргкомитета суперкомпьютерного форума России, д.ф.м.н, член-корр. РАН Сергей Абрамов оценивает отставание России от США в области суперкомпьютинга примерно в 10 лет.

Но в области обучения больших моделей для ИИ-приложений ситуация еще хуже. Здесь мало вычислительной мощности обычных серверов и требуются специальные ускорители вычислений. Спецы по машинному обучению из Яндекса это комментируют так.
«Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели.»

Поэтому, показатель числа GPU-ускорителей в вычислительных кластерах разных стран (общедоступных, частных и национальных) позволяет оценивать темпы развития систем ИИ в этих странах. Актуальная статистика данного показателя ведется в State of AI Report Compute Index. Состояние на 20 ноября приведено на приложенном рисунке, куда я добавил данные по пяти крупнейшим HPC-кластерам России (разбивка по public/private – моя оценка).

Из рисунка видно, что обучение больших моделей, занимающее на HPC-кластере всем известной американской компании дни и недели, будет требовать на HPC-кластере Яндекса месяцев, а то и лет.

Но это еще не вся беда. Введенные экспортные ограничения на поставку GPU-ускорителей в Россию и Китай за несколько лет многократно увеличат отрыв США в области обучения больших моделей для ИИ-приложений.
И этот отрыв будет измеряться уже не годами и даже не десятилетиями, а километрами, - как в старом советском анекдоте.
«Построили у нас самый мощный в мире компьютер и задали ему задачу, когда же наступит коммунизм. Компьютер думал, думал и выдал ответ: "Через 3 километра". На требование расшифровать столь странный ответ компьютер выдал:
— Каждая пятилетка — шаг к коммунизму.»

#ИИ #HPC #Россия #ЭкспортныйКонтроль
_______
Источник | #theworldisnoteasy
🇷🇺 #Россия поднялась на четвертое место в мире по золотовалютным резервам, опередив 🇮🇳 Индию

Российские активы составили $540 млрд против индийских $532 млрд, пишет издание.

Отмечается, что Россия и Индия соревнуются друг с другом по этому показателю с 2015 года.

Лидирующую позицию по показателю международных резервов уже много лет подряд занимает КНР. На конец сентября китайские активы составили $3,193 трлн. На второй позиции разместилась Япония с показателем $1,238 трлн.

Третье место, как сообщается в материале, занимает Швейцария с активами $892 млрд.
_______
Источник | #offshorechannel
👾 Российские власти начинают реализацию планов и идей по регулированию игрового контента. В частности, правительство разрабатывает требования по возрастной маркировке видеоигр.

Инициатива до конца года войдëт в федеральный проект «Нормативное регулирование» в рамках нацпрограммы «Цифровая экономика». В РФ уже действуют требования по возрастной маркировке контента, но видеоигры попадают под них лишь частично, говорят юристы.

Участники рынка обеспокоены перспективой роста регуляторной нагрузки и расходов при проверке всех игр.

👉 www.kommersant.ru

#государство #геймдев #Россия
_______
Источник | #esportsindustry
🌕🇨🇳#золото #китай #cot
Китай сообщил о росте запасов золота впервые с 2019г — BBG
—————————
ранее:

Россия в октябре поставила в Китай 2,156 тонны золота на рекордную сумму в $124,588 млн. Поставки по сравнению с октябрем 2021 года выросли вдвое - таможня КНР

Китай скупает золото самыми быстрыми темпами с 1960х
_______
Источник | #markettwits
​​У Китая и России появился шанс не дать США уйти в отрыв в области ИИ.
В этом году США пошли на крайние меры, чтобы не позволить Китаю догнать и перегнать США в важнейшей для нацбезопасности индустрии ИИ. Введенные США экспортные ограничения на высокопроизводительные процессоры сильно усложняют Китаю (не имеющему пока соизмеримых по производительности собственных процессоров) возможность конкуренции в области ИИ. Заодно под раздачу экспортных ограничений (по известным причинам) попала и Россия. И это лишает российские компании и без того тусклой перспективы, - пусть не догнать США, но хотя бы отставать на годы, а не на десятилетия.

Но тут случилось такое, что мало кто мог предвидеть.
Компания Together объявила, что смогла обучить свою модель с открытым кодом GPT-JT (6 млрд параметров):
• децентрализованно (на разнородной группе не самых крутых графических процессоров)
• соединенных медленными интернет-каналами (1 Гбит/с)


Авторы модели GPT-JT придумали кучу хитрых способов уменьшения вычислительной и коммуникационной нагрузки при децентрализованном обучении. В результате, эта модель на тестах классификации приближается к современным моделям, которые намного её крупнее (например, InstructGPT davinci v2).

Это достижение может иметь колоссальные последствия.
✔️ До сих пор магистральная линия развития ИИ определялась ограниченным набором компаний, имеющих доступ к большим централизованным компьютерам. На этих высокопроизводительных вычислительных комплексах обучались все т.н. большие модели, начиная от AlphaZero и заканчивая GPT3.
✔️ Компаниям, не имеющим в распоряжении суперкомпьютерных мощностей в этой гонке было нечего ловить (см мой пост «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»).

GPT-JT сметает шашки с доски, предлагая совершенно иной сценарий будущего.
Вместо нескольких компаний – гигантов, оснащенных суперкомпьютерными системами для ИИ, распределенные коллективы разработчиков могут объединять свои скромные компьютерные мощности через не самые быстрые интернет-каналы, чтобы вместе обучать большие модели.

Но это возможно лишь при условии, что разработчики GPT-JT смогут её масштабировать со скромных 6 млрд параметров на сотни миллиардов. Ибо таково требование сегодняшних больших моделей. А в 2023 счет пойдет уже на триллионы параметров.

#ИИ #HPC #Россия #Китай #ЭкспортныйКонтроль
_______
Источник | #theworldisnoteasy
🇷🇺 #Россия #ФНС новый список обеспечивающих обмен информацией в автоматическом режиме

Опубликован Приказ ФНС с перечнем стран и территорий, с которым РФ будет автоматически обмениваться информацией по финансовым счетам резидентов.

⚠️ Из списка исключены Швейцария и Каймановы острова. Добавлены Оман, Мальдивские острова и Казахстан.

Страны:
Австралия,
Андорра,
Австрия,
Азербайджан,
Албания,
Антигуа и Барбуда,
Аргентина,
Аруба,
Багамы,
Барбадос,
Бахрейн,
Белиз,
Бельгия,
Болгария,
Бразилия,
Бруней,
Вануату,
Венгрия,
Гана,
Германия,
Гренада,
Греция,
Дания,
Доминика,
Израиль,
Индия,
Индонезия,
Ирландия,
Исландия,
Испания,
Италия,
Казахстан,
Катар,
Кипр,
КНР,
Колумбия,
Республика Корея,
Коста-Рика,
Кувейт,
Латвия,
Ливан,
Лихтенштейн,
Люксембург,
Маврикий,
Маршалловы острова,
Малайзия,
Мальдивы,
Мальта,
Мексика,
Монако,
Науру,
Нигерия,
Нидерланды,
Новая Зеландия,
Норвегия,
ОАЭ,
Оман,
Пакистан,
Панама,
Перу,
Польша,
Португалия,
Румыния,
Самоа,
Сан-Марино,
Саудовская Аравия,
Сейшелы,
Сент-Винсент и Гренадины,
Сент-Люсия,
Сент-Китс и Невис,
Сингапур,
Словакия,
Словения,
Турция,
Уругвай,
Финляндия,
Франция (в т.ч. Новая Каледония),
Хорватия,
Чехия,
Чили,
Швеция,
Эквадор,
Эстония,
ЮАР,
Япония.

Территории:
Бермуды,
Британские Виргинские острова,
Гибралтар,
Гонконг,
Гренландия,
Кюрасао,
Макао,
Монсеррат,
Остров Кука,
Острова Теркс и Кайкос,
Фарерские острова.

Документ вступает в силу с 16 декабря 2022 года.
_______
Источник | #offshorechannel