Битва за лидерство в ИИ

Всего чуть более года назад Китай не имел конкурентных модификаций LLM. В конце 2023 передовая китайская LLM была Alibaba, Qwen Chat 7B, сильно уступая GPT-3.5 Turbo.

В начале 2024 началось внедрение Alibaba Qwen Chat 72B, которая была лучше, чем GPT-3.5, но значительно хуже GPT-4, особенно уступая в мультимодальности.

Летом 2024 лидирующей китайской LLM стала DeepSeek V2, которая также не представляла существенного интереса из-за ощутимого разрыва в производительности и эффективности в сравнении с GPT-4o.

Практически одновременно была представлена Alibaba Qwen 2 Instruct 72B, немного обгоняя DeepSeek V2, но не представляя угрозы GPT-4o.

Первым тревожным звонком для США стал релиз Alibaba Qwen 2.5 Instruct 72B, которому удалось сравняться с GPT-4o и даже по некоторым задачам превзойти передовую на тот момент американскую модель.

Тогда же в сентябре 2024 был представлен OpenAI o1-preview, совершивший первый за 1.5 года прорыв в эффективности. С 14 марта 2023 (релиз GPT-4) практически не было качественной модификации LLM от OpenAI.

Да, было расширено контекстное окно, улучшена мультимодальность, клиентское взаимодействие, производительность и снижено галлюцинирование, но за 1.5 года ядро LLM осталось неизменным (в основном косметические модификации).

В декабре был представлен DeepSeek V3, который был лучшей китайской моделью, выигрывая по всем параметрам у GPT-4o, но уступая расширенной o1, которую OpenAI интегрировала в середине декабря.

Вот здесь и началась ожесточенная битва за лидерство. DeepSeek в середине января презентует свою флагманскую модель R1, которая разрывает рейтинги производительности и это первый раз за всю недолгую историю публичных LLM, когда китайцы вплотную приблизились к США.

Через две недели OpenAI внедряет o3, вновь вырываясь вперед, но не так сильно, как это было осенью 2024 в момент релиза o1.

Чтобы понять логику введения жесткого экспортного эмбарго на поставку чипов от Nvidia в США, необходимо понимать траекторию эволюции китайских LLM. Именно поэтому я подробно описал хронологию событий.

В таблице достаточно информативно показано какие чипы под эмбарго и когда ввели экспортный контроль. Все передовые модификации от Nvidia заблочены с осени 2023, а рубить концы начали еще в середине 2022.

О чем все это говорит?

🔘Китайцы начали на год позже США с очень сильным отставанием.

🔘Осенью 2024 Китай вышел на паритет с США по LLM (ровно через год после начала гонки), но OpenAI быстро выкатила свою o1, вырываясь в лидеры.

🔘На этот раз ответ от китайцев последовал лишь спустя три месяца в достаточно конкурентном рывке, которого не хватило для закрепления лидерства.

🔘Китай идет более быстрыми темпами в развитии LLM, чем США, имея несопоставимо меньше вычислительным мощностей.

Есть все основания полагать, что китайцы закончат 2025 год в лидерах, т.к. Google выбывает из гонки лучших LLM с относительно слабой Gemini 2.0 Pro, а все остальные, кроме OpenAI не способны держать высокий темп инноваций и следуют в хвосте пелотона.

Именно Bloomberg масштабно распиарил DeepSeek на мировую аудиторию 27 января, но не только DeepSeek и Qwen есть в наличие у китайцев.

• Moonshot - Kimi 1.5
• StepFun – Step R-mini
• Baichuan - M1 Preview
• Zhipu – GLM Zero Preview
• Bytedance - Doubao 1.5 Pro
• MiniMax – MiniMax Text-01
• Tencent - Hunyuan Large
• Baidu - Ernie 4.0 Turbo
• Yi AI - YiLightning.

Каждая из представленных моделей (9 в списке + DeepSeek и Qwen) уже сильнее или сопоставимы с GPT-4o, т.е. 11 передовых моделей от китайцев, а мировому сообществу известны пока только две.

Ждите новых новостей от китайцев и паники от Bloomberg. Все только начинается, битва в самом разгаре!

Если при дефиците вычислительных мощностей китайцы творят чудеса, что же можно от них ожидать через пару лет?

На графике представлено также сравнение топовых американских LLM. Лишь однажды OpenAI уступила лидерство, когда Anthropic представила улучшенную версию Claude 3.5 Sonnet в июне 2024. Всего полгода и Claude 3.5 Sonnet со свистом вылетает даже из ТОП 5 лучших LLM.

Осенью 1915 года физика столкнулась с кризисом. Новая теория гравитации Альберта Эйнштейна, известная как общая теория относительности, радикально изменила представление о пространстве и времени. Вместо того чтобы быть статичным фоном для событий во Вселенной, пространство и время стали динамическими сущностями, способными искривляться, расширяться и сжиматься под влиянием материи и энергии. Однако эта революционная теория привела к неожиданной проблеме: казалось, что она допускает возможность создания и уничтожения энергии, что противоречило фундаментальному закону сохранения энергии, который лежал в основе физики на протяжении двух столетий.

Давид Гильберт, один из величайших математиков того времени, и его коллега Феликс Клейн попытались разобраться в этой проблеме. Однако, столкнувшись с трудностями, они передали задачу своей ассистентке, Эмми Нётер. Хотя формально Нётер была ассистентом, она уже была выдающимся математиком. Несмотря на сопротивление со стороны университетского руководства, которое не хотело принимать женщину на должность преподавателя, Нётер продолжила свои исследования в Гёттингенском университете.

В 1918 году Нётер опубликовала две теоремы, которые стали краеугольным камнем современной физики и математики. Первая теорема касалась законов сохранения в локальных областях пространства, что позже оказалось критичным для понимания симметрий в квантовой теории поля. Вторая теорема, теперь известная как теорема Нётер, установила глубокую связь между симметриями и законами сохранения.

Что такое симметрия
Симметрия в математике и физике — это свойство системы оставаться неизменной при определённых преобразованиях. Например, если вы вращаете равносторонний треугольник на 120 градусов, он выглядит так же, как и до вращения. Это пример дискретной симметрии. Круг, с другой стороны, обладает непрерывной симметрией: его можно повернуть на любой угол, и он останется неизменным.

Но симметрии выходят за рамки геометрических форм. В физике симметрии связаны с фундаментальными законами природы. Например, если вы проведёте эксперимент, а затем повторите его в другом месте, результаты не изменятся. Это называется трансляционной симметрией пространства. Аналогично, если вы проведёте эксперимент сегодня и повторите его через неделю, результаты останутся теми же. Это симметрия относительно переноса во времени.

Теорема Нётер
Нётер начала с изучения таких симметрий и их математических следствий. Она работала с лагранжианом — математическим описанием физической системы, которое используется в классической механике и теории поля. Лагранжиан содержит всю информацию о динамике системы.

Нётер поняла, что симметрии, которые не изменяют лагранжиан, накладывают строгие ограничения на поведение системы. Она вывела, что каждой непрерывной симметрии соответствует сохраняющаяся величина. Например:

✅Симметрия относительно переноса во времени приводит к сохранению энергии.
✅Трансляционная симметрия пространства приводит к сохранению импульса.
✅Вращательная симметрия приводит к сохранению момента импульса.

Это открытие было революционным. Оно показало, что законы сохранения не являются независимыми аксиомами, а вытекают из более глубоких симметрий природы.

Последствия теоремы Нётер
Теорема Нётер имела огромное влияние на физику. Она не только объяснила, почему законы сохранения работают, но и стала ключевым инструментом для разработки новых теорий. Например, в квантовой теории поля симметрии играют центральную роль в определении взаимодействий между частицами. Симметрии электромагнитного поля, например, приводят к сохранению электрического заряда.

Кроме того, теорема Нётер помогла физикам понять, что нарушение симметрии может приводить к нарушению законов сохранения. Например, расширение Вселенной нарушает симметрию относительно переноса во времени, что приводит к уменьшению энергии света, растягиваемого расширяющимся космосом.