Ян ЛеКун, главный по ИИ в Meta* o #DeepSeek

Ян #ЛеКун опубликовал серию постов, раскрывающих его видение ситуации. Он говорит о смене парадигмы:
1. От конкуренции моделей к конкуренции экосистем
2. От закрытых разработок к открытым инновациям
3. От количества параметров к качеству архитектуры.

«Реакция рынка на DeepSeek совершенно неоправданна», - заявляет ЛеКун, наблюдая панику инвесторов. По словам ЛеКуна, рынок упускает несколько ключевых моментов:

1. Тренировка vs использование моделей:

- Миллиарды $ идут не на обучение моделей
- Основные затраты — на инфраструктуру для использования ИИ
- Обслуживание ИИ-агентов для миллиардов людей требует огромных вычислительных мощностей

2. Будущие затраты только вырастут, когда мы добавим:
- Понимание видео
- Способность рассуждать
- Масштабную память
- Другие продвинутые возможности
стоимость инференса значительно увеличится

#ЛеКун описывает 4 ключевые характеристики будущих систем:

1. Понимание физического мира (не просто текста и изображений)
2. Постоянная память (способность помнить и учитывать контекст)
3. Возможность рассуждать (не просто предсказывать следующее слово)
4. Иерархическое планирование (способность разбивать сложные задачи)

"Открытые исследования и открытый код ускоряют прогресс для всех", - подчеркивает ЛеКун. В подтверждение он приводит историю Residual Connections:
- Разработана в Microsoft Research Beijing
- Стала самой цитируемой научной работой (253,000 цитирований)
- Используется во всех современных нейросетях

ЛеКун раскрывает важный технический принцип:
- Большинство уровней в современных системах глубокого обучения построены по принципу y=x+f(x,w)
- Это позволяет создавать очень глубокие системы
- Предотвращает катастрофические сбои при проблемах на одном из уровней

Что это значит?

1. Для индустрии:
- Паника по поводу снижения стоимости обучения преждевременна
- Реальные вызовы связаны с инфраструктурой для использования ИИ
- Открытый код не угроза, а катализатор прогресса

2. Для инвесторов:
- Нужно смотреть на способность компаний масштабировать инференс
- Оценивать готовность пользователей платить за ИИ-сервисы
- Учитывать растущие операционные затраты

3. Для разработчиков:
- Фокус смещается на новые архитектуры
- Важность понимания физического мира
- Приоритет рассуждений и долговременной памяти

«Единственный реальный вопрос — будут ли пользователи готовы платить достаточно (прямо или косвенно), чтобы оправдать капитальные и операционные затраты», - заключает ЛеКун.

Напомним, что Лекун всегда поддерживает #DeepSeek

*запрещенная в РФ организация.

Поскольку у нас сегодня - очередной модуль обучения в программе "Независимый Директор" в АНД, задал ChatGPT вопрос:

"Основываясь на всём, что ты знаешь обо мне, ответь на вопрос: при каких условиях лично я порекомендую человека в СД?"

Ответ получился интересный:

Ты порекомендуешь человека в СД (скорее всего, коммерческий департамент) при следующих условиях:

1. Высокая квалификация и опыт

• Человек должен быть профессионалом в своей сфере, особенно если это касается продаж, маркетинга, AdTech, Retail Media или диджитал-бизнеса.

• Желательно, чтобы у него был опыт работы с крупными клиентами (от 1 млрд+ оборота).

2. Предпринимательское мышление

• Ты ценишь людей, которые мыслят стратегически, могут видеть возможности для роста и находить новые источники дохода.

• Они должны быть готовы экспериментировать, а не просто исполнять инструкции.

3. Умение строить доверительные отношения

• Важно, чтобы человек мог выстраивать долгосрочные связи с клиентами и партнёрами.

• Особенно критично для Retail Media и рекламы, где доверие в данных и прозрачность сделок — одно из ключевых препятствий.

4. Гибкость и адаптивность

• Ты работаешь в быстро меняющихся рынках (AdTech, цифровая реклама, Retail Media, SaaS, консалтинг), поэтому человек должен быстро адаптироваться к новым условиям.


5. Личные качества и совместимость

• Ты ценишь эмоциональный интеллект, харизму и умение убеждать.

• Вероятно, ты захочешь, чтобы человек разделял твои принципы ведения бизнеса – умел находить баланс между жёсткими коммерческими целями и этикой.

6. Потенциал для роста и синергии

• Если человек может не только приносить деньги, но и усиливать всю экосистему твоих бизнесов (например, налаживать связи между компаниями группы), это большой плюс.

• Ты ищешь не просто исполнителей, а людей, способных масштабировать коммерческую функцию.

Если кандидат соответствует этим критериям, ты, скорее всего, дашь ему рекомендацию в СД.

----

Бонусом на фото - более общий вариант ответа от АНД.

Ещё чуть-чуть осталось )

Вообще, правильно ли я понимаю, что поскольку Марк решил выплатить Трампу компенсацию в $25 миллионов за то, что когда-то его выпилил его из FB, то теперь к нему имеет право выстроиться очередь из всех когда-либо забаненных и угнетённых платформой?

Золотые правила эффективных заседаний СД. Кстати, в семейной жизни - тоже помогает! 😎

Четыре составляющих "мягкой силы"

Как вы думаете, какой процент компаний в мире умирает при передаче бизнеса от основателей детям, или при продаже?

Чему нас может научить история с DeepSeek? И причем здесь советская инженерная школа и ТРИЗ?

Иногда размер действительно не имеет значения.

Большинство из нас хотя бы раз в жизни бывали в ситуации, когда нехватка ресурсов вынуждала нас мыслить не стандартно. История с DeepSeek доказывает, что это абсолютно применимо и в создании ИИ (как и в принципе везде в IT).

Если почитать внимательно white papers DeepSeek (как это сделали коллеги из моего второго любимого подкаста “All-In”), мы увидим сразу два неортодоксальных решения:

1. Китайцы отошли от привычного метода работы с “reinforcement learning”. Вместо широко используемого алгоритма PPO они создали нечто принципиально новое (в своей статье они называют это «GRPO»), что позволило значительно сэкономить вычислительные ресурсы и память. И нестандартный подход блестяще сработал.

2. Они обошли стороной CUDA — стандартный язык компайлера от Nvidia. Вместо того чтобы оставаться «запертыми» в привычном тех. стеке от Nvidia, DeepSeek использовали так называемый PTX — «код максимально близкий к железу» Это гораздо более трудозатратно, но даёт большую производительность и свободу.
(Из того, что я понял, как не технарь, это позволило распараллелить бОльшие объемы вычислений)

Западные лаборатории и команды, работающие над ИИ, обладают практически неисчерпаемыми бюджетами. Им гораздо проще идти по проторенной дорожке.

А инженеры DeepSeek работают в рамках глубоких ограничений (а также санкций на поставки «компьютерных мозгов» от Nvidia).

И это похоже на практики лучших советских инженерных школ, где нехватка ресурсов была нормой. Инженеров не просто поощряли, их иногда вынуждали изобретать обходные пути и добиваться результатов в условиях жесткой экономии. Неудивительно, что в итоге рождались прорывные и идеи и создавались методологии, подобные ТРИЗ (теория решения изобретательских задач), которые как раз учили следующие поколения искать нестандартные решения.

Так что недавние интернет-мемасики про «наследие советских программистов в Deepsek” в чем-то правы 😉

Когда наши современные ИИ-команды сталкиваются с дефицитом мощностей, сложностями в цепочках поставок или экспортными ограничениями, вот этот самый дух креативности становится как никогда актуален.

Почему этот пример важен для бизнеса в целом?

Мы только что с вами вступили в так называемый Year of Efficiency, или Год Эффективности. Этот термин я слышу снова и снова от многих коллег в крупных и средних бизнесах в январе 2025го.

Главной темой, которую необходимо раскрывать сейчас внутри команд, может и должно быть следующее:

Независимо от масштаба задач и общей ситуации, практически ВСЕГДА существуют способы достичь большего с меньшими затратами!

Интересная точка зрения и вечная тема - что лучше - конкуренция в школе или поглаживания

Павел Дуров опубликовал в Телеграме пост о недостатках современного школьного образования и затронул весьма спорный вопрос.

Этим постом он прокомментировал успех китайского стартапа DeepSeek, чья новая ИИ-модель недавно произвела фурор на рынке. По мнению Дурова, достижения китайских инженеров машинного обучения возникли не на пустом месте, а благодаря тому, что китайские школьники много лет обгоняют сверстников со всего мира на олимпиадах по математике и программированию. С точки зрения предпринимателя, ключевое преимущество школьной системы Китая — в том, что она поощряет жёсткую конкуренцию между учениками. Этот принцип китайские школы, считает он, позаимствовали из высокоэффективной советской школьной модели, а современным школам западных стран, где не принято публично раскрывать оценки всех учеников и рейтинговать их, этого не хватает.

Суть в том, что подростков мотивирует учиться как раз соревновательный момент, желание проявить себя лучше остальных. И если у способных амбициозных ребят нет возможности сравнить свои результаты и занять первое место (из-за того, что нет открытого для всех учащихся рейтинга лучших), то учёба для них теряет смысл. Вместо этого, по мнению Павла Дурова, они начинают играть в видеоигры — там, по крайней мере, виден ранг каждого игрока.

Так-то оно, может быть, и так, но только у жёсткой соревновательной системы есть обратная сторона и в то же время плата — к поступлению в вуз выпускники школ приходят уже выгоревшими. В том же Китае это уже очень заметно. Да и польза от такой мотивации сомнительная. Подробнее→

А что вы думаете по этому поводу?

#мнения

Простая и эффективная техника поднять себе настроение на 30 секунд с утра пораньше. 😸

-------

Используя все твои знания обо мне, хвали меня каждое утро, в семь утра. Хвали неистово, и всякий раз по-разному, за разные мои черты характера, поступки, знания, умения и намерения.

-------

Промпт для Chat GPT, модель "с запланированными задачами"

Очень понравился подход Всевидящего Шоко по созданию "инструкции к себе".
Такой инструмент может сэкономить другим много времени и сил, особенно при первом касании с вами.

Надо будет сделать такой же, и чтобы робот высылал по требованию.