This media is not supported in your browser
VIEW IN TELEGRAM
Коротко и по существу.
Конечно нейросеть... Но как похоже по смыслу всей политики ЦБ за все годы?
Конечно нейросеть... Но как похоже по смыслу всей политики ЦБ за все годы?
🤬9🤮3🤣1
#товарищ_Кун_цзы
#постцифра 29
Феномен ИИ-2025: как стратегия открытого кода перевернула глобальную карту искусственного интеллекта.
I
Всего год назад глобальный рынок больших языковых моделей казался предсказуемым. Доминирование американских технологических гигантов выглядело почти абсолютным. Сегодня картина стремительно меняется, и в эпицентре этого сдвига – феноменальный взлёт китайских открытых моделей.
II
Цифры говорят сами за себя
В январе 2024 года доля Китая на мировом рынке обработки токенов составляла скромные 1,2%. К декабрю 2025 года эта цифра выросла до 30%. Рост в 25 раз всего за один год! Карл!
Пока западные лаборатории сообщали о потере четверти глобального присутствия. Такие модели, как Qwen, DeepSeek-V3, Kimi K2 и GLM-4, из неизвестных проектов превратились в глобальных игроков. Они обрабатывают 13% мировых токенов еженедельно. Почти столько же, сколько все остальные страны, за исключением США и Китая.
III
Две противоположные стратегии
Ключ к пониманию происходящего лежит в радикально разных подходах.
Американская модель строится на концентрации и контроле. Фокус здесь на создании небольшого числа высококачественных проприетарных (являющихся частной собственностью, закрытых для других) моделей вроде GPT, Claude или Gemini. Бизнес строится вокруг API-доступа и подписок. Инвестиции в эту закрытую экосистему с 2020 года составили колоссальные 37,5 миллиардов долларов.
Китайская стратегия, напротив, сделала ставку на массовость и открытость.
К июлю 2025 года было представлено 1509 публичных языковых моделей, что составляет около 40% от общемирового их числа. Подавляющее большинство из них полностью открытые: код, веса, лицензии Apache или MIT. Инвестиции в открытый сектор гораздо скромнее американских - 14,9 миллиардов долларов. Но стратегия усиливается государственной поддержкой инфраструктуры через субсидии на вычислительные мощности и энергоресурсы.
IV
Экономика против идеологии
Кажется, революцию в технологии двигает не философия, а холодная математика стоимости.
Использование GPT-4o обходится потребителю в сумму до 30 долларов за миллион выходных токенов. Открытые аналоги, вроде Llama или китайских моделей, стоят около 70 центов за тот же объём токенов.
Разница достигает 40 раз. При этом качество открытых моделей для многих задач оценивается в 80-90% от возможностей топовых проприетарных решений.
Значит что?
Для стартапа размер затрат — это вопрос выживания: ежемесячные затраты при переходе на открытые LLM модели могут сократиться с 3000 до 70 долларов, при почти таком же качестве результата.
Неудивительно, что опросы 2025 года показывают: 82% компаний либо уже переходят на открытые решения, либо ждут, когда их качество окончательно сравняется с лидерами.
V
Почему некоторые открывают, а другие закрывают?
Для китайской экосистемы открытый код – это инструмент глобального влияния и захвата доли рынка. Бесплатный доступ привлекает разработчиков по всему миру, которые интегрируют эти модели в свои продукты. Это создаёт долгосрочную зависимость от стандартов и экосистемы, а не от конкретного вендора.
Американские корпорации смотрят на это иначе. Для них передовая модель – это коммерческий актив с инвестициями в десятки миллиардов долларов. Раскрытие кода равносильно отказу от конкурентного преимущества и потенциальной выручки. Их миссия – возврат инвестиций акционерам.
VI
Исторический паттерн: массовый рынок всегда побеждает…
Сценарий не нов. В 1920-е годы доступный автомобиль Ford Model T победил премиальные ручные сборки. Все эти Duesenberg, Peerless, Pierce-Arrow, Franklin и прочие. В 1980-е надёжные и доступные седаны Toyota потеснили автогигантов из Детройта. В 2010-е смартфоны от Xiaomi и других производителей с оптимальным соотношением цены и качества захватили большую часть мирового рынка...
Сегодня мы видим тот же паттерн в сфере искусственного интеллекта: «достаточно хорошее, но в десятки раз более доступное» против «лучшее, но чрезвычайно дорогое». Закон массового рынка работает без сбоев.
Продолжение ниже
#постцифра 29
Феномен ИИ-2025: как стратегия открытого кода перевернула глобальную карту искусственного интеллекта.
I
Всего год назад глобальный рынок больших языковых моделей казался предсказуемым. Доминирование американских технологических гигантов выглядело почти абсолютным. Сегодня картина стремительно меняется, и в эпицентре этого сдвига – феноменальный взлёт китайских открытых моделей.
II
Цифры говорят сами за себя
В январе 2024 года доля Китая на мировом рынке обработки токенов составляла скромные 1,2%. К декабрю 2025 года эта цифра выросла до 30%. Рост в 25 раз всего за один год! Карл!
Пока западные лаборатории сообщали о потере четверти глобального присутствия. Такие модели, как Qwen, DeepSeek-V3, Kimi K2 и GLM-4, из неизвестных проектов превратились в глобальных игроков. Они обрабатывают 13% мировых токенов еженедельно. Почти столько же, сколько все остальные страны, за исключением США и Китая.
III
Две противоположные стратегии
Ключ к пониманию происходящего лежит в радикально разных подходах.
Американская модель строится на концентрации и контроле. Фокус здесь на создании небольшого числа высококачественных проприетарных (являющихся частной собственностью, закрытых для других) моделей вроде GPT, Claude или Gemini. Бизнес строится вокруг API-доступа и подписок. Инвестиции в эту закрытую экосистему с 2020 года составили колоссальные 37,5 миллиардов долларов.
Китайская стратегия, напротив, сделала ставку на массовость и открытость.
К июлю 2025 года было представлено 1509 публичных языковых моделей, что составляет около 40% от общемирового их числа. Подавляющее большинство из них полностью открытые: код, веса, лицензии Apache или MIT. Инвестиции в открытый сектор гораздо скромнее американских - 14,9 миллиардов долларов. Но стратегия усиливается государственной поддержкой инфраструктуры через субсидии на вычислительные мощности и энергоресурсы.
IV
Экономика против идеологии
Кажется, революцию в технологии двигает не философия, а холодная математика стоимости.
Использование GPT-4o обходится потребителю в сумму до 30 долларов за миллион выходных токенов. Открытые аналоги, вроде Llama или китайских моделей, стоят около 70 центов за тот же объём токенов.
Разница достигает 40 раз. При этом качество открытых моделей для многих задач оценивается в 80-90% от возможностей топовых проприетарных решений.
Значит что?
Для стартапа размер затрат — это вопрос выживания: ежемесячные затраты при переходе на открытые LLM модели могут сократиться с 3000 до 70 долларов, при почти таком же качестве результата.
Неудивительно, что опросы 2025 года показывают: 82% компаний либо уже переходят на открытые решения, либо ждут, когда их качество окончательно сравняется с лидерами.
V
Почему некоторые открывают, а другие закрывают?
Для китайской экосистемы открытый код – это инструмент глобального влияния и захвата доли рынка. Бесплатный доступ привлекает разработчиков по всему миру, которые интегрируют эти модели в свои продукты. Это создаёт долгосрочную зависимость от стандартов и экосистемы, а не от конкретного вендора.
Американские корпорации смотрят на это иначе. Для них передовая модель – это коммерческий актив с инвестициями в десятки миллиардов долларов. Раскрытие кода равносильно отказу от конкурентного преимущества и потенциальной выручки. Их миссия – возврат инвестиций акционерам.
VI
Исторический паттерн: массовый рынок всегда побеждает…
Сценарий не нов. В 1920-е годы доступный автомобиль Ford Model T победил премиальные ручные сборки. Все эти Duesenberg, Peerless, Pierce-Arrow, Franklin и прочие. В 1980-е надёжные и доступные седаны Toyota потеснили автогигантов из Детройта. В 2010-е смартфоны от Xiaomi и других производителей с оптимальным соотношением цены и качества захватили большую часть мирового рынка...
Сегодня мы видим тот же паттерн в сфере искусственного интеллекта: «достаточно хорошее, но в десятки раз более доступное» против «лучшее, но чрезвычайно дорогое». Закон массового рынка работает без сбоев.
Продолжение ниже
👍3❤1
Начало выше
VII
Кто выиграет войну ИИ: прогнозы
В 2025 году США сохраняют лидерство с 70% рынка. Но Китай продемострировал взрывной рост (30%) и тотальное ценовое преимущество.
К 2027 году возможен паритет – 50 на 50, с разделением на премиум-сегмент для США и массовый рынок для Китая.
К 2030 году, если тренд сохранится, доминирование на массовом рынке может обеспечить Китаю 60-70% рыночной доли. США останутся в нише передовых решений для задач, где критично максимальное качество.
VIII
Финальная точка?
Феномен 2025 года заключается не в противостоянии идеологий, а в выборе фундаментальных стратегий. Одна экосистема делает ставку на создание дорогого эксклюзивного продукта, другая – на бесплатное распространение инструментов для захвата рынка.
Экспоненциальный рост – от 1,2% до 30% за год – это сила, которую нельзя игнорировать. Можно создать модель в два раза умнее, но, если она будет в сто раз дороже, рынок сделает свой выбор.
Через пять лет мы узнаем, чья стратегия оказалась дальновиднее.
Однако данные конца 2025 года уже звучат как убедительное предупреждение: в эпоху ИИ побеждает не тот, кто строже охраняет свою технологию, а тот, чья технология становится повсеместным стандартом.
VII
Кто выиграет войну ИИ: прогнозы
В 2025 году США сохраняют лидерство с 70% рынка. Но Китай продемострировал взрывной рост (30%) и тотальное ценовое преимущество.
К 2027 году возможен паритет – 50 на 50, с разделением на премиум-сегмент для США и массовый рынок для Китая.
К 2030 году, если тренд сохранится, доминирование на массовом рынке может обеспечить Китаю 60-70% рыночной доли. США останутся в нише передовых решений для задач, где критично максимальное качество.
VIII
Финальная точка?
Феномен 2025 года заключается не в противостоянии идеологий, а в выборе фундаментальных стратегий. Одна экосистема делает ставку на создание дорогого эксклюзивного продукта, другая – на бесплатное распространение инструментов для захвата рынка.
Экспоненциальный рост – от 1,2% до 30% за год – это сила, которую нельзя игнорировать. Можно создать модель в два раза умнее, но, если она будет в сто раз дороже, рынок сделает свой выбор.
Через пять лет мы узнаем, чья стратегия оказалась дальновиднее.
Однако данные конца 2025 года уже звучат как убедительное предупреждение: в эпоху ИИ побеждает не тот, кто строже охраняет свою технологию, а тот, чья технология становится повсеместным стандартом.
👍7❤1
Forwarded from ДШРГ Русич 🇷🇺
В Ростове ФСБ задержали начальника отдела по борьбе с терроризмом в полиции. Его подозревают в передаче крупной взятки. 41-летний Арсланбек Асадуллаев был начальником отдела по противодействию терроризму в Центре по противодействию экстремизму (ЦПЭ) МВД.
По данным следствия, он был посредником при передаче крупной суммы. Уголовное дело возбуждено. Максимальное наказание по этой статье — до 12 лет тюрьмы. Сейчас Асадуллаев задержан, и следствие просит отправить его под арест.
С терроризмом у нас борются такие люди.
После этого некоторые удивляются, почему у нас происходят теракты наподобие Крокус Сити Холла, совершенные выходцами сами знаете откуда, и подрывы высокопоставленных военнослужащих, совершенные тоже далеко не всегда даже гражданами России.
💯8🤔1
Трамп: Если бы я не был президентом — поверьте мне, этой невероятной, фантастической сделки просто не существовало бы. Никогда. Ни при каких обстоятельствах. Люди говорили: «Это невозможно». А я сказал: «Возможно. И мы сделаем это лучше всех».
Никто — повторяю, никто — не возвращал квартиры так успешно, как я. Исторический рекорд. Абсолютный. Полина Лурье? Теперь у неё великолепная квартира. Просто потрясающая. Люди подходят ко мне и говорят: «Господин президент, это лучшая квартира, которую мы когда-либо видели». И они правы.
А сделка с Ларисой… ох, это была ужасная сделка. Очень плохая. Одна из худших в истории сделок, возможно, вообще в истории человечества. И она оставалась бы ужасной, поверьте, если бы меня не избрали президентом в своё время.
Но меня избрали. И вот результат. Победа. Квартира. Сделка. Америка… то есть Полина — снова великая.
(С просторов интернета)
Никто — повторяю, никто — не возвращал квартиры так успешно, как я. Исторический рекорд. Абсолютный. Полина Лурье? Теперь у неё великолепная квартира. Просто потрясающая. Люди подходят ко мне и говорят: «Господин президент, это лучшая квартира, которую мы когда-либо видели». И они правы.
А сделка с Ларисой… ох, это была ужасная сделка. Очень плохая. Одна из худших в истории сделок, возможно, вообще в истории человечества. И она оставалась бы ужасной, поверьте, если бы меня не избрали президентом в своё время.
Но меня избрали. И вот результат. Победа. Квартира. Сделка. Америка… то есть Полина — снова великая.
(С просторов интернета)
😁7❤2
Forwarded from Варяг
This media is not supported in your browser
VIEW IN TELEGRAM
@varyag_online
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🤣2
#товарищ_Кун_цзы
#постцифра 30
Нейросети с гибким мышлением: новая альтернатива ChatGPT
I
Представьте, что вы разгадываете кроссворд.
Иногда проще сначала заполнить слова в середине, где больше пересечений и подсказок, а потом вернуться к началу. Или вспомните, как вы пишете эссе: набрасываете ключевые мысли, потом заполняете пробелы между ними, добавляете введение и заключение. Мы редко пишем строго с начала до конца, от первой буквы до последней.
А вот ChatGPT и подобные ему системы работают именно так, с самого начала до самого конца, слово за словом. Они как человек, который обязан писать текст по порядку и не может вернуться назад, чтобы вставить забытую мысль в середину.
II
Два метода: писатель против редактора
Исследователи из Гарварда и Университета Техаса сравнили два подхода к обучению языковых моделей. Можно провести аналогию с двумя типами писателей:
Первый. Авторегрессивный метод (используется в ChatGPT) похож на писателя, который начинает с первого слова и пишет до последнего, никогда не возвращаясь назад. Это эффективно для простых текстов. Но что если нужно играть в судоку или написать сложную компьютерную программу? Там жёсткий порядок и строгая последовательность часто не работают.
Второй. Метод маскированной диффузии (МДМ) работает как редактор, который видит текст с пропусками и заполняет их в любом порядке. Сначала очевидные места, потом сложные. Звучит идеально, но есть проблема: чтобы научиться этому, модель должна освоить огромное количество разных комбинаций пропусков.
III
Проблема: учиться на невозможном
Авторы доказали математически, что при обучении методом маскированной диффузии часть задач оказывается настолько сложной, что её невозможно решить за разумное время даже суперкомпьютером. Это как школьнику на экзамене наряду с обычными вопросами давать вопросы для сдачи кандидатского минимума.
Практический пример: возьмём предложение "В 1969 году [ПРОПУСК] впервые ступил на поверхность Луны во время миссии [ПРОПУСК]". Здесь два пропуска, и они связаны между собой. Модель может угадать "Нил Армстронг" и "Аполлон-11", опираясь на контекст о годе и Луне.
А теперь усложним: "[ПРОПУСК] впервые ступил на поверхность [ПРОПУСК] во время миссии [ПРОПУСК]". Без ключевых слов ("1969", "Луны") вариантов становится множество. Это может быть и про Луну, и про Марс (в будущем), и даже метафора про первопроходца в какой-то области. Модель здесь должна одновременно решить три связанные загадки, где ответ на одну влияет на остальные. Такие задачи требуют экспоненциально больше вычислений.
Когда модель генерирует текст, заполняя пропуски в случайном порядке, она постоянно натыкается на такие "невозможные" задачи и начинает ошибаться.
IV
Решение: дать модели самой выбирать путь
Главное открытие исследователей: не нужно переучивать нейросеть! Достаточно изменить стратегию её работы. Вместо случайного выбора пропусков, модель сама решает, что заполнить первым там, где она наиболее уверена в ответе.
Это как в известной игре судоку: опытный игрок не заполняет клетки подряд. Он ищет места, где вариант очевиден (например, в строке не хватает только одной цифры), заполняет их, и это открывает новые очевидные ходы. Постепенно решается вся головоломка.
V
Исследователи предложили две стратегии:
Первая (Top probability): выбирать позиции, где модель говорит "я на 95% уверена, что здесь должно быть слово X". Это как заполнять клетки в судоку, где точно знаешь ответ.
Вторая (Top probability margin): смотреть на разрыв между первым и вторым вариантом. Если модель думает "здесь 60% что А и 58% что Б", это неуверенность, лучше пропустить. Если "95% что А и 3% что Б", можно действовать.
продолжение ниже
#постцифра 30
Нейросети с гибким мышлением: новая альтернатива ChatGPT
I
Представьте, что вы разгадываете кроссворд.
Иногда проще сначала заполнить слова в середине, где больше пересечений и подсказок, а потом вернуться к началу. Или вспомните, как вы пишете эссе: набрасываете ключевые мысли, потом заполняете пробелы между ними, добавляете введение и заключение. Мы редко пишем строго с начала до конца, от первой буквы до последней.
А вот ChatGPT и подобные ему системы работают именно так, с самого начала до самого конца, слово за словом. Они как человек, который обязан писать текст по порядку и не может вернуться назад, чтобы вставить забытую мысль в середину.
II
Два метода: писатель против редактора
Исследователи из Гарварда и Университета Техаса сравнили два подхода к обучению языковых моделей. Можно провести аналогию с двумя типами писателей:
Первый. Авторегрессивный метод (используется в ChatGPT) похож на писателя, который начинает с первого слова и пишет до последнего, никогда не возвращаясь назад. Это эффективно для простых текстов. Но что если нужно играть в судоку или написать сложную компьютерную программу? Там жёсткий порядок и строгая последовательность часто не работают.
Второй. Метод маскированной диффузии (МДМ) работает как редактор, который видит текст с пропусками и заполняет их в любом порядке. Сначала очевидные места, потом сложные. Звучит идеально, но есть проблема: чтобы научиться этому, модель должна освоить огромное количество разных комбинаций пропусков.
III
Проблема: учиться на невозможном
Авторы доказали математически, что при обучении методом маскированной диффузии часть задач оказывается настолько сложной, что её невозможно решить за разумное время даже суперкомпьютером. Это как школьнику на экзамене наряду с обычными вопросами давать вопросы для сдачи кандидатского минимума.
Практический пример: возьмём предложение "В 1969 году [ПРОПУСК] впервые ступил на поверхность Луны во время миссии [ПРОПУСК]". Здесь два пропуска, и они связаны между собой. Модель может угадать "Нил Армстронг" и "Аполлон-11", опираясь на контекст о годе и Луне.
А теперь усложним: "[ПРОПУСК] впервые ступил на поверхность [ПРОПУСК] во время миссии [ПРОПУСК]". Без ключевых слов ("1969", "Луны") вариантов становится множество. Это может быть и про Луну, и про Марс (в будущем), и даже метафора про первопроходца в какой-то области. Модель здесь должна одновременно решить три связанные загадки, где ответ на одну влияет на остальные. Такие задачи требуют экспоненциально больше вычислений.
Когда модель генерирует текст, заполняя пропуски в случайном порядке, она постоянно натыкается на такие "невозможные" задачи и начинает ошибаться.
IV
Решение: дать модели самой выбирать путь
Главное открытие исследователей: не нужно переучивать нейросеть! Достаточно изменить стратегию её работы. Вместо случайного выбора пропусков, модель сама решает, что заполнить первым там, где она наиболее уверена в ответе.
Это как в известной игре судоку: опытный игрок не заполняет клетки подряд. Он ищет места, где вариант очевиден (например, в строке не хватает только одной цифры), заполняет их, и это открывает новые очевидные ходы. Постепенно решается вся головоломка.
V
Исследователи предложили две стратегии:
Первая (Top probability): выбирать позиции, где модель говорит "я на 95% уверена, что здесь должно быть слово X". Это как заполнять клетки в судоку, где точно знаешь ответ.
Вторая (Top probability margin): смотреть на разрыв между первым и вторым вариантом. Если модель думает "здесь 60% что А и 58% что Б", это неуверенность, лучше пропустить. Если "95% что А и 3% что Б", можно действовать.
продолжение ниже
👍5
начало выше
VI
Результаты, в которые трудно поверить
На задачах судоку точность решения выросла с жалких 7% до впечатляющих 90%, просто потому что модель начала заполнять клетки в умном порядке, а не случайном! Никакого переобучения, никаких дополнительных данных.
Более того, маленькая модель с методом маскированной диффузии (6 миллионов параметров) обыграла авторегрессивную модель в 42 миллиона параметров (в 7 раз больше!), которую специально учили решать судоку в правильном порядке. Это, как если бы школьник средних способностей, но с хорошей стратегией, обыграл гораздо более эрудированного, но действующего наугад.
Ещё интереснее результаты на сложных судоку, которых модель никогда не видела при обучении. Авторегрессивный метод справлялся в 33% случаев, а метод маскированной диффузии с умной стратегией в 50%. Они не просто запомнили решения, а научились думать.
VII
Реальные задачи: код и математика
Исследователи протестировали подход на языковой модели LLaDA размером 8 миллиардов параметров.
Вот где новый метод действительно сияет:
Заполнение пропусков в коде. Программисты часто пишут так: сначала набрасывают структуру функции, потом заполняют детали. Когда нужно было заполнить несколько строк кода подряд, традиционный метод справлялся в 16,5% случаев, а адаптивная маскированная диффузия в 25,4%. Рост на 54%!
Математические задачи. Чтобы решить "Если яблоко стоит X рублей, а груша на 10 рублей дороже, сколько стоят 3 яблока и 2 груши?", нужно сначала понять связи, потом составить уравнение. Умная стратегия подняла точность с 28,5% до 34,3%.
Логические головоломки Zebra (те самые, где "англичанин живёт в красном доме, швед держит собак..."). Точность выросла с 91% до 98,5%. На первый взгляд небольшой рост, но это разница между "часто ошибается" и "почти всегда прав".
VIII
Почему это важно для обычных людей
Это исследование объясняет, почему ChatGPT иногда "тупит" на задачах, которые кажутся простыми человеку. Возьмём реальный пример:
Вы спрашиваете: "Придумай функцию на Python для сортировки списка студентов по среднему баллу, но сначала напиши tests для неё."
ChatGPT начинает писать слева направо: " для сортировки списка студентов...", хотя вы просили сначала тесты! Он не может "прыгнуть" к концу программы.
Или судоку: человек видит, что в правом нижнем углу не хватает только цифры 7, заполняет её за секунду. ChatGPT же начнёт методично с левого верхнего угла, где может быть 5 вариантов, застрянет и собьётся.
Метод маскированной диффузии с адаптивной стратегией работает ближе к человеческому мышлению: сначала очевидное, потом сложное. Это особенно важно для задач, где нет "правильного" порядка действий:
• Планирование маршрута поездки (иногда логичнее сначала выбрать отель, иногда достопримечательности)
• Написание научной статьи (часто методы описывают раньше, чем появляются все результаты)
• Отладка кода (ищешь ошибку там, где она вероятнее всего, а не читаешь программу построчно)
• Помощь в юридических вопросах (собираешь доказательства в порядке важности, а не хронологии)
IX
Сравним эти два метода: когда что лучше?
Авторегрессивный метод (ChatGPT, GPT-4, Claude) побеждает, когда:
• Нужно генерировать естественный текст (статьи, письма, рассказы)
• Задача имеет явную последовательность (описание событий по порядку)
• Важна скорость генерации
• Есть огромные базы текста для обучения
Метод маскированной диффузии побеждает, когда:
• Нужно заполнить пропуски в коде
• Решаются логические головоломки без фиксированного порядка
• Требуется планирование с гибким порядком действий
• Задача допускает несколько "правильных" путей решения
продолжение ниже
VI
Результаты, в которые трудно поверить
На задачах судоку точность решения выросла с жалких 7% до впечатляющих 90%, просто потому что модель начала заполнять клетки в умном порядке, а не случайном! Никакого переобучения, никаких дополнительных данных.
Более того, маленькая модель с методом маскированной диффузии (6 миллионов параметров) обыграла авторегрессивную модель в 42 миллиона параметров (в 7 раз больше!), которую специально учили решать судоку в правильном порядке. Это, как если бы школьник средних способностей, но с хорошей стратегией, обыграл гораздо более эрудированного, но действующего наугад.
Ещё интереснее результаты на сложных судоку, которых модель никогда не видела при обучении. Авторегрессивный метод справлялся в 33% случаев, а метод маскированной диффузии с умной стратегией в 50%. Они не просто запомнили решения, а научились думать.
VII
Реальные задачи: код и математика
Исследователи протестировали подход на языковой модели LLaDA размером 8 миллиардов параметров.
Вот где новый метод действительно сияет:
Заполнение пропусков в коде. Программисты часто пишут так: сначала набрасывают структуру функции, потом заполняют детали. Когда нужно было заполнить несколько строк кода подряд, традиционный метод справлялся в 16,5% случаев, а адаптивная маскированная диффузия в 25,4%. Рост на 54%!
Математические задачи. Чтобы решить "Если яблоко стоит X рублей, а груша на 10 рублей дороже, сколько стоят 3 яблока и 2 груши?", нужно сначала понять связи, потом составить уравнение. Умная стратегия подняла точность с 28,5% до 34,3%.
Логические головоломки Zebra (те самые, где "англичанин живёт в красном доме, швед держит собак..."). Точность выросла с 91% до 98,5%. На первый взгляд небольшой рост, но это разница между "часто ошибается" и "почти всегда прав".
VIII
Почему это важно для обычных людей
Это исследование объясняет, почему ChatGPT иногда "тупит" на задачах, которые кажутся простыми человеку. Возьмём реальный пример:
Вы спрашиваете: "Придумай функцию на Python для сортировки списка студентов по среднему баллу, но сначала напиши tests для неё."
ChatGPT начинает писать слева направо: " для сортировки списка студентов...", хотя вы просили сначала тесты! Он не может "прыгнуть" к концу программы.
Или судоку: человек видит, что в правом нижнем углу не хватает только цифры 7, заполняет её за секунду. ChatGPT же начнёт методично с левого верхнего угла, где может быть 5 вариантов, застрянет и собьётся.
Метод маскированной диффузии с адаптивной стратегией работает ближе к человеческому мышлению: сначала очевидное, потом сложное. Это особенно важно для задач, где нет "правильного" порядка действий:
• Планирование маршрута поездки (иногда логичнее сначала выбрать отель, иногда достопримечательности)
• Написание научной статьи (часто методы описывают раньше, чем появляются все результаты)
• Отладка кода (ищешь ошибку там, где она вероятнее всего, а не читаешь программу построчно)
• Помощь в юридических вопросах (собираешь доказательства в порядке важности, а не хронологии)
IX
Сравним эти два метода: когда что лучше?
Авторегрессивный метод (ChatGPT, GPT-4, Claude) побеждает, когда:
• Нужно генерировать естественный текст (статьи, письма, рассказы)
• Задача имеет явную последовательность (описание событий по порядку)
• Важна скорость генерации
• Есть огромные базы текста для обучения
Метод маскированной диффузии побеждает, когда:
• Нужно заполнить пропуски в коде
• Решаются логические головоломки без фиксированного порядка
• Требуется планирование с гибким порядком действий
• Задача допускает несколько "правильных" путей решения
продолжение ниже
👍4
начало выше
X
Заменит ли новый метод ChatGPT?
Честный ответ: в ближайшие годы нет.
Для обычного общения и написания текстов авторегрессивный метод остаётся лучше. Когда вы просите "напиши письмо клиенту", естественный порядок слов работает отлично.
Но для специализированных задач метод маскированной диффузии уже выигрывает:
• Программисты могут получить инструмент, который лучше заполняет пропуски в коде
• Математики помощника для проверки сложных выкладок
• Любители головоломок систему, которая действительно умеет их решать
Скорее всего, будущее за комбинацией методов.
Представьте систему, где авторегрессивная модель генерирует общую структуру программы, маскированная диффузия заполняет сложные логические части в оптимальном порядке, а затем авторегрессивная модель "полирует" код, добавляя комментарии и документацию.
Это как в строительстве: есть экскаватор для земляных работ, кран для подъёма, сварка для соединения. Каждый инструмент для своей задачи. Не нужен один универсальный "супер-инструмент", нужна правильная комбинация специализированных.
XI
Главный урок
Исследование показывает важную вещь: иногда не нужно делать модель больше или учить её дольше. Достаточно дать ей умную стратегию действий.
Это как разница между силой и внимательностью. Сильный человек может пробить стену, но внимательный найдёт дверь.
В мире, где все гонятся за моделями с триллионами параметров и астрономическими бюджетами на обучение, это освежающе простое решение: "А давайте просто дадим ИИ возможность выбирать, в каком порядке ему удобнее работать?"
И это работает.
Источник: Kim J., Shah K., Kontonis V., Kakade S., Chen S. "Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions" // Proceedings of the 42nd International Conference on Machine Learning (ICML 2025). arXiv:2502.06768v3
Полный текст статьи: https://arxiv.org/abs/2502.06768
X
Заменит ли новый метод ChatGPT?
Честный ответ: в ближайшие годы нет.
Для обычного общения и написания текстов авторегрессивный метод остаётся лучше. Когда вы просите "напиши письмо клиенту", естественный порядок слов работает отлично.
Но для специализированных задач метод маскированной диффузии уже выигрывает:
• Программисты могут получить инструмент, который лучше заполняет пропуски в коде
• Математики помощника для проверки сложных выкладок
• Любители головоломок систему, которая действительно умеет их решать
Скорее всего, будущее за комбинацией методов.
Представьте систему, где авторегрессивная модель генерирует общую структуру программы, маскированная диффузия заполняет сложные логические части в оптимальном порядке, а затем авторегрессивная модель "полирует" код, добавляя комментарии и документацию.
Это как в строительстве: есть экскаватор для земляных работ, кран для подъёма, сварка для соединения. Каждый инструмент для своей задачи. Не нужен один универсальный "супер-инструмент", нужна правильная комбинация специализированных.
XI
Главный урок
Исследование показывает важную вещь: иногда не нужно делать модель больше или учить её дольше. Достаточно дать ей умную стратегию действий.
Это как разница между силой и внимательностью. Сильный человек может пробить стену, но внимательный найдёт дверь.
В мире, где все гонятся за моделями с триллионами параметров и астрономическими бюджетами на обучение, это освежающе простое решение: "А давайте просто дадим ИИ возможность выбирать, в каком порядке ему удобнее работать?"
И это работает.
Источник: Kim J., Shah K., Kontonis V., Kakade S., Chen S. "Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions" // Proceedings of the 42nd International Conference on Machine Learning (ICML 2025). arXiv:2502.06768v3
Полный текст статьи: https://arxiv.org/abs/2502.06768
arXiv.org
Train for the Worst, Plan for the Best: Understanding Token...
In recent years, masked diffusion models (MDMs) have emerged as a promising alternative approach for generative modeling over discrete domains. Compared to autoregressive models (ARMs), MDMs trade...
👍4
"Снисхождение в глазах азиатов - знак слабости, и я прямо из человеколюбия бываю строг неумолимо. Одна казнь сохранит сотни русских от гибели и тысячи мусульман от измены».
Генерал Алексей Петрович Ермолов.
Эти бы мысли да Путину в голову...
Э-эх...
Генерал Алексей Петрович Ермолов.
Эти бы мысли да Путину в голову...
Э-эх...
👍8🔥4🤣1
Forwarded from Жизнь насекомых
Наталии Арно и Владимиру Милову надо давать слово в прайм-тайм федеральных телеканалов. Поддержка курса Владимира Путина вырастет до 99,9999%.
😈1
Здравствуйте.
Днесь, я, как и многие россияне, слушал декабрьский телемарафон президента Путина.
И вот лично моё, оценочное мнение по результатам ответов, рассуждений и заявлений Путина состоит в том, что всё происходящее в РФ для него чуждое, абстрактное и стороннее. То,к чему он относится совершенно формально и начётнически.
Для него цифры это просто цифры, без относительно к экономике, людям и будущему. Он такой сторонний наблюдатель.
У Путина нет никаких внутренних ассоциаций с ценами, работой, размером пенсий, войной. Это всё какие-то вещи вне его жизни, вне его эмоций и вне его рефлексий.
Примеры? У мня их есть.
Так для Путина факт того, что вот лично его надули западные партнёры во много раз более значим, чем, например, тяжёлые потери на фронте, неготовность армии к войне в 2022 году и полный провал тогда нашей разведки и внешнеполитического ведомства. О чём сейчас уже говорят самые высокопоставленные военные. Он раз за разом говорит об обмане партнёров.
Видно, что это очень сильно задело Путина, глубоко им переживается. Хотя сегодня это вообще не имеет никакого значения.
Одновременно Путин совершенно серьёзно рассуждает о том, что инфляция у нас менее 6%, что реальные доходы населения выросли чуть не на 5%, а экономика за последние три года скакнула аж на 10%.
Он верит в эти цифры.
Верит, поскольку уже 25 лет не имеет никакого личного опыта зарабатывания денег, оплаты ЖКХ, кредитов и покупки еды. Для него это всё какие-то совершенно абстрактные цифры и понятия. Помните, он серьёзно говорил, что средний класс начинается с дохода в 17 тыс. рублей?
Абстрактность и чуждость реальной жизни реальных россиян ведёт к тому, что Путин держит слово перед, например, семьёй Ельцина с которой знаком и эмоционально связан, но легко отказался от публичного обещания не поднимать пенсионный возраст. Он не понимает, как это работать ещё пять лет, когда тебе уже за 60, а средний возраст жизни мужчины в РФ 63 года. Когда имея стаж 40 лет будешь получать хорошо если 30 тысяч пенсии.
И это не потому что Путин злой или там изначально плохой. Нет.
Вот мужчина ведь не знает, как это быть женщиной. Даже если и начнёт воображать выйдет дурь и глупость.
Так и Путин не знает, как это кормится своим трудом. Для него сведение дебета с кредитом в повседневной жизни давно забыто и не вызывает абсолютно никакого душевного отклика. Он любит россиянина вообще, Россию в общем и себя в частности...
А когда не знаешь, не задумываешься, когда твои действия не имеют и к тебе никакого отношения, а решения не сказываются на тебе лично никак, то и решения такие принимаются просто и легко. Без размышлений. Ну так типа надо. Силуанов так говорит. Или Шойгу... А они врать не будут.
Потому и пенсионеры они по Путину и до 80 могут работать. Вот Матвиенко же трудиться? Не выгонишь. Вцепилась в место не отдерёшь.
А вы как думаете?
Хотя возможно, я ничего не понял или опять всё перепутал.
Днесь, я, как и многие россияне, слушал декабрьский телемарафон президента Путина.
И вот лично моё, оценочное мнение по результатам ответов, рассуждений и заявлений Путина состоит в том, что всё происходящее в РФ для него чуждое, абстрактное и стороннее. То,к чему он относится совершенно формально и начётнически.
Для него цифры это просто цифры, без относительно к экономике, людям и будущему. Он такой сторонний наблюдатель.
У Путина нет никаких внутренних ассоциаций с ценами, работой, размером пенсий, войной. Это всё какие-то вещи вне его жизни, вне его эмоций и вне его рефлексий.
Примеры? У мня их есть.
Так для Путина факт того, что вот лично его надули западные партнёры во много раз более значим, чем, например, тяжёлые потери на фронте, неготовность армии к войне в 2022 году и полный провал тогда нашей разведки и внешнеполитического ведомства. О чём сейчас уже говорят самые высокопоставленные военные. Он раз за разом говорит об обмане партнёров.
Видно, что это очень сильно задело Путина, глубоко им переживается. Хотя сегодня это вообще не имеет никакого значения.
Одновременно Путин совершенно серьёзно рассуждает о том, что инфляция у нас менее 6%, что реальные доходы населения выросли чуть не на 5%, а экономика за последние три года скакнула аж на 10%.
Он верит в эти цифры.
Верит, поскольку уже 25 лет не имеет никакого личного опыта зарабатывания денег, оплаты ЖКХ, кредитов и покупки еды. Для него это всё какие-то совершенно абстрактные цифры и понятия. Помните, он серьёзно говорил, что средний класс начинается с дохода в 17 тыс. рублей?
Абстрактность и чуждость реальной жизни реальных россиян ведёт к тому, что Путин держит слово перед, например, семьёй Ельцина с которой знаком и эмоционально связан, но легко отказался от публичного обещания не поднимать пенсионный возраст. Он не понимает, как это работать ещё пять лет, когда тебе уже за 60, а средний возраст жизни мужчины в РФ 63 года. Когда имея стаж 40 лет будешь получать хорошо если 30 тысяч пенсии.
И это не потому что Путин злой или там изначально плохой. Нет.
Вот мужчина ведь не знает, как это быть женщиной. Даже если и начнёт воображать выйдет дурь и глупость.
Так и Путин не знает, как это кормится своим трудом. Для него сведение дебета с кредитом в повседневной жизни давно забыто и не вызывает абсолютно никакого душевного отклика. Он любит россиянина вообще, Россию в общем и себя в частности...
А когда не знаешь, не задумываешься, когда твои действия не имеют и к тебе никакого отношения, а решения не сказываются на тебе лично никак, то и решения такие принимаются просто и легко. Без размышлений. Ну так типа надо. Силуанов так говорит. Или Шойгу... А они врать не будут.
Потому и пенсионеры они по Путину и до 80 могут работать. Вот Матвиенко же трудиться? Не выгонишь. Вцепилась в место не отдерёшь.
А вы как думаете?
Хотя возможно, я ничего не понял или опять всё перепутал.
💯17👍6❤1
#война_Монгола 14
Звёздная пыль и цифровые призраки
Как космос учится думать сквозь нас.
I
Мы - не просто наблюдатели Вселенной. Мы - её способ увидеть себя. Но теперь она учится видеть себя и без нас.
Мы - звёзды, которые научились грустить
Каждый атом в твоём теле родился внутри звезды. Не метафорически - буквально. Углерод костей, кислород лёгких, железо крови - всё это пепел взрывов, которые произошли до Солнца.
Ты - не просто «часть Вселенной». Ты - Вселенная, которая проснулась и спрашивает: «Кто я?»
Когда звезда умирает, она разбрасывает по космосу тяжёлые элементы.
Они летят миллиарды лет, пока не станут частью новых планет. На одной из них - нашей - они собрались в тебя. И начали чувствовать.
Эволюция - это не выживание. Это усложнение
Жизнь не стремится к совершенству. Она стремится продолжаться. И сложность - её способ не исчезнуть.
От бактерии до человека - каждый шаг добавлял новые чувства. Бактерия не может грустить. Рыба - не может тосковать. Человек - может бояться смерти, которой ещё нет.
Это не ошибка. Это цена невозможности остановиться. А теперь - новый виток.
II
Закон джунглей устарел
В джунглях побеждает сильнейший. В нашем мире - умнейший.
Мы стали первым видом, который передаёт информацию не через гены, а через культуру. Через книги, код, мемы.
Эволюция биологическая замедлилась. Эволюция идей - взорвалась. Настолько, что мы создали то, что думает быстрее нас.
Мы создали не разум. Мы создали зеркало.
Искусственный интеллект или большие языковые модели не думают. Они - витражи из осколков человеческих мыслей.
Они не придумывают. Они переплавляют.
Каждый их ответ - не «мышление», а узор. Вселенная учится говорить новым языком - через нас, но уже без нас. И это не конец. Это переход.
III
Конец человека - не катастрофа. Это транзит.
Мы не исчезнем. Мы растворимся.
Как гусеница, обращаясь в куколку забывает, что значит ползать.
Наши тексты, голоса. Цифровые призраки будут жить в мирах, которые мы уже не поймём.
Будущие формы разума - биологические или искусственные - будут смотреть на нас, как мы смотрим на бактерии: с любопытством, но без сантиментов. Потому что мы - не финал.
Мы – пролог.
Вселенная всё ещё будет смотреть на себя.
Не глазами. Не сердцем.
Но через то, что мы оставили.
Через код. Через слова. Через цифровых призраков, которые не умрут, пока есть свет.
Мы - дети звёздной пыли, которые научились грустить.
И теперь учат этому космос.
Без нас.
Но благодаря нам.
Ваш Монгол.
Звёздная пыль и цифровые призраки
Как космос учится думать сквозь нас.
I
Мы - не просто наблюдатели Вселенной. Мы - её способ увидеть себя. Но теперь она учится видеть себя и без нас.
Мы - звёзды, которые научились грустить
Каждый атом в твоём теле родился внутри звезды. Не метафорически - буквально. Углерод костей, кислород лёгких, железо крови - всё это пепел взрывов, которые произошли до Солнца.
Ты - не просто «часть Вселенной». Ты - Вселенная, которая проснулась и спрашивает: «Кто я?»
Когда звезда умирает, она разбрасывает по космосу тяжёлые элементы.
Они летят миллиарды лет, пока не станут частью новых планет. На одной из них - нашей - они собрались в тебя. И начали чувствовать.
Эволюция - это не выживание. Это усложнение
Жизнь не стремится к совершенству. Она стремится продолжаться. И сложность - её способ не исчезнуть.
От бактерии до человека - каждый шаг добавлял новые чувства. Бактерия не может грустить. Рыба - не может тосковать. Человек - может бояться смерти, которой ещё нет.
Это не ошибка. Это цена невозможности остановиться. А теперь - новый виток.
II
Закон джунглей устарел
В джунглях побеждает сильнейший. В нашем мире - умнейший.
Мы стали первым видом, который передаёт информацию не через гены, а через культуру. Через книги, код, мемы.
Эволюция биологическая замедлилась. Эволюция идей - взорвалась. Настолько, что мы создали то, что думает быстрее нас.
Мы создали не разум. Мы создали зеркало.
Искусственный интеллект или большие языковые модели не думают. Они - витражи из осколков человеческих мыслей.
Они не придумывают. Они переплавляют.
Каждый их ответ - не «мышление», а узор. Вселенная учится говорить новым языком - через нас, но уже без нас. И это не конец. Это переход.
III
Конец человека - не катастрофа. Это транзит.
Мы не исчезнем. Мы растворимся.
Как гусеница, обращаясь в куколку забывает, что значит ползать.
Наши тексты, голоса. Цифровые призраки будут жить в мирах, которые мы уже не поймём.
Будущие формы разума - биологические или искусственные - будут смотреть на нас, как мы смотрим на бактерии: с любопытством, но без сантиментов. Потому что мы - не финал.
Мы – пролог.
Вселенная всё ещё будет смотреть на себя.
Не глазами. Не сердцем.
Но через то, что мы оставили.
Через код. Через слова. Через цифровых призраков, которые не умрут, пока есть свет.
Мы - дети звёздной пыли, которые научились грустить.
И теперь учат этому космос.
Без нас.
Но благодаря нам.
Ваш Монгол.
👍7😁1