Архитектура Qwen-4 уже почти здесь
Model Scope запустили отсчет до выхода Qwen3.8-Flash-Next. Ее релизнут ровно через сутки, и это будет первая модель, построенная на архитектуре следующего поколения, на которой будет также основан Qwen-4.
Пока деталей нет, пишут только, что изменения затронут внимание, residual-связи, эмбеддинг-слои и оптимизацию.
https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next/summary
Model Scope запустили отсчет до выхода Qwen3.8-Flash-Next. Ее релизнут ровно через сутки, и это будет первая модель, построенная на архитектуре следующего поколения, на которой будет также основан Qwen-4.
Пока деталей нет, пишут только, что изменения затронут внимание, residual-связи, эмбеддинг-слои и оптимизацию.
https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next/summary
🔥140❤35😍11🤔2👍1😁1🎉1💯1
Data Secrets
Новые замеры собственного чипа OpenAI
https://openai.com/index/jalapeno-first-results/
Заявляют, что Халапеньо превосходит Nvidia GB200 и GB300 по скорости и эффективности. Для высоко интерактивных нагрузок говорят о производительности в 2,1–4,1 раза выше.
Начать использовать планируют уже в конце 2026
https://openai.com/index/jalapeno-first-results/
Заявляют, что Халапеньо превосходит Nvidia GB200 и GB300 по скорости и эффективности. Для высоко интерактивных нагрузок говорят о производительности в 2,1–4,1 раза выше.
Начать использовать планируют уже в конце 2026
🤯98❤26⚡7🤩5
Нейросеть в роли ИБ-специалиста: GigaChat 3.5 Ultra успешно сдал профессиональный экзамен
Модель ответила на 250 вопросов итогового теста программы «Информационная безопасность», превысив проходной балл на 14%. Знания проверяли специалисты УЦ «Информзащита» и департамента кибербезопасности Сбербанка.
Нейросеть обучали на массиве из более чем 300 тыс. документов, среди которых:
• лучшие практики ИБ и законодательство
• описания уязвимостей
• тактики и техники кибератак
Такой уровень знаний делает GigaChat 3.5 Ultra инструментом для реальных сценариев. Бизнесу без штатного безопасника он послужит первой линией консультаций по защите данных + профильным специалистам поможет в подготовке документов и управлении инцидентами.
Модель ответила на 250 вопросов итогового теста программы «Информационная безопасность», превысив проходной балл на 14%. Знания проверяли специалисты УЦ «Информзащита» и департамента кибербезопасности Сбербанка.
Нейросеть обучали на массиве из более чем 300 тыс. документов, среди которых:
• лучшие практики ИБ и законодательство
• описания уязвимостей
• тактики и техники кибератак
Такой уровень знаний делает GigaChat 3.5 Ultra инструментом для реальных сценариев. Бизнесу без штатного безопасника он послужит первой линией консультаций по защите данных + профильным специалистам поможет в подготовке документов и управлении инцидентами.
😁165🗿33✍23🔥20
Apple выпустили M6 и M5 Ultra
Цены сильно выросли, но приросты в метриках есть.
M6 – базовый чип, 12-core CPU, 12-core GPU, сдвоенный 16-core Neural Engine, до 32 ГБ unified memory, до 170 ГБ/с bandwidth. По цифрам Apple до 4.8x быстрее prompt processing, чем на M4. При 32 ГБ комфортно живут модели 7B–14B, квантованные 27-32B (Gemma 3, Qwen) тоже влезают. Mac mini с M6 от $899.
M5 Pro (тоже в Mac mini, старшая конфигурация) – до 18-core CPU, 20-core GPU, до 64 ГБ памяти, 307 ГБ/с. Норм для квантованных 70B-моделей (Llama 3 70B в 4-bit – это ~40 ГБ). Цена от $1699.
M5 Ultra (Mac Studio) – уже совсем другая весовая категория: до 36-core CPU, 80-core GPU, до 512 ГБ памяти, 1.2 ТБ/с bandwidth. Позволяет держать в памяти хорошие крупные модели, включая тяжёлые MoE. От $5499, а топовая конфигурация – за $18 000.
Так что полноценные 70B locally все-таки пока не выйдет, если вы случайно не Скрудж Макдак
Цены сильно выросли, но приросты в метриках есть.
M6 – базовый чип, 12-core CPU, 12-core GPU, сдвоенный 16-core Neural Engine, до 32 ГБ unified memory, до 170 ГБ/с bandwidth. По цифрам Apple до 4.8x быстрее prompt processing, чем на M4. При 32 ГБ комфортно живут модели 7B–14B, квантованные 27-32B (Gemma 3, Qwen) тоже влезают. Mac mini с M6 от $899.
M5 Pro (тоже в Mac mini, старшая конфигурация) – до 18-core CPU, 20-core GPU, до 64 ГБ памяти, 307 ГБ/с. Норм для квантованных 70B-моделей (Llama 3 70B в 4-bit – это ~40 ГБ). Цена от $1699.
M5 Ultra (Mac Studio) – уже совсем другая весовая категория: до 36-core CPU, 80-core GPU, до 512 ГБ памяти, 1.2 ТБ/с bandwidth. Позволяет держать в памяти хорошие крупные модели, включая тяжёлые MoE. От $5499, а топовая конфигурация – за $18 000.
Так что полноценные 70B locally все-таки пока не выйдет, если вы случайно не Скрудж Макдак
😁84❤36🔥17👍11☃2😍2🍓2
This media is not supported in your browser
VIEW IN TELEGRAM
FigureAI собирают самый гигантский и разнообразный в мире датасет для обучения роботов
https://www.figure.ai/news/introducing-index
Оказывается, стартап 4 месяца в закрытом режиме тестировал приложение Index, через которое обычные люди записывают видео повседневных задач и получают за это деньги.
За это время компания заплатила пользователям уже 15 миллионов долларов, приложение скачали более 264 000 в 100+ странах. WAU – примерно 44к человек.
Собрано на данный момент более 15 миллионов роликов, каждую секунду приложение обрабатывает 30 минут видео. Это почти 5 лет человеческого труда в день. На этих данных уже обучают Helix, и в блоге написано, что разработчики «наблюдают существенные результаты в генерализации».
Figure заявляют, что планируют нарастить сбор еще в 100 раз и потратить >$1 млрд на данные и вычисления в следующем году. Масштаб!
Само приложение уже есть в AppStore и GooglePlay
https://www.figure.ai/news/introducing-index
Оказывается, стартап 4 месяца в закрытом режиме тестировал приложение Index, через которое обычные люди записывают видео повседневных задач и получают за это деньги.
За это время компания заплатила пользователям уже 15 миллионов долларов, приложение скачали более 264 000 в 100+ странах. WAU – примерно 44к человек.
Собрано на данный момент более 15 миллионов роликов, каждую секунду приложение обрабатывает 30 минут видео. Это почти 5 лет человеческого труда в день. На этих данных уже обучают Helix, и в блоге написано, что разработчики «наблюдают существенные результаты в генерализации».
Figure заявляют, что планируют нарастить сбор еще в 100 раз и потратить >$1 млрд на данные и вычисления в следующем году. Масштаб!
Само приложение уже есть в AppStore и GooglePlay
❤85👍28🤯17🔥8
Data Secrets
В OpenAI новая волна уходов. За последний месяц компанию покинули аж четыре очень заметных менеджера. — Хлоя Бакалар, отвечала за ИИ-этику. Проработала в стартапе всего год, но была единственным штатным специалистом по этике в компании, то есть занимала…
В OpenAI еще минус один
Глава подразделения дата-центров Крис Малон покинул стартап прямо перед IPO.
Итого с начала года свои должности покинули (это только руководители):
- Руководитель направления дата-центров
- Коммерческий директор
- Операционный директор
- Директор по коммуникациям
- Руководитель по робототехнике
- Директор по маркетингу
- Руководитель научного направления
- Руководитель Sora
- Технический директор B2B
- Генеральный директор по внедрению AGI
- Руководитель отдела оценки рисков
- Главный футуролог
- Руководитель отдела безопасности
- Ведущий специалист по этике ИИ (единственный в компании)
Глава подразделения дата-центров Крис Малон покинул стартап прямо перед IPO.
Итого с начала года свои должности покинули (это только руководители):
- Руководитель направления дата-центров
- Коммерческий директор
- Операционный директор
- Директор по коммуникациям
- Руководитель по робототехнике
- Директор по маркетингу
- Руководитель научного направления
- Руководитель Sora
- Технический директор B2B
- Генеральный директор по внедрению AGI
- Руководитель отдела оценки рисков
- Главный футуролог
- Руководитель отдела безопасности
- Ведущий специалист по этике ИИ (единственный в компании)
❗ Распространите ❗
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные.
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском. С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
➡️Ассистент автоматически маскирует чувствительные данные в запросах и проверяет их на соответствие политикам безопасности.
➡️Продукт можно интегрировать с корпоративными системами управления доступом и разграничить права пользователей при работе с информацией.
➡️Решение можно развернуть как в облаке Selectel, так и в вашем контуре – в этом случае Selectel предоставляет серверы с GPU в аренду на вашей площадке.
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами → https://slc.tl/afxmy
Реклама. АО "Селектел". erid:2W5zFJVvVVK
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные.
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском. С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
➡️Ассистент автоматически маскирует чувствительные данные в запросах и проверяет их на соответствие политикам безопасности.
➡️Продукт можно интегрировать с корпоративными системами управления доступом и разграничить права пользователей при работе с информацией.
➡️Решение можно развернуть как в облаке Selectel, так и в вашем контуре – в этом случае Selectel предоставляет серверы с GPU в аренду на вашей площадке.
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами → https://slc.tl/afxmy
Реклама. АО "Селектел". erid:2W5zFJVvVVK
😁142🗿74
Data Secrets
Архитектура Qwen-4 уже почти здесь Model Scope запустили отсчет до выхода Qwen3.8-Flash-Next. Ее релизнут ровно через сутки, и это будет первая модель, построенная на архитектуре следующего поколения, на которой будет также основан Qwen-4. Пока деталей…
Вышел Qwen-3.8 Flash-Next
Это MoE 125B + 51B N-gram таблица (но активных всего 6B), которая бьет Opus 4.6 Max на 8 из 9 бенчмарков!
Также превосходит Qwen3.8-27B и DeepSeek-V4-Flash. При этом обучение стоило в 9 раз дешевле, чем Qwen3.7-Plus.
Немного про архитектуру. Ключевых новшества всего четыре:
1. Те самые N-gram эмбеддинги aka дешевая память. Это таблица, которая индексируется не по одному токену, а по коротким последовательностям. Модель как бы запоминает типичные локальные комбинации токенов напрямую в виде векторов, а не выучивает их заново на каждом шаге. Потом происходит обычный lookup вместо матричного умножения, поэтому такие эмбеддинги почти не добавляют вычислений на токен, зато сильно увеличивают общую емкость модели.
2. Gated DeltaNet + Qwen Sparse Attention для скорости на длинных контекстах. Модель не запоминает весь контекст целиком, а выбирает небольшие релевантные блоки и работает только с ними. Gated DeltaNet – линейный механизм внимания с гейтами, которые как раз управляют тем, что модель запоминает, а что забывает. Результат: на 1М контекста prefill стал в 7.6 раз быстрее, а decode – в 4.9 раз.
3. Gated Residual connections. Обычные residual-связи просто прокидывают информацию между слоями, а здесь добавлены гейты, которые решают, сколько именно информации пропустить дальше.
4. Оптимизатор Muon вместо классического Adam. Как раз один из факторов, давших 9-кратную экономию на обучении.
В итоге обучение дешевле, параметров больше, а вычислений на токен меньше. Очередное достижение китайского опенсорса.
Модель | Репорт | Блог
Это MoE 125B + 51B N-gram таблица (но активных всего 6B), которая бьет Opus 4.6 Max на 8 из 9 бенчмарков!
Также превосходит Qwen3.8-27B и DeepSeek-V4-Flash. При этом обучение стоило в 9 раз дешевле, чем Qwen3.7-Plus.
Немного про архитектуру. Ключевых новшества всего четыре:
1. Те самые N-gram эмбеддинги aka дешевая память. Это таблица, которая индексируется не по одному токену, а по коротким последовательностям. Модель как бы запоминает типичные локальные комбинации токенов напрямую в виде векторов, а не выучивает их заново на каждом шаге. Потом происходит обычный lookup вместо матричного умножения, поэтому такие эмбеддинги почти не добавляют вычислений на токен, зато сильно увеличивают общую емкость модели.
2. Gated DeltaNet + Qwen Sparse Attention для скорости на длинных контекстах. Модель не запоминает весь контекст целиком, а выбирает небольшие релевантные блоки и работает только с ними. Gated DeltaNet – линейный механизм внимания с гейтами, которые как раз управляют тем, что модель запоминает, а что забывает. Результат: на 1М контекста prefill стал в 7.6 раз быстрее, а decode – в 4.9 раз.
3. Gated Residual connections. Обычные residual-связи просто прокидывают информацию между слоями, а здесь добавлены гейты, которые решают, сколько именно информации пропустить дальше.
4. Оптимизатор Muon вместо классического Adam. Как раз один из факторов, давших 9-кратную экономию на обучении.
В итоге обучение дешевле, параметров больше, а вычислений на токен меньше. Очередное достижение китайского опенсорса.
Модель | Репорт | Блог
❤119🔥66👍15😍5🤩3😎3😁1👌1🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
Вышло интервью с Тибо: главой Codex/ChatGPT в OpenAI
Это тот самый парень-инсайдер, который постоянно намекает в X на релизы и объявляет об обнулении лимитов. Возможно, по вырезке из интервью вы его не узнаете, но это он (жизнь в OpenAI немного помотала, и на свою аватарку из X инженер мало похож)😐
Он выдал мощное заявление: через 2-3 месяца текущий Codex будет казаться примитивным. Агенты на базе следующего поколения моделей OpenAI (Astra) перестанут работать локально, им потребуется облако, в котором будет запускаться гораздо больше параллельных процессов, чем сможет потянуть обычный ноутбук.
При этом скорость агентов существенно вырастет, и то, что сейчас мы называем Ultra Fast (750 токенов в секунду и больше), станет настройкой по умолчанию.
Кроме того, нас ждет еще более плотное слияние Codex и ChatGPT. Будущие модели будут работать из коробки на одном и том же харнессе для кодинга, рисерча, дизайна, поиска и пр. Так что конечная цель – это единое высоко персонализированное приложение Personal AGI, интерфейс которого будет меняться в зависимости от того, чем конкретно вы занимаетесь.
Полное интервью идет 45 минут, посмотреть можно здесь: https://youtu.be/4qjEgPojjzM
Это тот самый парень-инсайдер, который постоянно намекает в X на релизы и объявляет об обнулении лимитов. Возможно, по вырезке из интервью вы его не узнаете, но это он (жизнь в OpenAI немного помотала, и на свою аватарку из X инженер мало похож)
Он выдал мощное заявление: через 2-3 месяца текущий Codex будет казаться примитивным. Агенты на базе следующего поколения моделей OpenAI (Astra) перестанут работать локально, им потребуется облако, в котором будет запускаться гораздо больше параллельных процессов, чем сможет потянуть обычный ноутбук.
При этом скорость агентов существенно вырастет, и то, что сейчас мы называем Ultra Fast (750 токенов в секунду и больше), станет настройкой по умолчанию.
Кроме того, нас ждет еще более плотное слияние Codex и ChatGPT. Будущие модели будут работать из коробки на одном и том же харнессе для кодинга, рисерча, дизайна, поиска и пр. Так что конечная цель – это единое высоко персонализированное приложение Personal AGI, интерфейс которого будет меняться в зависимости от того, чем конкретно вы занимаетесь.
Полное интервью идет 45 минут, посмотреть можно здесь: https://youtu.be/4qjEgPojjzM
Please open Telegram to view this post
VIEW IN TELEGRAM
3
Data Secrets
На OpenRouter появилась таинственная модель Ox Alpha, которая превосходит Sol и Fable на кодинге https://openrouter.ai/stealth/ox-alpha Никто не знает, кто разработчик, моделька числится как stealth. Что известно: – Контекст 1М токенов. – Мультимодальная.…
Ox Alpha все-таки оказалась GLM-5.3-Flash: состоялся официальный релиз
Веса | Блог
Нативно мультимодальная, заточена под эффективный кодинг и длинные агентные задачи. Контекст 1М.
По метрикам уровень примерно Opus 4.8, кое-где даже лучше. Отличный скор на Automation Bench: 48.8 против 41 у того же Opus 4.8 и 37.2 у GPT-5.6 Terra. При этом это небольшая модель: 320B-A18B.
Модель доступна всем пользователям GLM Coding Plan + в API.
Цена сейчас: $0.075 за млн входных токенов, $0.25 за млн выходных (это со скидкой 50% на Open Router).
P.S. Интерсная деталь архитектуры – гибридное внимание. Z.ai объединили sparse + linear attention, чтобы удерживать точность на длинных контекстах без раздувания вычислительных затрат.
Веса | Блог
Нативно мультимодальная, заточена под эффективный кодинг и длинные агентные задачи. Контекст 1М.
По метрикам уровень примерно Opus 4.8, кое-где даже лучше. Отличный скор на Automation Bench: 48.8 против 41 у того же Opus 4.8 и 37.2 у GPT-5.6 Terra. При этом это небольшая модель: 320B-A18B.
Модель доступна всем пользователям GLM Coding Plan + в API.
Цена сейчас: $0.075 за млн входных токенов, $0.25 за млн выходных (это со скидкой 50% на Open Router).
P.S. Интерсная деталь архитектуры – гибридное внимание. Z.ai объединили sparse + linear attention, чтобы удерживать точность на длинных контекстах без раздувания вычислительных затрат.
👏38👍11❤9🔥2😁2🤨2😎2❤🔥1⚡1