Одно из лучших иллюстрированных объяснение внутренностей DeepSeek-R1.
▪ Читать
▪ https://pika.art/
Наивное квантование всех слоев полностью ломает модель, вызывая бесконечные циклы и тарабарщину на выходе. Их динамические кванты решают эту проблему.
1,58-битный квант помещается в 160 ГБ VRAM (2x H100 80 ГБ) для быстрого вывода со скоростью ~140 токенов/сек.
Изучив архитектуру DeepSeek-R1, разработчики выборочно квантовали определенные слои в более высокие биты (например, в 4-битные), а большинство слоев MoE оставили в 1,5 бита.
▪Бенчмарки + блог
▪GGUF (131-212 ГБ) на Hugging Face:
▪Код
▪Демо
▪Qwen-2.5-VL
▪Qwen-2.5-1M
Netflix выпустили новый алгоритм искажения шума для генерации видео, достаточно быстрый, чтобы работать в реальном времени, который заменяет случайную временную гауссиану на коррелированный искаженный шум, полученный из полей оптического потока, который сохраняет при этом пространственную гауссиану. Эффективность алгоритма позволяет тонко настраивать современные модели диффузии видео с минимальными расходами и предоставляет универсальное решение для широкого спектра управления движением на видео. Обширные эксперименты и исследования демонстрируют преимущества метода, делая его надежным и масштабируемым подходом для управления движением в диффузионных моделях видео.
▪HF
▪Github
▪ Github
@ai_machinelearning_big_data
#ai #ml #news #llm #deepseek #Netflix #Qwen #Pika #news #ainews
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Исследователи из Беркли воспроизвели Ahah-moment в задачах на обратный отсчет и умножение.
Благодаря RL их модель LM 3B самостоятельно развивает способности к самопроверке и поиску.ю правильного ответа.
▪ Github▪Полный лог эксперимента ▪Тред
1. OpenThoughts: 114 тыс датасет, полученный из R1 по математике, кодингу и другим наукам
2. R1-Distill-SFT: 1.7M, полученный из R1-32B на NuminaMath и Tulu data
lmmslab провели интересное исследование мультимодальной R1, используя математически-ориентированные обучающие примеры RL* и *натренированные модели GRPO*.
▪Github ▪Dataset ▪Wandb Logs
Этот новый флуоресцентный белок, похожий на белки, обнаруженные у медуз, может найти применение в медицине.
Он существует только в виде цифровой последовательности и существенно отличается от известных белков.
Исследователи из компании EvolutionaryScale опубликовали результаты, которые сейчас проходят рецензирование.
Новые методы белковой инженерии могут произвести революцию во многих областях, включая разработку новых лекарств.
Флуоресцентные белки, такие как esmGFP, уже используются в исследованиях для визуализации биологических процессов.
ИИ значительно ускоряет этот процесс и расширяет возможности модификации белков.
▪Подробнее
Официальный API DeepSeek сбоит уже почти сутки, так что многие пользователи ищут варианты.
▪Вот список открытых и не очень альтернатив.
Релиз кода для Stable Flow - метода, не требующего обучения, который позволяет выполняет различные типы операций по редактированию изображений (например, редактирование, добавление, замена объектов) с помощью моделей потока.
▪Github ▪Paper ▪Video
▪Установить ▪Github
@ai_machinelearning_big_data
#rl #ml #experiment #deepseek #reasoning #education #llm #news #ainews #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
В релиз добавлен ряд улучшений:
🔥 torch.compile теперь поддерживает Python 3.13
🔥 Новый torch.compiler.set_stance
🔥 Улучшения в AOTInductor
🔥 Поддержка FP16 на процессорах X86.
Сегодня утром был опубликован Международный отчет о безопасности искусственного интеллекта, и OpenAI поделилась предварительными результатами тестов o3.
«значительно более высокие показатели, чем у любой предыдущей модели, в ряде самых сложных тестов в области программирования, абстрактного мышления и научного мышления»
- LLama 4 и LLama 4 mini (на претренинге)
- Подтверждает ризонинг в LLaMa!
- Llama 4 будет изначально мультимодальной
- это омни-модель
- она будет иметь агентские возможности.
- 👓 — идеальный форм-фактор для ИИ
- строительство центра обработки данных размером с Манхэттен
Компания Wiz Research обнаружила «DeepLeak» — общедоступную базу данных ClickHouse, принадлежащую DeepSeek, которая раскрывает крайне конфиденциальную информацию, включая секретные ключи, текстовые сообщения чата, сведения о бэкэнде и журналы.
Codegen - это новый SDK к мощному многоязычному языковому серверу,
Который позволяет делать рефакторинг, применение паттернов, анализ целых проектов и т. д.
Несмотря на открытие завода в Аризоне, TSMC по-прежнему производит большую часть своих чипов на Тайване.
А поскольку чипы TSMC обычно отправляются в Китай и другие азиатские страны для сборки, прежде чем попасть в США, эти пошлины в случае их введения могут привести к росту стоимости такой электроники, как iPhone, игровые графические процессоры и ноутбуки.
- превосходит лучшие малые модели в задачах оценки на 11 бенчмарках
- превосходит GPT-4o в RewardBench и EvalBiasBench
- отлично работает в реальных приложениях
Коллекция записных книжек, демонстрирующих варианты использования Qwen2.5-VL, включая локальную модель и API. Примеры включают в себя использование вычислений, пространственное понимание, разбор документов, мобильный агент, распознавание текста, Универсальное распознавание, понимание видео.
@ai_machinelearning_big_data
#pytorch #pytorchrelease #opensource #LLama #LLama4 #openai #chatgpt #ai #news #ml #llm #ainews #LumaLabsAI #Microsoft #DeepSeek #qwen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Вводите промпт и ChatGPT найдет, проанализирует и синтезирует сотни онлайн-ресурсов, чтобы создать развернутый отчет за 10 минут работы, вместо нескольких часов, которые потребовались бы человеку.
Основные моменты:
— Уже доступен для пользователей Pro.
— Агент предоставит полный список источников, а также прокомментирует каждый из них;
— Хорошо подходит для решения задач, связанных с поиском в интернете.
— Набрал 26.6 % на «Последнем экзамене человечества».
ИИ превосходит существующие методы как по точности, так и по вычислительной эффективности, предлагая обновления прогнозов в реальном времени четыре раза в день через Google Cloud, BigQuery и Earth Engine.
Исследователи могут получить доступ как к текущим, так и к историческим прогнозам для анализа и планирования.
Внутри 2 мощных инструмента:
WeatherNext Graph:
- Формирует единый сверхточный прогноз.
- Обновления происходят каждые 6 часов.
- Предсказания делаются на 10 дней вперёд.
- Выдает прогнозы с максимальной точностью.
WeatherNext Gen:
- Генерирует ансамблевые прогнозы из 50 вероятных сценариев.
- Обновление прогноза происходит каждые 12 часов.
- Модель позволяет лучше оценивать риски экстремальных погодных явлений.
Преимущества над традиционными методами:
- Более высокая скорость обработки данных.
- Значительное повышение точности по сравнению с физическими моделями.
- Опенсорс
Внутри много интересного о DeepSeek, Китае, OpenAI, NVIDIA, xAI, Google, Anthropic, Meta, Microsoft, TSMC, Stargate, строительстве мегакластеров, RL, ризонинге и множестве других тем на передовых ИИ тематик.
Очень интересная и наполненная техническими деталями беседа.
- Новая модель: Qwen2.5-Plus теперь обновлен до qwen-plus-0125-exp, с новыми методами пост-тренинга. Разрыв с Qwen2.5-Max значительно сократился.
- Гибкие режимы: Убрали все ограничения на переключение между режимами в течение одной сессии! С.
- Неограниченный ввод: Поддержка текстов длиной более 10 000 символов
- Возможность загружайть файлы txt, pdf, docx, xlsx, pptx, md и другие. Теперь длинный ввод не требует усилий.
Резюме самых интересных открытий за первую неделю с момента появления DS.
Компания Reliance Group Мукеша Амбани, один из крупнейших и наиболее влиятельных индийских конгломератов, строит крупный центр обработки данных в Джамнагаре - небольшом городке в штате Гуджарат, где уже расположены крупные нефтеперерабатывающие и нефтехимические предприятия Reliance.
По сообщениям Bloomberg, общая мощность центра обработки данных, который может стать крупнейшим в мире, составит 3 гигаватта, что значительно увеличит текущую мощность индийских центров обработки данных, которая оценивается менее чем в 1 гигаватт.
Таким образом, он будет в пять раз больше, чем 600-мегаваттный центр Microsoft в Бойдтоне, штат Вирджиния.
Метахранилище - это высокомасштабируемый сервис метаданных во время выполнения, который работает с несколькими движками: BigQuery, Apache Spark, Apache Hive и Apache Flink, и поддерживает открытый формат таблиц Apache Iceberg
@ai_machinelearning_big_data
#DeepSeek #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #openai #google #deepmind #qwen #DataAnalytics #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Он уточнил, что среди инвесторов французских проектов в области ИИ будут компании из Объединенных Арабских Эмиратов, Соединенных Штатов, Канады и самой Франции.
Кроме того, Макрон подчеркнул намерение Парижа сотрудничать с Нью-Дели и Пекином для продвижения технологий искусственного интеллекта. «Мы стремимся к совместной работе с Индией», – сказал он, добавив, что Франция также намерена взаимодействовать с Китаем и Соединенными Штатами, однако не хочет зависеть ни от одной страны.
Относительно обсуждений о возможном запрете использования китайского чат-бота DeepSeek в некоторых странах, Макрон выразил мнение, что запрет технологических решений лишь на основании их происхождения является неоправданным шагом.
Новость
Видео
- Goku: генеративная модель видео на основе потоков.
- Goku+: Модель, которая позиционируется, как модель для генерации видеорекламы и обещает быть в 100 раз дешевле, чем традиционные методы создания видео-рекламы.
Аrxiv
С этим ноутбуком примерно за 2 часа можно обучить модель Qwen 0.5B на математическом наборе данных GSM8K, используя обучение с подкреплением!
Colab Demo
Проект предлагает платформу с готовыми моделями, наборами данных и инструментами для работы с робототехникой на базе PyTorch.
На данный момент доступны предварительно обученные модели, демонстрационные среды для симуляций, а также готовые скрипты для обучения и управления реальными роботами.
Также предоставляются рекомендации по ведению логов и оценке моделей, а также ссылки на исследовательские материалы и примеры кода для профилирования.
Github
Safe Superintellgence(SSI), основанная в июне 2024, еще ничего не выпускает и не зарабатывает, так как первым продуктом обещают сразу ни больше ни меньше — safe AGI.
А пока просто посмотрите на сайт компании, которая УЖЕ привлекла миллиард долларов и собирается привлечь еще. Сила имени.
ssi.inc.
@ai_machinelearning_big_data
#openai #deeplearning #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #qwen #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Исследователи из Оксфордского университета впервые продемонстрировали распределенные квантовые вычисления (DQC) между 2 модулями с захваченными ионами, соединенными оптической сетью. В эксперименте статьи, опубликованной в Nature, ученые использовали квантовую телепортацию для передачи управляемого гейта CZ между модулями с точностью 86%. Это достижение позволяет выполнять сложные квантовые алгоритмы, например алгоритм Гровера, с успешностью 71%.
Распределенная архитектура DQC позволит в будущем создавать крупномасштабные квантовые компьютеры, объединяя несколько модулей через квантовые и классические каналы связи.
independent.co.uk
Anthropic представила Экономический индекс, направленный на изучение влияния ИИ на рынок труда и экономику. Первый отчет основан на анализе миллионов анонимных диалогов с Claude. Согласно ему, ИИ чаще применяется для расширения человеческих возможностей (57%), чем для полной автоматизации задач (43%). Наибольшее внедрение ИИ наблюдается в сферах разработки ПО и написания технических статей, а в низкооплачиваемых и высокооплачиваемых профессиях его использование ограничено. Anthropic открывает доступ к данным индекса для дальнейших исследований.
anthropic.com
Компания активно работает над созданием собственного чипа, чтобы уменьшить зависимость от поставок Nvidia. Дизайн первого поколения чипа будет завершён в ближайшие месяцы, а его производство планируется на базе TSMC с использованием 3-нм технологии.
Команду разработчиков возглавляет Ричард Хо, ранее работавший в Google. Чип предназначен для обучения и запуска моделей ИИ, но изначально будет использоваться в ограниченных масштабах. Массовое производство планируется начать в 2026 году.
reuters.com
Library Innovation Lab (Гарвардский университет) запустила архив данных data.gov на платформе Source Cooperative. Коллекция объемом 16 ТБ включает более 311 000 наборов данных, собранных в 2024 и 2025 годах, и представляет собой полный архив федеральных публичных данных, связанных через data.gov. Архив будет ежедневно обновляться по мере добавления новых данных.
Этот проект является частью инициативы по сохранению важных публичных данных для академических исследований и общественного использования. Также опубликовано открытое ПО для создания подобных репозиториев. Проект поддерживается Filecoin Foundation и Rockefeller Brothers Fund.
lil.law.harvard.edu
Сообщество художников призывают аукционный дом Christie’s отменить продажу произведений искусства, созданных с помощью ИИ, утверждая, что технологии, стоящие за этими работами, совершают "массовую кражу". Аукцион Augmented Intelligence, который Christie’s называет первым крупным аукционом, посвящённым ИИ, включает 20 лотов с ценами от $10 000 до $250 000.
В открытом письме, которое подписало более 3000 человек, говорится, что многие работы созданы с использованием моделей ИИ, обученных на защищённых авторским правом произведениях без разрешения их авторов. Художники обвиняют создателей в эксплуатации их труда для коммерческих продуктов. Christie’s заявляет, что в большинстве случаев ИИ обучался на данных, предоставленных самими художниками.
theguardian.com
#ml #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Apple разрабатывает и запускает Apple Intelligence AI в Китае в партнерстве с Alibaba. Ранее компания тестировала различные модели ИИ от китайских разработчиков и выбрала Baidu в качестве основного партнера, но затем отказалась от этого соглашения из-за несоответствия стандартам Apple. Среди других рассматриваемых партнеров были Tencent, ByteDance и DeepSeek. Apple отказалась от сотрудничества с DeepSeek из-за недостатка опыта и персонала для поддержки компании масштаба Apple.
В последнем квартале продажи Apple в Китае упали на 11,1%, что является самым большим падением доходов с аналогичным кварталом 2024 года. Инструменты Apple Intelligence стимулируют спрос на устройства, но правительство Китая требует от от Apple сотрудничества с местными разработчиками.
theinformation.com
Сундар Пичаи заявил, что ИИ — технология, которая появляется раз в жизни, способная демократизировать доступ к информации в большей степени, чем интернет. Он отметил, что за 18 месяцев стоимость обработки одного токена снизилась на 97%. Google уже более 10 лет инвестирует в ИИ, чтобы систематизировать мировую информацию, делая ее доступной для всех.
Гендир Google рассказал о прогрессе в области квантовых вычислений и автономных автомобилей, расширении доступа к информации через возможности Google Translate, а AlphaFold уже используется 2,5 миллионами исследователей для создания вакцин против малярии, методов лечения рака и ферментов, перерабатывающих пластик.
В конце выступления, Сундар поделился планами об инвестициях 75 млрд. долл. в капитальные затраты в 2025 году и призвал к созданию глобальной политики, которая поддержит инновации и согласованность между странами в регулировании ИИ.
blog.google
IT-гигант планирует ускорить наем ML-инженеров в ближайшие недели, несмотря на сокращение 5% штата( это примерно 4000 рабочих мест). Компания начала уведомлять своих сотрудников о сокращении в США, Европе и Азии.
Марк Цукерберг заявил о намерении повысить требования к управлению производительностью и быстрее избавляться от низкоэффективных сотрудников. Его компания планирует провести собеседования в формате ML Batch Day с 11 февраля по 13 марта.
HR-департамент ищет сотрудников, имеющих опыт проведения собеседований, для помощи в проведении 420 собеседований с инженерами-программистами, 225 поведенческих собеседований и 50 собеседований по проектированию систем машинного обучения.
businessinsider.com
Подписчики One AI Premium получат доступ к NotebookLM Plus без дополнительной платы с повышенными лимитами использования и премиальные функции настройки ответов сервиса NotebookLM.
Сейчас Google предлагает One AI Premium за 19,99 долларов в месяц с 2 ТБ хранилища и доступом к Gemini Advanced и Gemini в приложениях Workspace (Gmail и Docs). Студенты старше 18 лет в США могут получить One AI Premium за 9,99 долларов в месяц в течение 1 года.
NotebookLM Plus имеет расширенные интерактивные функции: видео на YouTube в качестве источника и преобразование в подкаст с двумя AI-ведущими, с которыми также можно общаться.
theverge.com
ByteDance представила новые модели Goku, которые генерируют реалистичные видеоролики с участием людей, взаимодействующих с предметами. В отличие от других видеомоделей, Goku может создавать как статичные изображения, так и видео из текстовых описаний. По тестам ByteDance, Goku превосходит Kling и Pika в бенчмарках генерации изображений и видео.
Goku+, специальная версия, ориентирована на создание рекламного контента. ByteDance утверждает, что она сможет снизить затраты на продакшен видеорекламы на 99%. Компания планирует использовать TikTok для предоставления сервиса рекламодателям.
saiyan-world.github.io
@ai_machinelearning_big_data
#ainews #news #ml
Please open Telegram to view this post
VIEW IN TELEGRAM