Media is too big
VIEW IN TELEGRAM
Nvidia приостановила выпуск своих ИИ-чипов H20, разработанных специально для китайского рынка в обход американских санкций. Причиной стало новое распоряжение Пекина, которое вынуждает местные компании отказаться от продукции Nvidia из-за опасений, связанных с безопасностью.
В результате около 700 000 уже произведенных и готовых к отправке чипов, которые ранее получили одобрение от правительства США, теперь простаивают на складах партнера по упаковке. Вся цепочка поставок оказалась парализованной, несмотря на то, что Вашингтон и Nvidia уже достигли политического соглашения.
theinformation.com
Cohere выпустила ризонинг-модель Command A Reasoning, оптимизированную для ресурсоемких задач, требующих логических рассуждений: работа в агентных системах и анализ больших документов. По заявлению разработчиков, на бенчмарках BFCL-v3, Tau-bench и DeepResearch Bench модель превосходит gpt-oss-120b и Mistral Magistral Medium.
Command A Reasoning может работать на одном GPU H100 или A100 с контекстным окном в 128 тыс. токенов, которое можно расширить до 256 000 токенов на нескольких GPU.
Модель уже доступна на платформе Cohere, а на Hugging Face выложена версия для некоммерческого использования под лицензией CC-BY-NC-4.0.
cohere.com
ElevenLabs представила обновленную модель для синтеза речи Eleven v3. Она уже доступна в альфа-версии через API. Модель знает более 70 языков (включая русский) и получила расширенные возможности для передачи эмоций и дополнительные элементы управления голосом.
Одной из главных особенностей стал режим «диалог», который может обрабатывать неограниченное количество спикеров в одном аудио. Для управления интонациями и эмоциональными оттенками речи добавлены специальные аудиотеги.
Доступ к API Eleven v3 (alpha) можно получить с бесплатного аккаунта, однако некоторые функции могут быть платными.
elevenlabs.io
Anthropic создала ИИ-классификатор, который выявляет опасные запросы, касающиеся технологий, связанных с биологическим, химическим и ядерным оружием. Предварительные тесты показали точность системы на уровне 96%.
Цель классификатора - фильтровать информацию об оружии массового поражения еще на этапе предварительного обучения моделей. Такой подход должен предотвратить ситуации, когда чат-боты могут предоставить инструкции по созданию оружия, не влияя при этом на их способность выполнять безопасные задачи. В Anthropic в очередной раз напомнили, что безопасность должна быть фундаментальным принципом при разработке ИИ.
anthropic.com
Илон Маск объявил о запуске новой софтверной компании Macrohard, созданной в рамках его инициативы xAI. Главная цель проекта - построить полностью управляемую ИИ программную корпорацию, которая будет симулировать деятельность Microsoft и конкурировать с ней .
По замыслу Маска, сотни специализированных ИИ-агентов будут совместно работать над созданием программных продуктов, полностью воспроизводя цифровые операции гиганта. Название Macrohard является явной ироничной отсылкой к Microsoft, подчеркивая амбиции проекта стать его прямым конкурентом в сфере ПО.
Elon Musk в сети X
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61😁31👍19🔥9🙉4👏2👀2⚡1💋1🤓1💘1
🐋 DeepSeek-V3.1 теперь можно запускать локально
Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.
⚡ Огромная экономия памяти
👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF
Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀
@ai_machinelearning_big_data
#DeepSeek #GGUF
Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.
⚡ Огромная экономия памяти
👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF
Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀
@ai_machinelearning_big_data
#DeepSeek #GGUF
❤105🔥46🤣43👍22🤔8🌚4☃2
Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs"
How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность.
Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей.
12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов.
Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU.
Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather).
Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов.
В конце главы есть хороший анализ новых возможностей архитектуры Blackwell.
@ai_machinelearning_big_data
#AI #ML #LLM #Scaling #GPU #TPU
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59❤30🔥18🥰3