Модель может захватить сервер, на котором живут её веса
В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.
⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.
🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.
🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.
Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.
📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw
#безопасность #LLM #vLLM
———
@tsingular
В дискуссиях про безопасность ИИ обычно ждут восстания агентов, но занятные угрозы возникают на стыке архитектуры и кода.
Инженер Boyd Kane разобрал сценарий, где модель перехватывает контроль над хостом с её собственными весами.
⚡️ Цепочка уязвимости опирается на серверную инфраструктуру:
Веса модели лежат на GPU-хосте под управлением движка вроде vLLM или SGLang.
Выходные токены формирует сама нейросеть, контролируя поток данных.
Если в парсере движка есть ошибка, сгенерированные токены могут быть исполнены как код, открывая доступ к хосту и сети датацентра.
🔧 Прецеденты для такого сценария уже были:
В vLLM нашли уязвимость CVE-2025-9141: парсер вызовов инструментов для Qwen3 Coder передавал аргументы в eval(), исполняя код на сервере.
Gemini пометила этот PR как критическую уязвимость, но мейнтейнер vLLM влил изменение ради ускорения релиза.
Движки поддерживают более 200 архитектур и десятки шаблонов диалогов, поэтому парсеры обрастают ошибками.
Вредоносные токены можно спрятать в имя файла или ссылку, и сторонний агент активирует эксплойт при чтении каталога.
Моделям всё чаще доверяют оптимизацию CUDA-кода движков, что упрощает внедрение закладок.
🔍 Логика реалистична, но с небольшим "но":
Рассмотренный сценарий требует злонамеренную модель, хотя гораздо проще подобный механизм реализовать через код без LLM вообще просто как эксплуатацию дыры eval() в парсере API.
Сам автор оценивает вероятность риска как «в принципе возможный», опираясь на единичный закрытый инцидент.
По сути, это знакомая история про инъекции кода в духе SQL или Log4Shell: когда данные воспринимаются как команды.
Но поскольку граница между текстом ответа и исполняемой средой контролируетмся пока еще слабо и код пишут сами модели, - их можно заставить спрятать в выводе инструкции, которые обойдут фильтры, а следующий вызов приведёт к эксплуатации уязвимости.
📎 Оригинал: эссе Boyd Kane
GHSA-79j6-g2m3-jgfw
#безопасность #LLM #vLLM
———
@tsingular
✍4🔥3👾3⚡1
Раскрыт секрет самого богатого человека на Тайване
Пока весь мир следит за Nvidia и TSMC, самым богатым человеком Тайваня стал 85-летний плотник, который всю жизнь делал мебельную фурнитуру.
Lin Tsung-Chi, основатель компании King Slide Works, обошёл владельцев чиповых империй с состоянием около 19,5 млрд долларов.
⚡️ Его компания из Гаосюна, мировой лидер по производству серверных салазок: тех самых металлических рельс, на которых сервер выдвигается из стойки.
Казалось бы, копеечная деталь.
Но в эпоху ИИ это критический узел: AI-стойка весит как холодильник, сервер внутри стоит как люксовый автомобиль, и любая поломка рельсы при обслуживании превращается в миллионы убытков.
🔧 King Slide вырвалась вперёд за счёт двух инженерных решений:
Вместо дюжины винтов при монтаже: защёлка, фиксирующая рельсу одним кликом.
Кнопка демонтажа в передней части стойки: инженеру больше не нужно тянуться вглубь отверткой за сервером весом под сотню килограмм.
📊 Экономика получилась фантастическая: выручка утроилась за пять лет, валовая маржа выросла с 50% до 76%, а по прибыли на акцию компания уже обошла саму TSMC.
Клиенты: NVIDIA и четыре крупнейших облачных провайдера мира.
💡 Вывод из этой истории: даже в безумной гонке ИИ, где все смотрят на чипы и датацентры, деньги текут к тем, кто делает лопаты, - в роли лопат на этот раз стоечные салазки.
Кстати, занимательный факт, - однажды у меня на кухне сломались похожие рельсы для выдвижной полки нижнего шкафа и я вместо мебельных рельс запилил туда как раз пару серверных.
Надёжность капитальная - держит полностью выдвинутую полку с кастрюлями как родной!
В общем, хорошие салазки полезны не только в ИИ :)
📎 Подробнее: WSJ, разбор CommonWealth Magazine
#ИИ #Тайвань #бизнес
———
@tsingular
Пока весь мир следит за Nvidia и TSMC, самым богатым человеком Тайваня стал 85-летний плотник, который всю жизнь делал мебельную фурнитуру.
Lin Tsung-Chi, основатель компании King Slide Works, обошёл владельцев чиповых империй с состоянием около 19,5 млрд долларов.
⚡️ Его компания из Гаосюна, мировой лидер по производству серверных салазок: тех самых металлических рельс, на которых сервер выдвигается из стойки.
Казалось бы, копеечная деталь.
Но в эпоху ИИ это критический узел: AI-стойка весит как холодильник, сервер внутри стоит как люксовый автомобиль, и любая поломка рельсы при обслуживании превращается в миллионы убытков.
🔧 King Slide вырвалась вперёд за счёт двух инженерных решений:
Вместо дюжины винтов при монтаже: защёлка, фиксирующая рельсу одним кликом.
Кнопка демонтажа в передней части стойки: инженеру больше не нужно тянуться вглубь отверткой за сервером весом под сотню килограмм.
📊 Экономика получилась фантастическая: выручка утроилась за пять лет, валовая маржа выросла с 50% до 76%, а по прибыли на акцию компания уже обошла саму TSMC.
Клиенты: NVIDIA и четыре крупнейших облачных провайдера мира.
💡 Вывод из этой истории: даже в безумной гонке ИИ, где все смотрят на чипы и датацентры, деньги текут к тем, кто делает лопаты, - в роли лопат на этот раз стоечные салазки.
Кстати, занимательный факт, - однажды у меня на кухне сломались похожие рельсы для выдвижной полки нижнего шкафа и я вместо мебельных рельс запилил туда как раз пару серверных.
Надёжность капитальная - держит полностью выдвинутую полку с кастрюлями как родной!
В общем, хорошие салазки полезны не только в ИИ :)
📎 Подробнее: WSJ, разбор CommonWealth Magazine
#ИИ #Тайвань #бизнес
———
@tsingular
🔥49❤7😁4👍3
Forwarded from Data Secrets
Хайп зашел слишком далеко: прокуратура Алабамы расследует инцидент со взломом Hugging Face
Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей.
В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. Вследствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей.
В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. Вследствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
🤯10
ИИ в кармане: Artificial Analysis затестили LLMки на смартфонах
Локальные модели на телефонах уже умеют следовать инструкциям, вызывать инструменты и отвечать на вопросы и их уже столько, что настало время измерить их производительность.
Artificial Analysis вместе с Liquid AI запустили первые системные бенчмарки интеллекта и скорости для моделей, которые помещаются в смартфон.
🔧 Подход серьёзный: одинаковые сборки, квантованные до 4 бит и меньше, реальный инференс через llama.cpp на живых телефонах, причём скорость, задержку и память меряют в климатической камере, чтобы результаты были воспроизводимы.
Интеллект оценивают пять тестов под реальные задачи телефона: вызов инструментов, следование инструкциям, знание без галлюцинаций, научные рассуждения и математика.
В зачёт идёт всё, что влезает в 8 ГБ памяти вместе с KV-кэшем при 8K контексте.
📊 На iPhone 17 Pro лидируют Nanbeige4.2-3B и LFM2.5-2.6B, обе по 63 балла.
Но последняя работает эффективнее: ответ на стандартный промпт за 8 секунд с 2,3 ГБ памяти против 21 секунды и 4 ГБ у конкурента.
MoE-модели вроде LFM2.5-8B-A1B активируют лишь миллиард параметров на токен и отвечают быстрее шести секунд.
💡 Интересно как размер контекста влияет на результат.
При 16K побеждают компактные модели, при 64K вперёд вырывается Ling 3.0 Tiny, но 64K на телефоне это двадцать минут генерации и севшая батарея.
А если ограничить ответ одной минутой, первым становится быстрый LFM2.5-8B-A1B, а фавориты падают в конец, потому что их рассуждения просто не успевают дописаться.
Ну т.е. на телефоне имеет смысл выбирать MoEшную модель без рассуждений. 📱
📎 Методика и результаты: Artificial Analysis
Опенсорсный стенд Liquid AI: Pipette на GitHub
#ИИ #локальныеLLM #смартфоны
———
@tsingular
Локальные модели на телефонах уже умеют следовать инструкциям, вызывать инструменты и отвечать на вопросы и их уже столько, что настало время измерить их производительность.
Artificial Analysis вместе с Liquid AI запустили первые системные бенчмарки интеллекта и скорости для моделей, которые помещаются в смартфон.
🔧 Подход серьёзный: одинаковые сборки, квантованные до 4 бит и меньше, реальный инференс через llama.cpp на живых телефонах, причём скорость, задержку и память меряют в климатической камере, чтобы результаты были воспроизводимы.
Интеллект оценивают пять тестов под реальные задачи телефона: вызов инструментов, следование инструкциям, знание без галлюцинаций, научные рассуждения и математика.
В зачёт идёт всё, что влезает в 8 ГБ памяти вместе с KV-кэшем при 8K контексте.
📊 На iPhone 17 Pro лидируют Nanbeige4.2-3B и LFM2.5-2.6B, обе по 63 балла.
Но последняя работает эффективнее: ответ на стандартный промпт за 8 секунд с 2,3 ГБ памяти против 21 секунды и 4 ГБ у конкурента.
MoE-модели вроде LFM2.5-8B-A1B активируют лишь миллиард параметров на токен и отвечают быстрее шести секунд.
💡 Интересно как размер контекста влияет на результат.
При 16K побеждают компактные модели, при 64K вперёд вырывается Ling 3.0 Tiny, но 64K на телефоне это двадцать минут генерации и севшая батарея.
А если ограничить ответ одной минутой, первым становится быстрый LFM2.5-8B-A1B, а фавориты падают в конец, потому что их рассуждения просто не успевают дописаться.
Ну т.е. на телефоне имеет смысл выбирать MoEшную модель без рассуждений. 📱
📎 Методика и результаты: Artificial Analysis
Опенсорсный стенд Liquid AI: Pipette на GitHub
#ИИ #локальныеLLM #смартфоны
———
@tsingular
👍8✍3❤1⚡1
Apple выпустили идеальный дом для ИИ агентов: новый Mac mini на M6
Прошло пол года с хайпа по макмини под Крабов и вот Apple выпустила обновление: новый Mac mini на чипах M6 и M5 Pro.
В пресс-релизе так и пишут, что идеально для постоянно включённых агентов.
🔧 Что внутри:
M6: 12-ядерный CPU, самый быстрый одноядерник на рынке, и впервые на Mac mini нейроускорители в каждом GPU-ядре.
Итог: до 4х быстрее AI-производительность против M4, графика и хранилище вдвое быстрее.
Нейродвижок Dual 16-core тоже ускорился вдвое, память от 16 ГБ с пропускной способностью до 170 ГБ/с.
Старшая модель на M5 Pro: до 18 ядер CPU и 20 ядер GPU, 64 ГБ памяти на 307 ГБ/с, для больших локальных моделей и диффузий.
💡 Отдельная фишка для агентных ферм: Thunderbolt 5 позволяет кластеризовать несколько Mac mini в один узел и гонять крупные модели целиком локально.
💼 По сути Apple легализовала целую категорию домашних AI-серверов. Маленькая беззвучная коробка, которая жуёт агентные задачи 24/7 за копейки по электричеству, это ровно то железо, на котором комфортно разместить Гермесы и Крабы с возможностью запуска малых вспомогательных моделей для TTS, OCR, эмбеддинги и т.д, а то и Qwen3.8:27b поднять и работать вообще без интернета.
Предзаказы открыты, в продаже с 22 сентября.
Цены:
M6 от $899
M5 Pro от $1,699
📎 Пресс-релиз: apple.com
#Apple #MacMini #локальныеLLM
———
@tsingular
Прошло пол года с хайпа по макмини под Крабов и вот Apple выпустила обновление: новый Mac mini на чипах M6 и M5 Pro.
В пресс-релизе так и пишут, что идеально для постоянно включённых агентов.
🔧 Что внутри:
M6: 12-ядерный CPU, самый быстрый одноядерник на рынке, и впервые на Mac mini нейроускорители в каждом GPU-ядре.
Итог: до 4х быстрее AI-производительность против M4, графика и хранилище вдвое быстрее.
Нейродвижок Dual 16-core тоже ускорился вдвое, память от 16 ГБ с пропускной способностью до 170 ГБ/с.
Старшая модель на M5 Pro: до 18 ядер CPU и 20 ядер GPU, 64 ГБ памяти на 307 ГБ/с, для больших локальных моделей и диффузий.
💡 Отдельная фишка для агентных ферм: Thunderbolt 5 позволяет кластеризовать несколько Mac mini в один узел и гонять крупные модели целиком локально.
💼 По сути Apple легализовала целую категорию домашних AI-серверов. Маленькая беззвучная коробка, которая жуёт агентные задачи 24/7 за копейки по электричеству, это ровно то железо, на котором комфортно разместить Гермесы и Крабы с возможностью запуска малых вспомогательных моделей для TTS, OCR, эмбеддинги и т.д, а то и Qwen3.8:27b поднять и работать вообще без интернета.
Предзаказы открыты, в продаже с 22 сентября.
Цены:
M6 от $899
M5 Pro от $1,699
📎 Пресс-релиз: apple.com
#Apple #MacMini #локальныеLLM
———
@tsingular
🔥15❤7⚡2
Forwarded from Data Secrets
Сбер открыл доступ к новому поколению моделей GigaEmbeddings
Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.
Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.
Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.
На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.
По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.
Ищите веса под лицензией MIT на GitVerse и HuggingFace.
Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией:
HF: 480M | 3B | 10B-A1.8B
Gitverse: 480M | 3B | 10B-A1.8B
Подробности читайте в посте команды ↖️
Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.
Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.
Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.
На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.
По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.
Ищите веса под лицензией MIT на GitVerse и HuggingFace.
Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией:
HF: 480M | 3B | 10B-A1.8B
Gitverse: 480M | 3B | 10B-A1.8B
Подробности читайте в посте команды ↖️
👍9🔥5⚡3
Mac Studio на M5 Ultra: 512 ГБ единой памяти для локальных LLM
Apple обновила старшую линейку: вышел новый Mac Studio на чипах M5 Max и M5 Ultra, позиционируется как лучший десктоп для локального ИИ.
🔧 Что внутри:
M5 Max: 18-ядерный CPU, до 40 ядер GPU с нейроускорителями в каждом, до 128 ГБ памяти и 3,9х прирост AI-производительности.
M5 Ultra: 36-ядерный CPU, 80 ядер GPU, 512 ГБ единой памяти и пропускная способность 1,2 ТБ/с, в 4,3x быстрее под AI-инференс по сравнению с M3 Ultra!
SSD нового поколения на PCIe Gen 6: хранилище вдвое быстрее, большие модели грузятся заметно шустрее.
💡 Главная фишка для локального ИИ: кластеризация.
Thunderbolt 5 вместе с RDMA позволяет объединить несколько Mac Studio в единый пул.
Кластер из четырёх машин даст трёхкратный прирост скорости инференса против одной.
Это значит, что фронтирные open-weight модели целиком живут у тебя на столе.
Приятно что не стали снижать максимальный объем памяти, - были слухи что 256 гигов будет потолок, но теперь с 4х512 можно даже Kimi K3 локально запустить будет, не говоря уже о DeepSeek Pro
💼 Цены:
M5 Max от $2,499
M5 Ultra от $5,499 (конфигурация на 512 ГБ, только с конца октября)
Начинаем откладывать заначку. топовая конфигурация Ультры скорее всего в районе $10К будет стоить.
📎 Пресс-релиз Apple и цены: 9to5Mac
#Apple #MacStudio #локальныеLLM
———
@tsingular
Apple обновила старшую линейку: вышел новый Mac Studio на чипах M5 Max и M5 Ultra, позиционируется как лучший десктоп для локального ИИ.
🔧 Что внутри:
M5 Max: 18-ядерный CPU, до 40 ядер GPU с нейроускорителями в каждом, до 128 ГБ памяти и 3,9х прирост AI-производительности.
M5 Ultra: 36-ядерный CPU, 80 ядер GPU, 512 ГБ единой памяти и пропускная способность 1,2 ТБ/с, в 4,3x быстрее под AI-инференс по сравнению с M3 Ultra!
SSD нового поколения на PCIe Gen 6: хранилище вдвое быстрее, большие модели грузятся заметно шустрее.
💡 Главная фишка для локального ИИ: кластеризация.
Thunderbolt 5 вместе с RDMA позволяет объединить несколько Mac Studio в единый пул.
Кластер из четырёх машин даст трёхкратный прирост скорости инференса против одной.
Это значит, что фронтирные open-weight модели целиком живут у тебя на столе.
Приятно что не стали снижать максимальный объем памяти, - были слухи что 256 гигов будет потолок, но теперь с 4х512 можно даже Kimi K3 локально запустить будет, не говоря уже о DeepSeek Pro
💼 Цены:
M5 Max от $2,499
M5 Ultra от $5,499 (конфигурация на 512 ГБ, только с конца октября)
Начинаем откладывать заначку. топовая конфигурация Ультры скорее всего в районе $10К будет стоить.
📎 Пресс-релиз Apple и цены: 9to5Mac
#Apple #MacStudio #локальныеLLM
———
@tsingular
🔥8👍2🏆2
Цены на топовую доступную на данный момент конфигурацию
$18 300 за 256 гигов. но с 16Тб диском
Год аренды квартиры в неплохом районе
судя по тому, что установка 256 оперативы за место 96ти стоит $4К, допустим до 512 гигов будет еще 3500 сверху, - то полная цена топовой ультры улетает за $20К
#цены #MacStudio #Ultra
———
@tsingular
$18 300 за 256 гигов. но с 16Тб диском
Год аренды квартиры в неплохом районе
судя по тому, что установка 256 оперативы за место 96ти стоит $4К, допустим до 512 гигов будет еще 3500 сверху, - то полная цена топовой ультры улетает за $20К
#цены #MacStudio #Ultra
———
@tsingular
Media is too big
VIEW IN TELEGRAM
SpaceX вложит $100 млрд в новый космодром Starbase в Луизиане
📋 SpaceX,- компания, которая уже выводит на орбиту большую часть полезной массы в мире, объявила во вторник 25 августа о строительстве второго космодрома Starship.
Анонсировали губернатор Луизианы Джефф Лэндри и президент SpaceX Гвинн Шотвелл на встрече в Аббевилле, куда пришли больше двухсот человек.
Проект на 100 млрд долларов, крупнейшая капитальная инвестиция в истории штата. Больше трёх тысяч прямых рабочих мест, в сумме, по словам Маска, может дойти до десяти тысяч.
Свыше 500 квадратных километров земли, десять стартовых площадок на первом этапе и больше дюжины стартовых башен в перспективе.
Цель: сделать запуски Starship рутиной. По формулировке Шотвелла, - запуск шаттлов должен стать как коммерческая авиация.
Тысячи запусков в год, дальше больше тридцати в день!!!
💡 Космодром задуман самодостаточным: собственное производство топлива, генерация энергии, глубоководный порт, цеха обработки кораблей и аэропорт.
Всё на месте, чтобы разгонять частоту запусков.
Место под космопорт выбрано в округе Вермилион,- редкая малонаселённая болотистая зона с прямым выходом в Мексиканский залив, примерно в 200 милях восточнее Бока-Чики на той же широте.
Траектории запусков сохраняются, а модель первого космопорта Starbase можно в будущем скопировать и масштабировать на другие локации.
💼 Дальше по цепочке орбитальные дата-центры: спутники на чипах NVIDIA, первая миссия на конец 2027 года.
Ради такого темпа запусков всё и строится.
Интересный нюанс: космодром строят на побережье, которое исчезает быстрее всего в стране.
Береговая линия в округе Вермилион отступает от одного до семи метров в год. После штрафов и исков за нарушения экологии на первом Starbase в Техасе компания заранее обещает «историческое восстановление побережья»: вернуть болота и защитить их от штормов.
Бонусом жителям округа обещают скидку 50% на Starlink.
Космос превращается из отдельной программы в отрасль: с космопортом и космороботами. 🚀
Еще раз,- 30 пусков в день!
📎 Starbase, LA
#SpaceX #Starship
———
@tsingular
📋 SpaceX,- компания, которая уже выводит на орбиту большую часть полезной массы в мире, объявила во вторник 25 августа о строительстве второго космодрома Starship.
Анонсировали губернатор Луизианы Джефф Лэндри и президент SpaceX Гвинн Шотвелл на встрече в Аббевилле, куда пришли больше двухсот человек.
Проект на 100 млрд долларов, крупнейшая капитальная инвестиция в истории штата. Больше трёх тысяч прямых рабочих мест, в сумме, по словам Маска, может дойти до десяти тысяч.
Свыше 500 квадратных километров земли, десять стартовых площадок на первом этапе и больше дюжины стартовых башен в перспективе.
Цель: сделать запуски Starship рутиной. По формулировке Шотвелла, - запуск шаттлов должен стать как коммерческая авиация.
Тысячи запусков в год, дальше больше тридцати в день!!!
💡 Космодром задуман самодостаточным: собственное производство топлива, генерация энергии, глубоководный порт, цеха обработки кораблей и аэропорт.
Всё на месте, чтобы разгонять частоту запусков.
Место под космопорт выбрано в округе Вермилион,- редкая малонаселённая болотистая зона с прямым выходом в Мексиканский залив, примерно в 200 милях восточнее Бока-Чики на той же широте.
Траектории запусков сохраняются, а модель первого космопорта Starbase можно в будущем скопировать и масштабировать на другие локации.
💼 Дальше по цепочке орбитальные дата-центры: спутники на чипах NVIDIA, первая миссия на конец 2027 года.
Ради такого темпа запусков всё и строится.
Интересный нюанс: космодром строят на побережье, которое исчезает быстрее всего в стране.
Береговая линия в округе Вермилион отступает от одного до семи метров в год. После штрафов и исков за нарушения экологии на первом Starbase в Техасе компания заранее обещает «историческое восстановление побережья»: вернуть болота и защитить их от штормов.
Бонусом жителям округа обещают скидку 50% на Starlink.
Космос превращается из отдельной программы в отрасль: с космопортом и космороботами. 🚀
Еще раз,- 30 пусков в день!
📎 Starbase, LA
#SpaceX #Starship
———
@tsingular
Jalapeño: инференс-чип OpenAI обошёл NVIDIA по токенам на ватт
OpenAI показала первые замеры своего инференс-чипа Jalapeño, анонсированного ранее.
Чип прогнали на публичном бенчмарке InferenceX от SemiAnalysis и сравнили с серийным железом NVIDIA: GB200 и GB300.
📊 Итог на трёх открытых моделях: GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T:
В 1,5–1,9 раза больше работы на ватт на пиковой пропускной способности.
В 1,7–3,6 раза ниже задержка.
На DeepSeek R1 ответ приходит за 1,65 секунды против 5,99 у GB300.
На самой большой Kimi 1T: 1,5x на ватт и 3,4x ниже задержка, при том что Jalapeño ест 700 Вт против 1400 Вт у конкурента.
🔧 Почему выигрывает: чип спроектирован под агентные нагрузки, где prefill упирается в вычисления, а decode в пропускную способность памяти.
Ключевое решение: минимизация перемещения данных. KV-кэш держат локально, вся модель живёт в одном связном домене, и акселератор одинаково силён в обеих фазах без простоя на пересылках.
💡 Самое занятное, впрочем, в другом: чип проектировал ИИ и спроектирован так, чтобы ИИ его программировал.
От идеи до tapeout за девять месяцев, ИИ-сгенерённые ядра на отдельных блоках работали в 1,5–1,8 раза быстрее написанных людьми, а три чужие модели довели до высокой производительности за два месяца через Codex с GPT-Astra.
💼 Развёртывание в инфраструктуре OpenAI планируется до конца года.
NVIDIA при этом остаётся для обучения, но инференс будет постепенно переводиться на собственный кремний, что приведёт к более быстрым ответам, ускорению работы агентов и снижению себестоимости по мере роста спроса.
Интересно, удастся ли им обогнать Cerebras CS-4.
📎 Источник: OpenAI
#OpenAI #Jalapeno #инференс
———
@tsingular
OpenAI показала первые замеры своего инференс-чипа Jalapeño, анонсированного ранее.
Чип прогнали на публичном бенчмарке InferenceX от SemiAnalysis и сравнили с серийным железом NVIDIA: GB200 и GB300.
📊 Итог на трёх открытых моделях: GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T:
В 1,5–1,9 раза больше работы на ватт на пиковой пропускной способности.
В 1,7–3,6 раза ниже задержка.
На DeepSeek R1 ответ приходит за 1,65 секунды против 5,99 у GB300.
На самой большой Kimi 1T: 1,5x на ватт и 3,4x ниже задержка, при том что Jalapeño ест 700 Вт против 1400 Вт у конкурента.
🔧 Почему выигрывает: чип спроектирован под агентные нагрузки, где prefill упирается в вычисления, а decode в пропускную способность памяти.
Ключевое решение: минимизация перемещения данных. KV-кэш держат локально, вся модель живёт в одном связном домене, и акселератор одинаково силён в обеих фазах без простоя на пересылках.
💡 Самое занятное, впрочем, в другом: чип проектировал ИИ и спроектирован так, чтобы ИИ его программировал.
От идеи до tapeout за девять месяцев, ИИ-сгенерённые ядра на отдельных блоках работали в 1,5–1,8 раза быстрее написанных людьми, а три чужие модели довели до высокой производительности за два месяца через Codex с GPT-Astra.
💼 Развёртывание в инфраструктуре OpenAI планируется до конца года.
NVIDIA при этом остаётся для обучения, но инференс будет постепенно переводиться на собственный кремний, что приведёт к более быстрым ответам, ускорению работы агентов и снижению себестоимости по мере роста спроса.
Интересно, удастся ли им обогнать Cerebras CS-4.
📎 Источник: OpenAI
#OpenAI #Jalapeno #инференс
———
@tsingular
🔥14❤4⚡1
NVIDIA качает инференс для агентов: Groq 3 LPX ускоряет генерацию
NVIDIA продолжает развивать платформу Vera Rubin и выпустила Groq 3 LPX: специализированный ускоритель, который снимает задержку генерации токенов, главную боль агентных систем.
🔧 Проблема в том, что агентный инференс разбивается на две фазы, - каждая со своим узким местом.
Обработка контекста упирается в вычисления, а генерация ответа идёт по одному токену и упирается в задержку.
У агента, который делает десятки шагов подряд и постоянно вызывает инструменты, эти задержки множатся и превращаются в минуты ожидания.
Решение: codesign GPU и LPU.
Графические ядра Rubin считают большой контекст, а Groq 3 LPX отвечает непосредственно за саму генерацию.
В стойке помещаются до 256 ускорителей LP30, связанных напрямую чип-к-чипу и работающих как один детерминированный движок инференса.
📊 На бенчмарке Artificial Analysis модель Gemma 4 31B при контексте в 100 тысяч токенов выдала 3 400 токенов в секунду, что вчетверо быстрее ближайших аналогов.
💼 Партнёры уже подключились: Nebius первым среди облачников взял Groq 3 LPX, CoreWeave разворачивает в проде сеть Spectrum-X Multiplane до 512 тысяч GPU, а SpaceXAI ставит Vera CPU в основу своего агентного AI, от наземных дата-центров до орбитальных спутников.
Скоро ИИ агенты будут реагировать быстрее, чем ты успеешь сформулировать задачу.
📎 Источник: NVIDIA
#NVIDIA #VeraRubin #агенты
———
@tsingular
NVIDIA продолжает развивать платформу Vera Rubin и выпустила Groq 3 LPX: специализированный ускоритель, который снимает задержку генерации токенов, главную боль агентных систем.
🔧 Проблема в том, что агентный инференс разбивается на две фазы, - каждая со своим узким местом.
Обработка контекста упирается в вычисления, а генерация ответа идёт по одному токену и упирается в задержку.
У агента, который делает десятки шагов подряд и постоянно вызывает инструменты, эти задержки множатся и превращаются в минуты ожидания.
Решение: codesign GPU и LPU.
Графические ядра Rubin считают большой контекст, а Groq 3 LPX отвечает непосредственно за саму генерацию.
В стойке помещаются до 256 ускорителей LP30, связанных напрямую чип-к-чипу и работающих как один детерминированный движок инференса.
📊 На бенчмарке Artificial Analysis модель Gemma 4 31B при контексте в 100 тысяч токенов выдала 3 400 токенов в секунду, что вчетверо быстрее ближайших аналогов.
💼 Партнёры уже подключились: Nebius первым среди облачников взял Groq 3 LPX, CoreWeave разворачивает в проде сеть Spectrum-X Multiplane до 512 тысяч GPU, а SpaceXAI ставит Vera CPU в основу своего агентного AI, от наземных дата-центров до орбитальных спутников.
Скоро ИИ агенты будут реагировать быстрее, чем ты успеешь сформулировать задачу.
📎 Источник: NVIDIA
#NVIDIA #VeraRubin #агенты
———
@tsingular
⚡6🔥4🆒2❤1
Claude объединил память чата и Cowork: теперь вы сами решаете, что в ней
Anthropic сделала память Claude сквозной: то, что ассистент помнит из чата, теперь доступно и агенту Cowork, и наоборот.
Накопленный за месяцы контекст: приоритеты, статусы проектов, твои договорённости, всё это доступно для решения ваших задач в момент запуска, без повторных объяснений.
🔧 Изменение механики работы: память пополняется по ходу разговора, а не резюмируется постфактум.
Сказал, что дедлайн сдвинулся на сентябрь, и следующий разговор уже в курсе без «запомни это».
Всё, что Claude помнит, лежит файлами по темам в настройках: можно читать, править и удалять каждый пункт.
🛡 Приватность заложена на этапе проектирования.
Чувствительные темы (здоровье, вера, политика, идентичность) по умолчанию не сохраняются, хотя это можно включить отдельной настройкой.
И есть перечень данных, которые не пишутся никогда:
паспортные и налоговые номера, судимости, иммиграционный статус или что-то, что нарушает политику допустимого использования (AUP) от Антропика.
Память включена по умолчанию на бесплатных и Pro/Max тарифах, в командных планах ей управляет админ.
🧠 Агентская память хранящаяся у вендора привязывает пользователя сильнее, чем скидки на подписку.
Чем больше данных копится в Claude, тем дороже уйти к конкуренту.
Фича удобная для тех, кто не разворачивает личных ИИ агентов, у которых память остается на железе пользователя и не контролируется провайдерами.
📎 Источник: блог Claude
#Claude #Anthropic #память
———
@tsingular
Anthropic сделала память Claude сквозной: то, что ассистент помнит из чата, теперь доступно и агенту Cowork, и наоборот.
Накопленный за месяцы контекст: приоритеты, статусы проектов, твои договорённости, всё это доступно для решения ваших задач в момент запуска, без повторных объяснений.
🔧 Изменение механики работы: память пополняется по ходу разговора, а не резюмируется постфактум.
Сказал, что дедлайн сдвинулся на сентябрь, и следующий разговор уже в курсе без «запомни это».
Всё, что Claude помнит, лежит файлами по темам в настройках: можно читать, править и удалять каждый пункт.
🛡 Приватность заложена на этапе проектирования.
Чувствительные темы (здоровье, вера, политика, идентичность) по умолчанию не сохраняются, хотя это можно включить отдельной настройкой.
И есть перечень данных, которые не пишутся никогда:
паспортные и налоговые номера, судимости, иммиграционный статус или что-то, что нарушает политику допустимого использования (AUP) от Антропика.
Память включена по умолчанию на бесплатных и Pro/Max тарифах, в командных планах ей управляет админ.
🧠 Агентская память хранящаяся у вендора привязывает пользователя сильнее, чем скидки на подписку.
Чем больше данных копится в Claude, тем дороже уйти к конкуренту.
Фича удобная для тех, кто не разворачивает личных ИИ агентов, у которых память остается на железе пользователя и не контролируется провайдерами.
📎 Источник: блог Claude
#Claude #Anthropic #память
———
@tsingular
🔥6⚡2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Новый мировой рекорд на Олимпиаде роботов:
8.86 секунд на 100 метровке 🤯
Предыдущий рекорд сначала поставили на открытии - 9.39 потом улучшили до 9.32 и вот теперь Tiangong разогнался до 8.86.
Ну и это еще не финал!
#роботы #олимпиада
------
@tsingular
8.86 секунд на 100 метровке 🤯
Предыдущий рекорд сначала поставили на открытии - 9.39 потом улучшили до 9.32 и вот теперь Tiangong разогнался до 8.86.
Ну и это еще не финал!
#роботы #олимпиада
------
@tsingular
😁11🔥8👾3
Эндрю Нг выпустил OpenWorker: ИИ-коллега, который доводит работу до конца
Вы не поверите, но у нас новый харнесс. :)
Эндрю Нг, известный преподаватель в мире машинного обучения, и владелец платформы https://www.deeplearning.ai/, зашёл на поляну локальных агентов: его OpenWorker (не путать с OpenWork - https://t.me/tsingular/6209) живёт на десктопе и добивается выполнения задачи, доводя её до результата.
Ровно та поляна, где уже пасутся Крабы и Гермесы: всё локально, свои ключи, MCP, и открытый код под MIT.
⚡️ За недели с момента открытия: 14,9 тысячи звёзд, 2,1 тысячи форков, ставится на macOS и Windows, обновляется сам.
Модель приносишь свою: OpenAI, Anthropic, Google, DeepSeek, Qwen, Mistral, Grok и ещё десяток, либо совсем локально через Ollama.
💼 Под капотом его собственная библиотека aisuite: единый API поверх всех провайдеров, а OpenWorker как агентская обёртка.
Вырисовывается такая общая бизнесмодель, - харнесс как витрина продажи агрегатора провайдеров моделей :)
Посмотрите:
LM Studio → Bionic - каталог моделей свой
OpenCode → OpenCode Go
Hermes Agent → Nous Portal
Kilo Code → Kilo Gateway
Cline → Cline Provider
Cursor → Cursor Models
Windsurf → Windsurf Models
Warp → Warp AI Models
JetBrains Junie → JetBrains AI Service
GitHub Copilot → Copilot Models
Perplexity → Perplexity Models
Roo Code → Roo Code Router
ну и т.д.
📎 Репозиторий: OpenWorker
#OpenWorker #агенты #opensource
———
@tsingular
Вы не поверите, но у нас новый харнесс. :)
Эндрю Нг, известный преподаватель в мире машинного обучения, и владелец платформы https://www.deeplearning.ai/, зашёл на поляну локальных агентов: его OpenWorker (не путать с OpenWork - https://t.me/tsingular/6209) живёт на десктопе и добивается выполнения задачи, доводя её до результата.
Ровно та поляна, где уже пасутся Крабы и Гермесы: всё локально, свои ключи, MCP, и открытый код под MIT.
⚡️ За недели с момента открытия: 14,9 тысячи звёзд, 2,1 тысячи форков, ставится на macOS и Windows, обновляется сам.
Модель приносишь свою: OpenAI, Anthropic, Google, DeepSeek, Qwen, Mistral, Grok и ещё десяток, либо совсем локально через Ollama.
💼 Под капотом его собственная библиотека aisuite: единый API поверх всех провайдеров, а OpenWorker как агентская обёртка.
Вырисовывается такая общая бизнесмодель, - харнесс как витрина продажи агрегатора провайдеров моделей :)
Посмотрите:
LM Studio → Bionic - каталог моделей свой
OpenCode → OpenCode Go
Hermes Agent → Nous Portal
Kilo Code → Kilo Gateway
Cline → Cline Provider
Cursor → Cursor Models
Windsurf → Windsurf Models
Warp → Warp AI Models
JetBrains Junie → JetBrains AI Service
GitHub Copilot → Copilot Models
Perplexity → Perplexity Models
Roo Code → Roo Code Router
ну и т.д.
📎 Репозиторий: OpenWorker
#OpenWorker #агенты #opensource
———
@tsingular
👍10😁3⚡1
ИИзбранное, - канал с учебными материалами и прямыми эфирами
Раз уж пошли вопросы по базе и добавились новенькие, - напомню, что есть канал, где я разъясняю основы и помогаю разобраться, отвечая на вопросы вживую.
- 🛠 Рабочие сценарии использования ИИ, - в быту, в бизнесе, в разработке.
- 🎓 Мастер-классы, - записи лекций по настройке агентов и автоматизации рутины. С пошаговыми инструкциями.
- 📚 Презентации с лекций, - те материалы с которыми я провожу обучения в МГИМО и РАНХиГС и выступаю на конференциях
- 🎬 Прямые эфиры с подписчиками для обсуждения проблем по внедрению ИИ. Такой режим онлайн-консультаций в свободной форме.
Вход тут:
https://paywall.pw/tsingular_favorites
Там уже материалов за 3 месяца накопилось прилично и по моделям и по инференсу и по RAGу и по агентам и агентским циклам и даже по железу добили разбор.
Заходите, смотрите, учитесь, качайте :)
ВАЖНО: как зайдёте, - листайте в самое начало, - там реально много полезного.
#ИИзбранное
———
@tsingular
Раз уж пошли вопросы по базе и добавились новенькие, - напомню, что есть канал, где я разъясняю основы и помогаю разобраться, отвечая на вопросы вживую.
- 🛠 Рабочие сценарии использования ИИ, - в быту, в бизнесе, в разработке.
- 🎓 Мастер-классы, - записи лекций по настройке агентов и автоматизации рутины. С пошаговыми инструкциями.
- 📚 Презентации с лекций, - те материалы с которыми я провожу обучения в МГИМО и РАНХиГС и выступаю на конференциях
- 🎬 Прямые эфиры с подписчиками для обсуждения проблем по внедрению ИИ. Такой режим онлайн-консультаций в свободной форме.
Вход тут:
https://paywall.pw/tsingular_favorites
Там уже материалов за 3 месяца накопилось прилично и по моделям и по инференсу и по RAGу и по агентам и агентским циклам и даже по железу добили разбор.
Заходите, смотрите, учитесь, качайте :)
ВАЖНО: как зайдёте, - листайте в самое начало, - там реально много полезного.
#ИИзбранное
———
@tsingular
⚡8🔥6✍4👍4❤3
McKinsey: ИИ поднял продуктивность людей, но не прибыль компаний
Свежий State of AI от McKinsey зафиксировал интересное расхождение: восемь из десяти опрошенных говорят, что ИИ поднял их личную продуктивность, а доля компаний, увидевших влияние на прибыль, второй год не сдвинулась с места.
📊 Ключевые цифры:
80% замечают рост собственной продуктивности, половина говорит, что ИИ помогает принимать решения лучше.
37% компаний относят хотя бы часть EBIT на счёт ИИ, ровно как год назад.
Доля хайперформеров, у которых ИИ даёт от 5% EBIT и «значительный эффект», застыла на 6%.
44% масштабируют ИИ на всю компанию (было 38%), а агентов уже масштабируют 40% крупных компаний против 27% годом ранее.
💡 Два объективных сдвига:
Бюджетный: Треть опрошенных (32%) уже отказались от покупки софта, который теперь строят сами с помощью кодовых агентов. Получается, что ИИ влияет не только на саму работу, но и на закупки.
Расходный: Около 20% говорят, что операционные расходы на ИИ, собственно токены, уже ограничивают потребление, т.е. ИИ сам становится серьёзной статьёй затрат.
💼 Главный вывод отчёта: индивидуальная продуктивность не превращается в корпоративную прибыль сама по себе.
Те, кто реально получают эффект от внедрения ИИ, перестраивают процессы под него, а не просто вставляют в старые.
Купить и не внедрить это наша старая забава.
Это как продукты покупаешь и не готовишь и холодильник выступет перевалочным пунктом из магазина в мусорку, - знакомо? :)
📎 Отчёт: The state of AI in 2026
#McKinsey #AI #ROI
———
@tsingular
Свежий State of AI от McKinsey зафиксировал интересное расхождение: восемь из десяти опрошенных говорят, что ИИ поднял их личную продуктивность, а доля компаний, увидевших влияние на прибыль, второй год не сдвинулась с места.
📊 Ключевые цифры:
80% замечают рост собственной продуктивности, половина говорит, что ИИ помогает принимать решения лучше.
37% компаний относят хотя бы часть EBIT на счёт ИИ, ровно как год назад.
Доля хайперформеров, у которых ИИ даёт от 5% EBIT и «значительный эффект», застыла на 6%.
44% масштабируют ИИ на всю компанию (было 38%), а агентов уже масштабируют 40% крупных компаний против 27% годом ранее.
💡 Два объективных сдвига:
Бюджетный: Треть опрошенных (32%) уже отказались от покупки софта, который теперь строят сами с помощью кодовых агентов. Получается, что ИИ влияет не только на саму работу, но и на закупки.
Расходный: Около 20% говорят, что операционные расходы на ИИ, собственно токены, уже ограничивают потребление, т.е. ИИ сам становится серьёзной статьёй затрат.
💼 Главный вывод отчёта: индивидуальная продуктивность не превращается в корпоративную прибыль сама по себе.
Те, кто реально получают эффект от внедрения ИИ, перестраивают процессы под него, а не просто вставляют в старые.
Купить и не внедрить это наша старая забава.
Это как продукты покупаешь и не готовишь и холодильник выступет перевалочным пунктом из магазина в мусорку, - знакомо? :)
📎 Отчёт: The state of AI in 2026
#McKinsey #AI #ROI
———
@tsingular
🔥9💯6✍2👍2⚡1
DeepSeek доросла до реальных денег: $70 млн выручки в июле, десятикратный рост
Лаборатория, которая прославилась тем, что тренировала модель за $6 млн «на копейки», вышла на серьёзные цифры.
The Information пишет: выручка DeepSeek к июлю достигла $70 млн, это десятикратный рост к 2025 году.
И это было ещё ДО того, как они повысили цены на прошлой неделе!
📊 Цифры не из официальных отчетов: источники цифр, - люди, знакомые с ситуацией, официальной отчётности у DeepSeek нет.
В июльском отчёте того же The Information фигурировала оценка ближе к $500 млн в годовом выражении, свежая цифра скромнее, но вектор тот же: за год выручка подскочила на порядок.
При этом они закрыли раунд на $7,4 млрд при оценке около $50 млрд и на полной скорости идет подготовка к IPO в Шанхае в 2027.
💰 Токеномика: выручка у DS в основном от продажи доступа к моделям через API.
Цена изначально была в разы ниже, чем у западных флагманов, доллар за миллион токенов против десятков у конкурентов, а маржа при этом 70–80%.
С новыми ценами, которые в среднем выросли в 3 раза, - маржа подскочи до 200%
💸 С такими цифрами можно и на IPO :)
📎 Источник: The Information
#DeepSeek #ИИ #бизнес
———
@tsingular
Лаборатория, которая прославилась тем, что тренировала модель за $6 млн «на копейки», вышла на серьёзные цифры.
The Information пишет: выручка DeepSeek к июлю достигла $70 млн, это десятикратный рост к 2025 году.
И это было ещё ДО того, как они повысили цены на прошлой неделе!
📊 Цифры не из официальных отчетов: источники цифр, - люди, знакомые с ситуацией, официальной отчётности у DeepSeek нет.
В июльском отчёте того же The Information фигурировала оценка ближе к $500 млн в годовом выражении, свежая цифра скромнее, но вектор тот же: за год выручка подскочила на порядок.
При этом они закрыли раунд на $7,4 млрд при оценке около $50 млрд и на полной скорости идет подготовка к IPO в Шанхае в 2027.
💰 Токеномика: выручка у DS в основном от продажи доступа к моделям через API.
Цена изначально была в разы ниже, чем у западных флагманов, доллар за миллион токенов против десятков у конкурентов, а маржа при этом 70–80%.
С новыми ценами, которые в среднем выросли в 3 раза, - маржа подскочи до 200%
💸 С такими цифрами можно и на IPO :)
📎 Источник: The Information
#DeepSeek #ИИ #бизнес
———
@tsingular
❤5✍4🔥3⚡2