DeNube: Революция в облачных GPU-вычислениях

Стартап DeNube запускает децентрализованную облачную GPU-сеть для AI-инфраструктуры нового поколения.
Платформа токенизирует простаивающие ресурсы дата-центров, делая их доступными для пользователей.
Ключевые преимущества: снижение затрат, масштабируемость и экологичность решения.
DeNube использует глобальную сеть независимых узлов для распределения вычислительной нагрузки.
Система обеспечивает доступ к GPU/CPU по требованию, без крупных предварительных инвестиций.

Похоже, майнеры нашли новое применение своим фермам. 🖥💨

#DeNube #decentralizedComputing #cloudGPU
-------
@tsingular

Сверхзвуковые LLM

Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B

Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.

Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?

Попробовать можно тут.

@ai_newz

GameNGen: Нейросетевой движок генерирует DOOM в реальном времени

Исследователи создали GameNGen - первый игровой движок на нейронной модели.
Система интерактивно симулирует DOOM со скоростью 20+ кадров в секунду на одном TPU.
Качество генерации сопоставимо с JPEG-сжатием (PSNR 29.4).
Архитектура включает RL-агента для игрового процесса и диффузионную модель для генерации кадров.
Применены техники стабилизации для длительной авторегрессивной генерации.
Люди с трудом отличают реальную игру от симуляции на коротких отрезках.

Скоро нейросети будут генерировать игры быстрее, чем мы успеем в них играть! 🎮🤖

Когда мощность чуть подтянут - можно будет генерить миры неотличимые от реального в реальном времени.

Wake up Neo! Matrix has you.

#GameNGen #DOOM #neuralrendering
-------
@tsingular

Утечки данных с LLM-сервисов

Исследование выявило сотни уязвимых серверов с LLM и векторными базами данных, раскрывающих конфиденциальную информацию в открытых сегментах интернета.

Компании, спеша внедрить ИИ, пренебрегают безопасностью.
В результате, например, обнаружены уязвимости в популярном инструменте Flowise (CVE-2024-31621) для создания LLM-приложений.

Выявлено 438 скомпрометированных сервера с доступом к токенам, ключам API и паролям.
Около 30 векторных баз оказались без аутентификации.

Утечки затрагивают личные, финансовые и медицинские данные.

В AI-first не забывайте по ИБ-first!
SDLC подход, ZeroTrust и вот это вот всё, чтобы не попасть в новости с тэгом #утечки

#LLM #Flowise #DataLeak
-------
@tsingular

NVIDIA улучшает Multi-LoRA в RTX AI Toolkit

NVIDIA интегрировала Multi-LoRA в RTX AI Toolkit, что позволяет одновременно использовать несколько дообученных моделей с одной базовой.
Технология увеличивает производительность до 6 раз, снижая требования к памяти и пропускной способности GPU.
Multi-LoRA дает возможность параллельно обрабатывать запросы с разными адаптерами, что идеально для приложений с несколькими вариантами использования.
Пример: генерация диалогов, сюжетов и изображений для игр одной моделью с различными настройками.
Это позволит разработчикам эффективнее применять ИИ-модели в своих рабочих процессах.

Теперь одна нейронка может отвечать от лица разных предобученных датасетов меняя их "на лету".
Удобно же ж. 🎭🎨🎵

#NVIDIA #RTXAIToolkit #MultiLoRA
-------
@tsingular

Google Gemini: персональные эксперты и улучшенная генерация изображений

Google анонсировал масштабное обновление Gemini, включающее две ключевые функции:
Custom Gems - инструмент для создания персонализированных AI-экспертов по любой теме. Доступен пользователям Gemini Advanced, Business и Enterprise в 150+ странах.
Imagen 3 - усовершенствованная модель генерации изображений с улучшенным качеством и разнообразием стилей.
Новая версия Imagen включает встроенные средства защиты, соответствует принципам дизайна Google и использует SynthID для водяных знаков.
Пользователи смогут легко корректировать сгенерированные изображения и создавать изображения людей с ограничениями на фотореалистичность.
Внедрение функций будет постепенным, с планами расширения на большее количество пользователей и языков.

Говорят еще предвзятость рисовалки починили, но это не точно.

#Google #CustomGems #Imagen3
-------
@tsingular

Vidu Studio - Генератор видео из Китая

Платформа создаёт ролики на основе текстовых описаний, используя разные шаблоны и стили.

Ключевая фишка, - точное удержание образа ключевого персонажа в кадре.

Есть бесплатные кредиты.
Работает без VPN.

#Vidu #видео #Китай
———
@tsingular

!!! Qwen2-VL: обновление мультимодальных моделей

Alibaba представила Qwen2-VL - усовершенствованную версию мультимодальной модели, способную:

• Анализировать изображения разного разрешения и пропорций
• Понимать видео длительностью более 20 минут
• Управлять мобильными устройствами и роботами
• Работать с текстом на разных языках, включая рукописный

Доступны три версии модели : 72B, 7B и 2B (оптимизирована для мобильных).
Улучшены навыки распознавания объектов, математических вычислений и кодирования.
Модель демонстрирует потенциал визуального агента с расширенными возможностями анализа видеоконтента.

По описанию, - очень круто! Надо пробовать.

DEMO

HuggingFace

#Qwen2VL #ComputerVision #Multimodal #Китай
-------
@tsingular

Magic: 100 миллионов токенов контекста!

Компания Magic представила LTM-модели с контекстным окном до 100 млн токенов.

LTM-2-mini - первая модель с таким огромным контекстным окном.
Разработан специальный метод оценки HashHop - цепочка хэшей - для проверка качества поиска иголки в стоге сена.
COMPLETION Hash 1 → Hash 2 | Hash 3 | Hash 4 | Hash 5 | Hash 6

Компания строит суперкомпьютеры на базе Google Cloud и GPU NVIDIA.
Сейчас в штате 23 человека и 8000 H100s (планируют миграцию на GB200) :) продолжают нанимать.
Привлекли инвестиций на $465млн в дополнение к предыдущим $320 млн.

Теперь ИИ сможет прочитать и понять целую библиотеку, прежде чем ответить на вопрос.

600 книг в одном запросе, получается.

Полная документация по строительству ракеты вместе с космодромом и прилегающей атомной станцией.

#Magic #LTM #ContextWindow
-------
@tsingular

вот зачем на самом деле нужны ИИ ассистенты. :)

#humor
———
@tsingular

Зацените интресного бота от @pimenov_ru:

@ailifto_transcribe_bot

Чистый перевод голоса в текст. Ничего лишнего. Может быть удобно для разных задач.

запустили бота, который преобразует аудиозапись встречи или разговора в подробное резюме. Выглядит просто, работает быстро, внутри самые современные технологии и сотни часов тестов.

Как это работает?

Вы отправляете аудиофайл в любом из поддерживаемых форматов. Бот с профессионально обученным ИИ обрабатывает его и присылает вам результат. Обработка файла занимает до 10 минут для двухчасовой аудиозаписи.

✅ Вы получаете:

📄 Текстовый файл с полной расшифровкой
📝 Подробное резюме записи
🎛 Поддерживаемые форматы: MP3, MP4, MP2, AAC, WAV, FLAC, PCM, M4A, Ogg, Opus, WebM.

При первом запуске на балансе бота уже будет 300₽, и вы сможете попробовать расшифровать любой разговор.

Идеально подходит для совещаний, переговоров, интервью, деловых встреч, длинных непонятных голосовых. Уже через несколько минут вы получите самую суть обсуждения, резюме и список задач.

Волшебный бонус: бот умеет делать всё то же самое с видео с Youtube на любом языке! Просто отправьте ему ссылку на длинную лекцию, вебинар, что угодно — и получите полный текст и самое важное в резюме на русском.

Попробуйте бесплатно

#боты
------
@tsingular

И вот ещё, раз уж пятница, прикольный бот от @dmvld:

@VinoRU_AI_bot

Винный сомелье :)

Сам не пью и другим не советую, но вот бот посоветовать может 😀 что-то под блюдо или повод.

#боты
------
@tsingular

И, накануне начала нового учебного года, напоминаю, что есть еще у меня вот такой бесплатный бот.

@math_learn_bot

Если вдруг у вас есть желание потренировать математику в уме или проверить её знание у своих детей.

Бот выдаёт примеры, удобные для устного счёта.

Т.е. никогда не будет дробной части в ответе на деление и при вычитании в сложных примерах так же левая часть от знака "-" всегда больше правой.

Умножение двузначных чисел особенно затягивает, рекомендую.

#math #тренажёр #бот
——
@tsingular

Раз у нас сегодня парад ботов, извините :)

Вот ещё один.

Год назад примерно подумал а почему бы не запилить астропрогноз.
И вот как часы каждое утро теперь прогноз от GPT.

Тоже бесплатно. :)

https://t.me/horusgpt

#bot
------
@tsingular

NEO: Универсальный Android-помощник от 1X Technologies

Компания 1X Technologies представила NEO - интеллектуального Android-ассистента.
Робот сочетает ИИ и робототехнику, понимая естественный язык и физическое пространство.
NEO проходит тестирование в реальных условиях, уделяя особое внимание безопасности и защите.
Человекоподобная форма способствует лучшей адаптации и взаимодействию.
Ассистент предназначен для массового производства и применения в промышленности и быту.
NEO непрерывно обучается, совершенствуя свои навыки со временем.
Разработка основана на опыте предыдущего поколения роботов EVE.
Youtube

Всем кому кажется, что это актёр в костюме, - чем дальше, тем криповее вас будет накрывать эффект зловещей долины. :)

Кстати, тут посмотрел Терминатор Зеро. Все по сценарию. Начинаем с домашних помощников. 🤖

#NEO #1XTechnologies #AndroidAssistant
------
@tsingular

Мы пришли к будущему, но какой ценой! :)
———
@tsingular