🌐 ОАЭ и США запускают крупнейший за пределами Америки 5-гигаваттный AI-кампус
При участии президента ОАЭ Шейха Мохаммеда бин Заида Аль Нахайяна и президента США Дональда Трампа в Абу-Даби представлен первый этап нового 5-гигаваттного AI-кампуса — крупнейшего подобного комплекса за пределами США.
📊 Ключевые технические параметры:
Мощность: 5 ГВт вычислительной инфраструктуры для дата-центров с ИИ
Площадь: 25,9 кв. км (10 кв. миль) в эмирате Абу-Даби
Оператор: G42 (национальный AI-лидер в ОАЭ) в партнерстве с американскими компаниями
Масштаб: По оценке Rand Corporation, кампус сможет поддерживать до 2,5 миллиона NVIDIA B200 — больше, чем все другие крупные инфраструктурные проекты ИИ
Чипы: Согласовано разрешение на импорт 500 000 самых передовых чипов NVIDIA ежегодно начиная с 2025 года
⚡️ Энергетическая инфраструктура:
Комплекс будет использовать атомную, солнечную и газовую энергию для минимизации выбросов углерода
Интегрированный подход к энергоснабжению обеспечит устойчивость вычислительной инфраструктуры
🔒 Безопасность и контроль:
Реализованы строгие меры для предотвращения утечки технологий
Совместное американо-эмиратское управление протоколами "Знай своего клиента" (KYC)
Вычислительные ресурсы зарезервированы исключительно для американских гиперскейлеров и авторизованных облачных провайдеров
США сохраняют контроль, поскольку американские компании будут управлять дата-центрами
🌍 Стратегическое значение:
- Доступ к вычислительным ресурсам для почти половины населения мира, находящегося в радиусе 3200 км от ОАЭ
- Снижение задержки в обработке данных для Африки, Европы и Азии
- Создание научного парка для продвижения инноваций в области ИИ
- Расширение влияния американских технологий на Ближнем Востоке
💼 Параллельные инициативы:
- Qualcomm открывает Глобальный инженерный центр в Абу-Даби с фокусом на ИИ, дата-центры и промышленный IoT
- Amazon Web Services запускает Sovereign Cloud Launchpad с ожидаемым вкладом $181 млрд в цифровую экономику ОАЭ к 2033 году
Соглашение предусматривает инвестиции ОАЭ в создание американских дата-центров аналогичного масштаба
🔄 Похожие инициативы в регионе:
- Саудовская Аравия запустила HUMAIN — государственную AI-компанию под председательством наследного принца Мохаммеда бин Салмана
- Сотрудничество между AMD и саудовской HUMAIN с инвестициями до $10 млрд в инфраструктуру ИИ с развертыванием 500 МВт вычислительных мощностей
- Франция и ОАЭ также заключили соглашение о совместном проекте по строительству 1-гигаваттного дата-центра для ИИ во Франции (инвестиции €30-50 млрд)
Этот проект закрепляет позицию ОАЭ в качестве регионального технологического хаба, продолжая стратегию страны по внедрению ИИ, начатую с назначения первого в мире федерального министра искусственного интеллекта в 2017 году и создания Университета искусственного интеллекта имени Мохаммеда бин Заида в 2019 году.
#AI #технологии #ОАЭ #датацентры #G42 #NVIDIA
———
@tsingular
При участии президента ОАЭ Шейха Мохаммеда бин Заида Аль Нахайяна и президента США Дональда Трампа в Абу-Даби представлен первый этап нового 5-гигаваттного AI-кампуса — крупнейшего подобного комплекса за пределами США.
📊 Ключевые технические параметры:
Мощность: 5 ГВт вычислительной инфраструктуры для дата-центров с ИИ
Площадь: 25,9 кв. км (10 кв. миль) в эмирате Абу-Даби
Оператор: G42 (национальный AI-лидер в ОАЭ) в партнерстве с американскими компаниями
Масштаб: По оценке Rand Corporation, кампус сможет поддерживать до 2,5 миллиона NVIDIA B200 — больше, чем все другие крупные инфраструктурные проекты ИИ
Чипы: Согласовано разрешение на импорт 500 000 самых передовых чипов NVIDIA ежегодно начиная с 2025 года
⚡️ Энергетическая инфраструктура:
Комплекс будет использовать атомную, солнечную и газовую энергию для минимизации выбросов углерода
Интегрированный подход к энергоснабжению обеспечит устойчивость вычислительной инфраструктуры
🔒 Безопасность и контроль:
Реализованы строгие меры для предотвращения утечки технологий
Совместное американо-эмиратское управление протоколами "Знай своего клиента" (KYC)
Вычислительные ресурсы зарезервированы исключительно для американских гиперскейлеров и авторизованных облачных провайдеров
США сохраняют контроль, поскольку американские компании будут управлять дата-центрами
🌍 Стратегическое значение:
- Доступ к вычислительным ресурсам для почти половины населения мира, находящегося в радиусе 3200 км от ОАЭ
- Снижение задержки в обработке данных для Африки, Европы и Азии
- Создание научного парка для продвижения инноваций в области ИИ
- Расширение влияния американских технологий на Ближнем Востоке
💼 Параллельные инициативы:
- Qualcomm открывает Глобальный инженерный центр в Абу-Даби с фокусом на ИИ, дата-центры и промышленный IoT
- Amazon Web Services запускает Sovereign Cloud Launchpad с ожидаемым вкладом $181 млрд в цифровую экономику ОАЭ к 2033 году
Соглашение предусматривает инвестиции ОАЭ в создание американских дата-центров аналогичного масштаба
🔄 Похожие инициативы в регионе:
- Саудовская Аравия запустила HUMAIN — государственную AI-компанию под председательством наследного принца Мохаммеда бин Салмана
- Сотрудничество между AMD и саудовской HUMAIN с инвестициями до $10 млрд в инфраструктуру ИИ с развертыванием 500 МВт вычислительных мощностей
- Франция и ОАЭ также заключили соглашение о совместном проекте по строительству 1-гигаваттного дата-центра для ИИ во Франции (инвестиции €30-50 млрд)
Этот проект закрепляет позицию ОАЭ в качестве регионального технологического хаба, продолжая стратегию страны по внедрению ИИ, начатую с назначения первого в мире федерального министра искусственного интеллекта в 2017 году и создания Университета искусственного интеллекта имени Мохаммеда бин Заида в 2019 году.
#AI #технологии #ОАЭ #датацентры #G42 #NVIDIA
———
@tsingular
⚡7❤2👍2🤔2🔥1
Windsurf SWE-1: новые AI-модели с для разработчиков
Windsurf (ранее Codeium) выпустил семейство специализированных AI-моделей SWE-1, созданных для полного цикла разработки ПО. Ключевое отличие от обычных кодовых ассистентов — понимание процесса разработки как единого потока, а не отдельных задач.
Технологические особенности: Flow Awareness и Shared Timeline
Главная инновация SWE-1 — концепция Flow Awareness, оптимизирующая взаимодействие с AI-ассистентом. В отличие от стандартных LLM, которые работают в рамках single-shot запросов, SWE-1:
• Поддерживает контекст между несколькими поверхностями разработки (редактор, терминал, браузер)
• Отслеживает незавершённые состояния кода и долгосрочные задачи
• Адаптируется к индивидуальному стилю разработчика в рамках проекта
• Оптимизирует свою работу на основе истории взаимодействий
Система Shared Timeline позволяет плавно распределять задачи между человеком и AI. Модель анализирует, где может эффективнее всего помочь, создавая постоянный цикл улучшений:
— утверждает Рамачандран.
Технические спецификации моделей:
• SWE-1: Полноразмерная frontier-модель
- Сопоставимая с Claude 3.5 Sonnet в ключевых задачах с человеком в контуре
- Оптимизирована для сложных размышений и использования инструментов разработки
- Эффективна для управления техническим долгом и code review
- Доступна платным пользователям
• SWE-1-lite: Средняя модель для ежедневного использования
- Представляет из себя улучшенный вариант Cascade Base
- Баланс скорости и качества кода
- Оптимизирована для работы с не полным контекстом
- Доступна всем пользователям, включая бесплатные аккаунты
• SWE-1-mini: Лёгкая модель для фоновой работы
- Работает полностью локально с минимальной задержкой
- Специализируется на фоновых предсказаниях кода в Windsurf Tab
- Потребляет минимум вычислительных ресурсов
- Не ограничена для всех пользователей
Уникальная архитектура обучения
SWE-1 обучалась с использованием принципиально нового подхода:
• Специализированный dataset с последовательной структурой инженерных задач
• Тренировочные данные включают полные flow-сессии, а не изолированные примеры кода
• Модель обучалась понимать долгосрочные зависимости в проектах
• Оптимизация выполнена под специфические шаблоны взаимодействия в процессе разработки
Сравнение с Cursor (Anysphere):
• SWE-1 показывает более консистентные результаты в долгосрочных проектах
• Cursor генерирует $200 млн ARR против $40 млн у Windsurf
• Cursor оценивается в $10 млрд, что объясняет выбор OpenAI в пользу Windsurf ($3 млрд)
• Windsurf недавно снизил цены "across the board", убрав сложную систему flow action credits
Сравнение с GitHub Copilot:
• SWE-1 предлагает более гибкую архитектуру с несколькими моделями
• Copilot, будучи первопроходцем, сейчас демонстрирует отставание в инновациях
• SWE-1 обеспечивает лучшее понимание контекста за пределами редактора кода
Бизнес-перспективы и стратегическое значение
• OpenAI приобретает Windsurf за $3 млрд, уступив в борьбе за Cursor
• Рынок AI-инструментов для разработки достигнет $25 млрд к 2030 году
• После интеграции с ресурсами OpenAI модели получат доступ к значительно большим вычислительным мощностям
• Ожидается интеграция моделей SWE-1 с более широкой AI-экосистемой OpenAI
— объясняет Рамачандран.
Реально не хватает шага, где Антропик или Гугл покупает Курсор.
#SWE-1 #Windsurf #OpenAI #разработка #FlowAwareness
———
@tsingular
Windsurf (ранее Codeium) выпустил семейство специализированных AI-моделей SWE-1, созданных для полного цикла разработки ПО. Ключевое отличие от обычных кодовых ассистентов — понимание процесса разработки как единого потока, а не отдельных задач.
Технологические особенности: Flow Awareness и Shared Timeline
Главная инновация SWE-1 — концепция Flow Awareness, оптимизирующая взаимодействие с AI-ассистентом. В отличие от стандартных LLM, которые работают в рамках single-shot запросов, SWE-1:
• Поддерживает контекст между несколькими поверхностями разработки (редактор, терминал, браузер)
• Отслеживает незавершённые состояния кода и долгосрочные задачи
• Адаптируется к индивидуальному стилю разработчика в рамках проекта
• Оптимизирует свою работу на основе истории взаимодействий
Система Shared Timeline позволяет плавно распределять задачи между человеком и AI. Модель анализирует, где может эффективнее всего помочь, создавая постоянный цикл улучшений:
"С развитием моделей всё больше шагов в этом общем таймлайне будут переключаться с человека на AI,"
— утверждает Рамачандран.
Технические спецификации моделей:
• SWE-1: Полноразмерная frontier-модель
- Сопоставимая с Claude 3.5 Sonnet в ключевых задачах с человеком в контуре
- Оптимизирована для сложных размышений и использования инструментов разработки
- Эффективна для управления техническим долгом и code review
- Доступна платным пользователям
• SWE-1-lite: Средняя модель для ежедневного использования
- Представляет из себя улучшенный вариант Cascade Base
- Баланс скорости и качества кода
- Оптимизирована для работы с не полным контекстом
- Доступна всем пользователям, включая бесплатные аккаунты
• SWE-1-mini: Лёгкая модель для фоновой работы
- Работает полностью локально с минимальной задержкой
- Специализируется на фоновых предсказаниях кода в Windsurf Tab
- Потребляет минимум вычислительных ресурсов
- Не ограничена для всех пользователей
Уникальная архитектура обучения
SWE-1 обучалась с использованием принципиально нового подхода:
• Специализированный dataset с последовательной структурой инженерных задач
• Тренировочные данные включают полные flow-сессии, а не изолированные примеры кода
• Модель обучалась понимать долгосрочные зависимости в проектах
• Оптимизация выполнена под специфические шаблоны взаимодействия в процессе разработки
Сравнение с Cursor (Anysphere):
• SWE-1 показывает более консистентные результаты в долгосрочных проектах
• Cursor генерирует $200 млн ARR против $40 млн у Windsurf
• Cursor оценивается в $10 млрд, что объясняет выбор OpenAI в пользу Windsurf ($3 млрд)
• Windsurf недавно снизил цены "across the board", убрав сложную систему flow action credits
Сравнение с GitHub Copilot:
• SWE-1 предлагает более гибкую архитектуру с несколькими моделями
• Copilot, будучи первопроходцем, сейчас демонстрирует отставание в инновациях
• SWE-1 обеспечивает лучшее понимание контекста за пределами редактора кода
Бизнес-перспективы и стратегическое значение
• OpenAI приобретает Windsurf за $3 млрд, уступив в борьбе за Cursor
• Рынок AI-инструментов для разработки достигнет $25 млрд к 2030 году
• После интеграции с ресурсами OpenAI модели получат доступ к значительно большим вычислительным мощностям
• Ожидается интеграция моделей SWE-1 с более широкой AI-экосистемой OpenAI
"Разработка — это намного больше, чем просто написание кода. SWE-1 создана, чтобы охватить весь процесс от планирования до деплоя,"
— объясняет Рамачандран.
Реально не хватает шага, где Антропик или Гугл покупает Курсор.
#SWE-1 #Windsurf #OpenAI #разработка #FlowAwareness
———
@tsingular
👍5🔥3✍1😢1
Forwarded from Пырьев натворил
Врубаем свет, запускаем рендер — сегодня делаем релиз нашего нового AI-блокбастера.
Мы решили провести эксперимент — можно ли создать фотореалистичный ролик только ИИ инструментами. Получилось процентов на 80%, остальное руками🙂. Пока технологии не позволяют закрыть 100% задач, если говорить о качественном продукте.
Видео, музыка и диктор — сгенерированы с помощью ИИ.
Монтаж, цветокор и саунд-дизайн — команда.
Ролик также можно посмотреть на vimeo.
Для тех, кому интересен стек, который мы использовали:
Midjourney, ChatGPT, Runway, Kling, Sora, Luma (Dream Machine), Higgsfield, Krea, Topaz AI Video, Suno.
Мы в Щи Продакшен активно развиваем использование AI-технологий.
Делаем подобные проекты для клиентов, параллельно экспериментируем, создавая свои творческие задумки.
Сейчас интернет заполонён низкосортными и криповыми AI-видео — прогнозируемо, технологии вышли в массы, и это неизбежно. Но мы видим в AI-видео не панацею, а крутой инструмент в работе.
AI-видео имеет три основных преимущества:
— создавать то, что невозможно (или очень сложно) снять или сделать в реальной жизни
— ускорение и удешевление продакшена
— рождение новых визуальных решений
Мы протестировали почти весь топ AI-моделей. Пока что технологии сыроваты, чтобы делать абсолютно кастомные ролики высокого качества.
Сам процесс генерации — это постоянный сюрприз. Часто нужно сгенерировать сотни видео, чтобы нейросеть выдала нужный кадр без артефактов и попаданием в задуманное. Поэтому приходится использовать большой набор нейросетей, потому что каждая из них лучше справляется с разными задачами. Одна — круто работает с динамикой, другая — с персонажами, третья — с движениями камеры и так далее.
Для этого ролика мы сгенерировали несколько тысяч изображений, а после сотни видео, чтобы собрать финальные 60 секунд.
Здесь буду и дальше делиться нашими находками, проектами и экспериментами в этом направлении.
Да будет эй ай!
@brandiver
Мы решили провести эксперимент — можно ли создать фотореалистичный ролик только ИИ инструментами. Получилось процентов на 80%, остальное руками🙂. Пока технологии не позволяют закрыть 100% задач, если говорить о качественном продукте.
Видео, музыка и диктор — сгенерированы с помощью ИИ.
Монтаж, цветокор и саунд-дизайн — команда.
Ролик также можно посмотреть на vimeo.
Для тех, кому интересен стек, который мы использовали:
Midjourney, ChatGPT, Runway, Kling, Sora, Luma (Dream Machine), Higgsfield, Krea, Topaz AI Video, Suno.
Мы в Щи Продакшен активно развиваем использование AI-технологий.
Делаем подобные проекты для клиентов, параллельно экспериментируем, создавая свои творческие задумки.
Сейчас интернет заполонён низкосортными и криповыми AI-видео — прогнозируемо, технологии вышли в массы, и это неизбежно. Но мы видим в AI-видео не панацею, а крутой инструмент в работе.
AI-видео имеет три основных преимущества:
— создавать то, что невозможно (или очень сложно) снять или сделать в реальной жизни
— ускорение и удешевление продакшена
— рождение новых визуальных решений
Мы протестировали почти весь топ AI-моделей. Пока что технологии сыроваты, чтобы делать абсолютно кастомные ролики высокого качества.
Сам процесс генерации — это постоянный сюрприз. Часто нужно сгенерировать сотни видео, чтобы нейросеть выдала нужный кадр без артефактов и попаданием в задуманное. Поэтому приходится использовать большой набор нейросетей, потому что каждая из них лучше справляется с разными задачами. Одна — круто работает с динамикой, другая — с персонажами, третья — с движениями камеры и так далее.
Для этого ролика мы сгенерировали несколько тысяч изображений, а после сотни видео, чтобы собрать финальные 60 секунд.
Здесь буду и дальше делиться нашими находками, проектами и экспериментами в этом направлении.
Да будет эй ай!
@brandiver
🔥15👍6❤🔥3👏1
Forwarded from Machinelearning
Salesforce AI Research выпустила BLIP3-o, набор полностью открытых унифицированных мультимодальных моделей, которые могут как понимать, так и генерировать изображения.
Под капотом у BLIP3-o гибрид авторегрессионной модели (генерирует промежуточные семантические признаки) и диффузионного трансформера (он превращает их в изображения).
В ходе работы разработчики провели ряд экспериментов для выбора оптимальной стратеги для архитектуры и обучения. Апробации гипотез показали, что использование CLIP работает эффективнее, чем традиционный VAE.
CLIP создает более компактные и информативные представления, что ускоряет обучение и улучшает качество генерируемых изображений. А flow matching лучше , чем подход с использованием среднеквадратичной ошибки (MSE): инференс в итоге более разнообразный и визуально качественный.
Наилучшие результаты обучения показал подход, при котором модель сначала обучают понимать изображения, а затем замораживают эти навыки, переключаясь на обучение генерации картинок.
На основе этих принципов и были созданы модели BLIP3-o 8B и BLIP3-o 4B.
В оценках по эталонным тестам BLIP3-o 8B набрала 1682.6 на MME-P, 50.6 на MMMU и 0.84 на GenEval. Исследование с оценкой человеком, сравнивающее BLIP3-o с Janus Pro, показало, что BLIP3-o лучше как по визуальному качеству, так и по соответствию промпту.
В будущем Salesforce планирует расширить возможности модели: редактирование существующих изображений, поддержка визуальных диалогов и пошаговая генерация.
@ai_machinelearning_big_data
#AI #ML #MMLM #BLIP3o #Salesforce
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenAI представила Codex - облачный агент для разработки ПО, который может работать над множеством задач параллельно.
- Разрабатывает новые функции
- Отвечает на вопросы о кодовой базе
- Исправляет баги
- Формирует pull-запросы на проверку
🔧 Технические особенности:
- Работает на codex-1 - специальной версии OpenAI o3, оптимизированной для разработки ПО
- Использует облачные изолированные окружения для каждой задачи, предзагруженные с вашим репозиторием
- Выполняет команды, включая тесты, линтеры и проверки типов
- Поддерживает файлы AGENTS.md для настройки рабочих процессов
Доступен для ChatGPT Pro, Enterprise и Team пользователей уже сегодня (Plus и Edu - скоро)
💡 Практическое применение:
Инженеры OpenAI уже используют Codex в ежедневной работе для:
- Рефакторинга и переименования компонентов
- Написания тестов без отвлечения от основных задач
- Создания каркасов новых функций
- Интеграции компонентов
- Исправления багов
- Составления документации
🔒 Безопасность и защита от злоупотреблений:
Codex обучен распознавать и отклонять запросы на разработку вредоносного ПО, при этом поддерживая нормальные задачи.
Агент работает в защищенном изолированном контейнере без доступа к интернету - он взаимодействует только с кодом, явно предоставленным через GitHub и предустановленными зависимостями.
⚡️ Обновления Codex CLI:
Также выпущена облегченная версия codex-1 (версия o4-mini) для использования в Codex CLI - она оптимизирована для быстрых вопросов по коду и редактирования с низкой задержкой. Доступ к Codex CLI стал проще через авторизацию аккаунта ChatGPT.
📊 Будущее Codex:
OpenAI видит будущее, где разработчики управляют работой, которую хотят делать сами, а остальное делегируют агентам.
Ожидаются в будущих обновлениях:
- Более интерактивные и гибкие рабочие процессы
- Возможность давать указания в середине выполнения задачи
- Проактивные обновления о прогрессе
- Интеграции с инструментами, которые вы уже используете (GitHub, ChatGPT Desktop, трекеры задач)
А еще выложили системный промпт
#OpenAI #Codex
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2🔥2
Forwarded from PWN AI (Artyom Semenov)
В последнее время часто вижу термин Internet Of Agents(IoA). Мы уже с вами прекрасно понимаем ландшафт угроз для обычных агентных систем. Но в чём особенность именно агентного интернета ?
Под IoA сейчас понимают инфраструктуру центричность которой поставлена на агентах, взаимодействие с ними вне рамках обычных сетей организаций а также чтобы они могли координированно выполнять задачи.
Для коммуникации между агентами в такой сети реализовано большое множество протоколов – самый известный MCP, но как правило – не единственный (подробнее на рис.1).
Мы должны понимать самое важное что в такой сети может использоваться множество LLM как ядра определённых систем, следовательно – они могут наследовать проблемы самих моделей. Важный фактор что такие системы пока что могут быть децентрализованными(рано или поздно будут регуляторы, реестры и т.д). И хоть кажется что реализация такой сети будет иметь большие преимущества(безусловно это так). Но риски ИБ тут никто не отменял.
В статье Security of Internet of Agents: Attacks and Countermeasures рассматривается некая модель угроз для такой площадки. IoA переваривает множество персональной информации, коммерческих данных и из-за этого вопрос безопасности аутентификации между агентными системами – является критически значимым.
В статье определяют несколько угроз:
⁉️ Подделка идентичности - злоумышленники создают поддельные идентификаторы агентов.
⁉️ Имперсонификация - злоумышленники выдают себя за легитимных агентов
⁉️ Атаки типа Sybil -когда создаётся множество фиктивных идентичностей для манипуляции системой
⁉️ Каскадные атаки - неточные или противоречивые выходные данные LLM могут распространяться и усиливаться через последующие взаимодействия агентов в самой системе
⁉️ А также … Скрытый сговор – агенты могут начать сотрудничать для достижения целей, которые будут противоречить интересам пользователя.
Несоменно в своё видение угроз авторы добавили RAG, достаточно очевидно и можно согласиться.
Авторы также предложили пока что теоретические варианты митигаций:
Внедрять механизмы (пока что не агентов), которые бы смотрели наличие сговора.
Системы репутации и реестры на основе блокчейна, а также контроль доступа, зависимый от контекста самой агентой системы.
Да, пока что это выглядит слишком концептуально, да и честно сказать с трудом вериться в то, что LLM будет активно оценивать результаты других агентов. Но проблема становиться виднее.
Под IoA сейчас понимают инфраструктуру центричность которой поставлена на агентах, взаимодействие с ними вне рамках обычных сетей организаций а также чтобы они могли координированно выполнять задачи.
Для коммуникации между агентами в такой сети реализовано большое множество протоколов – самый известный MCP, но как правило – не единственный (подробнее на рис.1).
Мы должны понимать самое важное что в такой сети может использоваться множество LLM как ядра определённых систем, следовательно – они могут наследовать проблемы самих моделей. Важный фактор что такие системы пока что могут быть децентрализованными(рано или поздно будут регуляторы, реестры и т.д). И хоть кажется что реализация такой сети будет иметь большие преимущества(безусловно это так). Но риски ИБ тут никто не отменял.
В статье Security of Internet of Agents: Attacks and Countermeasures рассматривается некая модель угроз для такой площадки. IoA переваривает множество персональной информации, коммерческих данных и из-за этого вопрос безопасности аутентификации между агентными системами – является критически значимым.
В статье определяют несколько угроз:
Несоменно в своё видение угроз авторы добавили RAG, достаточно очевидно и можно согласиться.
Авторы также предложили пока что теоретические варианты митигаций:
Внедрять механизмы (пока что не агентов), которые бы смотрели наличие сговора.
Системы репутации и реестры на основе блокчейна, а также контроль доступа, зависимый от контекста самой агентой системы.
Да, пока что это выглядит слишком концептуально, да и честно сказать с трудом вериться в то, что LLM будет активно оценивать результаты других агентов. Но проблема становиться виднее.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
Hugging Face запутил бесплатный курс по MCP
Структура курса:
4 основных блока: от фундаментальных концепций до развертывания готовых приложений
Практические задания: применение SDK и фреймворков с предварительно настроенным окружением
Проектная работа: создание и развертывание полнофункциональных MCP-приложений
Бонусные модули: интеграция с партнерскими сервисами и библиотеками
Практическое применение:
Разработчикам: создание AI-агентов с доступом к актуальным данным
Продуктовым командам: расширение возможностей существующих LLM-приложений
Исследователям: изучение архитектуры протоколов взаимодействия AI с внешними сервисами
Доступность и требования:
Необходимый уровень: базовое понимание AI/LLM и опыт в любом языке программирования
Сертификация: два уровня - базовый (теория) и продвинутый (с созданием приложения)
Темп: 3-4 часа в неделю, полный курс рассчитан на ~4 недели
Курс ведет Бен Буртеншоу, ML-инженер из HuggingFace, специализирующийся на пост-тренинговых подходах и агентных системах.
Обязательно к прохождению!
#HuggingFace #MCP #обучение
———
@tsingular
Структура курса:
4 основных блока: от фундаментальных концепций до развертывания готовых приложений
Практические задания: применение SDK и фреймворков с предварительно настроенным окружением
Проектная работа: создание и развертывание полнофункциональных MCP-приложений
Бонусные модули: интеграция с партнерскими сервисами и библиотеками
Практическое применение:
Разработчикам: создание AI-агентов с доступом к актуальным данным
Продуктовым командам: расширение возможностей существующих LLM-приложений
Исследователям: изучение архитектуры протоколов взаимодействия AI с внешними сервисами
Доступность и требования:
Необходимый уровень: базовое понимание AI/LLM и опыт в любом языке программирования
Сертификация: два уровня - базовый (теория) и продвинутый (с созданием приложения)
Темп: 3-4 часа в неделю, полный курс рассчитан на ~4 недели
Курс ведет Бен Буртеншоу, ML-инженер из HuggingFace, специализирующийся на пост-тренинговых подходах и агентных системах.
Обязательно к прохождению!
#HuggingFace #MCP #обучение
———
@tsingular
🔥6✍3⚡1❤1🫡1
This media is not supported in your browser
VIEW IN TELEGRAM
🔐 Защита MCP: Microsoft опубликовала пример защищенной реализации MCP соединения на базе Azure
Microsoft представила референсное решение для защиты интеграций Claude, использующих Model Context Protocol (MCP), через Azure API Management.
💡 Ключевые компоненты системы защиты
- Azure API Management (APIM) — выступает как OAuth 2.0 шлюз между Claude и MCP-сервером
- Microsoft Entra ID — обеспечивает корпоративную аутентификацию и управление доступом
- MCP-сервер — бизнес-логика инструментов
⚙️ Как работает поток авторизации
- Claude запрашивает инструмент через APIM-эндпоинт
- APIM перенаправляет для аутентификации в Microsoft Entra ID
- Пользователь подтверждает доступ, получает токен
- APIM генерирует специфичный для сессии MCP-токен
- Claude использует токен для всех последующих запросов
🛡 Практические преимущества
- Контроль доступа к корпоративным инструментам и данным
- Отделение аутентификации от бизнес-логики
- Соответствие корпоративным стандартам безопасности
- Масштабируемость для Enterprise-применений
🚀 Важность для рынка AI
Решение критично в эпоху, когда AI-агенты получают доступ к корпоративным API.
Позволяет безопасно делегировать полномочия искусственному интеллекту без нарушений правил ИБ.
📊 Демо Microsoft содержит
- Готовый MCP-сервер в Azure
- Полный поток авторизации через Microsoft Entra ID
- Jupyter notebook
- GitHub с примерами кода
Очень полезный пример.
Даже если вы не сидите на Azure или Entra ID - сам процесс обеспечения безопасности может пригодиться для разработки собственных сервисов.
#MCP #Claude #Azure #безопасность #Microsoft
———
@tsingular
Microsoft представила референсное решение для защиты интеграций Claude, использующих Model Context Protocol (MCP), через Azure API Management.
💡 Ключевые компоненты системы защиты
- Azure API Management (APIM) — выступает как OAuth 2.0 шлюз между Claude и MCP-сервером
- Microsoft Entra ID — обеспечивает корпоративную аутентификацию и управление доступом
- MCP-сервер — бизнес-логика инструментов
⚙️ Как работает поток авторизации
- Claude запрашивает инструмент через APIM-эндпоинт
- APIM перенаправляет для аутентификации в Microsoft Entra ID
- Пользователь подтверждает доступ, получает токен
- APIM генерирует специфичный для сессии MCP-токен
- Claude использует токен для всех последующих запросов
🛡 Практические преимущества
- Контроль доступа к корпоративным инструментам и данным
- Отделение аутентификации от бизнес-логики
- Соответствие корпоративным стандартам безопасности
- Масштабируемость для Enterprise-применений
🚀 Важность для рынка AI
Решение критично в эпоху, когда AI-агенты получают доступ к корпоративным API.
Позволяет безопасно делегировать полномочия искусственному интеллекту без нарушений правил ИБ.
📊 Демо Microsoft содержит
- Готовый MCP-сервер в Azure
- Полный поток авторизации через Microsoft Entra ID
- Jupyter notebook
- GitHub с примерами кода
Очень полезный пример.
Даже если вы не сидите на Azure или Entra ID - сам процесс обеспечения безопасности может пригодиться для разработки собственных сервисов.
#MCP #Claude #Azure #безопасность #Microsoft
———
@tsingular
🔥3✍2👍2
Китай строит 10 новых ядерных реакторов,- для ИИ должно хватить
Китай запланировал строительство 10 новых ядерных реакторов общей мощностью 12 ГВт и инвестициями $28 млрд. Восемь из них — собственной разработки Hualong One, два — на основе американской технологии.
В условиях бума ИИ-технологий страна активно наращивает энергетические мощности, понимая, что дата-центры для машинного обучения потребуют колоссальных объемов электроэнергии.
К 2030 году Китай планирует удвоить свои мощности до 110 ГВт и обогнать США и Францию, став мировым лидером в атомной энергетике.
#Nuclear #Китай #кратко
------
@tsingular
Китай запланировал строительство 10 новых ядерных реакторов общей мощностью 12 ГВт и инвестициями $28 млрд. Восемь из них — собственной разработки Hualong One, два — на основе американской технологии.
В условиях бума ИИ-технологий страна активно наращивает энергетические мощности, понимая, что дата-центры для машинного обучения потребуют колоссальных объемов электроэнергии.
К 2030 году Китай планирует удвоить свои мощности до 110 ГВт и обогнать США и Францию, став мировым лидером в атомной энергетике.
#Nuclear #Китай #кратко
------
@tsingular
🔥8🤯7✍3👍3⚡1
Forwarded from КОМПЬЮТЕРРА
Media is too big
VIEW IN TELEGRAM
Новый игрок на рынке городской доставки: LEVA — грузовой робот-помощник
Швейцарские инженеры представили LEVA — робота, который может изменить правила игры в сфере городской доставки. Он способен передвигаться по пересеченной местности и ступеням, перевозя грузы до 85 кг.
Уникальная конструкция: сочетание ног и колес делает LEVA универсальным и маневренным. Четыре конечности с четырьмя степенями свободы и колеса с рулевым приводом позволяют роботу двигаться в любом направлении и разворачиваться на месте.
Перспективы для города: такая конфигурация идеально подходит для работы в городских условиях, где традиционные роботы часто оказываются медленными и неуклюжими.
Появление LEVA на городских улицах может стать началом новой эры в доставке товаров.
☁️ Подписаться на канал
Швейцарские инженеры представили LEVA — робота, который может изменить правила игры в сфере городской доставки. Он способен передвигаться по пересеченной местности и ступеням, перевозя грузы до 85 кг.
Уникальная конструкция: сочетание ног и колес делает LEVA универсальным и маневренным. Четыре конечности с четырьмя степенями свободы и колеса с рулевым приводом позволяют роботу двигаться в любом направлении и разворачиваться на месте.
Перспективы для города: такая конфигурация идеально подходит для работы в городских условиях, где традиционные роботы часто оказываются медленными и неуклюжими.
Появление LEVA на городских улицах может стать началом новой эры в доставке товаров.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍2
Abu Dhabi: стратегия AI-государства и TAMM 3.0
В рамках Abu Dhabi Government Digital Strategy 2025-2027 правительство Абу-Даби инвестирует 13 млрд AED (286 млрд руб.) в цифровую трансформацию, чтобы к 2027 году стать первым в мире полностью AI-native государством.
TAMM 3.0 — ключевой инструмент стратегии
TAMM 3.0 — это единая AI-платформа, интегрирующая 800+ госуслуг для граждан, резидентов, бизнеса и инвесторов. Запуск состоялся на GITEX 2024, и TAMM уже обслуживает 2,8 млн пользователей, обеспечивая более 10 млн транзакций в год.
Технические детали и возможности
AI-ассистент TAMM: голосовой и текстовый, 24/7, персонализация, поддержка на арабском и английском, автоматизация сервисов, фото/видео фиксация инцидентов (Take Photo and Report).
TAMM Care: омниканальная поддержка (чат, видео, аудио, screen sharing), Customer-360, проактивный мониторинг.
TAMM Nexus: AI-ускорение вывода новых сервисов (рост скорости и качества на 70–80%), автоматизация жизненного цикла продукта.
Интеграция: цифровой ID (UAE Pass), платёжный шлюз (AD Pay), обмен данными (AD Connect, 900+ API), аналитика 70+ KPI в реальном времени.
Безопасность: суверенное облако, строгие стандарты кибербезопасности.
Практический эффект
- Оформление документов, лицензий, разрешений — минуты вместо дней.
- 24/7 доступ без визитов в ведомства.
- Персонализация сервисов и рекомендаций.
- Инклюзивность: поддержка всех категорий пользователей, мультиканальность.
Экономика и кадры
- TAMM — часть инвестиций 13 млрд AED, вклад в ВВП — 24+ млрд AED, 5000+ новых рабочих мест.
- Программа AI for All — массовое обучение граждан и госслужащих AI-компетенциям.
- Партнёры: MBZUAI, ATRC, G42.
Получается TAMM 3.0 это такой технологический фундамент для AI-государства, где все сервисы работают на базе искусственного интеллекта, а пользовательский опыт становится максимально простым, быстрым и предсказуемым.
#TAMM #AbuDhabi #SA
———
@tsingular
В рамках Abu Dhabi Government Digital Strategy 2025-2027 правительство Абу-Даби инвестирует 13 млрд AED (286 млрд руб.) в цифровую трансформацию, чтобы к 2027 году стать первым в мире полностью AI-native государством.
TAMM 3.0 — ключевой инструмент стратегии
TAMM 3.0 — это единая AI-платформа, интегрирующая 800+ госуслуг для граждан, резидентов, бизнеса и инвесторов. Запуск состоялся на GITEX 2024, и TAMM уже обслуживает 2,8 млн пользователей, обеспечивая более 10 млн транзакций в год.
Технические детали и возможности
AI-ассистент TAMM: голосовой и текстовый, 24/7, персонализация, поддержка на арабском и английском, автоматизация сервисов, фото/видео фиксация инцидентов (Take Photo and Report).
TAMM Care: омниканальная поддержка (чат, видео, аудио, screen sharing), Customer-360, проактивный мониторинг.
TAMM Nexus: AI-ускорение вывода новых сервисов (рост скорости и качества на 70–80%), автоматизация жизненного цикла продукта.
Интеграция: цифровой ID (UAE Pass), платёжный шлюз (AD Pay), обмен данными (AD Connect, 900+ API), аналитика 70+ KPI в реальном времени.
Безопасность: суверенное облако, строгие стандарты кибербезопасности.
Практический эффект
- Оформление документов, лицензий, разрешений — минуты вместо дней.
- 24/7 доступ без визитов в ведомства.
- Персонализация сервисов и рекомендаций.
- Инклюзивность: поддержка всех категорий пользователей, мультиканальность.
Экономика и кадры
- TAMM — часть инвестиций 13 млрд AED, вклад в ВВП — 24+ млрд AED, 5000+ новых рабочих мест.
- Программа AI for All — массовое обучение граждан и госслужащих AI-компетенциям.
- Партнёры: MBZUAI, ATRC, G42.
Получается TAMM 3.0 это такой технологический фундамент для AI-государства, где все сервисы работают на базе искусственного интеллекта, а пользовательский опыт становится максимально простым, быстрым и предсказуемым.
#TAMM #AbuDhabi #SA
———
@tsingular
🔥8✍4⚡1👍1
Tencent наращивает инвестиции в ИИ и расширяет глобальное присутствие
Китайский технологический гигант Tencent опубликовал финансовые результаты за Q1 2025, демонстрирующие стратегический разворот в сторону искусственного интеллекта и международной экспансии:
Ключевые финансовые показатели:
• Выручка: 180 млрд юаней ($25.1 млрд) — рост 13% год к году
• Чистая прибыль: 47.8 млрд юаней ($6.7 млрд) — рост 14% год к году
• R&D расходы: 18.9 млрд юаней ($2.63 млрд) — рост 21% год к году
• Капитальные затраты: 27.5 млрд юаней ($3.8 млрд) — рост 91% год к году
• Игровое направление в Китае: 42.9 млрд юаней — рост 24% год к году
• Международные игры: 16.6 млрд юаней — рост 23% год к году
• Маркетинговые услуги: 31.9 млрд юаней — рост 20% год к году
Стратегия развития ИИ:
• Масштабное обновление GPU-инфраструктуры для обучения моделей
• Акцент на разработке собственных чипов для ИИ-инференса
• Дальнейшее развитие LLM Hunyuan и чат-бота Yuanbao
• Внедрение ИИ в рекламные платформы
• Интеграция ИИ в WeChat для интерактивного взаимодействия и повышения продуктивности
Международная экспансия:
• Вице-президент Tencent Ли Цян сообщил о планах инвестировать 150 млн долларов на Ближнем Востоке для создания первого дата-центра компании в Саудовской Аравии
• Дополнительные инвестиции в размере 500 млн долларов будут направлены в Индонезию для строительства третьего дата-центра компании в этой стране
• По словам Ли Цяна, как глобально расширяющийся провайдер облачных вычислений, Tencent Cloud поддерживал двузначный рост международного бизнеса в течение последних трех лет
• Сегодня компания обслуживает более 10 000 зарубежных клиентов в более чем 80 странах и регионах
• Стратегические партнерства в ключевых регионах (ZainTech на Ближнем Востоке, GoTo в Индонезии)
Перспективы развития:
• Увеличение операционной прибыли до 39% (с 37% в прошлом году)
• Стабильный рост MAU WeChat до 1.4 млрд пользователей (+3% год к году)
• Фокус на прибыльном росте финтех-сервисов и облачных решений
• Капитализация на тренде электронной коммерции внутри экосистемы WeChat и Weixin
• Долгосрочные инвестиции в технологии ИИ как основа будущей стратегии роста
Tencent демонстрирует стратегический подход к ИИ-трансформации, инвестируя как в технологические возможности, так и в международную экспансию.
Ключевой акцент делается на оптимизацию существующих высокорентабельных направлений для финансирования долгосрочных ИИ-инициатив, которые должны обеспечить устойчивое конкурентное преимущество на глобальном рынке.
#Tencent #Китай
———
@tsingular
Китайский технологический гигант Tencent опубликовал финансовые результаты за Q1 2025, демонстрирующие стратегический разворот в сторону искусственного интеллекта и международной экспансии:
Ключевые финансовые показатели:
• Выручка: 180 млрд юаней ($25.1 млрд) — рост 13% год к году
• Чистая прибыль: 47.8 млрд юаней ($6.7 млрд) — рост 14% год к году
• R&D расходы: 18.9 млрд юаней ($2.63 млрд) — рост 21% год к году
• Капитальные затраты: 27.5 млрд юаней ($3.8 млрд) — рост 91% год к году
• Игровое направление в Китае: 42.9 млрд юаней — рост 24% год к году
• Международные игры: 16.6 млрд юаней — рост 23% год к году
• Маркетинговые услуги: 31.9 млрд юаней — рост 20% год к году
Стратегия развития ИИ:
• Масштабное обновление GPU-инфраструктуры для обучения моделей
• Акцент на разработке собственных чипов для ИИ-инференса
• Дальнейшее развитие LLM Hunyuan и чат-бота Yuanbao
• Внедрение ИИ в рекламные платформы
• Интеграция ИИ в WeChat для интерактивного взаимодействия и повышения продуктивности
Международная экспансия:
• Вице-президент Tencent Ли Цян сообщил о планах инвестировать 150 млн долларов на Ближнем Востоке для создания первого дата-центра компании в Саудовской Аравии
• Дополнительные инвестиции в размере 500 млн долларов будут направлены в Индонезию для строительства третьего дата-центра компании в этой стране
• По словам Ли Цяна, как глобально расширяющийся провайдер облачных вычислений, Tencent Cloud поддерживал двузначный рост международного бизнеса в течение последних трех лет
• Сегодня компания обслуживает более 10 000 зарубежных клиентов в более чем 80 странах и регионах
• Стратегические партнерства в ключевых регионах (ZainTech на Ближнем Востоке, GoTo в Индонезии)
Перспективы развития:
• Увеличение операционной прибыли до 39% (с 37% в прошлом году)
• Стабильный рост MAU WeChat до 1.4 млрд пользователей (+3% год к году)
• Фокус на прибыльном росте финтех-сервисов и облачных решений
• Капитализация на тренде электронной коммерции внутри экосистемы WeChat и Weixin
• Долгосрочные инвестиции в технологии ИИ как основа будущей стратегии роста
Tencent демонстрирует стратегический подход к ИИ-трансформации, инвестируя как в технологические возможности, так и в международную экспансию.
Ключевой акцент делается на оптимизацию существующих высокорентабельных направлений для финансирования долгосрочных ИИ-инициатив, которые должны обеспечить устойчивое конкурентное преимущество на глобальном рынке.
#Tencent #Китай
———
@tsingular
🔥4👍3❤1🐳1
NVIDIA запустила крупнейший в мире квантовый суперкомпьютер
Nvidia совместно с японским Национальным институтом передовых промышленных наук и технологий (AIST) объявила о запуске ABCI-Q — крупнейшего в мире исследовательского суперкомпьютера, ориентированного на гибридные квантово-классические вычисления. Этот шаг знаменует открытие Глобального исследовательского центра по бизнес-технологиям квантового ИИ (G-QuAT).
Техническая мощь ABCI-Q:
🧠 Сердце системы: Более 2020 тензорных графических процессоров Nvidia H100.
🔗 Связующее звено: Высокопроизводительная сеть Nvidia Quantum-2 InfiniBand.
💻 Программная основа: Открытая платформа Nvidia CUDA-Q для симуляции и интеграции квантовых процессоров.
얽 Гибридный подход: Интеграция с различными кубитными технологиями:
Сверхпроводящие кубиты от Fujitsu.
Нейтрально-атомные процессоры от QuEra.
Фотонные процессоры от OptQC.
Ключевые цели проекта:
Преодоление барьеров: Ускорение исследований в области квантовой коррекции ошибок — критически важного аспекта для создания отказоустойчивых квантовых компьютеров.
Практическое применение: Разработка и тестирование реальных квантовых и гибридных алгоритмов для решения задач в медицине, энергетике, финансах и других отраслях.
Создание экосистемы: Предоставление исследователям мощного инструмента для экспериментов и продвижения квантовых технологий от теории к практике.
Перспективы: Запуск ABCI-Q — это значительный шаг к созданию практически полезных квантовых вычислительных систем. Интеграция передовых GPU Nvidia с разнообразными квантовыми процессорами позволяет исследовать сильные стороны различных кубитных модальностей и разрабатывать гибридные алгоритмы, сочетающие мощь классических суперкомпьютеров с потенциалом квантовых вычислений.
Акцент на CUDA-Q подчеркивает стремление Nvidia создать единую программную среду для сложного гетерогенного компьютинга.
Этот проект не только усиливает позиции Японии в глобальной квантовой гонке, но и демонстрирует стратегию Nvidia по глубокой интеграции своих ИИ-технологий в нарождающуюся квантовую индустрию.
Успех ABCI-Q может существенно приблизить эру, когда квантовые компьютеры начнут решать задачи, недоступные современным суперкомпьютерам.
#QuantumComputing #NVIDIA #Supercomputing
———
@tsingular
Nvidia совместно с японским Национальным институтом передовых промышленных наук и технологий (AIST) объявила о запуске ABCI-Q — крупнейшего в мире исследовательского суперкомпьютера, ориентированного на гибридные квантово-классические вычисления. Этот шаг знаменует открытие Глобального исследовательского центра по бизнес-технологиям квантового ИИ (G-QuAT).
Техническая мощь ABCI-Q:
🧠 Сердце системы: Более 2020 тензорных графических процессоров Nvidia H100.
🔗 Связующее звено: Высокопроизводительная сеть Nvidia Quantum-2 InfiniBand.
💻 Программная основа: Открытая платформа Nvidia CUDA-Q для симуляции и интеграции квантовых процессоров.
얽 Гибридный подход: Интеграция с различными кубитными технологиями:
Сверхпроводящие кубиты от Fujitsu.
Нейтрально-атомные процессоры от QuEra.
Фотонные процессоры от OptQC.
Ключевые цели проекта:
Преодоление барьеров: Ускорение исследований в области квантовой коррекции ошибок — критически важного аспекта для создания отказоустойчивых квантовых компьютеров.
Практическое применение: Разработка и тестирование реальных квантовых и гибридных алгоритмов для решения задач в медицине, энергетике, финансах и других отраслях.
Создание экосистемы: Предоставление исследователям мощного инструмента для экспериментов и продвижения квантовых технологий от теории к практике.
Перспективы: Запуск ABCI-Q — это значительный шаг к созданию практически полезных квантовых вычислительных систем. Интеграция передовых GPU Nvidia с разнообразными квантовыми процессорами позволяет исследовать сильные стороны различных кубитных модальностей и разрабатывать гибридные алгоритмы, сочетающие мощь классических суперкомпьютеров с потенциалом квантовых вычислений.
Акцент на CUDA-Q подчеркивает стремление Nvidia создать единую программную среду для сложного гетерогенного компьютинга.
Этот проект не только усиливает позиции Японии в глобальной квантовой гонке, но и демонстрирует стратегию Nvidia по глубокой интеграции своих ИИ-технологий в нарождающуюся квантовую индустрию.
Успех ABCI-Q может существенно приблизить эру, когда квантовые компьютеры начнут решать задачи, недоступные современным суперкомпьютерам.
#QuantumComputing #NVIDIA #Supercomputing
———
@tsingular
🔥5👍3
Ollama выпустила новый движок с поддержкой мультимодальных моделей
📊 Поддерживаемые модели:
- Llama 4 (включая Scout – 109B параметров, модель типа MoE)
- Google Gemma 3
- Qwen 2.5 VL
- Mistral Small 3.1
и другие модели с поддержкой зрения
💡 Ключевые возможности:
Llama 4 Scout – анализ локаций и контекста изображений:
- Распознает достопримечательности (например, башню с часами в Сан-Франциско)
- Отвечает на вопросы о расстояниях между объектами на фото и реальными местами
- Предлагает маршруты и способы добраться до нужных локаций
Gemma 3 – работа с несколькими изображениями одновременно:
- Находит общие элементы на разных фотографиях
- Анализирует взаимосвязи между объектами на изображениях
- Делает выводы о вероятных исходах ситуаций на сюжетной серии картинок
Qwen 2.5 VL – распознавание текста и документов:
- OCR (оптическое распознавание символов)
- Перевод вертикальных китайских надписей на английский
- Анализ документов и структурированной информации
⚙️ Техническая начинка нового движка:
Модульность моделей: каждая модель теперь полностью автономна и использует собственный проекционный слой, что улучшает стабильность и упрощает интеграцию
Повышенная точность: правильная обработка больших изображений с учетом границ батчей и позиционной информации
Оптимизация памяти:
Кэширование изображений для ускорения последующих запросов
Настройка причинного внимания (causal attention) на уровне отдельных моделей
Оптимизации KV-кэша для эффективного использования памяти
🔮 Будущие обновления:
- Поддержка более длинных контекстов
- Улучшенное мышление/рассуждение
- Вызов инструментов со стриминговыми ответами
- Расширенные возможности использования компьютера
🛠 Практическое применение:
- Разработчикам: создание приложений с локальным распознаванием изображений без API
- Исследователям: анализ документов и текстов на разных языках без подключения к интернету
- Контент-креаторам: быстрый анализ визуальных материалов без передачи данных третьим сторонам
Классное обновление. Не хватает еще TTS и STT для полноты мультимодальной картины.
#Ollama #Multimodal
———
@tsingular
📊 Поддерживаемые модели:
- Llama 4 (включая Scout – 109B параметров, модель типа MoE)
- Google Gemma 3
- Qwen 2.5 VL
- Mistral Small 3.1
и другие модели с поддержкой зрения
💡 Ключевые возможности:
Llama 4 Scout – анализ локаций и контекста изображений:
- Распознает достопримечательности (например, башню с часами в Сан-Франциско)
- Отвечает на вопросы о расстояниях между объектами на фото и реальными местами
- Предлагает маршруты и способы добраться до нужных локаций
Gemma 3 – работа с несколькими изображениями одновременно:
- Находит общие элементы на разных фотографиях
- Анализирует взаимосвязи между объектами на изображениях
- Делает выводы о вероятных исходах ситуаций на сюжетной серии картинок
Qwen 2.5 VL – распознавание текста и документов:
- OCR (оптическое распознавание символов)
- Перевод вертикальных китайских надписей на английский
- Анализ документов и структурированной информации
⚙️ Техническая начинка нового движка:
Модульность моделей: каждая модель теперь полностью автономна и использует собственный проекционный слой, что улучшает стабильность и упрощает интеграцию
Повышенная точность: правильная обработка больших изображений с учетом границ батчей и позиционной информации
Оптимизация памяти:
Кэширование изображений для ускорения последующих запросов
Настройка причинного внимания (causal attention) на уровне отдельных моделей
Оптимизации KV-кэша для эффективного использования памяти
🔮 Будущие обновления:
- Поддержка более длинных контекстов
- Улучшенное мышление/рассуждение
- Вызов инструментов со стриминговыми ответами
- Расширенные возможности использования компьютера
🛠 Практическое применение:
- Разработчикам: создание приложений с локальным распознаванием изображений без API
- Исследователям: анализ документов и текстов на разных языках без подключения к интернету
- Контент-креаторам: быстрый анализ визуальных материалов без передачи данных третьим сторонам
Классное обновление. Не хватает еще TTS и STT для полноты мультимодальной картины.
#Ollama #Multimodal
———
@tsingular
✍4🔥3❤1⚡1