🦙 Как приручить Llama: Используем LLM для поиска критичных данных в коде
Интересный разбор на ХАКЕРе о том, как заставить open-source LLM следить за утечкой чувствительных данных в микросервисах.
Суть проблемы: в больших проектах сложно уследить, где и какие критичные данные (паспорта, СНИЛС, финансы) обрабатываются. А знать надо — чтобы сфокусировать защиту на важных сервисах.
Что придумали:
1. Научились извлекать структуры данных из Swagger, Protobuf и SQL-схем
2. Сначала пытались искать по ключевым словам — но это "в лоб" и можно пропустить новые типы данных
3. Попробовали ChatGPT — отлично справился, но дорого и небезопасно отправлять схемы "наружу"
4. Нашли решение: локальная Llama 2 (3B или 8B параметров)
Технические детали:
- 3B-модель отрабатывает за 10 секунд, но иногда тупит
- 8B думает 30 секунд, но точнее определяет критичные поля
- На CPU без GPU модели работают медленно, но жить можно
- Для продакшена рекомендуют GPU + кэширование моделей в памяти
Практическое применение:
- Можно встроить в CI/CD для автоматического обнаружения новых критичных данных
- Выгружать результаты в DefectDojo и отслеживать как уязвимости
- Использовать для аудита legacy-кодовой базы
Интересно, что опенсорсная Llama на обычном железе справляется с задачей почти как ChatGPT. Конечно, думает подольше, но зато бесплатно, локально и безопасно 😎
Пришло время обновить подписку на ксакеп. :) (у них там сейчас скидка 60%, кстати)
Снова годные статьи в выпусках.
#Security #Llama #xakep
———
@tsingular
Интересный разбор на ХАКЕРе о том, как заставить open-source LLM следить за утечкой чувствительных данных в микросервисах.
Суть проблемы: в больших проектах сложно уследить, где и какие критичные данные (паспорта, СНИЛС, финансы) обрабатываются. А знать надо — чтобы сфокусировать защиту на важных сервисах.
Что придумали:
1. Научились извлекать структуры данных из Swagger, Protobuf и SQL-схем
2. Сначала пытались искать по ключевым словам — но это "в лоб" и можно пропустить новые типы данных
3. Попробовали ChatGPT — отлично справился, но дорого и небезопасно отправлять схемы "наружу"
4. Нашли решение: локальная Llama 2 (3B или 8B параметров)
Технические детали:
- 3B-модель отрабатывает за 10 секунд, но иногда тупит
- 8B думает 30 секунд, но точнее определяет критичные поля
- На CPU без GPU модели работают медленно, но жить можно
- Для продакшена рекомендуют GPU + кэширование моделей в памяти
Практическое применение:
- Можно встроить в CI/CD для автоматического обнаружения новых критичных данных
- Выгружать результаты в DefectDojo и отслеживать как уязвимости
- Использовать для аудита legacy-кодовой базы
Интересно, что опенсорсная Llama на обычном железе справляется с задачей почти как ChatGPT. Конечно, думает подольше, но зато бесплатно, локально и безопасно 😎
Пришло время обновить подписку на ксакеп. :) (у них там сейчас скидка 60%, кстати)
Снова годные статьи в выпусках.
#Security #Llama #xakep
———
@tsingular
👍8🤝3❤1
Карпати потестил Grok 3 в раннем доступе.
🎯 Ключевые выводы:
Сильные стороны:
- Уровень мышления ("Think" button) на уровне топовых моделей OpenAI
- Отлично справляется со сложными математическими задачами и рассуждениями
- Успешно работает с документами (тест на GPT-2 paper)
- Качественный Deep Search (аналог Deep Research от OpenAI/Perplexity)
Технические тесты:
- Успешно генерирует hex-сетку для Settlers of Catan (что не могут DeepSeek-R1, Gemini 2.0 и Claude)
- Правильно решает сложные задачи на подсчет FLOPS для тренировки моделей
- Хорошо справляется с простыми логическими головоломками
Слабые места:
- Проблемы с декодированием Unicode variation selectors
- Генерация некорректных tic-tac-toe досок
- Иногда галлюцинирует несуществующие URL
- Слабый уровень юмора (типичная проблема LLM)
- Излишняя "этическая чувствительность"
💡 Практический вывод:
1. Модель находится на уровне o1-pro от OpenAI ($200/месяц)
2. Превосходит DeepSeek-R1 и Gemini 2.0 Flash Thinking
3. Особенно впечатляет скорость развития: команда достигла state-of-the-art за ~1 год
🔮 Бизнес-применение:
- Сильная аналитическая составляющая делает модель полезной для исследовательских задач
- Deep Search функционал может заменить дорогие инструменты поиска решений
- Качественное решение математических и логических задач делает возможным технический анализа
🎯 Важный момент:
xAI показывает невероятную скорость развития — от нуля до уровня топовых моделей за год. Это может существенно повлиять на расстановку сил на рынке AI в ближайшем будущем.
(для всех, у кого есть 200 тыс видеокарт :) )
#grok3 #karpathy
———
@tsingular
🎯 Ключевые выводы:
Сильные стороны:
- Уровень мышления ("Think" button) на уровне топовых моделей OpenAI
- Отлично справляется со сложными математическими задачами и рассуждениями
- Успешно работает с документами (тест на GPT-2 paper)
- Качественный Deep Search (аналог Deep Research от OpenAI/Perplexity)
Технические тесты:
- Успешно генерирует hex-сетку для Settlers of Catan (что не могут DeepSeek-R1, Gemini 2.0 и Claude)
- Правильно решает сложные задачи на подсчет FLOPS для тренировки моделей
- Хорошо справляется с простыми логическими головоломками
Слабые места:
- Проблемы с декодированием Unicode variation selectors
- Генерация некорректных tic-tac-toe досок
- Иногда галлюцинирует несуществующие URL
- Слабый уровень юмора (типичная проблема LLM)
- Излишняя "этическая чувствительность"
💡 Практический вывод:
1. Модель находится на уровне o1-pro от OpenAI ($200/месяц)
2. Превосходит DeepSeek-R1 и Gemini 2.0 Flash Thinking
3. Особенно впечатляет скорость развития: команда достигла state-of-the-art за ~1 год
🔮 Бизнес-применение:
- Сильная аналитическая составляющая делает модель полезной для исследовательских задач
- Deep Search функционал может заменить дорогие инструменты поиска решений
- Качественное решение математических и логических задач делает возможным технический анализа
🎯 Важный момент:
xAI показывает невероятную скорость развития — от нуля до уровня топовых моделей за год. Это может существенно повлиять на расстановку сил на рынке AI в ближайшем будущем.
(для всех, у кого есть 200 тыс видеокарт :) )
#grok3 #karpathy
———
@tsingular
👍8🔥4
🤖 Google Meet встроил AI-помощника для встреч.
Gemini теперь умеет не просто записывать встречи в Google Meet, но и автоматически выделять следующие шаги и назначать ответственных.
- Работает пока только на английском языке
- Нужен компьютер/ноутбук (для звонков с мобильников пока не поддерживается)
- Длительность встреч: от 15 минут до 8 часов
- Создает Google Doc с заметками, который автоматически прикрепляется к календарному событию
- Поддерживает цитирование с таймкодами из транскрипции
- Умеет делать "Summary so far" для опоздавших
Доступность:
- Google Workspace Business Standard/Plus
- Enterprise Standard/Plus
- Образовательные учреждения через Gemini Education Premium
- Старые подписчики Gemini Enterprise и AI Meetings
Как работает:
1. Находите кнопку "Take notes with Gemini" в верхнем правом углу Meet
2. Включаете - участники видят значок карандаша
3. После встречи организатор и включивший заметки получают email со ссылкой
4. Документ автоматически расшаривается на внутренних участников встречи
За последний год появилось много стартапов типа tldv, Fathom и других, предлагающих AI-заметки для встреч. Google фактически "убил" их рынок, встроив эту функцию прямо в Meet.
И судя по rollout'у (медленный, с тщательным мониторингом качества) - Google серьезно настроен сделать это базовой функцией для всех корпоративных клиентов.
А следом, скорее всего, и для обычных.
Так что если вы планировали делать стартап в этой нише - возможно, стоит пересмотреть планы.
Google показывает, что базовые AI-функции будут встроены во все популярные инструменты. Нужно искать более специализированные ниши или создавать решения поверх существующих платформ. 🤔
Мультиплатформенные ассистенты.
#GoogleMeet #tldv #транскрибация
———
@tsingular
Gemini теперь умеет не просто записывать встречи в Google Meet, но и автоматически выделять следующие шаги и назначать ответственных.
- Работает пока только на английском языке
- Нужен компьютер/ноутбук (для звонков с мобильников пока не поддерживается)
- Длительность встреч: от 15 минут до 8 часов
- Создает Google Doc с заметками, который автоматически прикрепляется к календарному событию
- Поддерживает цитирование с таймкодами из транскрипции
- Умеет делать "Summary so far" для опоздавших
Доступность:
- Google Workspace Business Standard/Plus
- Enterprise Standard/Plus
- Образовательные учреждения через Gemini Education Premium
- Старые подписчики Gemini Enterprise и AI Meetings
Как работает:
1. Находите кнопку "Take notes with Gemini" в верхнем правом углу Meet
2. Включаете - участники видят значок карандаша
3. После встречи организатор и включивший заметки получают email со ссылкой
4. Документ автоматически расшаривается на внутренних участников встречи
За последний год появилось много стартапов типа tldv, Fathom и других, предлагающих AI-заметки для встреч. Google фактически "убил" их рынок, встроив эту функцию прямо в Meet.
И судя по rollout'у (медленный, с тщательным мониторингом качества) - Google серьезно настроен сделать это базовой функцией для всех корпоративных клиентов.
А следом, скорее всего, и для обычных.
Так что если вы планировали делать стартап в этой нише - возможно, стоит пересмотреть планы.
Google показывает, что базовые AI-функции будут встроены во все популярные инструменты. Нужно искать более специализированные ниши или создавать решения поверх существующих платформ. 🤔
Мультиплатформенные ассистенты.
#GoogleMeet #tldv #транскрибация
———
@tsingular
⚡3✍1👨💻1
BigQuery ML теперь работает с open-source LLM!
Google Cloud порадовал крутейшим анонсом - теперь BigQuery ML может использовать любые open-source языковые модели из Vertex AI Model Garden, включая всю библиотеку Hugging Face (170K+ моделей)!
Что это значит на практике:
- Можно использовать свои fine-tuned модели
- Доступны все 170K+ моделей с Hugging Face
- Работает через привычный SQL-синтаксис
- Интеграция с Vertex AI для деплоя моделей
В посте они показали пример с Llama 3.3 70B:
Модель анализирует медицинские транскрипты и извлекает структурированные данные (возраст, пол, заболевания) прямо через SQL-запросы.
Процесс запуска:
1. Деплоим модель в Vertex AI
2. Создаем remote model в BigQuery
3. Делаем инференс через ML.GENERATE_TEXT
Теперь работа с большими объемами данных резко упростилась.
Особенно круто для компаний, у которых уже есть данные в BigQuery - можно добавить ИИ без сложной интеграции.
Кто не в курсе, BigQuery это такая безразмерная база данных, куда поместится вообще все что можно себе представить и при этом ещё место останется. Логи, сделки, CRM, что хотите.
И при этом цена не будет конской. Что редко вообще встречается :)
P.S. И да, дают $300 кредитов новым пользователям для тестирования.
#BigQuery #Google #HuggingFace
———
@tsingular
Google Cloud порадовал крутейшим анонсом - теперь BigQuery ML может использовать любые open-source языковые модели из Vertex AI Model Garden, включая всю библиотеку Hugging Face (170K+ моделей)!
Что это значит на практике:
- Можно использовать свои fine-tuned модели
- Доступны все 170K+ моделей с Hugging Face
- Работает через привычный SQL-синтаксис
- Интеграция с Vertex AI для деплоя моделей
В посте они показали пример с Llama 3.3 70B:
Модель анализирует медицинские транскрипты и извлекает структурированные данные (возраст, пол, заболевания) прямо через SQL-запросы.
Процесс запуска:
1. Деплоим модель в Vertex AI
2. Создаем remote model в BigQuery
3. Делаем инференс через ML.GENERATE_TEXT
Теперь работа с большими объемами данных резко упростилась.
Особенно круто для компаний, у которых уже есть данные в BigQuery - можно добавить ИИ без сложной интеграции.
Кто не в курсе, BigQuery это такая безразмерная база данных, куда поместится вообще все что можно себе представить и при этом ещё место останется. Логи, сделки, CRM, что хотите.
И при этом цена не будет конской. Что редко вообще встречается :)
P.S. И да, дают $300 кредитов новым пользователям для тестирования.
#BigQuery #Google #HuggingFace
———
@tsingular
👍5🔥3
Интересный вариант карты российского ИИ ландшафта.
- Рынок ИИ-агентов и автоматизации поддержки достаточно насыщен. Тут не только гиганты, но и специализированные игроки, которые делают кастомные решения.
- В инфраструктурной части есть и NVIDIA A100 и иногда даже H100
- Есть локальные бенчмарки для русскоязычных LLM - теперь можно объективно сравнивать модели
- Кроме YandexGPT и GigaChat, есть опенсорсные Saiga LLM и Вихрь LLM - адаптированные под русский язык
- Рынок LLM оценивается в 35 млрд руб
- Прогноз роста - 25% ежегодно до 2028
- Основной барьер - сложности с железом для обучения
В целом карта показывает, что рынок живее, чем кажется. Особенно если нужны решения для автоматизации поддержки или кастомные ИИ-агенты.
Карта тут
Не хватает, конечно, еще достойных игроков, вроде aitunnel.ru например или immers.cloud. Ну и разработчиков и интеграторов ИИ решений не хватает многих.
Запилить что-ли свою карту ? :)
Что скажете?
#Россия #карта
———
@tsingular
- Рынок ИИ-агентов и автоматизации поддержки достаточно насыщен. Тут не только гиганты, но и специализированные игроки, которые делают кастомные решения.
- В инфраструктурной части есть и NVIDIA A100 и иногда даже H100
- Есть локальные бенчмарки для русскоязычных LLM - теперь можно объективно сравнивать модели
- Кроме YandexGPT и GigaChat, есть опенсорсные Saiga LLM и Вихрь LLM - адаптированные под русский язык
- Рынок LLM оценивается в 35 млрд руб
- Прогноз роста - 25% ежегодно до 2028
- Основной барьер - сложности с железом для обучения
В целом карта показывает, что рынок живее, чем кажется. Особенно если нужны решения для автоматизации поддержки или кастомные ИИ-агенты.
Карта тут
Не хватает, конечно, еще достойных игроков, вроде aitunnel.ru например или immers.cloud. Ну и разработчиков и интеграторов ИИ решений не хватает многих.
Запилить что-ли свою карту ? :)
Что скажете?
#Россия #карта
———
@tsingular
👍13🔥2✍1
This media is not supported in your browser
VIEW IN TELEGRAM
Интерактивный учебник по Линейной Алгебре
Просто огонь! Бесплатный и по-настоящему интерактивный!
Можно, конечно в PDF скачать, но не так наглядно будет.
Следующий уровень - учебники с ИИ.
#учебники #обучение
———
@tsingular
Просто огонь! Бесплатный и по-настоящему интерактивный!
Можно, конечно в PDF скачать, но не так наглядно будет.
Следующий уровень - учебники с ИИ.
#учебники #обучение
———
@tsingular
🔥17❤6👍1
Forwarded from Data Secrets
OpenAI релизнули новый бенчмарк SWE-Lancer, который привязывает способности LLM к реальному экономическому эффекту
А сделали они это очень просто и изящно: взяли 1 488 заданий с фриланс-платформы Upwork общей стоимостью $1 миллион USD и проверили, сколько из них сможет решить модель. При этом не все задачи одинаковые. Они варьируются от мелких исправлений багов за $50 до сложных тасок по реализации новых фич за $32 000.
В этом как раз и фишка: задания оцениваются по реальным рыночным ставкам, а не гипотетическим оценкам сложности. В среднем, если что, такие задачи требуют изменения 2 файлов и 69 строк кода и решаются людьми за 26 дней.
Лучше всего себя показала Claude 3.5 Sonnet (да, не o1). Модель заработала $403 000. o1 high compute при этом заслужила $380 000, а GPT-4o всего $304 000.
Интересно было посмотреть на сравнение с затратами на API, но такого анализа пока не провели
arxiv.org/abs/2502.12115
А сделали они это очень просто и изящно: взяли 1 488 заданий с фриланс-платформы Upwork общей стоимостью $1 миллион USD и проверили, сколько из них сможет решить модель. При этом не все задачи одинаковые. Они варьируются от мелких исправлений багов за $50 до сложных тасок по реализации новых фич за $32 000.
В этом как раз и фишка: задания оцениваются по реальным рыночным ставкам, а не гипотетическим оценкам сложности. В среднем, если что, такие задачи требуют изменения 2 файлов и 69 строк кода и решаются людьми за 26 дней.
Лучше всего себя показала Claude 3.5 Sonnet (да, не o1). Модель заработала $403 000. o1 high compute при этом заслужила $380 000, а GPT-4o всего $304 000.
Интересно было посмотреть на сравнение с затратами на API, но такого анализа пока не провели
arxiv.org/abs/2502.12115
👍7🔥2🏆2
Появилась утечка, что Антропик готовит следующую модель с размышлениями и поиском.
Обнаружили по иконкам в приложении под iOS.
Опус 3.5 уже так долго маринуют, что можно его под 4м номером выпускать, раз уж такой способный.
#anthropic
———
@tsingular
Обнаружили по иконкам в приложении под iOS.
Опус 3.5 уже так долго маринуют, что можно его под 4м номером выпускать, раз уж такой способный.
#anthropic
———
@tsingular
🔥5
🚀 InfiniteHiP: 3 миллиона токенов на одном GPU!
Интересный подход для обработки сверхдлинных текстов, который решает классическую проблему LLM - ограничение контекстного окна.
- Систему научили обрабатывать контекст в 3 млн токенов на одном GPU (это примерно 2000 страниц текста!)
- Скорость работы в 18.95 раз выше традиционных методов
- Не требует дополнительного обучения модели!!!
🔍 Как это работает:
Система использует "модульное иерархическое сокращение" - представьте, что вы читаете книгу: сначала смотрите на заголовки глав, потом на важные абзацы, затем на ключевые предложения. Похожим образом работает и InfiniteHiP.
💡Менее важная информация хранится в обычной RAM, а не в памяти GPU. При необходимости данные подгружаются обратно. По сути RAG.
Практическое применение:
- Анализ больших документов (контракты, техническая документация)
- Обработка научных статей с сохранением полного контекста
- Работа с большими кодовыми базами
💼 Для бизнеса:
Техники эффективного управления памятью и внимания, разработанные в этом проекте, могут быть полезны для оптимизации других AI-приложений, где критична производительность.
📝 Paper: https://huggingface.co/papers/2502.08910
💻 Исходники: https://github.com/DeepAuto-AI/hip-attention/
▶️ Demo на DeepSeek 14B: https://chat.deepauto.ai/
Вот что мне это напомнило.
В детских книгах раньше как писали:
ГЛАВА ВОСЬМАЯ, в которой Кристофер Робин организует "искпедицию" к Северному Полюсу
В заголовке была краткая аннотация. Очень близко по сути.
#pruning #InfiniteHiP #huggingface
———
@tsingular
Интересный подход для обработки сверхдлинных текстов, который решает классическую проблему LLM - ограничение контекстного окна.
- Систему научили обрабатывать контекст в 3 млн токенов на одном GPU (это примерно 2000 страниц текста!)
- Скорость работы в 18.95 раз выше традиционных методов
- Не требует дополнительного обучения модели!!!
🔍 Как это работает:
Система использует "модульное иерархическое сокращение" - представьте, что вы читаете книгу: сначала смотрите на заголовки глав, потом на важные абзацы, затем на ключевые предложения. Похожим образом работает и InfiniteHiP.
💡Менее важная информация хранится в обычной RAM, а не в памяти GPU. При необходимости данные подгружаются обратно. По сути RAG.
Практическое применение:
- Анализ больших документов (контракты, техническая документация)
- Обработка научных статей с сохранением полного контекста
- Работа с большими кодовыми базами
💼 Для бизнеса:
Техники эффективного управления памятью и внимания, разработанные в этом проекте, могут быть полезны для оптимизации других AI-приложений, где критична производительность.
📝 Paper: https://huggingface.co/papers/2502.08910
💻 Исходники: https://github.com/DeepAuto-AI/hip-attention/
▶️ Demo на DeepSeek 14B: https://chat.deepauto.ai/
Вот что мне это напомнило.
В детских книгах раньше как писали:
ГЛАВА ВОСЬМАЯ, в которой Кристофер Робин организует "искпедицию" к Северному Полюсу
В заголовке была краткая аннотация. Очень близко по сути.
#pruning #InfiniteHiP #huggingface
———
@tsingular
🔥5✍3⚡1
Короче тут один товарищ в LinkedIn что пишет.
Агенты не нужны, РАГи не нужны, поиск этот ваш не нужен. Вообще ничего не нужно кроме Deepseek R1 в полной комплектации (это 800гигов VRAM) и цикл loop while количеством более 10 минут!.
Т.е. берёшь любую задачу, решаешь её DS и отдаешь ему же на оценку и исправление и переделку не глядя. (вьетнамские флэшбэки из школы)
И после 10-15 ти МИНУТ проверяешь.
Если брать в среднем 30 секунд на цикл, это не менее 20ти прогонов, а то и все 50...
Результаты 100% идеальны. И уж точно лучше любой команды людей.
Ну и классическая рекомендация - ИИ должен быть у вас локально, чтобы вы могли без ограничений грузить его такими циклами.
Сегодня это удовольствие стоит примерно $400К (7хH200 + память + железо вокруг неё) и помещается в 1 стойке.
Не такая уж и большая цена для юрлиц за "бога в коробке".
#deepseek #hardware
———
@tsingular
Агенты не нужны, РАГи не нужны, поиск этот ваш не нужен. Вообще ничего не нужно кроме Deepseek R1 в полной комплектации (это 800гигов VRAM) и цикл loop while количеством более 10 минут!.
Т.е. берёшь любую задачу, решаешь её DS и отдаешь ему же на оценку и исправление и переделку не глядя. (вьетнамские флэшбэки из школы)
И после 10-15 ти МИНУТ проверяешь.
Если брать в среднем 30 секунд на цикл, это не менее 20ти прогонов, а то и все 50...
Результаты 100% идеальны. И уж точно лучше любой команды людей.
Ну и классическая рекомендация - ИИ должен быть у вас локально, чтобы вы могли без ограничений грузить его такими циклами.
Сегодня это удовольствие стоит примерно $400К (7хH200 + память + железо вокруг неё) и помещается в 1 стойке.
Не такая уж и большая цена для юрлиц за "бога в коробке".
#deepseek #hardware
———
@tsingular
🤔17👍3🔥3🤯2❤🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Microsoft представила революционный квантовый чип Majorana 1
Majorana 1 - первый квантовый процессор с архитектурой Topological Core.
Чип использует топопроводник и содержит 8 топологических кубитов с потенциалом масштабирования до миллиона.
Устройство изготовлено из гибрида арсенида индия и алюминия, работает при сверхнизких температурах.
Ключевые преимущества: цифровое управление, встроенная устойчивость к ошибкам, компактность.
Квантовые компьютеры становятся реальностью - интересно как долго продержатся криптовалюты.
Про пароли обычные вообще можно забыть.
#Microsoft #Majorana #QuantumComputing
------
@tsingular
Majorana 1 - первый квантовый процессор с архитектурой Topological Core.
Чип использует топопроводник и содержит 8 топологических кубитов с потенциалом масштабирования до миллиона.
Устройство изготовлено из гибрида арсенида индия и алюминия, работает при сверхнизких температурах.
Ключевые преимущества: цифровое управление, встроенная устойчивость к ошибкам, компактность.
Квантовые компьютеры становятся реальностью - интересно как долго продержатся криптовалюты.
Про пароли обычные вообще можно забыть.
#Microsoft #Majorana #QuantumComputing
------
@tsingular
🔥14💯2
This media is not supported in your browser
VIEW IN TELEGRAM
🔬 Google представила ассистента ученого: мультиагентная система на базе Gemini 2.0
В основе - 6 специализированных агентов:
Generation - генерирует гипотезы
Reflection - анализирует
Ranking - ранжирует
Evolution - улучшает
Proximity - проверяет близость к существующим исследованиям
Meta-review - итоговая общая проверка научным методом
Главная фишка - масштабирование вычислений во время работы (test-time compute scaling). То есть, чем больше система думает над проблемой, тем лучше становятся результаты.
(Вспоминаем вчерашний пост - тупо 15 минут вычислений в цикле на DeepSeek :) )
Используют для этого:
Научные дебаты между агентами
Турниры для сравнения гипотез
Эволюционный процесс для улучшения качества
Практические примеры, рассмотренные во время запуска:
- Нашли новые применения существующих лекарств для лечения лейкемии
- Предложили новые мишени для лечения фиброза печени
- Объяснили механизмы устойчивости к антибиотикам
Для бизнеса и исследователей: Google открывает доступ через Trusted Tester Program. Если работаете в исследованиях - можно подаваться.
В целом, похоже на серьезный шаг вперед в автоматизации научных исследований. Особенно круто, что система не просто перебирает литературу, а реально генерирует новые гипотезы, которые подтверждаются в лабораторных условиях 🧪
Интересно будет посмотреть, как это повлияет на скорость научных открытий в мирных целях 😎
#Science #Research #Google
———
@tsingular
В основе - 6 специализированных агентов:
Generation - генерирует гипотезы
Reflection - анализирует
Ranking - ранжирует
Evolution - улучшает
Proximity - проверяет близость к существующим исследованиям
Meta-review - итоговая общая проверка научным методом
Главная фишка - масштабирование вычислений во время работы (test-time compute scaling). То есть, чем больше система думает над проблемой, тем лучше становятся результаты.
(Вспоминаем вчерашний пост - тупо 15 минут вычислений в цикле на DeepSeek :) )
Используют для этого:
Научные дебаты между агентами
Турниры для сравнения гипотез
Эволюционный процесс для улучшения качества
Практические примеры, рассмотренные во время запуска:
- Нашли новые применения существующих лекарств для лечения лейкемии
- Предложили новые мишени для лечения фиброза печени
- Объяснили механизмы устойчивости к антибиотикам
Для бизнеса и исследователей: Google открывает доступ через Trusted Tester Program. Если работаете в исследованиях - можно подаваться.
В целом, похоже на серьезный шаг вперед в автоматизации научных исследований. Особенно круто, что система не просто перебирает литературу, а реально генерирует новые гипотезы, которые подтверждаются в лабораторных условиях 🧪
Интересно будет посмотреть, как это повлияет на скорость научных открытий в мирных целях 😎
#Science #Research #Google
———
@tsingular
🔥9👍5⚡1
🧬 Evo 2: Крупнейшая AI-модель для работы с геномами
И следом интереснейший анонс от NVidia: Arc Institute и Stanford выпустили Evo 2 - самую большую публично доступную модель для работы с геномными данными.
1. Технический масштаб:
- Обучающий датасет: 8.85 триллионов нуклеотидов
- 15,032 эукариотических и 113,379 прокариотических геномов
- До 40B параметров
- Контекстное окно до 1 миллиона токенов (в 8 раз больше предшественника!)
2. Архитектура:
- Новый StripedHyena 2 (гибридная архитектура)
- Вместо привычных трансформеров использует комбинацию свёрточных фильтров и гейтов
- Обучается значительно быстрее традиционных моделей
- Тренировали на 2,048 NVIDIA H100 через DGX Cloud на AWS
3. Мультимодальность:
- Работает одновременно с ДНК, РНК и белками
- Охватывает все домены жизни (прокариоты, эукариоты, археи)
- Zero-shot перенос между видами
Практическое применение 💼:
1. Для исследователей:
- Доступна через NVIDIA BioNeMo как микросервис
- Можно файнтюнить под свои задачи
- Есть API для генерации биологических последовательностей
2. Для бизнеса:
- Дизайн и репозиционирование лекарств
- Предсказание влияния мутаций (точность 90% на BRCA1!)
- Разработка устойчивых к климату сельхозкультур
Самое весёлое будет подключить Evo2 как инструмент к исследователю от Google!
Это ж они так и единорогов переизобретут. :)
Кстати, безопасность не забыли - намеренно исключили из датасета вирусы эукариот.
#BioTech #Genomics #Research
———
@tsingular
И следом интереснейший анонс от NVidia: Arc Institute и Stanford выпустили Evo 2 - самую большую публично доступную модель для работы с геномными данными.
1. Технический масштаб:
- Обучающий датасет: 8.85 триллионов нуклеотидов
- 15,032 эукариотических и 113,379 прокариотических геномов
- До 40B параметров
- Контекстное окно до 1 миллиона токенов (в 8 раз больше предшественника!)
2. Архитектура:
- Новый StripedHyena 2 (гибридная архитектура)
- Вместо привычных трансформеров использует комбинацию свёрточных фильтров и гейтов
- Обучается значительно быстрее традиционных моделей
- Тренировали на 2,048 NVIDIA H100 через DGX Cloud на AWS
3. Мультимодальность:
- Работает одновременно с ДНК, РНК и белками
- Охватывает все домены жизни (прокариоты, эукариоты, археи)
- Zero-shot перенос между видами
Практическое применение 💼:
1. Для исследователей:
- Доступна через NVIDIA BioNeMo как микросервис
- Можно файнтюнить под свои задачи
- Есть API для генерации биологических последовательностей
2. Для бизнеса:
- Дизайн и репозиционирование лекарств
- Предсказание влияния мутаций (точность 90% на BRCA1!)
- Разработка устойчивых к климату сельхозкультур
Самое весёлое будет подключить Evo2 как инструмент к исследователю от Google!
Это ж они так и единорогов переизобретут. :)
Кстати, безопасность не забыли - намеренно исключили из датасета вирусы эукариот.
#BioTech #Genomics #Research
———
@tsingular
🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
🎮 Microsoft выпустила Muse - модель для генерации игрового процесса
Интересные новости от Microsoft Research - в открытый доступ выпустили модель Muse, обученную на геймплее игры Bleeding Edge.
🔧 Архитектура:
- Это World and Human Action Model (WHAM) - первая модель, способная генерировать как визуальный ряд, так и управляющие действия игрока
- Обучена на 1 млрд пар изображение-действие (это ~7 лет непрерывного геймплея!)
- Текущее разрешение 300×180 пикселей (начинали со 128×128)
- Есть экспериментальная real-time версия на 10 fps
🧠 Ключевые возможности:
- Consistency: генерирует последовательный геймплей с учетом физики игры
- Diversity: может создавать разные варианты развития событий из одной начальной точки
- Persistency: "запоминает" изменения и встраивает их в дальнейшую генерацию
💡 Где это может быть применимо помимо игр:
1. Симуляторы и обучение:
- Генерация сценариев для тренажеров
- Создание вариативных ситуаций для обучения
- Моделирование нестандартных случаев
- Тактическое предсказание
2. Робототехника:
- Обучение роботов через демонстрацию действий
- Генерация последовательностей движений
- Предсказание физических взаимодействий
3. Промышленный дизайн:
- Быстрое прототипирование интерфейсов
- Тестирование взаимодействия пользователя с продуктом
- Генерация вариантов дизайна с учетом физических ограничений
⚡️ Особенно интересно:
Microsoft открыла веса модели и демо WHAM для экспериментов. Можно попробовать на Azure AI Foundry.
А будущие анонсы по ИИ в играх от MS можно отслеживать у них в Gaming-AI-Hub
🤔 Самое интересное, конечно, - это потенциал технологии вне игровой индустрии.
Теперь пригодятся все миллиарды часов записи стримов из игр на youtube и twitche. Twitter же тоже запись стримов игр запустил, - не просто так.
#Microsoft #GameDev
———
@tsingular
Интересные новости от Microsoft Research - в открытый доступ выпустили модель Muse, обученную на геймплее игры Bleeding Edge.
🔧 Архитектура:
- Это World and Human Action Model (WHAM) - первая модель, способная генерировать как визуальный ряд, так и управляющие действия игрока
- Обучена на 1 млрд пар изображение-действие (это ~7 лет непрерывного геймплея!)
- Текущее разрешение 300×180 пикселей (начинали со 128×128)
- Есть экспериментальная real-time версия на 10 fps
🧠 Ключевые возможности:
- Consistency: генерирует последовательный геймплей с учетом физики игры
- Diversity: может создавать разные варианты развития событий из одной начальной точки
- Persistency: "запоминает" изменения и встраивает их в дальнейшую генерацию
💡 Где это может быть применимо помимо игр:
1. Симуляторы и обучение:
- Генерация сценариев для тренажеров
- Создание вариативных ситуаций для обучения
- Моделирование нестандартных случаев
- Тактическое предсказание
2. Робототехника:
- Обучение роботов через демонстрацию действий
- Генерация последовательностей движений
- Предсказание физических взаимодействий
3. Промышленный дизайн:
- Быстрое прототипирование интерфейсов
- Тестирование взаимодействия пользователя с продуктом
- Генерация вариантов дизайна с учетом физических ограничений
⚡️ Особенно интересно:
Microsoft открыла веса модели и демо WHAM для экспериментов. Можно попробовать на Azure AI Foundry.
А будущие анонсы по ИИ в играх от MS можно отслеживать у них в Gaming-AI-Hub
🤔 Самое интересное, конечно, - это потенциал технологии вне игровой индустрии.
Теперь пригодятся все миллиарды часов записи стримов из игр на youtube и twitche. Twitter же тоже запись стримов игр запустил, - не просто так.
#Microsoft #GameDev
———
@tsingular
🔥5👍2
Grok3 открыли для всех счастливых обладателей VPN :)
https://grok.com/
Пробуем, пока не закончился аттракцион невиданной щедрости от Маска.
#grok3
———
@tsingular
https://grok.com/
Пробуем, пока не закончился аттракцион невиданной щедрости от Маска.
#grok3
———
@tsingular
👍8🔥5😁1
И тут же предлагают SuperGrok
Увеличение лимитов по Grok3
Доступ к размышлениям
DeepSearch
Безлимит на генерацию картинок
от $30 в месяц.
Реально o3 pro за $200 не нужен вообще ни с какой стороны.
#grok3
———
@tsingular
Увеличение лимитов по Grok3
Доступ к размышлениям
DeepSearch
Безлимит на генерацию картинок
от $30 в месяц.
Реально o3 pro за $200 не нужен вообще ни с какой стороны.
#grok3
———
@tsingular
🔥7🆒4🎉1
Forwarded from эйай ньюз
Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти.
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций.
Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги.
https://huggingface.co/spaces/nanotron/ultrascale-playbook
@ai_newz
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти.
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций.
Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги.
https://huggingface.co/spaces/nanotron/ultrascale-playbook
@ai_newz
🔥4