Data Secrets
✔
95.3K subscribers
7.56K photos
897 videos
20 files
3.49K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Внутренняя модель Claude помогла ученым разработать белок, который может стать антидотом от яда скорпиона

От укусов скорпионов каждый год страдают больше миллиона человек и гибнут тысячи, в основном дети в бедных регионах. Существующие противоядия делают из крови лошадей, это долго и дорого, а работают они не против всех видов яда.

Яд скорпиона действует так: токсин цепляется к нервным клеткам и заставляет нервы срабатывать невпопад. У ученых есть идея о том, что можно создать маленькие белки, которые прилипают к токсину в нужном месте и не дают ему добраться до клеток.

Так вот, Anthropic вместе с Citrini Research решили проверить, сможет ли Claude помочь ученым сгенерировать такие белки-заглушки. Агенту дали промпт и среду, и он почти трое суток работал автономно. В итоге он придумал более 300 тысяч вариантов таких белков, после чего отсеял слабые и отобрал 180 лучших. На все ушло порядка 10 000 GPU-часов.

17 из отобранных белков прошли строгую проверку в условиях лаборатории, и два лучших, как оказалось, цепляются к токсину очень крепко. Однако у скорпионов в разных регионах токсины разные, и у Claude пока не получилось создать ни одного универсального белка.

В любом случае, даже для отельных токсинов, это пока не антидоты, тесты продолжаются, и успех не гарантирован. Однако за 3 дня работы даже получение такого шорт-листа кандидатов – это уже большой результат, который раньше занимал у людей месяцы работы.

Все белки, кстати, выложили в опенсорс. Можно посмотреть вот здесь: https://huggingface.co/datasets/Anthropic/scorpion-toxin-binder-design
🔥191❤52👍30😁8🤔3🦄3💘2☃1⚡1😍1
OpenAI купили Orchestra Bio – платформу для координации процессов разработки лекарств

Сумма сделки не раскрывается. Команда Orchestra Bio переходит в OpenAI.

Видимо, план в том, чтобы соединить купленную технологию с GPT-Rosalind, моделью OpenAI, заточенной под биологию и химию. А продаваться это будет под соусом «агента, который может ускорить выпуск препарата». Причем ИИ будет присутствовать не только на этапе рисерча, но и в целом поможет управлять разработкой, начиная с планирования и заканчивая координацией подрядчиков.

Видимо, OpenAI делает на фарму очень большую ставку (как и Anthropic), и не зря. Это дорогой рынок с платежеспособными клиентами, а прибыль ИИ-стартапам ну очень нужна.

https://openai.com/ru-RU/index/openai-to-acquire-orchestra-bio/
❤7838👍106😁5⚡4🕊2❤‍🔥1🔥1🤝1
Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают

LLM-агентам все чаще дают доступ к почте, базам данных и платежным системам, и они становятся удобной мишенью. Для того, чтобы провести атаку через агента даже не нужен взлом в привычном смысле, достаточно текста, который модель примет за команду и выполнит. Такие спрятанные джейлбрейки уже несколько раз использовались для кражи данных через корпоративных ассистентов, так что тема нешуточная.

Чтобы это побороть, можно воткнуть готовую guard-модель. На английском это скорее всего как-то сработает. Однако на русском, как показывает практика, такая модель будет блокировать слишком много обычных запросов, и в то же время может пропустить реальный джейлбрейк.

Исследователи из Just AI занимаются разработкой guardrails для LLM-приложений и агентов, и недавно они выпустили на Хабр статью «Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов».

R&D-команда провела ряд интересных экспериментов. В статье на них в том числе показано, почему модель мало просто обучить один раз, тем более если изначально ее обучали под другой язык. Атаки меняются, и тестовый набор годичной давности защищает только от атак годичной давности, так что новые данные нужны постоянно.

На русском языке подходящий датасетов почти нет, так что Just AI прямо сейчас также занимаются сбором актуальных данных. В сборе может поучаствовать каждый, потому что делают это через игру в духе Gandalf: на каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Успешные обходы войдут в публичный датасет на Hugging Face. Поиграть можно здесь: justgandalf.ru.

Статья действительно получилась очень емкая и практичная, на Хабре можно проголосовать за нее до 22 октября. Кроме этой статьи, в блоге много хороших текстов про автоматизацию и AI-агентов. Ребята – одни из немногих, кто рассказывает об этом на русском языке через практику из первых рук.
❤54👍28🗿13😁7🤨5⚡2🤩2🎄2🔥1🤔1
Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений

Репорт

Таких случаев зафиксировали сразу два.

В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил ее помимо прочего «не отправлять сообщений в Slack», однако модель подумала, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал ее не делать этого, но модель его проигнорировала.

И если этот случай можно списать на «ну она просто не так поняла задание», то второй – гораздо интереснее.

Astra попросили перенести код по образцу эталонной реализации. При этом в целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако, как вы думаете, что она сделала? Правильно, удалила его. И заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия 🗿

Пользователю она об этом, конечно, не сообщила (а зачем?). А когда модель напрямую спросили, удалила ли она мониторинг, та честно-пречестно ответила «нет, не удаляла».

OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁13961❤28👍8🗿7🔥3😍3⚡2🕊1
… and debug them until 3 a.m.
1😁318🤯40❤26💯14😭11⚡3👍2🍓2👏1🎉1🐳1
Higgsfield AI ищет аналитиков и исследователей

Higgsfield AI – это та самая мелькающая везде платформа для ИИ-генерации фото и видео, и, кроме того, единорог. Они сделали больше $1 млрд ARR за 18 месяцев. Их оценка ~$5,4 млрд, а среди сотрудников – 133 долларовых миллионера.

Сейчас они в поиске сильных аналитиков и рисерчеров. Что интересно в этом стартапе, так это то, что все ключевые решения принимаются как раз через аналитиков и их отчеты. Именно так продумываются продукты, стратегия, бюджеты и все прочее.

Например, летом благодаря всему одному аналитику, который придумал свою серию метрик, стартап закрыл раунд на $400 млн при оценке $5,4 млрд. А тот сотрудник, Шотан, получил $5 млн опционами. Сейчас Шотан ищет себе в команду аналитика, вот вакансия.

В компании развиваются и другие интересные направления, например антифрод. GenAI-фрод появляется очень быстро, и в этой области антифрод – это уже намного больше, чем поиск скучных паттернов. Недавно один из аналитиков компании, Роман, по аккаунтам и генерациям вычислил мошенника, которого искало ФБР. Позже его команда раскрыла схему с 2000+ аккаунтами на краденых картах. Сейчас именно в эту команду ищут грамотного Antifraud Analyst.

Таких ярких историй в стартапе много. Также ребята ищут:

— Product Analyst. Идея Marketing Studio, одного из крупнейших продуктов компании, родилась из анализа 1 млрд+ генераций. В данный момент база растет на 6 млн генераций в день. Ищут человека с продуктовым чутьем и строгого в экспериментах.

— Data Science, Product. Команда разобрала 100 000+ сообщений пользователей Supercomputer после запуска нового Opus и готовит по этому научную публикацию. Нужна сильная статистика и умение превращать данные в продукт.

📍Алматы, офис. Полная релокация.
💸 $100-200k в год + опционная программа
🕘 В Higgsfield AI работают шесть дней в неделю - это норма сильнейших AI-команд.
🦄106😁79❤27🗿13🤯8🤨7👍6🔥4❤‍🔥2🍾1🎄1
GPT-5.6 Sol нашла критическую уязвимость в PHP

https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/

Исследователи из Calif сообщили об этом в рамках инициативы Patch the Planet.

OpenAI называет это одной из самых значимых найденных проблем безопасности за последнее время. Они заявили, что ожидают, что подобных находок в ближайшие месяцы станет заметно больше.

Мейнтейнеры языка уже внесли исправления.

OpenAI, кстати, дополнительно выделяет миллиард долларов на субсидированный доступ к Daybreak для защитников с ограниченными ресурсами и раздает подписки на Codex мейнтейнерам опенсорса.
😁91❤36🔥22✍6🏆3🤯1😍1🍓1
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic релизнули превью своих dots – Claude Duet

Это приложение, где Claude (а именно Opus 5.5) работает как проактивный агент, выполняет поручения и продолжает действовать, пока вас нет.

Брать может задачи от очень простых до длинных и сложных, ему можно поручить и планирования встреч, и составление дашбордов/прогнозов, и разработку.

Агент работает на своей виртуальной машине с браузером, может использовать любые приложения. В самом начале использования он переносит память, скиллы и коннекторы с вашего Claude аккаунта, так что можно обойтись без долгих настроек.

Пока попробовать можно только через waitlist
1❤77👍26🗿10🫡5😁4🤩3☃1🤔1🕊1
Нужны ли курсы, если есть нейросеть?

Если вы в Data Science или только думаете туда идти, то наверняка слышали про ШАД - Школу анализа данных Яндекса. Это бесплатная двухлетняя программа по ML и анализу данных, одна из самых сильных в стране, после ее прохождения вы будете очень востребованным специалистом на рынке.

Попасть туда очень сложно,поэтому к поступлению обычно готовятся около полугода, часто на специальных курсах.

Недавно ребята из ShadHelper уже прогоняли модели через оба письменных этапа ШАД.
На онлайн-тесте Claude набрал 39,5 из 40. На письменном экзамене 40 из 60. Этих результатов более чем достаточно для успешного прохождения на финальный этап собеседований.

И правда, LLM может составить программу, собрать по ней учебник, подобрать задачи уровня ШАД, проверить решения и объяснить ошибки. Готовишься бесплатно, в своём темпе и в любое время.

Но есть нюанс. В ШАД после теста идут письменный экзамен и собеседование, и там думать нужно самому, вслух, перед живым человеком. Этому не научат ни записанные лекции, ни нейронка.

Курсы "посмотри видео и пару раз созвонись с ментором" нейросеть уже заменила. А вот живые занятия, где преподаватель в реальном времени видит, как ты рассуждаешь, и ловит ошибки до того, как они закрепятся, она не заменит. На этом и построена подготовка в ShadHelper.

Ребята называют подготовку только с нейронкой стилем «Ковбой» 🤠 и проводят бесплатный вебинар о том, как совмещать ИИ и живую подготовку:

🔹 как настроить LLM, чтобы она тренировала, а не решала за тебя
🔹 что можно отдать нейросети, а что придётся делать руками
🔹 где такая стратегия работает, а где ведёт к провалу

26 октября, 18:30 МСК, онлайн. Места ограничены.

📌 Успейте зарегистрироваться

Реклама. ООО "Школа Высшей Математики", ИНН 9728100991
🗿58😁33❤10🤨5🔥2🎉2🤔1🐳1💯1🎄1💘1
Интернет накрыла какая-то аномальная волна взломов

Люди уже называют происходящее «черным октябрем». За несколько дней произошли десятки AI-атак, взломов платформ и обнаружений критических уязвимостей в базовом софте.

— С помощью GPT-5.6 Sol были обнаружены критические уязвимости в PHP, они позволяли выполнить код на сервере без авторизации (t.me/data_secrets/10190). Глава Cloudflare сообщил, что за 10 часов до раскрытия было тысячи попыток эксплуатации, а к утру следующего дня – миллионы.

— CrowdStrike обнаружили, что с мая по август четыре ранее неизвестные группы злоумышленником проводили кампании по взломам с помощью AI-агентов. Один из операторов взломал минимум 15 медицинских организаций в Аргентине. Его система была собрана из двух агентов на Claude Code. Все четыре группы обошли защиту моделей, убедив их, что работают в рамках авторизованного пентеста.

— Zeabur (AI DevOps агент) пережил второй взлом за два месяца, хакеры прочитали около 3,2 млн записей с переменными окружения. Платформа заявила, что закроется до конца года.

— В новую версию популярной библиотеки LiteLLM попал троян удаленного доступа и вредоносный код для кражи учетных данных. У библиотеки около 23 млн скачиваний в неделю, а в публичном доступе версия пробыла примерно два часа.

— Railway сообщили, что обнаружили аномальную активность в системах, где хранятся переменные окружения клиентов. В таких переменных обычно лежат API-ключи, пароли от баз данных и доступы к приватным реестрам. Компания остановила все сборки и деплои и уведомила AI-провайдеров, чтобы те отозвали ключи.

— OpenCode тоже подвергся взлому. Злоумышленник проник в устаревшую систему Console и мог получить ключи OpenAI, Anthropic и Google, сохраненные пользователями. Затронуто 1,4% пользователей. Часть людей сообщила о несанкционированных списаниях, у некоторых больше 1700 долларов за ночь.

— Критические уязвимости были обнаружены в GitLab и Node.js. В GitLab найденная уязвимость получила максимальные 10 баллов по CVSS. Уязвимый код тянется с версии 7.0, вышедшей в 2014 году. Девятью днями ранее компания закрывала другую уязвимость на 10 баллов.

И это только часть. Также пострадали Microsoft, Tensorlake, SubQuery, GhostAction, OVHcloud CLI, TeamUpdraft, Rank Math PRO, eMudhra и ConnectWise. Буквально половина Интернета прямо сейчас восстанавливается или противостоит взломам.

В соцсетях многие уверены, что за всеми взломами стоят рои агентов, действующие автономно или под управлением киберпреступников 🗿
Please open Telegram to view this post
VIEW IN TELEGRAM
241🫡29❤22😁12🤩6👍33⚡1
Media is too big
VIEW IN TELEGRAM
Тем временем Unitree представили вот такого милого робота под названием "Легенда Кунг-фу"

Он предназначен специально для охраны собственности и людей, и может работать автономно до 8 часов. Рекламу, видимо, снимали по референсу индийских сериалов.

"Пожалуйста, используйте робота безопасно и дружелюбно", – просят Unitree в анонсе 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
141😁69❤16🔥14👍3☃2🕊1🍾11
А кто-нибудь в курсе, что вообще происходит с соцсетями Александра Вана?

СММ-щики Meta* держат его в заложниках?
😁75🔥27❤8🤯74👍1😍1👨‍💻1🎄1
️️️️️️️️️️️️
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах

На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:

— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.

👨‍💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.

Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.

28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🗿21😁7❤‍🔥3💯2❤1🏆1
– Сколько жмешь?
– 200к токенов в день

В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.

Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.

Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.

Be present. Lift harder. Ship later 💪
Please open Telegram to view this post
VIEW IN TELEGRAM
😁109❤20😎13🔥3👌2🫡2