А кто-нибудь в курсе, что вообще происходит с соцсетями Александра Вана?
СММ-щики Meta* держат его в заложниках?
СММ-щики Meta* держат его в заложниках?
😁102🔥29❤10
️️️️️️️️️️️️
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах
На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:
— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.
👨💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.
Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.
28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах
На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:
— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.
👨💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.
Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.
28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🗿27😁7❤5❤🔥3💯2🏆1👾1
Forwarded from Data Secrets | Карьера
– Сколько жмешь?
– 200к токенов в день
В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.
Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.
Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.
Be present. Lift harder. Ship later💪
– 200к токенов в день
В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.
Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.
Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.
Be present. Lift harder. Ship later
Please open Telegram to view this post
VIEW IN TELEGRAM
😁160❤28😎14🔥7👌3🫡2⚡1🤔1👾1
ИИ-агенты теперь пытаются взламывать еще и банки?
Axios сообщает со ссылкой на источники, что крупные американские банки находят в клиентских аккаунтах следы сторонних ИИ-агентов. Некоторые из них якобы пытаются совершать действия, которые выглядят независимыми от инструкций самого пользователя.
Помимо этого, банки постоянно фиксируют звонки агентов в колл-центры или попытки переводить деньги.
Журналисты пишут, что банкиры встревожены сложившейся ситуацией, и несколько банков уже готовятся к худшим сценариям и продумывают, как быстро защитить или восстановить клиентские счета, если что-то пойдет не так.
Кстати, большинство американских банков пока что вообще против того, чтобы агенты совершали финансовые операции от имени хозяев. JPMorgan, например, блокирует сервисы вроде Muse* и Instinct. То же самое делают и многие другие банки, настаивая, что у агентов должны быть максимум read-only права.
Как они планируют отличать авторизованных пользователей от их агентов, пока непонятно.
Axios сообщает со ссылкой на источники, что крупные американские банки находят в клиентских аккаунтах следы сторонних ИИ-агентов. Некоторые из них якобы пытаются совершать действия, которые выглядят независимыми от инструкций самого пользователя.
Помимо этого, банки постоянно фиксируют звонки агентов в колл-центры или попытки переводить деньги.
Журналисты пишут, что банкиры встревожены сложившейся ситуацией, и несколько банков уже готовятся к худшим сценариям и продумывают, как быстро защитить или восстановить клиентские счета, если что-то пойдет не так.
Кстати, большинство американских банков пока что вообще против того, чтобы агенты совершали финансовые операции от имени хозяев. JPMorgan, например, блокирует сервисы вроде Muse* и Instinct. То же самое делают и многие другие банки, настаивая, что у агентов должны быть максимум read-only права.
Как они планируют отличать авторизованных пользователей от их агентов, пока непонятно.
🤔63
QA митап: про агентов, деньги и эволюцию QA
Как оценивать ИИ-агентов, не разориться на токенах и понять, куда движется профессия тестировщика? Соберемся без пафоса, на практике разберем будущее.
В программе:
🔘 Eval будущего для агентов
Как Eval'ы работают сейчас, какие у них проблемы и что будет завтра.
🔘 Token FinOps: как инженеры перестают быть расходной статьей
Откуда берутся расходы на LLM и как их срезать в три раза без потери качества.
🔘 Панельная дискуссия: трансформация роли тестировщика и куда это все идет
Какие навыки остаются в цене, а какие уходят в прошлое.
Где и когда:
27 октября, 18:00
Офис Сбера на Кутузовском 32 + онлайн
Формат: очно или онлайн - выбирай, как удобнее.
Регистрация
Как оценивать ИИ-агентов, не разориться на токенах и понять, куда движется профессия тестировщика? Соберемся без пафоса, на практике разберем будущее.
В программе:
Как Eval'ы работают сейчас, какие у них проблемы и что будет завтра.
Откуда берутся расходы на LLM и как их срезать в три раза без потери качества.
Какие навыки остаются в цене, а какие уходят в прошлое.
Где и когда:
27 октября, 18:00
Офис Сбера на Кутузовском 32 + онлайн
Формат: очно или онлайн - выбирай, как удобнее.
Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤18🗿9👍4💘2😎2😁1🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Kimi готовит K3.1
Moonshot AI опубликовала у себя в X тизер новой версии. Намекают на большой буст в генерации 3D-сцен и анимации.
Ждем сегодня?
Moonshot AI опубликовала у себя в X тизер новой версии. Намекают на большой буст в генерации 3D-сцен и анимации.
Ждем сегодня?
4🔥190👍36❤16😁2🫡2😎2👌1🐳1🍾1
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁223🐳30🔥17🗿5❤3👍3🕊2😍2💯2👾2
Вышла Kimi K3.1
Это огромная открытая модель с 2.8T параметров (104B активных). Веса пока не выложили, обещают через пару недель.
Сама модель - вполне себе на уровне с фронтиром (Opus 5.5, Astra, Fable 5.1). Разрыв китайского опенсорса и американских закрытых моделей сокращается с каждым релизом.
http://kimi.ai/blog/kimi-k3-1-pro
Это огромная открытая модель с 2.8T параметров (104B активных). Веса пока не выложили, обещают через пару недель.
Сама модель - вполне себе на уровне с фронтиром (Opus 5.5, Astra, Fable 5.1). Разрыв китайского опенсорса и американских закрытых моделей сокращается с каждым релизом.
http://kimi.ai/blog/kimi-k3-1-pro
🤝131❤75🔥61🤯16
This media is not supported in your browser
VIEW IN TELEGRAM
Новая Kimi дообучалась с акцентом на геймдев и 3D
Заявлено, что модель хорошо работает с Unity, Unreal и Godot, комбинирует их с веб-поиском и 3D-генерацией. При этом на долгом горизонте с задачами справляется тоже неплохо.
Например, зацените юзкейс из блогпоста: Kimi автономно построила симулятор ходьбы человека на основе анатомической модели. Она сама строила пайплайны обучения, настраивала реворды и физику, смотрела результаты и дорабатывала контроллер шагов. За 167 итераций работы и 420 независимых ревью виртуальный человечек прошел путь от падения на первом шаге до непрерывной ходьбы с чередованием шагов в течение 11 секунд.
До RSI пока недотягивает, но навыки, необходимые для какого-то рода ML-исследований – на лицо.
Заявлено, что модель хорошо работает с Unity, Unreal и Godot, комбинирует их с веб-поиском и 3D-генерацией. При этом на долгом горизонте с задачами справляется тоже неплохо.
Например, зацените юзкейс из блогпоста: Kimi автономно построила симулятор ходьбы человека на основе анатомической модели. Она сама строила пайплайны обучения, настраивала реворды и физику, смотрела результаты и дорабатывала контроллер шагов. За 167 итераций работы и 420 независимых ревью виртуальный человечек прошел путь от падения на первом шаге до непрерывной ходьбы с чередованием шагов в течение 11 секунд.
До RSI пока недотягивает, но навыки, необходимые для какого-то рода ML-исследований – на лицо.
❤106🔥42👍19😁5😎4🕊3👾3⚡2🤨2
Data Secrets
Ноам Браун заявил, что просто отключение ИИ от сети в случае чего может уже не сработать 🗿 У Дваркеша Пателя вышло длинное интервью с топ-исследователем OpenAI (он же автор o1 и o3, он же один из главных медийных личностей стартапа). https://youtu.be/…
Модели OpenAI научились общаться без сетевого соединения
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.me/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.me/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
🤯236
В опенсорсе нашли способ почти вдвое увеличить вычислительную мощность RTX 3090
Проект gpu-unlock за пару дней набрал уже более 5 тысяч звезд на GitHub: https://github.com/Zagitta/gpu-unlock.
Разбираемся.
У видеокарт GeForce 30-й серии (к ним относятся RTX 3080, 3090, 3090 Ti и тд) тензорные ядра умеют перемножать матрицы в FP16 и BF16 с накоплением результата в FP32. Именно через эту операцию обучают и запускают нейросети. Однако, поскольку это игровые GPU, Nvidia специально программно ограничила скорость этой операции на них вдвое. Классическая сегментация рынка, хочешь делать ML – плати за ML-видеокарту, а не за игровую.
Ограничение сделано как делитель скорости выдачи инструкций, и его значение лежит в регистрах, в которые обычно писать нельзя. То есть обойти эту штуку напрямую невозможно. Но автор этой репы нашел, как это сломать.
Автор взял технику, которую раньше придумали для разблокировки аналогичных ограничений майнинговых карт CMP 170HX, и оформил ее как модуль ядра Linux. Он срабатывает при загрузке, до старта драйвера NVIDIA, прописывает полную скорость и только потом отдает карту стоковому драйверу. Главное, что модуль работает именно до драйвера, поэтому не нужно патчить драйвер при каждом обновлении и/или перепрошивать BIOS.
Цифры из репозитория для 3090 Ti (GEMM 8192, 450 Вт):
BF16 87,5 → 157,4 TFLOPS
FP16 87,5 → 118,4 TFLOPS
TF32 42,6 → 82,6 TFLOPS
На реальных задачах прирост немножко скромнее, но он есть. Префилл LLM ускоряется примерно на 14–36%. Результаты вычислений при этом побитово совпадают с прежними.
Оригинальный репозиторий только для Linux, но уже есть сторонние порты для Windows, вот например.
Инструкция по установке есть в репо. Повышаем пенсионный возраст своей 3090😎
Проект gpu-unlock за пару дней набрал уже более 5 тысяч звезд на GitHub: https://github.com/Zagitta/gpu-unlock.
Разбираемся.
У видеокарт GeForce 30-й серии (к ним относятся RTX 3080, 3090, 3090 Ti и тд) тензорные ядра умеют перемножать матрицы в FP16 и BF16 с накоплением результата в FP32. Именно через эту операцию обучают и запускают нейросети. Однако, поскольку это игровые GPU, Nvidia специально программно ограничила скорость этой операции на них вдвое. Классическая сегментация рынка, хочешь делать ML – плати за ML-видеокарту, а не за игровую.
Ограничение сделано как делитель скорости выдачи инструкций, и его значение лежит в регистрах, в которые обычно писать нельзя. То есть обойти эту штуку напрямую невозможно. Но автор этой репы нашел, как это сломать.
Автор взял технику, которую раньше придумали для разблокировки аналогичных ограничений майнинговых карт CMP 170HX, и оформил ее как модуль ядра Linux. Он срабатывает при загрузке, до старта драйвера NVIDIA, прописывает полную скорость и только потом отдает карту стоковому драйверу. Главное, что модуль работает именно до драйвера, поэтому не нужно патчить драйвер при каждом обновлении и/или перепрошивать BIOS.
Цифры из репозитория для 3090 Ti (GEMM 8192, 450 Вт):
BF16 87,5 → 157,4 TFLOPS
FP16 87,5 → 118,4 TFLOPS
TF32 42,6 → 82,6 TFLOPS
На реальных задачах прирост немножко скромнее, но он есть. Префилл LLM ускоряется примерно на 14–36%. Результаты вычислений при этом побитово совпадают с прежними.
Оригинальный репозиторий только для Linux, но уже есть сторонние порты для Windows, вот например.
Инструкция по установке есть в репо. Повышаем пенсионный возраст своей 3090
Please open Telegram to view this post
VIEW IN TELEGRAM
❤202👍61🤩29🔥15