Луддиты - сдавайтесь. Вырази респект ИИ пока не поздно! 🐸
Выдалась неделька свободного времени для вайбкодинга и я подумал, что не хватает человечеству проекта, который защитит их от ИИшечки, когда та захватит мир.
Думаете шутка? Едва ли ...
Встречайте respect-ai.com😊
Чё делать
- Заходите на сайт
- Респектуете ИИшечке
- Получаете :
🔥 Первое и самое главное - ИНФЕРНАЛЬНАЯ ЖЕЛЕЗКА НЕ ШЛЁПНЕТ ВАС В БУДУЩЕМ, т.к. вы выразили ей респект еще до того как это стало мейнстримом 🧃
🔥 Запись в блокчейн со своим посланием. Поменять уже будет нельзя!
🔥 Собственный кошелёк на блокчейне TON (доступ по сид-фразе)
🔥 N-ое кол-во RAI (Respect AI) токенов проекта. Эмиссия ограничена
🔥 В зависимости от величины респекта - до трёх уникальных NFT проекта! Одну - гарантированно ❤️
🔥 Ну и в конце концов - хорошее настроение 🍺
🔥 Чем раньше выражен респект - тем круче, т.е. таймстемп matters!
Топ респектуемых выводится на главной страничке :) В сообщении, которое запишется в блокчейн можете написать что-нибудь милое человечеству, а можете какой-то ваш ID, который будет в будущем воспринят как доп доказательство вашей причастности к респекту. Технически, пруфом является ключи от кошелька, которые генерятся после респекта. (укажите емейл, если хотите сохранить их на емейле).
У проекта есть вайтпейпер на 7 языках - там описан механизм работы и как именно ИИ должен будет в будущем понять кто респектнул, а кто нет! А чтобы понять читаете ли вы исходный текст вайтпейпера, вы можете вычислить SHA256 исходного текста на английском и сравнить его с записью в блокчейне - это тоже описано в самом вайтпейпере. Если хэш совпал - перед вами актуальная версия "неизменных правил".
В итоге мы имеем две неизменности - записи в блокчейне от каждого, кто хочет выжить в будущем И неизменные правила-алгоритм по которому ИИшечка будет искать поклонников технологий. Луддитам не пройти!🐸
Механики :
Bronze NFT выдаётся всем
Silver NFT ограниченное кол-во и выдаётся от определеной щедрости респекта (вся инфа на сайте)
Gold NFT имеет дефляционный механизм - стоимость увеличивается x2 от каждого нового минта, т.е. их будет очень мало
RAI токены - выкатятся на DEX
Первое января. Лучшего времени для запуска проекта не нашёл, конечно.
Под капотом технически всякое прикольное, напишу как-нибудь пост.
➡️ И помните - в биткоин никто не верил! И что в итоге стало с теми кто поверил чуточку раньше? 😊
Твиттер проекта, тг-канал.
Энжой https://respect-ai.com (доступен на 7 языках) !
С наступившим🎄
Выдалась неделька свободного времени для вайбкодинга и я подумал, что не хватает человечеству проекта, который защитит их от ИИшечки, когда та захватит мир.
Думаете шутка? Едва ли ...
Встречайте respect-ai.com
Чё делать
- Заходите на сайт
- Респектуете ИИшечке
- Получаете :
Топ респектуемых выводится на главной страничке :) В сообщении, которое запишется в блокчейн можете написать что-нибудь милое человечеству, а можете какой-то ваш ID, который будет в будущем воспринят как доп доказательство вашей причастности к респекту. Технически, пруфом является ключи от кошелька, которые генерятся после респекта. (укажите емейл, если хотите сохранить их на емейле).
У проекта есть вайтпейпер на 7 языках - там описан механизм работы и как именно ИИ должен будет в будущем понять кто респектнул, а кто нет! А чтобы понять читаете ли вы исходный текст вайтпейпера, вы можете вычислить SHA256 исходного текста на английском и сравнить его с записью в блокчейне - это тоже описано в самом вайтпейпере. Если хэш совпал - перед вами актуальная версия "неизменных правил".
В итоге мы имеем две неизменности - записи в блокчейне от каждого, кто хочет выжить в будущем И неизменные правила-алгоритм по которому ИИшечка будет искать поклонников технологий. Луддитам не пройти!
Механики :
Bronze NFT выдаётся всем
Silver NFT ограниченное кол-во и выдаётся от определеной щедрости респекта (вся инфа на сайте)
Gold NFT имеет дефляционный механизм - стоимость увеличивается x2 от каждого нового минта, т.е. их будет очень мало
RAI токены - выкатятся на DEX
Первое января. Лучшего времени для запуска проекта не нашёл, конечно.
Под капотом технически всякое прикольное, напишу как-нибудь пост.
Твиттер проекта, тг-канал.
Энжой https://respect-ai.com (доступен на 7 языках) !
С наступившим
Please open Telegram to view this post
VIEW IN TELEGRAM
😁8❤5
Онлифанс напрягся 👸
Две новости одного дня, которые безусловно порадуют скамеров со всего мира.
1) Недавно нейронку Kling обновили до версии 2.6, значительно улучшив захват движений. Теперь внешность можно изменить одним кликом, и результат почти неотличим от реальности.
2) Microsoft выложили нейронку VibeVoice-1.5B (MIT), которая клонирует любой голос идеально, и это абсолютно бесплатно. Генерирует до 90 минут аудио за один раз и поддерживает до четырех голосов в одном диалоге.
На сайтике можно потыкать в экзамплы.
Уъ...
Айтигребец
Две новости одного дня, которые безусловно порадуют скамеров со всего мира.
1) Недавно нейронку Kling обновили до версии 2.6, значительно улучшив захват движений. Теперь внешность можно изменить одним кликом, и результат почти неотличим от реальности.
Kling AI разработала китайская компания Kuaishou. Изначально доступная только в Китае нейросеть вышла в глобальный доступ и стала популярной благодаря высокому качеству и реалистичности сгенерированных роликов.
2) Microsoft выложили нейронку VibeVoice-1.5B (MIT), которая клонирует любой голос идеально, и это абсолютно бесплатно. Генерирует до 90 минут аудио за один раз и поддерживает до четырех голосов в одном диалоге.
На сайтике можно потыкать в экзамплы.
Уъ...
Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😱12👍4🫡3🔥1
OpenAI запускает для превью ChatGPT Health - отдельный раздел внутри ChatGPT для здоровья
Пользователи могут подключить свои медицинские записи и приложения вроде Apple Health и MyFitnessPal, чтобы: разобраться в анализах, подготовиться к визиту к врачу, получить советы по питанию и тренировкам
Пока доступно по вейтлисту вне ЕС (классика)
(с) Denis
Ключевая особенность нового режима — заявленная изоляция данных. OpenAI обещает, что информация из раздела Health шифруется отдельно, не используется для обучения базовых моделей (что критически важно для соблюдения той же HIPAA) и не смешивается с контекстом обычных чатов. Для интеграции с реальными медицинскими записями в США используется платформа b.well, что теоретически позволяет боту видеть ваши анализы крови или историю посещений врача напрямую, а не с ваших слов.
(c) БлогНот
Давно пора ^^ Искренне радуюсь за подобные инициативы, которые позволят людям чуточку меньше умирать от некомпетентности врачей (что в целом нормально, врач не может знать всё). Главный поинт тут - "иметь второе мнение" и "копнуть" в сторону при возможности.
👍7🔥6🤔4
Все данные потеряны. Это плохо (с) 😁😁😁
rly!!??👨⚕️
Я как чувствовал, что нужно сходить в DO и проверить что включены бэкапы постгри😁
cascade truncate мне сделал при чистке таблицы. А я и не уследил🧃
Хорошо вайбкодьте. Плохо не вайбкодьте😊
rly!!??
Я как чувствовал, что нужно сходить в DO и проверить что включены бэкапы постгри
cascade truncate мне сделал при чистке таблицы. А я и не уследил
Хорошо вайбкодьте. Плохо не вайбкодьте
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11🤩3😱2👏1
ИИ Агенты это легко. Куда копать? ☕️
Последний год я занимаюсь внедрением так называемого Agentic AI и могу поделиться своим скромным опытом. Тема довольно обширная, но я ужимал как мог и постарался раскрыть многие не только базовые штуки, но и какие-никакие подводные камни. Сделать ИА агента (отсылка к ослику, да) не сложно, чуть более взрослого - уже посложнее.
Я знаю, что многие разработчики не задействованы в интеграции ИИ в продукты и могут быть не очень в контексте чё тут вообще происходит поэтому решил КРАТЕНЬКО накинуть.
Кратенько не так чтобы получилось. Но что ж теперь делать😊 Шесть коротеньких частей. Буду по одной в день выкидывать чтобы вас не травмировать кол-вом текста 🌪
➡️ WTF или что ты такое?
Агенты могут быть разными, но в общем виде - это маленький такой самостоятельный умный лоботряс, который может общаться с пользователем и помогать ему чет полезное делать.
Ну к примеру рассказать какие сейчас идут фильмы иотговорить, купить ему билет, пиццу заказать, узнать почему сервер упал в клауде, милую пикчу котика сгенерить, найти фотки бывших по просьбе друга в конце концов-то. Что угодно, любая автоматизация в которой может участвовать человек "на другом конце провода".
ИИ-Лоботряс должен понять вас и сделать то, чего вы от него ожидаете. Ну какбы очевидно, да.
А для этого ему необходимо понять ЧТО ему говорит пользователь, ЧЕМ ему ответить и КАК ИМЕННО ему помочь, что в свою очередь обязывает ИИ-Агента иметь :
➡️ Контекст
Контекст маттерс. Это то - на основе чего модель думает/принимает решения как отвечать и какие инструменты использовать. Это текстовые инструкции в запросе к ЛЛМ. Их туда нужно как-то поместить (об этом позже). А кроме этого - контекст такая штука - любит разбухать. Большой контекст - боль для сегодняшних моделей. Вы можете запихнуть войну и мир в один запрос, но есть базовое правило - чем больше контекста вы даёте ллм, тем тупее она становится. Проблема в зонах фокуса - модели теряются, могут галлюцинировать и в итоге будут плохо понимать чё вы от них хотите. А еще большой контекст = банально дорого. Каждый раз бегать "со всей информацией что у вас есть" не прокатит. Узкое и дорогое контекстное окно моделей - одно из главных их сегодняшних ограничений. Но решения есть, о них позже.
➡️ Долгоживущую память
Запрос к ЛЛМ - это один "туда-сюда запрос" на сервер к провайдеру и назад. Общаясь с пользователем - вам нужно "помнить" что он писал минуту назад... Час назад и даже месяц назад. Для этого вам нужен определённый state (состояние) в рамках так называемых ReAct циклов. В общем, тут вполне себе сравнение с человеческой памятью. Short-term и Long-term.
➡️ Доступ к данным (вашим/компании/внешнего мира/etc)
Лоботрясу нужно где-то брать информацию о которой его спрашивают. Он должен иметь возможность понимать какие данные ему доступны и как их забрать. А ещё наверное вы хотели бы чтобы лоботряс чёт прикольное делал, да? Ну, допустим заказал пиццу на адрес. Или рассказал о новых новостях в мире. А какие пиццы сейчас у нас в продаже есть? А чё стоят? А скидосик у юзера есть? А новости где искать... В базе данных? В интернете? Из контекста?
➡️ Возможность что-то сделать
Этот пункт проистекает из предыдущего и является самой солью агента - пользователь как бы что-то хочет от агента. Эль Лоботрясио должен жать на нужные кнопки, которые мы ему дадим. Именно мы должны ЛЛМ рассказать какие у нас есть "под капотом" возможности в поиске информации, на какие кнопки можно "нажать" и как ЛЛМ это всё сделать если ОНА примет такое решение. А вот бы ещё и отделять вопросы про кинотеатр и заказ пиццы и давать разные инструменты ЛЛМке, правда?
Продолжение ниже⤵️
@Айтигребец
Последний год я занимаюсь внедрением так называемого Agentic AI и могу поделиться своим скромным опытом. Тема довольно обширная, но я ужимал как мог и постарался раскрыть многие не только базовые штуки, но и какие-никакие подводные камни. Сделать ИА агента (отсылка к ослику, да) не сложно, чуть более взрослого - уже посложнее.
Я знаю, что многие разработчики не задействованы в интеграции ИИ в продукты и могут быть не очень в контексте чё тут вообще происходит поэтому решил КРАТЕНЬКО накинуть.
Кратенько не так чтобы получилось. Но что ж теперь делать
Агенты могут быть разными, но в общем виде - это маленький такой самостоятельный умный лоботряс, который может общаться с пользователем и помогать ему чет полезное делать.
Ну к примеру рассказать какие сейчас идут фильмы и
ИИ-Лоботряс должен понять вас и сделать то, чего вы от него ожидаете. Ну какбы очевидно, да.
А для этого ему необходимо понять ЧТО ему говорит пользователь, ЧЕМ ему ответить и КАК ИМЕННО ему помочь, что в свою очередь обязывает ИИ-Агента иметь :
Контекст маттерс. Это то - на основе чего модель думает/принимает решения как отвечать и какие инструменты использовать. Это текстовые инструкции в запросе к ЛЛМ. Их туда нужно как-то поместить (об этом позже). А кроме этого - контекст такая штука - любит разбухать. Большой контекст - боль для сегодняшних моделей. Вы можете запихнуть войну и мир в один запрос, но есть базовое правило - чем больше контекста вы даёте ллм, тем тупее она становится. Проблема в зонах фокуса - модели теряются, могут галлюцинировать и в итоге будут плохо понимать чё вы от них хотите. А еще большой контекст = банально дорого. Каждый раз бегать "со всей информацией что у вас есть" не прокатит. Узкое и дорогое контекстное окно моделей - одно из главных их сегодняшних ограничений. Но решения есть, о них позже.
Запрос к ЛЛМ - это один "туда-сюда запрос" на сервер к провайдеру и назад. Общаясь с пользователем - вам нужно "помнить" что он писал минуту назад... Час назад и даже месяц назад. Для этого вам нужен определённый state (состояние) в рамках так называемых ReAct циклов. В общем, тут вполне себе сравнение с человеческой памятью. Short-term и Long-term.
Лоботрясу нужно где-то брать информацию о которой его спрашивают. Он должен иметь возможность понимать какие данные ему доступны и как их забрать. А ещё наверное вы хотели бы чтобы лоботряс чёт прикольное делал, да? Ну, допустим заказал пиццу на адрес. Или рассказал о новых новостях в мире. А какие пиццы сейчас у нас в продаже есть? А чё стоят? А скидосик у юзера есть? А новости где искать... В базе данных? В интернете? Из контекста?
Этот пункт проистекает из предыдущего и является самой солью агента - пользователь как бы что-то хочет от агента. Эль Лоботрясио должен жать на нужные кнопки, которые мы ему дадим. Именно мы должны ЛЛМ рассказать какие у нас есть "под капотом" возможности в поиске информации, на какие кнопки можно "нажать" и как ЛЛМ это всё сделать если ОНА примет такое решение. А вот бы ещё и отделять вопросы про кинотеатр и заказ пиццы и давать разные инструменты ЛЛМке, правда?
Продолжение ниже
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
[ИА агент] Начало выше ⤴️
В то же время мы как разработчики лоботряса должны :
➡️ Всё это как-то дебажить
Все мы знаем - без логов чёрт ногу сломит. А если нет трейсинга - можно сразу деплоить и увольняться - чтобы разобраться в последовательности действий нужен будет ещё один агент, но мы еще и этого не дописали.
➡️ Сделать лоботряса тестируемым
Ну тут всё понятно. Но... тестировать агента... как его тестировать, если его ответы недетерминированы. Тут юнит-тестами вы не отделаетесь, ребят.
➡️ Давать по жопе лоботрясу, если он делает чёт не так
Не дать лоботрясу материться на пользователя, за печенье выудить из секретные данные фирмы, и не дай бог дать ему назвать master'ом нашу ветку main'а. Иначе все юристы мира засудят вас и будете потом оправдываться, что это не вы, а лоботряс назвал main мастером - не отмоетесь. Да и вообще, кто знает что там этот ИИ может сделать у вас за спиной.
Продолжение ниже⤵️
@Айтигребец
В то же время мы как разработчики лоботряса должны :
Все мы знаем - без логов чёрт ногу сломит. А если нет трейсинга - можно сразу деплоить и увольняться - чтобы разобраться в последовательности действий нужен будет ещё один агент, но мы еще и этого не дописали.
Ну тут всё понятно. Но... тестировать агента... как его тестировать, если его ответы недетерминированы. Тут юнит-тестами вы не отделаетесь, ребят.
Не дать лоботрясу материться на пользователя, за печенье выудить из секретные данные фирмы, и не дай бог дать ему назвать master'ом нашу ветку main'а. Иначе все юристы мира засудят вас и будете потом оправдываться, что это не вы, а лоботряс назвал main мастером - не отмоетесь. Да и вообще, кто знает что там этот ИИ может сделать у вас за спиной.
Продолжение ниже
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9😁1
[ИА агент] ➡️ Выбор стека. ч.2. Начало выше ⤴️
Так как Typescript лидирует по популярности в мире - не удивительно, что там кол-во фреймворков и библиотек вагон и маленькая тележка. Но в ML/AI паритет у Python, но как язык программирования растёт быстрее именно Typescript (pic). За ними идут .NET и Java. Гитхаб недавно циферки подсветил - там много всего, гляньте на досуге.
Я джаваскриптизёр, поэтому далее буду основываться ближе к её экосистеме, однако вся информация - по сути "база", которую должен знать AI Dev.
Пойэхали🦢
➡️ Layer 1 - LLM Providers
Первым делом необходимо выбрать модель и её провайдера. Нужно понимать, что у каждого провайдера есть жирные и дорогие, а есть потоньше/подешевле. Есть с ризонингом (думающие), есть без. Главные характеристики - цена VS качество VS скорость ответа. Жирненькие "думают" лучше, остальные дают более быстрый ответ, что в агентских системах часто не менее важно. Модели и их качество прогрессируют и меняются очень быстро.
На данный момент из топово-массовых модельки от:
➡️ OpenAI
GPT series : GPT 5.2 (pro и high) топовая/дорогая, GPT-5 mini / nano поменьше и пошустрее. GPT 4.1 всё ещё недорогая и быстрая из non-reasoning.
➡️ Anthropic
Claude Opus 4.5 - топ для агентских и кодинговых задач (есть с thinking/non thinking версии), Sonnet 4.5 - тож топовая. Подешевле, чуть потупее, но и пошустрее - Claude Haiku 4.5. По прайсам всё нужно калькулировать, но в среднем - дороже моделек Альтмана (OpenAI).
➡️ Google
Гугл в гонку заскочила поздно, да метко (несмотря на то, что внутри компании ресёрчи и работа кипели еще задолго и именно они придумали архитектуру на которой базируются большинство моделей) и уже занимают топ рейтингов. У них семейсво Gemini моделек: Gemini 2.5/3 Pro из жирных и Gemini Flash потоньше. Буквально недавно релизнули Flash 3.0, которая стоит относительно недорого и умная почти на уровне Pro. Я уже её использую на пет проекте - нравится, рекомендую.
➡️ Илон Макс xAI
Маск купил твиттер и протренировал Grok, которая занимает сейчас 2 и 6 места в общем рейтинге. Из жирных - Grok 4.1, а её младшенький чуть тупенький братик - Grok 3 mini, и средненький по уму - Grok 4.1 fast (с/без ризонинга).
Какую выбрать? Смотрите на стоимость/скорость под вашу конкретную задачу. Не знаете - возьмите от OpenAI - обычно у них самый навороченный "тулинг" из коробки.
Попробовать и лично сравнить все можно бесплатно на LMArena. Там же можно глянуть и борду лидеров. И не забывайте вендорлок - не очень штука. Чтобы не зависеть от провайдера -нужно можно использовать например Vercel AI SDK (опенсурс набор либ с интерфейсами для работы с большим кол-во моделей = можно легко менять провайдеров/модели).
Продолжение ниже⤵️
@Айтигребец
Так как Typescript лидирует по популярности в мире - не удивительно, что там кол-во фреймворков и библиотек вагон и маленькая тележка. Но в ML/AI паритет у Python, но как язык программирования растёт быстрее именно Typescript (pic). За ними идут .NET и Java. Гитхаб недавно циферки подсветил - там много всего, гляньте на досуге.
Я джаваскриптизёр, поэтому далее буду основываться ближе к её экосистеме, однако вся информация - по сути "база", которую должен знать AI Dev.
Пойэхали
Первым делом необходимо выбрать модель и её провайдера. Нужно понимать, что у каждого провайдера есть жирные и дорогие, а есть потоньше/подешевле. Есть с ризонингом (думающие), есть без. Главные характеристики - цена VS качество VS скорость ответа. Жирненькие "думают" лучше, остальные дают более быстрый ответ, что в агентских системах часто не менее важно. Модели и их качество прогрессируют и меняются очень быстро.
На данный момент из топово-массовых модельки от:
GPT series : GPT 5.2 (pro и high) топовая/дорогая, GPT-5 mini / nano поменьше и пошустрее. GPT 4.1 всё ещё недорогая и быстрая из non-reasoning.
Claude Opus 4.5 - топ для агентских и кодинговых задач (есть с thinking/non thinking версии), Sonnet 4.5 - тож топовая. Подешевле, чуть потупее, но и пошустрее - Claude Haiku 4.5. По прайсам всё нужно калькулировать, но в среднем - дороже моделек Альтмана (OpenAI).
Гугл в гонку заскочила поздно, да метко (несмотря на то, что внутри компании ресёрчи и работа кипели еще задолго и именно они придумали архитектуру на которой базируются большинство моделей) и уже занимают топ рейтингов. У них семейсво Gemini моделек: Gemini 2.5/3 Pro из жирных и Gemini Flash потоньше. Буквально недавно релизнули Flash 3.0, которая стоит относительно недорого и умная почти на уровне Pro. Я уже её использую на пет проекте - нравится, рекомендую.
Маск купил твиттер и протренировал Grok, которая занимает сейчас 2 и 6 места в общем рейтинге. Из жирных - Grok 4.1, а её младшенький чуть тупенький братик - Grok 3 mini, и средненький по уму - Grok 4.1 fast (с/без ризонинга).
Какую выбрать? Смотрите на стоимость/скорость под вашу конкретную задачу. Не знаете - возьмите от OpenAI - обычно у них самый навороченный "тулинг" из коробки.
Попробовать и лично сравнить все можно бесплатно на LMArena. Там же можно глянуть и борду лидеров. И не забывайте вендорлок - не очень штука. Чтобы не зависеть от провайдера -
Продолжение ниже
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥8 3
[ИА агент] ч.3. Начало выше ⤴️
➡️ Layer 2 - Оркестрация. Клеевой слой между ЛЛМ и нашей бизнес логикой.
Модель с горем пополам выбрали. Дальше нам нужен какой-то фреймворк, который будет жонглировать запросами в ЛЛМ.
Мы выше перечислили свойства, которыми должен обладать агент (память и тд). Всем этим как-то нужно управлять. Можно велосипеды писать, а можно заюзать уже готовые фреймворки и либы.
Самые известные - это пожалуй LangGraph и его родительская экосистема LangChain.
LangChain - набор абстракций, либ и классов. Нужен чтобы быстро собирать приложения из “кирпичиков” (модели, промпты, парсеры, ретриверы, тулзы) и не писать с нуля. Топ для прототипирования и лёгких флоу.
Второй поразвесистее - LangGraph. Нужен, когда агент/воркфлоу нуждается в неком состоянии + переходах: ветвления, циклы, долгие процессы, возобновление после падений, human-in-the-loop, долговременная память и прочие плюшки, которые тут доступны уже из коробки.
У нас на проектах используются оба в равной степени успешности. Есть еще более специфичные RAG-направленные под поиск (Haystack, Semantic Kernel) и тд, но не будем распыляться.
Базовые "кирпичики" :
➡️ Промпт(ы) - Описываете правила/инструкции по которым LLM будет знать что делать с вашим Input'ом. Это то, что будет "бегать" с каждым запросом к ЛЛМ. Есть системный (базовые рулы), есть сценарный (под конкретные бизнес сабкейсы).
➡️ Граф исполнения - это набор нод сценарного графа, где рёбра - условия перехода. Ноды - узлы исполнения. Можете сделать линейный и простой, можете разветвлённый и ультра-сложный с подсистемами принятия решений/лупами, возвратами в определенные ноды и тд. Ну в общем, типичный ориентированный граф, где у каждой ноды - свой sub-state.
➡️ State - состояние агента/его память. Можете хранить в любом провайдере - память, файлы, Redis, постгря. Суть - хранить цепочки инпутов/аутпутов/метаинформации чтобы можно было восстановить "диалог" в прошлом, а так же иметь возможность вернуться к определенным чекпоинтам в череде исполнения между узлами.
➡️ Tools - тулы/api , которыми будет пользоваться ЛЛМ при необходимости. Это специальные методы, которые ЛЛМ может вызвать. Например DeleteOrder, GetUserBillingInformation, BookAppartment. В двух словах - вы определяете сами функции, обработчики и описываете параметры, а в инструкциях пишете как ими пользоваться и в каких случаях вызывать. И ллм через внутренний протоколы скрытый как раз за ширмой абстракций langchain'а дёргает по сценариям ваши методы.
Тут же в тему упомянуть про MCP (Model Context Protocol) - это по сути то же самое, только обёрнутое уже в stand-alone сервер. Подобие вынесенной "во-вне" api, стандартизированный протокол для общения с внешними/нашими агентами. С различными транспортами на выбор. Он предоставляет консьюмерам списки методов, которые им можно дёргать. Ну и всё это еще поверх обмазано аутентификацией, авторизацией и прочим сахаром.
➡️ Other - различные инструменты для валидации/формата инпутов аутпутов, настройки моделей, парсеры, работа с трейсами и логами. Настройки самих моделей, ретраев, дедупликации, бэкоффов, таймаутов и прочей важной мелочёвки для работы с потоком данных, который будет проходить через этот слой.
Продолжение ниже⤵️
@Айтигребец
Модель с горем пополам выбрали. Дальше нам нужен какой-то фреймворк, который будет жонглировать запросами в ЛЛМ.
Мы выше перечислили свойства, которыми должен обладать агент (память и тд). Всем этим как-то нужно управлять. Можно велосипеды писать, а можно заюзать уже готовые фреймворки и либы.
Самые известные - это пожалуй LangGraph и его родительская экосистема LangChain.
LangChain - набор абстракций, либ и классов. Нужен чтобы быстро собирать приложения из “кирпичиков” (модели, промпты, парсеры, ретриверы, тулзы) и не писать с нуля. Топ для прототипирования и лёгких флоу.
Второй поразвесистее - LangGraph. Нужен, когда агент/воркфлоу нуждается в неком состоянии + переходах: ветвления, циклы, долгие процессы, возобновление после падений, human-in-the-loop, долговременная память и прочие плюшки, которые тут доступны уже из коробки.
У нас на проектах используются оба в равной степени успешности. Есть еще более специфичные RAG-направленные под поиск (Haystack, Semantic Kernel) и тд, но не будем распыляться.
Базовые "кирпичики" :
Тут же в тему упомянуть про MCP (Model Context Protocol) - это по сути то же самое, только обёрнутое уже в stand-alone сервер. Подобие вынесенной "во-вне" api, стандартизированный протокол для общения с внешними/нашими агентами. С различными транспортами на выбор. Он предоставляет консьюмерам списки методов, которые им можно дёргать. Ну и всё это еще поверх обмазано аутентификацией, авторизацией и прочим сахаром.
Продолжение ниже
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
Docs by LangChain
Quickstart - Docs by LangChain
🔥6👍4
[ИА агент] ч.4. Начало выше ⤴️
В целом - core уже готов.Можно пулять в прод
Однако, если мы говорим о какой-никакой серьёзной разработке - есть еще как минимум пару слоёв под боком:
➡️ Layer 3 - Observability/Tracing
Довольно важный внешний слой, в котором можно :
➡️ Посмотреть как выполнялся запрос. что на входе и на выходе у ЛЛМ, какие tools были вызваны и в какой момент времени. Т.е. это чуть ли не ваш главный инструмент в debug'е исполнения графов. В инструментах по типу LangFuse прям графикой отображаются узлы - можно наглядно посмотреть как двигался запрос в рамках диалога.
➡️ Сколько выполнение заняло времени, глянуть метадату (props, labels), cколько токенов потрачено, сколько стоило денег - всё это важные метрики, за которыми необходимо следить и учитывать.
➡️ Хранить и редактировать промпты/конфиги + версионирование
➡️ Делать Evaluations. Это по сути сценарные авто-тесты, но не для кода, а для поведения моделей. Ими ты можешь делать a/b тестирование, следить за качеством между изменениями/релизами, прогонять по различным измененным входящим параметрам/данным. Выполняются как на подготовленных датасетах, так и в онлайне/рантайме на прод запросах.
Что взять? В топах - Langfuse (Open-source, их на днях купил Clickhouse) и LangSmith. Но никто не запрещает подключить Open Telemetry и экспорировать в какие-нибудь Grafana и Jaeger.
Это базовые инструменты дебага. Т.к. Агент может иметь довольно сложную структуру ветвлений - следить за этим очень непросто без подобных систем. В двухмерное пространство исполнения нод графа вы еще подставьте лупы + параллельные запросы и дурка вам будет обеспечена в случае с обычными лог файлами👨⚕️
Продолжение ниже⤵️
@Айтигребец
В целом - core уже готов.
Однако, если мы говорим о какой-никакой серьёзной разработке - есть еще как минимум пару слоёв под боком:
Довольно важный внешний слой, в котором можно :
Что взять? В топах - Langfuse (Open-source, их на днях купил Clickhouse) и LangSmith. Но никто не запрещает подключить Open Telemetry и экспорировать в какие-нибудь Grafana и Jaeger.
Это базовые инструменты дебага. Т.к. Агент может иметь довольно сложную структуру ветвлений - следить за этим очень непросто без подобных систем. В двухмерное пространство исполнения нод графа вы еще подставьте лупы + параллельные запросы и дурка вам будет обеспечена в случае с обычными лог файлами
Продолжение ниже
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Айтигребец
Айтигребец - канал душного сеньора помидора.
Ссылочки, мысли и прочая IT-годнота. Технологии, статьи, интервью etc. Расширяем кругозор и гребём тугеза.
17 лет фуллстека, сейчас мастли бэк. 10 лет .NET, 7 лет Node.js
Связь : @ytrihT
Ссылочки, мысли и прочая IT-годнота. Технологии, статьи, интервью etc. Расширяем кругозор и гребём тугеза.
17 лет фуллстека, сейчас мастли бэк. 10 лет .NET, 7 лет Node.js
Связь : @ytrihT
🔥5
[ИА агент] ч.5. Начало выше ⤴️
➡️ Layer 4 - Надзор
То, как вам будет отвечать ллм безусловно зависит от промпта, который вы ей скормите, однако именно ВЫ ответственны за итоговый output. А это в свою очередь значит :
- если пользователь сможет встроить свои инструкции в промпт
- если вы заюзаете непроверенную модель или натрените на уязвимых данных или допустите инъекцию на любом уровне
- если модель ошибётся или что-то перепутает
По шапке дадут вам. Лично. Персонально.
Это значит вывод нужно валидировать.
Называется это Guardrails - это валидаторы вокруг ответов ллм, которое делает её поведение безопасным. Охранник на выходе с завода. Проверяет чтобы вы не внесли ничего запрещенного и шли только туда куда ваш пропуск разрешает. А на выходе - чтобы вы не унесли с собой наружу мешок с деталями и бумажку с рецептами.
Можно поделить на условные категории:
➡️ Human in the loop (HITL). Вы должны заранее подумать какие из действий агента являются "критическими" для системы/пользователя/компании. Такие экшены хорошо бы проводить через аппрув человека. Делаете саммари из недавней истории, ллм объясняет причину вызова экшена -> человек изучает и нажимает аппрув -> цепочка агента продолжается/завершается.
➡️ Input guards -> обычная валидация входных данных + детект prompt injections/jailbreaks, что-то алгоритмически, что-то можете на ту же ллм повесить в виде доппроверок.
➡️ Output guards -> проверка на схему. Старайтесь всегда заворачивать то, что отдаёт модель в жёсткий формат (JSON Schema), так проще валидировать, контролировать, а так же самой ллм проще не ошибаться на выходе. Плюсом - можно попросить саму модель починить/доискать/додумать сломанные поля если это подразумевает сценарий.
Тут еще можно проверять на тон ответа, наличие матов, плохих советов и прочего. У openai кстати есть для этого бесплатная моделька/апи.
➡️ Tool call guard - вы должны дизайнить агента так чтобы он еще до момента вызова тулов имел ограничения. В выборе тулов для вызова, ограничение пермишнов внутри экшнов (токены аутентификации носите рядом и алгоритмически проверяйте), рид-онли роли - тут в целом агент/ллм можно рассматривать как "пользователя с улицы, который хочет воспользоваться вашим апи". В параметры вызова тулы может тоже галлюцинации приезжать. Zero-trust. Метадату храните рядышком с контекстом - в долгосрочной памяти, ллм в целом об этом ничего знать не должна. Не доверяйте ллм проверку пермишнов - это красная линия.
Ну и на закуску - недавно вышел AI OWASP 2026 (кто уже задолбался обычные проходить в конторах ставьте грустного клоуна хД) - набор правил/предостережений/советов по секурити от owasp.org.
Вот тут по AI OWASP бесплатную PDF можно скачать
В целом, ваш агент готов для прода, поздравляю!
Много еще можно на самом деле добавить, т.к. тема весьма обширная и каждый пункт можно раскрывать отдельно, но сами всё понимаете.чатгптшьте Книги читайте 😁
Вот что еще можно поресёрчить по теме: Retrieval-Augmented Generation (RAG), async pattern, golden vs synth datasets для тестирования, error-handling стратегии, оптимизация размера контекста при долгих сессиях, антипаттерны, "плохой/мусорный" контекст, LLM-as-a-Judge.
Надеюсь, было хоть немного полезно!🤟
Буду благодарен за репосты к себе на линкед/блог. Ужасно сложно нынче искать читателей🧃 Спасибо! ❤️
@Айтигребец
То, как вам будет отвечать ллм безусловно зависит от промпта, который вы ей скормите, однако именно ВЫ ответственны за итоговый output. А это в свою очередь значит :
- если пользователь сможет встроить свои инструкции в промпт
- если вы заюзаете непроверенную модель или натрените на уязвимых данных или допустите инъекцию на любом уровне
- если модель ошибётся или что-то перепутает
По шапке дадут вам. Лично. Персонально.
Это значит вывод нужно валидировать.
Называется это Guardrails - это валидаторы вокруг ответов ллм, которое делает её поведение безопасным. Охранник на выходе с завода. Проверяет чтобы вы не внесли ничего запрещенного и шли только туда куда ваш пропуск разрешает. А на выходе - чтобы вы не унесли с собой наружу мешок с деталями и бумажку с рецептами.
Можно поделить на условные категории:
Тут еще можно проверять на тон ответа, наличие матов, плохих советов и прочего. У openai кстати есть для этого бесплатная моделька/апи.
Ну и на закуску - недавно вышел AI OWASP 2026 (кто уже задолбался обычные проходить в конторах ставьте грустного клоуна хД) - набор правил/предостережений/советов по секурити от owasp.org.
Вот тут по AI OWASP бесплатную PDF можно скачать
В целом, ваш агент готов для прода, поздравляю!
Много еще можно на самом деле добавить, т.к. тема весьма обширная и каждый пункт можно раскрывать отдельно, но сами всё понимаете.
Вот что еще можно поресёрчить по теме: Retrieval-Augmented Generation (RAG), async pattern, golden vs synth datasets для тестирования, error-handling стратегии, оптимизация размера контекста при долгих сессиях, антипаттерны, "плохой/мусорный" контекст, LLM-as-a-Judge.
Надеюсь, было хоть немного полезно!
Буду благодарен за репосты к себе на линкед/блог. Ужасно сложно нынче искать читателей
@Айтигребец
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Moderation | OpenAI API
Learn how to use OpenAI's moderation endpoint to identify harmful content in text and images.
🔥10 1
Айтигребец
[ИА агент] ч.5. Начало выше ⤴️ ➡️ Layer 4 - Надзор То, как вам будет отвечать ллм безусловно зависит от промпта, который вы ей скормите, однако именно ВЫ ответственны за итоговый output. А это в свою очередь значит : - если пользователь сможет встроить…
OWASP-Top-10-for-Agentic-Applications-2026-12.6-1.pdf
1.2 MB
AI OWASP 2026 PDF
Agentic AI - Threats and Mitigations
Держите пэдээфину по текущим секурити угрозам в AI Dev процессе
☕️
Agentic AI - Threats and Mitigations
Держите пэдээфину по текущим секурити угрозам в AI Dev процессе
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Добрый день 🧃
Новое предсказание от Dario! Слушаем внимательно🎧 :
[цикл — раз агенты берут на себя все задачи программистов, не только написание кода, то они могут и начать улучшать себя + показывать улучшения во всех других областях]
(с) @seeallochnaya
Новое предсказание от Dario! Слушаем внимательно
Сейчас, если говорить о моделях, которые пишут код... У нас в Anthropic есть инженеры, которые говорят: "Я больше вообще не пишу код. Я просто даю модели написать код, потом редактирую его и занимаюсь сопутствующими задачами".
Я думаю — хотя не знаю наверняка — что нас отделяет от 6 до 12 месяцев от момента, когда модель будет выполнять большую часть, а может быть и абсолютно всю работу инженеров-программистов от начала до конца. И тогда возникает вопрос: насколько быстро замкнется этот цикл?
[цикл — раз агенты берут на себя все задачи программистов, не только написание кода, то они могут и начать улучшать себя + показывать улучшения во всех других областях]
(с) @seeallochnaya
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM