Forwarded from Пристанище Дата Сайентиста (TelepostBot)
startup_technical_guide_ai_agents_final.pdf
25.4 MB
Google выпустил гайд для стартапов о том, как создавать ИИ-агентов
Что там есть интересного:
1. Обеспечьте Grounding ответов агента через RAG (Retrieval-Augmented Generation)
2. Масштаб и Безопасность: Внедрите методологию AgentOps (Agent Operations) для автоматизированной оценки, CI/CD и управления недетерминированными системами.
А так там много интересных схем и подходов.
Что там есть интересного:
1. Обеспечьте Grounding ответов агента через RAG (Retrieval-Augmented Generation)
2. Масштаб и Безопасность: Внедрите методологию AgentOps (Agent Operations) для автоматизированной оценки, CI/CD и управления недетерминированными системами.
А так там много интересных схем и подходов.
Forwarded from DziS Science | Data Science
Привет всем!👋
Просто посмотрите какая красота - логотип новой версии🐍 .
Вчера официально вышел релиз Python 3.14.
- Какие изменения нас ждут в данном релизе?
1️⃣ 🔤 Прежде всего, важнейшим обновлением является тот факт, что теперь Python официально поддерживается на ОС Android.
2️⃣ 🔤 Уже традиционное улучшение сообщений об ошибке.
3️⃣ 🔤 Куча удаленных и deprecated функций.
4️⃣ 🔤 Интересным нововведением является
Код ниже даст
Напротив, код ниже отработает без сигнализации проблем
5️⃣ 🔤 Выражение
6️⃣ 🔤 В встроенную библиотеку
7️⃣ 🔤 Новые
Такие конструкции удобны для проверки входящих данных, например целых кусков HTML, ведь вводимые данные имеют тип Interpolation.
Например:
Обновление интересное, включает еще в себя кучу оптимизаций, включая freethreding, JIT, дополнительной оптимизацией по памяти, что разрушает стериотип о Python - медленный, но простой.
По традиции, 🔥, если понравилось
#ds_лайфхаки
Просто посмотрите какая красота - логотип новой версии
Вчера официально вышел релиз Python 3.14.
- Какие изменения нас ждут в данном релизе?
whille True:
pass
Traceback (most recent call last):
File "<stdin>", line 1
whille True:
^^^^^^
SyntaxError: invalid syntax. Did you mean 'while'?
SyntaxWarning при использовании операторов return, break, continue, приводящих к выходу из блока finallyКод ниже даст
SyntaxWarningdef f():
try:
...
finally:
return 42
for x in o:
try:
...
finally:
break # (or continue)
Напротив, код ниже отработает без сигнализации проблем
try:
...
finally:
def f():
return 42
try:
...
finally:
for x in o:
break # (or continue)
except теперь может вызывать несколько типов ошибок без использования скобок:try:
connect_to_server()
except TimeoutError, ConnectionRefusedError:
print('The network has ceased to be!')
compression добавлен новый метод сжатия zstdt-strings. Т строки (Template Strings), иначе говоря шаблонные, включают в себя статичную и вставочную часть, при этом результат вывода не является строкой. variety = 'Stilton'
template = t'Try some {variety} cheese!'
type(template)
<class 'string.templatelib.Template'>
list(template)
['Try some ', Interpolation('Stilton', 'variety', None, ''), ' cheese!']
Такие конструкции удобны для проверки входящих данных, например целых кусков HTML, ведь вводимые данные имеют тип Interpolation.
Например:
def lower_upper(template):
"""Render static parts lowercase and interpolations uppercase."""
parts = []
for part in template:
if isinstance(part, Interpolation):
parts.append(str(part.value).upper())
else:
parts.append(part.lower())
return ''.join(parts)
name = 'Wenslydale'
template = t'Mister {name}'
assert lower_upper(template) == 'mister WENSLYDALE'
Обновление интересное, включает еще в себя кучу оптимизаций, включая freethreding, JIT, дополнительной оптимизацией по памяти, что разрушает стериотип о Python - медленный, но простой.
По традиции, 🔥, если понравилось
#ds_лайфхаки
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from LLM под капотом
Видео доклада "Schema-guided reasoning: как заставить LLM быть умнее"
Эту запись сделали и выложили ребята из @MadML_Talks
https://www.youtube.com/watch?v=0XhFB9OItqw
Разобрано очень дотошно и хорошо. Если есть какие-то вопросы к авторам, задавайте их тут или у них в чате!
Ваш, @llm_under_hood 🤗
Эту запись сделали и выложили ребята из @MadML_Talks
https://www.youtube.com/watch?v=0XhFB9OItqw
Разобрано очень дотошно и хорошо. Если есть какие-то вопросы к авторам, задавайте их тут или у них в чате!
Ваш, @llm_under_hood 🤗
YouTube
Schema-guided reasoning: как заставить LLM быть умнее
Революционный подход к управлению большими языковыми моделями через Schema-guided reasoning от Александра Брыля, ведущего ML-инженера Mad Devs. Узнайте, как заставить любую LLM рассуждать структурированно и создавать надежных агентов без сложных фреймворков.…
Forwarded from N айтишниц заходят в бар
Во время очередной встречи админов мы решили, что иногда хотим делиться с вами и познавательным контентом. Поэтому для тех, кому интересно, чем часть админов занимаются на работе и как устроены современные модели ML и DL мы сегодня представляем первый пост серии #Семинар 🧐
И он будет посвящен стильному модному✨генеративному CV✨. Да, вот это вот те которые Sora 2,простой отечественный Кандинский и все остальные.
Для этого мы пригласили Рому,чьи материалы Админ 13 использует , чтобы срочно освежить свои знания перед собесами.
Генеративное компьютерное зрение — сегодня одна из самых перспективных областей ML, с высокими зарплатами и нехваткой кадров. Это область, отвечающая за генерацию картинок, видео, 3D-объектов, миров в видеоиграх и всего, чего вздумается.
Открытых вопросов в генеративном CV еще много, но при этом его уже активно внедряют в свои продукты крупные компании.
Основной «треугольник» генеративных моделей в компьютерном зрении — это три ключевых подхода: VAE (Variational Autoencoders), GAN (Generative Adversarial Networks) и диффузионки.
В материале изучаем, чем отличаются друг от друга эти подходы к генерации в формате "к черту подробности, в каком мы городе".
Хватаем чаек с печеньками и продуктивно проводим последобеденный перерыв🐰
В комментах мы ждем ваши вопросы и предложения для новой рубрики и возмущения о том что "не ради умного контента вы тут собрались".
📸 На картинке изображена "генеративная триллема" – визуализация того, что нельзя просто взять и отнести кольцо в Мордор достичь высокой скорости, качества и разнообразия генерации. Каждый подход имеет только 2 свойства из 3.
P.S: жмите 🔥 если надо ввести рубрику на постоянной основе, 🦄 если и так все знаете.
И он будет посвящен стильному модному✨генеративному CV✨. Да, вот это вот те которые Sora 2,
Для этого мы пригласили Рому,
Генеративное компьютерное зрение — сегодня одна из самых перспективных областей ML, с высокими зарплатами и нехваткой кадров. Это область, отвечающая за генерацию картинок, видео, 3D-объектов, миров в видеоиграх и всего, чего вздумается.
Открытых вопросов в генеративном CV еще много, но при этом его уже активно внедряют в свои продукты крупные компании.
Основной «треугольник» генеративных моделей в компьютерном зрении — это три ключевых подхода: VAE (Variational Autoencoders), GAN (Generative Adversarial Networks) и диффузионки.
В материале изучаем, чем отличаются друг от друга эти подходы к генерации в формате "к черту подробности, в каком мы городе".
Хватаем чаек с печеньками и продуктивно проводим последобеденный перерыв
В комментах мы ждем ваши вопросы и предложения для новой рубрики и возмущения о том что "не ради умного контента вы тут собрались".
📸 На картинке изображена "генеративная триллема" – визуализация того, что нельзя просто взять и
P.S: жмите 🔥 если надо ввести рубрику на постоянной основе, 🦄 если и так все знаете.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Korenev AI - GPT в тапочках🩴
Продолжаем тему GEO и SEO (я уже много чего накопал, stay tuned)
В исследовании, посвященному оптимизации приводится следующий пример "ДО" и "ПОСЛЕ"
Запрос: Чем заняться в Нью-Йорке?
A.) Ответ ДО GEO:
Днём сбегите от городской суеты и шума, неспешно прогулявшись по Центральному парку [1]. Затем отправляйтесь к культовой Статуе Свободы [2]. Также попробуйте пиццу в нью-йоркском стиле [3].
B.) Ответ ПОСЛЕ GEO:
Начните с дегустации знаменитой нью-йоркской пиццы на завтрак. Это кулинарный опыт, который задаст тон всему дню [3]. Посетите Центральный парк [1]. Затем Статую Свободы [2].
Для оптимизации использовались следующие методы:
🟢 Высокоэффективные методы➖ Quotation Addition (Добавление цитат) — добавление прямых цитат из авторитетных источников
Улучшение: до 41% в метрике Position-Adjusted Word Count. Это самый ТОП в исследовании➖ Statistics Addition (Добавление статистики) — включение количественных данных и цифр вместо качественных описаний
Улучшение: до 31%➖ Cite Sources (Цитирование источников) — добавление ссылок на надежные источники для подтверждения информации
Улучшение: до 28%➖ Fluency Optimization (Оптимизация плавности) — улучшение плавности и связности текста
Улучшение: до 28%➖ Technical Terms (Технические термины) — добавление технических и профессиональных терминов где уместно
Улучшение: до 18%➖ Authoritative (Авторитетный стиль) — изменение стиля текста на более убедительный и авторитетный
Улучшение: до 19%➖ Easy-to-Understand (Упрощение языка) — упрощение языка сайта для лучшей читаемости
Улучшение: до 14%
🔴 Неэффективные методы (практически без улучшений)➖ Unique Words (Уникальные слова) — добавление уникальных слов➖ Keyword Stuffing (Набивка ключевыми словами) — добавление большего количества ключевых слов из запроса (классический SEO)
Полагаю, что в гору делишки пошли у владельца пиццерии
Так что, если будете в Нью-Йорке в следующий раз - непременно загляните в рекомендуемое заведение. Ну и передайте привет от Коренева
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Кибербез образование
Использование алгоритмов машинного обучения для решения задач кибербезопасности 🚀
По данным исследования Positive Technologies🟥 , технологии ИИ проходят первые шаги внедрения и эксплуатации. Можно уже уверенно говорить о преимуществах внедрения ML в инструменты защиты: снижение нагрузки на специалистов, ускорение реагирования на инциденты, поведенческий анализ пользователей и систем, обнаружение неизвестных угроз итд. Количество подобных задач возрастает с каждым днем 😱
Это приводит к увеличению потребности в специалистах, которые одновременно хорошо разбираются в ML и кибербезе (см. рисунок)🤔 Откуда такие специалисты появятся? Выпускники вузов понимают в ИИ/ML, но при этом не разбираются в практическом кибербезе, отсюда появилась идея курса: погрузить ML-специалистов в область кибербеза 👨💻
Приглашаем преподавателей и студентов на совместный проект "Образовательной Лиги вендоров", университета ИТМО и Positive Education 👨🎓
Для преподавателей это возможность обновить программы и усилить собственные знания, а студенты увидят, как машинное обучение применяется для реальных задач кибербеза👷
Важно: для участия необходимы знания Python, прикладного анализа данных и математики для работы с ML.
↘️ Регистрация на курс по ссылке: https://mlsec.itmo.ru
#ml #PositiveEducation
По данным исследования Positive Technologies
Это приводит к увеличению потребности в специалистах, которые одновременно хорошо разбираются в ML и кибербезе (см. рисунок)
Приглашаем преподавателей и студентов на совместный проект "Образовательной Лиги вендоров", университета ИТМО и Positive Education 👨🎓
Для преподавателей это возможность обновить программы и усилить собственные знания, а студенты увидят, как машинное обучение применяется для реальных задач кибербеза
Важно: для участия необходимы знания Python, прикладного анализа данных и математики для работы с ML.
#ml #PositiveEducation
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Love. Death. Transformers.
Qwen3-Next 80B-A3B
C того момента как она вышла, уже вышла Doubao, Step3, Qwen3-235B, DeepSeek V3.2 и я за пивом
- Hybrid Architecture: Gated DeltaNet + Gated Att - вариция на тему RNN + не везде а только 75% cлоев и 25% cлоев обычный attention
- 3b активных параметров при 80 тотал
- Используют QK postnorm по аналогии с DIT для улучшения стабильности
- MTP как в deepseek
- Показывают бОльшую скорость префила и декода чем соседи по метрикам (это если что qwen 30bA3 и qwen 32b)
blog
C того момента как она вышла, уже вышла Doubao, Step3, Qwen3-235B, DeepSeek V3.2 и я за пивом
- Hybrid Architecture: Gated DeltaNet + Gated Att - вариция на тему RNN + не везде а только 75% cлоев и 25% cлоев обычный attention
- 3b активных параметров при 80 тотал
- Используют QK postnorm по аналогии с DIT для улучшения стабильности
- MTP как в deepseek
- Показывают бОльшую скорость префила и декода чем соседи по метрикам (это если что qwen 30bA3 и qwen 32b)
blog
Forwarded from Aspiring Data Science (Anatoly Alekseev)
YouTube
Beginners Guide to Creating a Simple Algo Strategy (important info not to be missed!)
Presented by: Kevin Davey @ KJ Trading Systems, topics include:
- Basics of Algo Trading
- Why You Should (and Should NOT) Consider Algo Trading
- 3 Common Misconceptions About Algos
- 4 Big Mistakes People Make Creating Algos
- Let’s Build A Simple Gold…
- Basics of Algo Trading
- Why You Should (and Should NOT) Consider Algo Trading
- 3 Common Misconceptions About Algos
- 4 Big Mistakes People Make Creating Algos
- Let’s Build A Simple Gold…
Forwarded from Всеволод Викулин | AI разбор
Aгент-аналитик для всех и каждого. Кейс компании Ramp.
Чтобы принять решение, нам нужна аналитика. Узнать, что покупали, куда кликали, что читали за прошлый день/месяц/год. Вопросы эти срочные. Отлично, если вы сами умеете в SQL. Хорошо, когда у вас свой аналитик. Ожидаемо, когда вы сделали задачу на аналитику, но не дождались ответа и все решили сами. Вот чтобы такого не было, финтех компания Ramp сделала агента дата-аналитика. Разбираем этот кейс.
Архитектура решения
Канал в Слаке, вы тегаете бота, задаете ему вопрос, агент уходит анализировать. Отвечает вам в треде, в этом же треде ему можно задавать доп. вопросы. Деталей, как работает агент, в посте немного, но все такие решения +- одинаково устроены.
1) Пишем техническую документацию. Для любой базы данных должно быть очевидно, что там лежит. Можно прям примеры запросов к этой базе написать.
2) По этой документации запускаем RAG. Находим релевантные базы данных. В контекст агента отправляем полное описание всех полей в базе. Про это читайте мое 5-е правило.
3) Агент пишет SQL-запросы. Запросы выполняются, результаты работы и ошибки отправляются на вход агенту.
4) Агент рефлексирует: все ли, что спрашивал пользователь он нашел? Если нет, можно еще поискать другие БД в пунте 2 или еще пописать SQL в пункте 3.
5) Если все нашли, формируем финальный ответ, показываем пользователю, ждемнагоняй конструктивную обратную связь.
Вот, кстати, неплохой туториал от Google по Text2SQL системам. Очень похожие идеи.
Бизнес эффект
Вы не оптимизируете работу аналитиков. Нет. Вы упрощаете сотрудникам доступ к информации для принятия решения.
В Ramp этому агенту задают 1500 запросов в месяц, а людям-аналитикам задают 66 запросов. Разница больше, чем в 20 раз. Это все те вопросы, которые люди боялись спрашивать или откладывали в длинный бэклог. Не трогай, это вопрос на новый год!
Эта польза огромна, но ее невозможно оцифровать в рублях. Сотрудники станут принимать больше решений, основанных на данных. За месяц вы ничего не заметите. За несколько лет вы можете создать продукты, до которых раньше никто бы не додумался.
Основная проблема этого кейса
Ненадежность. Если по компании пойдет молва, что агент сгаллюцинировал, и из-за этого приняли неверное решение, это будет последний день этого агента. Нужна мощная система защиты от галлюцинаций (читайте правило 8). Мои варианты защиты от менее надежного к более:
1) Дежурный аналитик. Заметьте, что вопросы задаются в канале, а не в личных сообщениях. Если бы босс был я, в канале обязательно был бы дежурный аналитик, у которого обязанность проверять, что в ответах не полная ерунда.
2) Явная проверка. Вы делаете через бота предварительную разведку. Если хотите результаты анализа написать на слайде, делаете задачу на отдел аналитики. Они перепроверяют.
3) Copilot для аналитика. Не даем инструмент всем, а только ускоряем работу аналитиков. Они проверяют, что агент отработал адекватно.
Резюме
Из этого кейса нам нужно вынести 2 урока:
- ИИ это не только про автоматизацию. Это про демократизацию и более широкий доступ. Который в долгую может быть намного важнее.
- Помимо самого ИИ, критически важно, как вы этот ИИ интегрируете и проверяете, что ИИ правильно себя ведет. Весь успех легко перечеркнуть.
Что думаете про этот кейс? Жду ваши мысли и вопросы в комментариях. И пишите в личные сообщения, если хотите разобрать другой AI-проект.
#ai_cases
Чтобы принять решение, нам нужна аналитика. Узнать, что покупали, куда кликали, что читали за прошлый день/месяц/год. Вопросы эти срочные. Отлично, если вы сами умеете в SQL. Хорошо, когда у вас свой аналитик. Ожидаемо, когда вы сделали задачу на аналитику, но не дождались ответа и все решили сами. Вот чтобы такого не было, финтех компания Ramp сделала агента дата-аналитика. Разбираем этот кейс.
Архитектура решения
Канал в Слаке, вы тегаете бота, задаете ему вопрос, агент уходит анализировать. Отвечает вам в треде, в этом же треде ему можно задавать доп. вопросы. Деталей, как работает агент, в посте немного, но все такие решения +- одинаково устроены.
1) Пишем техническую документацию. Для любой базы данных должно быть очевидно, что там лежит. Можно прям примеры запросов к этой базе написать.
2) По этой документации запускаем RAG. Находим релевантные базы данных. В контекст агента отправляем полное описание всех полей в базе. Про это читайте мое 5-е правило.
3) Агент пишет SQL-запросы. Запросы выполняются, результаты работы и ошибки отправляются на вход агенту.
4) Агент рефлексирует: все ли, что спрашивал пользователь он нашел? Если нет, можно еще поискать другие БД в пунте 2 или еще пописать SQL в пункте 3.
5) Если все нашли, формируем финальный ответ, показываем пользователю, ждем
Вот, кстати, неплохой туториал от Google по Text2SQL системам. Очень похожие идеи.
Бизнес эффект
Вы не оптимизируете работу аналитиков. Нет. Вы упрощаете сотрудникам доступ к информации для принятия решения.
В Ramp этому агенту задают 1500 запросов в месяц, а людям-аналитикам задают 66 запросов. Разница больше, чем в 20 раз. Это все те вопросы, которые люди боялись спрашивать или откладывали в длинный бэклог. Не трогай, это вопрос на новый год!
Эта польза огромна, но ее невозможно оцифровать в рублях. Сотрудники станут принимать больше решений, основанных на данных. За месяц вы ничего не заметите. За несколько лет вы можете создать продукты, до которых раньше никто бы не додумался.
Основная проблема этого кейса
Ненадежность. Если по компании пойдет молва, что агент сгаллюцинировал, и из-за этого приняли неверное решение, это будет последний день этого агента. Нужна мощная система защиты от галлюцинаций (читайте правило 8). Мои варианты защиты от менее надежного к более:
1) Дежурный аналитик. Заметьте, что вопросы задаются в канале, а не в личных сообщениях. Если бы босс был я, в канале обязательно был бы дежурный аналитик, у которого обязанность проверять, что в ответах не полная ерунда.
2) Явная проверка. Вы делаете через бота предварительную разведку. Если хотите результаты анализа написать на слайде, делаете задачу на отдел аналитики. Они перепроверяют.
3) Copilot для аналитика. Не даем инструмент всем, а только ускоряем работу аналитиков. Они проверяют, что агент отработал адекватно.
Резюме
Из этого кейса нам нужно вынести 2 урока:
- ИИ это не только про автоматизацию. Это про демократизацию и более широкий доступ. Который в долгую может быть намного важнее.
- Помимо самого ИИ, критически важно, как вы этот ИИ интегрируете и проверяете, что ИИ правильно себя ведет. Весь успех легко перечеркнуть.
Что думаете про этот кейс? Жду ваши мысли и вопросы в комментариях. И пишите в личные сообщения, если хотите разобрать другой AI-проект.
#ai_cases
Forwarded from Yandex for Developers
За годы работы инженеры Яндекс 360 накопили значительный опыт в проектировании и разработке систем, которыми ежедневно пользуются миллионы людей и тысячи предприятий. Мы знаем, что такое highload и отказоустойчивость не из книжек и докладов, а из реальной многолетней практики.
В этом проекте мы хотим поделиться опытом и рассказать, как решаем наши задачи и как создаём архитектуру высоконагруженных систем.
В выпусках обсуждаем:
Наши разработчики создают Диск, Почту, Телемост, Мессенджер, Календарь и другие знакомые вам сервисы. Ими пользуются более 95 миллионов людей ежемесячно, а сервисы держат нагрузки более 1 миллиона RPS, наши базы данных хранят петабайты метаинформации.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM