🔺 По агентам
Пара ссылок с паттернами использования
🔸 https://www.anthropic.com/engineering/building-effective-agents
🔸 https://github.com/openai/openai-agents-python/tree/main/examples/agent_patterns
Основной совет тут — не использовать агенты, если можно их не использовать. Например, если есть четкий пайплайн, а неопределенности разрешаются эвристиками.
Если необходимость есть, то почитайте, какие сейчас самые распространенные практики и фреймворки.
OpenAI вчера обновили API и выложили библиотеку для построения агентных систем:
🔸 https://github.com/openai/openai-agents-python
🔸 https://platform.openai.com/docs/guides/agents
Пока там все то же самое, что в других подобных SDK, но есть примеры и уже 2k звезд.
Поиск, ещё поиск и Operator
Так же, наконец-то в API появился web search (модель gpt-4o-search-preview) и computer use (модель computer-use-preview). Если в последнюю отправить скриншот экрана и инструкцию, то она будет возвращать вам действия типа click(x,y) или type(text). Оборачиваете это в цикл и получаете автоматизированного работника, есть пример.
File search. Искать теперь можно и по своим файлам. Есть ограничения — до 100Gb в сумме и 10k файлов по количеству. Загружать можно код, pdf, doc'и и презы. Все это векторизируется и параметр vector_store_ids затем можно использовать при использовании агента file_search.
Он будет искать в вашем хранилище релевантные фрагменты и строить на их основе свой ответ.
Пара ссылок с паттернами использования
🔸 https://www.anthropic.com/engineering/building-effective-agents
🔸 https://github.com/openai/openai-agents-python/tree/main/examples/agent_patterns
Основной совет тут — не использовать агенты, если можно их не использовать. Например, если есть четкий пайплайн, а неопределенности разрешаются эвристиками.
Если необходимость есть, то почитайте, какие сейчас самые распространенные практики и фреймворки.
OpenAI вчера обновили API и выложили библиотеку для построения агентных систем:
🔸 https://github.com/openai/openai-agents-python
🔸 https://platform.openai.com/docs/guides/agents
Пока там все то же самое, что в других подобных SDK, но есть примеры и уже 2k звезд.
Поиск, ещё поиск и Operator
Так же, наконец-то в API появился web search (модель gpt-4o-search-preview) и computer use (модель computer-use-preview). Если в последнюю отправить скриншот экрана и инструкцию, то она будет возвращать вам действия типа click(x,y) или type(text). Оборачиваете это в цикл и получаете автоматизированного работника, есть пример.
File search. Искать теперь можно и по своим файлам. Есть ограничения — до 100Gb в сумме и 10k файлов по количеству. Загружать можно код, pdf, doc'и и презы. Все это векторизируется и параметр vector_store_ids затем можно использовать при использовании агента file_search.
Он будет искать в вашем хранилище релевантные фрагменты и строить на их основе свой ответ.
Anthropic
Building Effective AI Agents
Discover how Anthropic approaches the development of reliable AI agents. Learn about our research on agent capabilities, safety considerations, and technical framework for building trustworthy AI.
👍18🔥6✍2
LLM и черные дыры
Игрался тут на выходных — просил разные модели сгенерировать код для отрисовки черной дыры с аккреционным диском как в Интерстелларе.
Была надежда, что получится, потому что, во-первых, есть статья с кучей формул — Gravitational Lensing by Spinning Black Holes, где в соавторах указан Кип Торн, делавший расчеты для фильма (даже книгу про это написал). Во-вторых, есть клевое видео, где человек делится своей версией подобной трассировки и выкладывает упрощенную версию кода.
В итоге ничего похожего не получилось. DeepResearch'и, рассуждения и подкладывание дополнительных материалов в контекст не помогли. Хотя может я все делал не правильно и у вас получится. Если так, то поделитесь.
P.S. Некоторые модели писали очень изощренный код, который минут за 30 рисовал квадрат Малевича.
Игрался тут на выходных — просил разные модели сгенерировать код для отрисовки черной дыры с аккреционным диском как в Интерстелларе.
Была надежда, что получится, потому что, во-первых, есть статья с кучей формул — Gravitational Lensing by Spinning Black Holes, где в соавторах указан Кип Торн, делавший расчеты для фильма (даже книгу про это написал). Во-вторых, есть клевое видео, где человек делится своей версией подобной трассировки и выкладывает упрощенную версию кода.
В итоге ничего похожего не получилось. DeepResearch'и, рассуждения и подкладывание дополнительных материалов в контекст не помогли. Хотя может я все делал не правильно и у вас получится. Если так, то поделитесь.
P.S. Некоторые модели писали очень изощренный код, который минут за 30 рисовал квадрат Малевича.
😁24❤7👍4👀2
Forwarded from Сергей Марков: машинное обучение, искусство и шитпостинг
Когда правописание («е» или «и») решает
😁75🔥6❤3
🔺 GigaChat 2
Друзья, день релиза! Сегодня потихоньку выкатываем новую версию Гигачата. В API он уже доступен, также его можно попробовать в разделе Playground в консоли.
Про улучшения коллеги написали на Хабре. Из прикольного там, например, то, как у ребят получилось приручить DPO, финальный этап обучения, на котором мы пытаемся увеличить вероятность качественного ответа.
Персонажность тоже улучшили, как и вызов функций (появились множественные вызовы) и работу с кодом.
Стало ощутимо лучше, коллеги молодцы.
В обычный чат, думаю, тоже скоро доедет. Пока можете потыкать в API (ключик мой личный, там еще есть немного токенов) и в своем ЛК.
👉 Upd. Токены закончились 💪
👉 Хабр | Playground | GitHub
Друзья, день релиза! Сегодня потихоньку выкатываем новую версию Гигачата. В API он уже доступен, также его можно попробовать в разделе Playground в консоли.
Про улучшения коллеги написали на Хабре. Из прикольного там, например, то, как у ребят получилось приручить DPO, финальный этап обучения, на котором мы пытаемся увеличить вероятность качественного ответа.
Персонажность тоже улучшили, как и вызов функций (появились множественные вызовы) и работу с кодом.
Стало ощутимо лучше, коллеги молодцы.
В обычный чат, думаю, тоже скоро доедет. Пока можете потыкать в API (ключик мой личный, там еще есть немного токенов) и в своем ЛК.
👉 Upd. Токены закончились 💪
#pip install gigachat
from gigachat import GigaChat
from gigachat.models import Chat, Messages, MessagesRole
key = "………"
payload = Chat(
messages=[Messages(
role=MessagesRole.SYSTEM,
content="Отвечай как пришелец с Венеры"
)],
temperature=0.8,
max_tokens=100,
)
with GigaChat(credentials=key, verify_ssl_certs=False, model="GigaChat-2-Max") as giga:
query = "Как у вас там дела?"
payload.messages.append(Messages(role=MessagesRole.USER, content=query))
response = giga.chat(payload)
print(response.choices[0].message.content)
👉 Хабр | Playground | GitHub
🔥24❤6🎉4👍2👀2🤯1💅1😎1
🔺 Атлас HuggingFace
Прикольная визуализация всех моделек с HF в виде вот таких цветочков. В центре базовая модель, а на лепестках ее файнтюны.
Больше всего, конечно, llama и картиночных моделей типа FLUX и SD.
👉 https://huggingface.co/spaces/Eliahu/Model-Atlas
Прикольная визуализация всех моделек с HF в виде вот таких цветочков. В центре базовая модель, а на лепестках ее файнтюны.
Больше всего, конечно, llama и картиночных моделей типа FLUX и SD.
👉 https://huggingface.co/spaces/Eliahu/Model-Atlas
👍29❤12🔥7🆒3
Выступил на семинаре Института Языкознания (запись будет позже на сайте ИЯ). Аудитория серьезная, записи предыдущих докладов можно посмотреть тут. В прошлый раз, кстати, были интересные рассказы про машинный перевод и цифровизацию башкирского.
Из полезного подготовил пару блокнотов для работы с данными:
• Исправление проблем со смешанной кодировкой для обработки текстовых PDF
• Извлечение параллельного корпуса при помощи lingtrain-aligner
Из полезного подготовил пару блокнотов для работы с данными:
• Исправление проблем со смешанной кодировкой для обработки текстовых PDF
• Извлечение параллельного корпуса при помощи lingtrain-aligner
👍20🔥12❤7⚡1
На HF Daily papers за март было почти 600 статей (!), весна...
В прошлом году автоматизировал для сообщества страничку — hfday.ru, на ней можно посмотреть краткие содержания статей и отфильтровать по категориям, удобно искать какие-то конкретные темы.
Я и сам про эту страничку иногда забываю, но народ, судя по логам, пользуется. Так что напоминаю тем, кто еще не видел и себе тоже.
Парсится и генерится все скриптами, развернуто на процессах GitHub'а, дневные странички обновляются каждые пару часов.
👉 А код тут https://github.com/averkij/top_papers
В прошлом году автоматизировал для сообщества страничку — hfday.ru, на ней можно посмотреть краткие содержания статей и отфильтровать по категориям, удобно искать какие-то конкретные темы.
Я и сам про эту страничку иногда забываю, но народ, судя по логам, пользуется. Так что напоминаю тем, кто еще не видел и себе тоже.
Парсится и генерится все скриптами, развернуто на процессах GitHub'а, дневные странички обновляются каждые пару часов.
👉 А код тут https://github.com/averkij/top_papers
5🔥28👍8❤5✍1
Всех приветствую! Будем и дальше обсуждать и делать интересные проекты на тему ИИ, изучения языков и программирования.
P.S. Плакат нарисовал в на днях обновившемся Ideogram'е, он стал постабильней работать с генерацией кириллических надписей (и вообще стал сильно круче, попробуйте). В gpt-4o, кстати, также обновилась генерация по тексту, попробуем и его.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤27👍14🔥10🎉3🤝2
Потестировал вчера Ideogram и gpt-4o и вот что скажу — качество очень прилично подросло за последние несколько месяцев. Если вам в работе и хобби надо делать какие-то прототипы дизайнов и картинок, то надо обязательно использовать (если еще не).
Порисовал обложки для книг. За час получилось несколько десятков веселых обложек. Можно делать так: любой LLM с web-поиском генерируете промпт для генерации картинок (я вбивал в perplexity), что-нибудь типа такого:
Так как есть поиск, то книгу можно задавать любую, которую можно найти в интернете. Полученный промпт уже можно использовать.
gtp-4o работает с русскими надписями гораздо стабильней, хотя тоже ошибается. Самое частое у них — это либо удвоить какую-нибудь букву, либо написать одну вместо удвоенной (либо написать кракозябры). Причем, если просить не писать надписей вообще (чтобы самому дописать в иллюстраторе), то получается как-будто бы похуже. Ideogram делает более разнообразные картинки, быстрей (секунд за 20) и сразу по 4 штуки. Кроме того, на платных подписках там есть редактор с всем типичным функционалом типа inpainting'а, outpainting'а, создания стиля по своим картинкам и т.д. Как специализированный инструмент он кажется получше.
👉 Еще нащупал лайфхак. Если к надписям в полученном промпте добавлять что-то типа "label is in Russian, reads exactly as '...' " и писать не капсом, то процент правильных надписей получается выше.
В общем надо тестить еще и, наверное, накидать пет-проект для end-2-end генерации.
Порисовал обложки для книг. За час получилось несколько десятков веселых обложек. Можно делать так: любой LLM с web-поиском генерируете промпт для генерации картинок (я вбивал в perplexity), что-нибудь типа такого:
"Найди информацию о книге Стругацких "Улитка на склоне". В выводе напиши только промпт для генерации изображения для обложки этой книги. На обложке должна быть яркая сцена из книги, название и имя автора на русском, промпт должен быть на английском. Стиль укиё-э."
Так как есть поиск, то книгу можно задавать любую, которую можно найти в интернете. Полученный промпт уже можно использовать.
gtp-4o работает с русскими надписями гораздо стабильней, хотя тоже ошибается. Самое частое у них — это либо удвоить какую-нибудь букву, либо написать одну вместо удвоенной (либо написать кракозябры). Причем, если просить не писать надписей вообще (чтобы самому дописать в иллюстраторе), то получается как-будто бы похуже. Ideogram делает более разнообразные картинки, быстрей (секунд за 20) и сразу по 4 штуки. Кроме того, на платных подписках там есть редактор с всем типичным функционалом типа inpainting'а, outpainting'а, создания стиля по своим картинкам и т.д. Как специализированный инструмент он кажется получше.
👉 Еще нащупал лайфхак. Если к надписям в полученном промпте добавлять что-то типа "label is in Russian, reads exactly as '...' " и писать не капсом, то процент правильных надписей получается выше.
В общем надо тестить еще и, наверное, накидать пет-проект для end-2-end генерации.
❤28🔥13👍4🆒2