Заметки LLM-энтузиаста
517 subscribers
144 photos
17 videos
1 file
175 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
#ai #florist #app

Приложение "AI-флорист" на базе YandexGPT/YandexART, которое генерирует букеты для разных людей и под разные события

Пример работы приложения на скриншоте.

Все изображения букетов можно скачать.
Промпты для генерации букетов можно редактировать.

Приложение хорошо работает как на ПК, так и на мобильных устройствах.
Но требует ввести креды, для YandexGPT/YandexART

Добавил данное приложение в библиотеку публичных приложений для тестирования YandexGPT/YandexART

Код приложения в открытом доступе здесь
👍21🔥1
Media is too big
VIEW IN TELEGRAM
Коллеги записали видео-ролик как пользоваться AI-флористом :)
🔥31
#новыйгод

Один из моих коллег написал телеграмм бота для генерации новогодних открыток при помощи YandexART 2.0

Исходники здесь https://github.com/shwars/yartbot

С Наступающим Новым Годом!
3🎉2
#cursor #ai #programming #dashboard

Закончился наш курс по AI-программированию

Я свел весь набор проектов, который мы сделали и подробно разобрали на курсе, на одну страничку (везде есть ссылки на исходный код)

Кому интересно - исходники этого дашборда здесь
👍42🔥1
#ui #web #ux #examples #ai #dev

Недавно я наткнулся на новый бесплатный ресурс, который, на мой взгляд, очень ценен!

https://21st.dev/

Он содержит более 730 готовых к работе компонентов пользовательского интерфейса от более чем 50 ведущих инженеров-проектировщиков.
Можно бесплатно брать и использовать все, что хочешь.
Запущен 9 января 2025 года - очень свежий!

Здесь оригинальный анонс

Что очень круто он уже оптимизирован для популярных ИИ-редакторов программного кода, таких как
- lovable.dev
- bolt.new
- v0.dev от vercel
с индивидуальными подсказками для легкой интеграции

Алгоритм работы с ним очень прост:
1) Выбирается понравившийся компонент интерфейса
2) Копируется информация о том, как его установить и промпт для выбранного ИИ-помощника
3) Затем повторяем компонент в своем коде
см. скришоты
11👍1🔥1
#openai #news #agents #operator

Что произошло?
Опенаи вчера анонсировали своего первого агента под названием Operator.

Зачем это нужно?

Оператор - это что-то вроде виртуального ИИ-консъержа, может решать задачи по планированию поездки, бронированию номеров в гостинице, столика в ресторане, покупке продуктов по рукописному списку и т.д.

Как работает?
Все это он делает через закрытую "песочницу" с браузером, в котором вводит необходимые команды поиска и работает с выбранными при постановке задаче инструментами. То есть, даже если у выбранного сайта (например, по заказу продуктов) нет API-интерфейса, он просто воспользуется им как обычный пользователь и решит поставленную задачу.
Подробнее здесь: https://help.openai.com/en/articles/10421097-operator

Как потестировать?

Оператор доступен по ссылке https://operator.chatgpt.com/
Сейчас 2 условия для доступа:
- регион USA (поэтому VPN нужно подобрать соответствующий)
- подписка ChatGPT Pro. Это более существенное ограничение, т.к. стоит $200 в месяц (https://chatgpt.com/#pricing)

Планы на будущее?
В анонсе говорят, что планируют:
- расширять линейку инструментов Оператора
- добавлять новых агентов
- расширять список регионов, в которых доступен Оператор
- через какое-то время сделать Оператора доступным для тех, у кого подписка ChatGPT Plus (за $20 в месяц)

Есть ли что-то похожее?
Да. Опенаи не первые, кто делает агентов, использующих веб-браузер для решения поставленных задач.
2🔥2👍1
#news #vercel #agents #operator #free

Бесплатный Open Operator от Vercel - теперь не надо платить $200 в месяц за данную функциональность, как это предлагает нам сделать Openai :)

https://open-operator.vercel.app

Vercel только что выпустила Open Operator, и я его протестировал
Основные функции:
- Поддержка web scraping
- Поддержка автоматической публикации задач
- Поддержка самостоятельного управления браузером, в котором происходит поиск
🎉3👍1🔥1
#info #nvda

Шикарный лонг-рид про то:
- Почему NVIDIA стоит таких денег, их ключевые преимущества
- Новые угрозы, основанные на последних разработках, особенно на развитии моделей рассуждений с новым законом масштабирования (deepseek как пример);

TLDR - Deepseek показал, что аппаратных ресурсов для инференса и обучения моделей нужно меньше, появляются новые разработки в области "железа" такие как гигантские чипы Cerebras, разработка tpu-процессоров google и groq, улучшенные драйверы для AMD от команды Джорджа Хотца

В общем, интересный short case для NVDA
Судя по пре-маркету, котировки NVDA сегодня откроются мощным гэп-дауном
👍3🤔1
Newwhitepaper_Agents2.pdf
4.1 MB
#info #ai #agents #google #whitepaper

Google недавно опубликовали отличный обзорный материал по ИИ-агентам (см. вложенный файл).

ИИ-агенты принципиально отличаются от стандартных языковых моделей по трем ключевым параметрам:

1) Они комбинируют возможности больших языковых моделей с инструментами реального мира и уровнем оркестрации, который управляет сложными рассуждениями. Это позволяет им как обрабатывать информацию, так и выполнять какие-то полезные действия.

2) В отличие от традиционных моделей, которые могут ссылаться только на данные, на которых их обучали, агенты могут получать доступ к новой актуальной информации через:

- Расширения: Прямые соединения с внешними API
- Функции: Возможности выполнения кода/алгоритмов на стороне клиента
- Хранилища данных: Доступ к базам данных и внешним знаниям

3) Они используют сложные алгоритмы рассуждений (например, ReAct и Chain-of-Thought) для планирования и выполнения многоэтапных задач, подобно тому, как повар планирует и корректирует процесс приготовления сложного блюда.

В документе подчеркивается важное техническое различие между тем, что выдает модель (model outputs) на выходе и тем, что выдает агент в результате выполнения им поставленной задачи (agent execution). В то время как модель может генерировать ответы только на основе своего обучения, агент может проверять информацию, выполнять вызовы API и взаимодействовать с внешними системами для обеспечения точности и актуальности своих ответов.

Заглядывая в будущее, авторы предполагают, что «цепочка агентов» ("agent chaining") - объединение специализированных агентов для выполнения различных задач - может значительно расширить возможности ИИ.
Однако они также подчеркивают, что создание по-настоящему эффективно работающих полезных агентов требует тщательного итерационного подхода и оптимизации под конкретную область.

В общем, судя по всему, 2025 год будет годом "вертикальных" ИИ-агентов.
2👍1
#deepseek #cursor #news

Что произошло?
Модели deepseek-v3 (аналог claude-3-5-sonnet) и deepseek-r1 (аналог o1) стали доступны в Cursor нативно, а не только через добавление их как openai-like моделей по инструкции от конца прошлого года.

Как включить и пользоваться?
Нужно просто включить их в разделе Settings - см. скриншот
И далее можно использовать даже в Cursor-агенте через Composer

Что круто?
- Cursor подтвердили, что используют самую большую Deepseek R1 модель
DeepSeek R1 model with 671B parameters. пруф здесь

Что не круто?
- Cursor агент пока не поддерживает работу с моделями deepseek-r1 и deepseek-v3
При работе со сложными проектами лучше всего использовать Сursor агент в Composer.
С Deepseek эта опция, к сожалению, пока не доступна. Придется использовать claude-3-5-sonnet модель от anthropic как обычно.
- deepseek-v3 не работает с изображениями, поэтому при траблшутинге, когда надо сослаться на скрин веб-интерфейса как и ранее продолжаем использовать claude-3-5-sonnet модель от anthropic

На что надо обратить внимание?
- deepseek-v3 - не будет "съедать" лимиты по премиальным запросам, т.к. считается не премиальной моделью
- А вот deepseek-r1 считается премиальной моделью, поэтому нужно следить за количеством премиальных запросов (на Pro-тарифе их 500). Но следить не так сильно как за количеством запросов к o1- модели (которых на Pro-тарифе всего 10)

Вот цитата с форума Cursor, подтверждающая данный тезис:
DeepSeek v3 is a non-premium model, so is unlimited to use, but R1 is premium currently, so will count towards your usage.

Ссылка на тарифы и условия здесь
🔥21🎉1
#qwenchat #free

Коллеги, хочу поделиться отличным инструментом
https://chat.qwenlm.ai

По сути аналог chatgpt pro, только бесплатный.

Можно не только для работы с текстом использовать, но и работать с кодом, генерировать изображения и короткие видео ролики.

В общем, кажется, что сейчас американские модели за деньги по сути нафиг не нужны :)
Если не согласны - напишите свои мысли в комментариях.

P.S. Кстати, там же по ссылке уже доступна модель qwen 2.5 max (см. скриншот) которая по некоторым параметрам уже превосходит deepseek-r1 (которая "побила" openai o1)

https://qwenlm.github.io/blog/qwen2.5-1m/
Вот технический отчет по модели (от 27 января 2025)
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf
🔥421
Заметки LLM-энтузиаста
#deepseek #cursor #news Что произошло? Модели deepseek-v3 (аналог claude-3-5-sonnet) и deepseek-r1 (аналог o1) стали доступны в Cursor нативно, а не только через добавление их как openai-like моделей по инструкции от конца прошлого года. Как включить и пользоваться?…
по результатом сегодняшнего занятия на курсе Сursor. AI-программирование с нуля дополнил информацию разделом

Что не круто?
- Cursor агент пока не поддерживает работу с моделями deepseek-r1 и deepseek-v3
При работе со сложными проектами лучше всего использовать Сursor агент в Composer.
С Deepseek эта опция, к сожалению, пока не доступна. Придется использовать claude-3-5-sonnet модель от anthropic как обычно.
- deepseek-v3 не работает с изображениями, поэтому при траблшутинге, когда надо сослаться на скрин веб-интерфейса как и ранее продолжаем использовать claude-3-5-sonnet модель от anthropic
👍421👨‍💻1
#interesting #cursor

Интересный подкаст с Y-Combinator
В нем рассказывается о различных AI-стартапах, в которые недавно инвестировал Y Combinator.

На 26-ой минуте говорят, что большинство стартапов используют Cursor в качестве инструмента для своей разработки.

И более того, на вопрос "как нанять крутого инженера в команду?" советуют спрашивать у кандидатов "используют ли они Cursor или какие-то другие AI-инструменты для генерации кода?", если ответ "нет", то такой кандидат далее не рассматривается.
👍2🔥2🤔1
#news #openai #o3mini

OpenAI только что дали доступ к своей новой модели o3-mini (доступна и в playground, и по api)

Документация здесь и подробное описание функций тут

Из интересного:

- поддержка Structured Outputs, function calling, Batch API, streaming и поиска в Интернете - все что надо, чтобы делать production-ready агентов на базе этой модели.

- специфичный промптинг
- Keep prompts simple and direct: The models excel at understanding and responding to brief, clear instructions.
- Avoid chain-of-thought prompts: Since these models perform reasoning internally, prompting them to "think step by step" or "explain your reasoning" is unnecessary.

В общем, чем меньше деталей при постановке задачи, тем для данной модели лучше. Можно сфокусироваться на сути проблемы. А о деталях она позаботиться сама (это свойственно всем reasoning моделям).
Подробнее с примерами здесь.

- очень хороша в написании кода
И уже поддерживается и в Windsurf, и в Cursor (причем в режиме Composer агента - то что надо для большинства проектов).

Недостаток: o3-mini does not support vision capabilities, so developers should continue using OpenAI o1 for visual reasoning tasks.
В общем, при работе с кодом нельзя будет использовать скрины ошибок, веб-интерфейса или блок-схем алгоритмов. Для этого продолжаем использовать claude-3-5-sonnet или если нужен reasoning, то модель o1

Цена: модель на 93% дешевле, чем модель o1 и это здорово, но, конечно, не так круто, как у китайских моделей.

Deepseek-R1 стоит в 2 раза дешевле, но имеет почти в 2 раза меньшее контекстное окно и судя по тестам качество его генерации уступает o3-mini. Поэтому здесь, думаю, можно считать, что openai наконец-то перестали завышать цены.

Также o3-mini получается примерно в 3 раза дешевле Claude-35-sonnet
Жаль не работает с изображениями, а так стал бы пользоваться только ей в реальных проектах.

Скорее всего теперь очередь за Anthropic снижать цены на свои модели :)
👍1🔥1🎉1
#openai #o3mini #coding

Как видно, o3-mini пишет код лучше, чем o1 и тем более чем o1-mini
Источник здесь
👍2💯1