Заметки LLM-энтузиаста
482 subscribers
131 photos
17 videos
1 file
162 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
Заметки LLM-энтузиаста
#deepseek #cursor #news Что произошло? Модели deepseek-v3 (аналог claude-3-5-sonnet) и deepseek-r1 (аналог o1) стали доступны в Cursor нативно, а не только через добавление их как openai-like моделей по инструкции от конца прошлого года. Как включить и пользоваться?…
по результатом сегодняшнего занятия на курсе Сursor. AI-программирование с нуля дополнил информацию разделом

Что не круто?
- Cursor агент пока не поддерживает работу с моделями deepseek-r1 и deepseek-v3
При работе со сложными проектами лучше всего использовать Сursor агент в Composer.
С Deepseek эта опция, к сожалению, пока не доступна. Придется использовать claude-3-5-sonnet модель от anthropic как обычно.
- deepseek-v3 не работает с изображениями, поэтому при траблшутинге, когда надо сослаться на скрин веб-интерфейса как и ранее продолжаем использовать claude-3-5-sonnet модель от anthropic
👍421👨‍💻1
#interesting #cursor

Интересный подкаст с Y-Combinator
В нем рассказывается о различных AI-стартапах, в которые недавно инвестировал Y Combinator.

На 26-ой минуте говорят, что большинство стартапов используют Cursor в качестве инструмента для своей разработки.

И более того, на вопрос "как нанять крутого инженера в команду?" советуют спрашивать у кандидатов "используют ли они Cursor или какие-то другие AI-инструменты для генерации кода?", если ответ "нет", то такой кандидат далее не рассматривается.
👍2🔥2🤔1
#news #openai #o3mini

OpenAI только что дали доступ к своей новой модели o3-mini (доступна и в playground, и по api)

Документация здесь и подробное описание функций тут

Из интересного:

- поддержка Structured Outputs, function calling, Batch API, streaming и поиска в Интернете - все что надо, чтобы делать production-ready агентов на базе этой модели.

- специфичный промптинг
- Keep prompts simple and direct: The models excel at understanding and responding to brief, clear instructions.
- Avoid chain-of-thought prompts: Since these models perform reasoning internally, prompting them to "think step by step" or "explain your reasoning" is unnecessary.

В общем, чем меньше деталей при постановке задачи, тем для данной модели лучше. Можно сфокусироваться на сути проблемы. А о деталях она позаботиться сама (это свойственно всем reasoning моделям).
Подробнее с примерами здесь.

- очень хороша в написании кода
И уже поддерживается и в Windsurf, и в Cursor (причем в режиме Composer агента - то что надо для большинства проектов).

Недостаток: o3-mini does not support vision capabilities, so developers should continue using OpenAI o1 for visual reasoning tasks.
В общем, при работе с кодом нельзя будет использовать скрины ошибок, веб-интерфейса или блок-схем алгоритмов. Для этого продолжаем использовать claude-3-5-sonnet или если нужен reasoning, то модель o1

Цена: модель на 93% дешевле, чем модель o1 и это здорово, но, конечно, не так круто, как у китайских моделей.

Deepseek-R1 стоит в 2 раза дешевле, но имеет почти в 2 раза меньшее контекстное окно и судя по тестам качество его генерации уступает o3-mini. Поэтому здесь, думаю, можно считать, что openai наконец-то перестали завышать цены.

Также o3-mini получается примерно в 3 раза дешевле Claude-35-sonnet
Жаль не работает с изображениями, а так стал бы пользоваться только ей в реальных проектах.

Скорее всего теперь очередь за Anthropic снижать цены на свои модели :)
👍1🔥1🎉1
#openai #o3mini #coding

Как видно, o3-mini пишет код лучше, чем o1 и тем более чем o1-mini
Источник здесь
👍2💯1
#news #windsurf #deepseek #cascade

Windsurf добавили в Cascade режиме поддержку deepseek-R1 модели
И это не просто "название модели в списке" - это работает!

В отличие от Cursor, где названия моделей есть в списке Composer Agent, но при попытке запустить выдается ошибка Unsupported Model (чуть выше писал об этом)

По этому параметру Windsurf вырвался вперед и обогнал Cursor

Теперь можно использовать очень дешевую и классную reasoning модель при написании софта.
🔥2🎉2
приложение было написано сразу верно!

Как оно работает:
- пользователь задает вопрос
- если похожего вопроса в базе данных нет, то пользователя просят ввести правильный ответ
- если похожие вопросы найдены в базе денных, то их список выводится на экран и пользователь может выбрать какой из вопросов ближе подходит к тому, что он задал
- после этого пользователю демонстрируется ответ на заданный вопрос

это приложение из prompt-book по coding-planning для openai-o3-mini
👍21🔥1
#deepseek #howtotest

Себе на заметку, чтоб не забыть.

Где протестировать deepseek?

1) https://chat.deepseek.com/ - в режиме чата, бесплатно, но иногда в связи с большим наплывом желающих тормозит
2) https://platform.deepseek.com/ - через API, но сейчас недоступен
3) Groq Cloud - DeepSeek R1 в платном режиме (чат и API)
4) Together.ai - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
5) Hyperbolic AI - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
6) Replicate - в платном режиме Deepseek-R1 (чат и API)
7) Huggingface - Deepseek-R1 и Deepseek-v3 в платном режиме (надо разворачивать отдельно и при разворачивании выбирается доступный провайдер для модели из списка)
8) Openrouter - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
9) Github models - Deepseek-R1 бесплатный режим (чат и API)

10) В любом коммерческом AI Code IDE (Cursor, Windsurf) модели Deepseek-v3 и Deepseek-R1 входят в подписку и могут быть доступны в бесплатной версии.
В бесплатных AI Code IDE нужно разворачивать Deepseek модели отдельно (см. пункты 1-9 выше) и вводить API-ключ.

Если какую-то опцию забыл, напишите, пожалуйста, в комментариях!
1🤝21👍1🔥1
#openai #deepresearch #news

Openai запустили новый инструмент deep research, который позволяет при ответе на вопрос:
- собрать всю недостающую информацию от пользователя
- произвести пошаговый поиск ответа в Интернете
(оригинальный видео-анонс здесь, подробное текстовое описание тут)

Под "капотом" deep research использует дообученную модель o3 reasoning (еще не была выпущена), которая по новому и достаточно сложному для LLM-моделей бенчмарку "Humanity Last Exam" превосходит o3-mini более чем в 2 раза!

По бенчмарку "GAIA", который оценивает "агентные" способности модели, deep research на всех уровнях сложности обновил высокие оценки других моделей

Что интересно:
- модель мультимодальная (работает и с текстом, и с изображениями)
- чем дольше модель думает, тем качественнее ответ
- она все еще может давать вместо правильных ответов галлюцинации, поэтому рекомендуется проверять ответ по ссылкам на источники

В моем личном кабинете доступа к этой полезной функции все еще нет, возможно, что еще не на все страны открыли доступ.
А хотя вот, нашел почему:
We are starting with a version optimized for Pro users today, with up to 100 queries per month. Plus and Team users will get access next, followed by Enterprise. We are still working on bringing access to users in the United Kingdom, Switzerland, and the European Economic Area. 

У меня обычная Plus подписка за $20 в месяц.
Deep Research пока что только для Pro пользователей, которые платят $200 в месяц (с ограничением 100 запросов в месяц)
3👍1
#cursor #project #rules

Что случилось?
В версии Cursor 0.4.5 появилась одна интересная функциональность Project Rules
Теперь не обязательно при обращении к Cursor каждый раз ссылаться через @ на предварительно написанные специфичные правила (в notebook/md-файлах).

Cursor может в зависимости от фолдера/файла, с которым работает при решении поставленной вами задачи, автоматически взять дополнительный контекст из нужных rules-файлов. Что очень круто!

Можно сказать, что Cursor предоставляет гибкую систему правил (rules) с настройками для конкретных папок.
Правила проекта хранятся в директории .cursor/rules и управляют поведением "AI-программиста" в различных частях вашего проекта.

Ключевые особенности:
- Семантические описания: Правила могут внутри себя иметь пояснения, когда они применяются.
- Выбор файлов/папок: для выбора области действия правил (файлов/папок) можно использовать regexp-шаблоны.
- Автоматическое прикрепление: Правила автоматически включаются при использовании соответствующих файлов.
- Folder-specific: Можно применять разные правила (rules) к разным частям проекта.

Ниже пример использования Project Rules в проекте, который использует Next.js и Python (FastAPI):

- `.cursor/rules/`
- `nextjs-pages.mdc`
- `nextjs-components.mdc`
- `nextjs-api.mdc`
- `fastapi-routes.mdc`
- `fastapi-models.mdc`
- `fastapi-schemas.mdc`
- `testing.mdc`
- `documentation.mdc`


# .cursor/rules/fastapi.mdc
Description: FastAPI route rules Globs: backend/**/*.py
# Routing Standards
- Use Pydantic models
- Add appropriate OpenAPI documentation
- Use dependency injection

Frontend Rules (Next.js):
Next.js Pages: Use functional components, PascalCase for component names, TypeScript types, and place pages in app/ or pages/.
React Components: Use React Hooks, define Props types, follow component reuse, and use styled-components or tailwind for styling.
Next.js API: Follow RESTful principles, standardize error handling, validate requests, and use uniform API response formats.
Backend Rules (FastAPI):
FastAPI Routes: Use Pydantic models, version routes, add OpenAPI docs, and use dependency injection.
Data Models: Use SQLAlchemy models, define table relationships, include field validation, and document methods.
Pydantic Schemas: Use BaseModel, define request/response models, add field validation, and include example data.
Common Rules:
Testing: Use Jest for frontend, Pytest for backend, maintain coverage, and follow unit test naming conventions.


Польза от использования Project Rules:
- Одинаковый стиль написания кода
- Учет best practices по написанию кода
- Улучшенное качество кода за счет специфичности промптов
- Более быстрая разработка
1👍1🔥1
Заметки LLM-энтузиаста
#deepseek #howtotest Себе на заметку, чтоб не забыть. Где протестировать deepseek? 1) https://chat.deepseek.com/ - в режиме чата, бесплатно, но иногда в связи с большим наплывом желающих тормозит 2) https://platform.deepseek.com/ - через API, но сейчас…
#deepseek #howtotest #nvdia

Дополнение к прошлому посту на тему "Где протестировать Deepseek?"

Nvidia запустила DeepSeek-R1 API сервис Enterprise-уровня

Теперь можно получить доступ к preview версии модели DeepSeek-R1 (67.1 миллиардов параметров) на build.nvidia.com
Микросервис DeepSeek-R1 NIM может выдавать до 3 872 токенов в секунду на одной NVIDIA HGX H200.
Я протестировал - кредитная карта и номер телефона не требуются, только регистрация по электронной почте, и можно наслаждаться стабильным и доступным API.

Прямая ссылка: https://build.nvidia.com/deepseek-ai/deepseek-r1
21🎉1
#deepresearch #opensource

Альтернатива OpenAI Deep Research с открытым исходным кодом

Я, честно говоря, в шоке как быстро реагирует опенсорc на то, что делает Openai :)

Менее чем через сутки после выхода Deep Research кому-то удалось создать версию с открытым исходным кодом.
Эта версия с представляет собой Node.js-реализацию Deep Research от OpenAI, и использует Gemini Flash и Jina Reader.
Запускается цикл, в котором "поисковик" читает и рассуждает до тех пор, пока цель поиска не будет достигнута.

Вот ссылка на репозиторий: https://github.com/jina-ai/node-DeepResearch

Если интересны opensource альтернативы Openai Operator (это агент по выполнению пользовательских задач разного плана, не только поиска) - напишите в комментариях, я в одном из следующих постов напишу, какие опции можно использовать, кроме предлагаемой Vercel, о которой писал ранее
3🔥2👍1
#cursor #instruction #prd #prompt

Простой пример структуры технического задания для написания софта при помощи AI-помощника

Product Requirements Documentation (PRD)

# Project Overview
xxx
xxx

# Core functionalities
1. xxx
2. xxx
3. xxx

# Documentation
xxx

# Project file structure
xxx


Как заполнить техническое задание на генерацию кода при помощи AI-помощника?

1) В секции Project Overview указывается какую задачу решает софт и какой стек технологий используется
Примеры:
- gpt extension for google docs using AppScript
- gpt telegram bot which works with text, images and voice for input/output and supports threads and streaming mode
...

2) В секции Core functionalities более детально раскрываются основные функции софта - как он решает поставленную задачу (подробное описание ключевых функций, опций меню, алгоритма взаимодействия с пользователем, указание среды запуска и т.д.)

Для брейнсторма по первым 2-м разделам PRD и консультаций по стеку технологий можно использовать обычные и reasoning модели.

3) После заполнения первых двух разделов можно определяться со структурой проекта.
Вот простой промпт для anthropic модели, который позволит определиться с оптимальной структурой проекта.

This is the project I would like to build
How should I structure my project files?
(try to create as few files as possible)

После этого результат (структуру проекта) необходимо внести в оригинальный md-файл с техническим заданием.

4) В секции Documentation имеет смысл приводить примеры работающего кода по всем разделам секции Core Functionalities
Такие примеры можно получить при помощи следующего простого промпта прямо из консоли AI-помощника в отдельной Chat сессии:
Please provide examples of implementation for all # Core Functionalities
Do not create actual files, provide only valuable examples

Примеры рабочего кода можно также получать через AI-поиск: perplexity/openai deep research и т.д.
Проверку работоспособности можно проводить в рамках отдельных мини-проектов используя Cursor Composer - это имеет смысл, только если исходный проект очень большой и валидация примеров кода может значительно упростить последующий траблшутинг всего проекта.

Как запустить генерацию кода по заранее подготовленному ТЗ?

После того как все разделы технического задания заполнены можно приступать к реализации проекта в Cursor Composer агенте. Простейший промпт выглядит следующим образом:
Read carefully instructions in the file @PRD.md and build project step by step
22🔥2
#prompt #prd #howto #improve

Полезный промпт для улучшения любого другого промпта при помощи o1/o3/R1 (reasoning) моделей

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format


Можно еще добавлять в конце:
please reason slowly, take your time when answering, the quality of the answer is my priority


Интересный факт:
- при работе с reasoning моделями промпты в стиле "делай по шагам" (step by step) либо не работают, либо ухудшают результат
- гораздо лучше написать модели, чтобы она не торопилась и потратила на свои рассуждения столько времени, сколько нужно.
Именно эту особенность reasoning моделей и использует фрагмент промпта выше.

Техническое задание на разработку софта (PRD) также является частным случаем промпта для решения задачи.
И его также можно попробовать улучшить при помощи данного подхода.

Вот как я обычно делаю, когда финальный PRD сформирован и его надо "шлифануть".
1) Выбирается reasoning модель (ceйчас лучше всего использовать o3-mini: по reasoning метрикам превосходит все остальные reasoning модели, контекст в 2 раза больше, чем у DeepSeek-R1, стоимость всего в 2 раза выше)
2) Пишу ей следующий промпт:
Here is a prompt you should work with: 
<здесь вставляю текст PRD, который ранее был сформирован>

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format

Please reason slowly, take your time when answering, the quality of the answer is my priority

В результате получаю более компактный PRD промпт.
Но его имеет смысл внимательно прочитать, чтобы случайно не выпали важные детали (фрагменты правильного кода) из раздела Documentation.
3🔥32
#news #ai

Очередной технологический шедевр от ByteDance - система OmniHuman-1. И да, это не просто новый способ убивать время в интернете, а действительно впечатляющая штука. 🤨

Представьте: одна фотография + немного аудио, и вуаля - у вас видео, от которого даже матерые скептики поднимут брови. Система может творить практически невозможное - от мультяшных персонажей до просто до боли реалистичных людей.

Разработчики потратили 19 000 часов видео, чтобы научить эту машину копировать движения и стили с такой точностью, что впору задуматься: а кто тут настоящий? 🤔

Не удивительно, что уже 10 штатов США спешно принимают законы против таких AI-фокусов. Похоже, технологии снова опережают нашу способность их контролировать.

Технология впечатляет, но немного пугает.
Как говорится: "Добро пожаловать в будущее", где реальность становится всё более... размытой.
👍21
Несколько роликов, созданных при помощи Omnihuman-1
Вот прямая ссылка на публикацию OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models
👍2🔥1