Заметки LLM-энтузиаста
516 subscribers
144 photos
17 videos
1 file
175 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
#news #windsurf #deepseek #cascade

Windsurf добавили в Cascade режиме поддержку deepseek-R1 модели
И это не просто "название модели в списке" - это работает!

В отличие от Cursor, где названия моделей есть в списке Composer Agent, но при попытке запустить выдается ошибка Unsupported Model (чуть выше писал об этом)

По этому параметру Windsurf вырвался вперед и обогнал Cursor

Теперь можно использовать очень дешевую и классную reasoning модель при написании софта.
🔥2🎉2
приложение было написано сразу верно!

Как оно работает:
- пользователь задает вопрос
- если похожего вопроса в базе данных нет, то пользователя просят ввести правильный ответ
- если похожие вопросы найдены в базе денных, то их список выводится на экран и пользователь может выбрать какой из вопросов ближе подходит к тому, что он задал
- после этого пользователю демонстрируется ответ на заданный вопрос

это приложение из prompt-book по coding-planning для openai-o3-mini
👍21🔥1
#deepseek #howtotest

Себе на заметку, чтоб не забыть.

Где протестировать deepseek?

1) https://chat.deepseek.com/ - в режиме чата, бесплатно, но иногда в связи с большим наплывом желающих тормозит
2) https://platform.deepseek.com/ - через API, но сейчас недоступен
3) Groq Cloud - DeepSeek R1 в платном режиме (чат и API)
4) Together.ai - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
5) Hyperbolic AI - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
6) Replicate - в платном режиме Deepseek-R1 (чат и API)
7) Huggingface - Deepseek-R1 и Deepseek-v3 в платном режиме (надо разворачивать отдельно и при разворачивании выбирается доступный провайдер для модели из списка)
8) Openrouter - Deepseek-R1 и Deepseek-v3 в платном режиме (чат и API)
9) Github models - Deepseek-R1 бесплатный режим (чат и API)

10) В любом коммерческом AI Code IDE (Cursor, Windsurf) модели Deepseek-v3 и Deepseek-R1 входят в подписку и могут быть доступны в бесплатной версии.
В бесплатных AI Code IDE нужно разворачивать Deepseek модели отдельно (см. пункты 1-9 выше) и вводить API-ключ.

Если какую-то опцию забыл, напишите, пожалуйста, в комментариях!
1🤝21👍1🔥1
#openai #deepresearch #news

Openai запустили новый инструмент deep research, который позволяет при ответе на вопрос:
- собрать всю недостающую информацию от пользователя
- произвести пошаговый поиск ответа в Интернете
(оригинальный видео-анонс здесь, подробное текстовое описание тут)

Под "капотом" deep research использует дообученную модель o3 reasoning (еще не была выпущена), которая по новому и достаточно сложному для LLM-моделей бенчмарку "Humanity Last Exam" превосходит o3-mini более чем в 2 раза!

По бенчмарку "GAIA", который оценивает "агентные" способности модели, deep research на всех уровнях сложности обновил высокие оценки других моделей

Что интересно:
- модель мультимодальная (работает и с текстом, и с изображениями)
- чем дольше модель думает, тем качественнее ответ
- она все еще может давать вместо правильных ответов галлюцинации, поэтому рекомендуется проверять ответ по ссылкам на источники

В моем личном кабинете доступа к этой полезной функции все еще нет, возможно, что еще не на все страны открыли доступ.
А хотя вот, нашел почему:
We are starting with a version optimized for Pro users today, with up to 100 queries per month. Plus and Team users will get access next, followed by Enterprise. We are still working on bringing access to users in the United Kingdom, Switzerland, and the European Economic Area. 

У меня обычная Plus подписка за $20 в месяц.
Deep Research пока что только для Pro пользователей, которые платят $200 в месяц (с ограничением 100 запросов в месяц)
3👍1
#cursor #project #rules

Что случилось?
В версии Cursor 0.4.5 появилась одна интересная функциональность Project Rules
Теперь не обязательно при обращении к Cursor каждый раз ссылаться через @ на предварительно написанные специфичные правила (в notebook/md-файлах).

Cursor может в зависимости от фолдера/файла, с которым работает при решении поставленной вами задачи, автоматически взять дополнительный контекст из нужных rules-файлов. Что очень круто!

Можно сказать, что Cursor предоставляет гибкую систему правил (rules) с настройками для конкретных папок.
Правила проекта хранятся в директории .cursor/rules и управляют поведением "AI-программиста" в различных частях вашего проекта.

Ключевые особенности:
- Семантические описания: Правила могут внутри себя иметь пояснения, когда они применяются.
- Выбор файлов/папок: для выбора области действия правил (файлов/папок) можно использовать regexp-шаблоны.
- Автоматическое прикрепление: Правила автоматически включаются при использовании соответствующих файлов.
- Folder-specific: Можно применять разные правила (rules) к разным частям проекта.

Ниже пример использования Project Rules в проекте, который использует Next.js и Python (FastAPI):

- `.cursor/rules/`
- `nextjs-pages.mdc`
- `nextjs-components.mdc`
- `nextjs-api.mdc`
- `fastapi-routes.mdc`
- `fastapi-models.mdc`
- `fastapi-schemas.mdc`
- `testing.mdc`
- `documentation.mdc`


# .cursor/rules/fastapi.mdc
Description: FastAPI route rules Globs: backend/**/*.py
# Routing Standards
- Use Pydantic models
- Add appropriate OpenAPI documentation
- Use dependency injection

Frontend Rules (Next.js):
Next.js Pages: Use functional components, PascalCase for component names, TypeScript types, and place pages in app/ or pages/.
React Components: Use React Hooks, define Props types, follow component reuse, and use styled-components or tailwind for styling.
Next.js API: Follow RESTful principles, standardize error handling, validate requests, and use uniform API response formats.
Backend Rules (FastAPI):
FastAPI Routes: Use Pydantic models, version routes, add OpenAPI docs, and use dependency injection.
Data Models: Use SQLAlchemy models, define table relationships, include field validation, and document methods.
Pydantic Schemas: Use BaseModel, define request/response models, add field validation, and include example data.
Common Rules:
Testing: Use Jest for frontend, Pytest for backend, maintain coverage, and follow unit test naming conventions.


Польза от использования Project Rules:
- Одинаковый стиль написания кода
- Учет best practices по написанию кода
- Улучшенное качество кода за счет специфичности промптов
- Более быстрая разработка
1👍1🔥1
Заметки LLM-энтузиаста
#deepseek #howtotest Себе на заметку, чтоб не забыть. Где протестировать deepseek? 1) https://chat.deepseek.com/ - в режиме чата, бесплатно, но иногда в связи с большим наплывом желающих тормозит 2) https://platform.deepseek.com/ - через API, но сейчас…
#deepseek #howtotest #nvdia

Дополнение к прошлому посту на тему "Где протестировать Deepseek?"

Nvidia запустила DeepSeek-R1 API сервис Enterprise-уровня

Теперь можно получить доступ к preview версии модели DeepSeek-R1 (67.1 миллиардов параметров) на build.nvidia.com
Микросервис DeepSeek-R1 NIM может выдавать до 3 872 токенов в секунду на одной NVIDIA HGX H200.
Я протестировал - кредитная карта и номер телефона не требуются, только регистрация по электронной почте, и можно наслаждаться стабильным и доступным API.

Прямая ссылка: https://build.nvidia.com/deepseek-ai/deepseek-r1
21🎉1
#deepresearch #opensource

Альтернатива OpenAI Deep Research с открытым исходным кодом

Я, честно говоря, в шоке как быстро реагирует опенсорc на то, что делает Openai :)

Менее чем через сутки после выхода Deep Research кому-то удалось создать версию с открытым исходным кодом.
Эта версия с представляет собой Node.js-реализацию Deep Research от OpenAI, и использует Gemini Flash и Jina Reader.
Запускается цикл, в котором "поисковик" читает и рассуждает до тех пор, пока цель поиска не будет достигнута.

Вот ссылка на репозиторий: https://github.com/jina-ai/node-DeepResearch

Если интересны opensource альтернативы Openai Operator (это агент по выполнению пользовательских задач разного плана, не только поиска) - напишите в комментариях, я в одном из следующих постов напишу, какие опции можно использовать, кроме предлагаемой Vercel, о которой писал ранее
3🔥2👍1
#cursor #instruction #prd #prompt

Простой пример структуры технического задания для написания софта при помощи AI-помощника

Product Requirements Documentation (PRD)

# Project Overview
xxx
xxx

# Core functionalities
1. xxx
2. xxx
3. xxx

# Documentation
xxx

# Project file structure
xxx


Как заполнить техническое задание на генерацию кода при помощи AI-помощника?

1) В секции Project Overview указывается какую задачу решает софт и какой стек технологий используется
Примеры:
- gpt extension for google docs using AppScript
- gpt telegram bot which works with text, images and voice for input/output and supports threads and streaming mode
...

2) В секции Core functionalities более детально раскрываются основные функции софта - как он решает поставленную задачу (подробное описание ключевых функций, опций меню, алгоритма взаимодействия с пользователем, указание среды запуска и т.д.)

Для брейнсторма по первым 2-м разделам PRD и консультаций по стеку технологий можно использовать обычные и reasoning модели.

3) После заполнения первых двух разделов можно определяться со структурой проекта.
Вот простой промпт для anthropic модели, который позволит определиться с оптимальной структурой проекта.

This is the project I would like to build
How should I structure my project files?
(try to create as few files as possible)

После этого результат (структуру проекта) необходимо внести в оригинальный md-файл с техническим заданием.

4) В секции Documentation имеет смысл приводить примеры работающего кода по всем разделам секции Core Functionalities
Такие примеры можно получить при помощи следующего простого промпта прямо из консоли AI-помощника в отдельной Chat сессии:
Please provide examples of implementation for all # Core Functionalities
Do not create actual files, provide only valuable examples

Примеры рабочего кода можно также получать через AI-поиск: perplexity/openai deep research и т.д.
Проверку работоспособности можно проводить в рамках отдельных мини-проектов используя Cursor Composer - это имеет смысл, только если исходный проект очень большой и валидация примеров кода может значительно упростить последующий траблшутинг всего проекта.

Как запустить генерацию кода по заранее подготовленному ТЗ?

После того как все разделы технического задания заполнены можно приступать к реализации проекта в Cursor Composer агенте. Простейший промпт выглядит следующим образом:
Read carefully instructions in the file @PRD.md and build project step by step
22🔥2
#prompt #prd #howto #improve

Полезный промпт для улучшения любого другого промпта при помощи o1/o3/R1 (reasoning) моделей

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format


Можно еще добавлять в конце:
please reason slowly, take your time when answering, the quality of the answer is my priority


Интересный факт:
- при работе с reasoning моделями промпты в стиле "делай по шагам" (step by step) либо не работают, либо ухудшают результат
- гораздо лучше написать модели, чтобы она не торопилась и потратила на свои рассуждения столько времени, сколько нужно.
Именно эту особенность reasoning моделей и использует фрагмент промпта выше.

Техническое задание на разработку софта (PRD) также является частным случаем промпта для решения задачи.
И его также можно попробовать улучшить при помощи данного подхода.

Вот как я обычно делаю, когда финальный PRD сформирован и его надо "шлифануть".
1) Выбирается reasoning модель (ceйчас лучше всего использовать o3-mini: по reasoning метрикам превосходит все остальные reasoning модели, контекст в 2 раза больше, чем у DeepSeek-R1, стоимость всего в 2 раза выше)
2) Пишу ей следующий промпт:
Here is a prompt you should work with: 
<здесь вставляю текст PRD, который ранее был сформирован>

Step 1. please evaluate the prompt on a scale from 0 to 100
Step 2. if prompt score is less then 90 then improve the prompt and repeat step 1 until it scores > 90
Step 3. if prompt score is equal or more than 90 then provide the result in markdown format

Please reason slowly, take your time when answering, the quality of the answer is my priority

В результате получаю более компактный PRD промпт.
Но его имеет смысл внимательно прочитать, чтобы случайно не выпали важные детали (фрагменты правильного кода) из раздела Documentation.
3🔥32
#news #ai

Очередной технологический шедевр от ByteDance - система OmniHuman-1. И да, это не просто новый способ убивать время в интернете, а действительно впечатляющая штука. 🤨

Представьте: одна фотография + немного аудио, и вуаля - у вас видео, от которого даже матерые скептики поднимут брови. Система может творить практически невозможное - от мультяшных персонажей до просто до боли реалистичных людей.

Разработчики потратили 19 000 часов видео, чтобы научить эту машину копировать движения и стили с такой точностью, что впору задуматься: а кто тут настоящий? 🤔

Не удивительно, что уже 10 штатов США спешно принимают законы против таких AI-фокусов. Похоже, технологии снова опережают нашу способность их контролировать.

Технология впечатляет, но немного пугает.
Как говорится: "Добро пожаловать в будущее", где реальность становится всё более... размытой.
👍21
Несколько роликов, созданных при помощи Omnihuman-1
Вот прямая ссылка на публикацию OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models
👍2🔥1
#cursor #coding #keylearning #insights

Предыстория

Вчера в очередной раз делал gpt-телеграмм бота и столкнулся с достаточно длительным циклом траблшутинга, который за 15 итераций деплоя на railway.app не привел к рабочему результату.

в секции Project Overview технического задания было записано
gpt telegram bot which  works with text, images and voice for input/output and supports threads and streaming mode

также я в этот раз решил добавить в Core functionalities информацию о том, как бот будет работать с "голосом" - чтобы Cursor сделал мульти-модального gpt-бота "за один присест".
И пара часов траблшутинга пролетели незаметно :)

Поскольку в AI-кодинге, как и в трейдинге, мы работаем с вероятностями, то здесь важно вовремя "зафиксировать убыток" и перестать вязнуть в "петле AI диагностики"

Как только я убрал из Core functionalities всякое упоминание о том, что мне нужны STT/TTS функции и запустил абсолютно такой же процесс генерации кода в отдельной сессии Cursor Agent Composer - первая рабочая версия бота у меня получилась за 20 минут.
Далее пошел приятный процесс проверки работы отдельных опций и исправления неточностей.

После того как все по ТЗ было сделано, я решил вместо STT/TTS добавить проверку валидности пользователей, групп и админские команды для обслуживания бота.
На это ушло примерно полтора часа, и на каждом шаге я видел улучшение результата работы.
Финальный результат по набору доступных функций можно наблюдать на скриншоте.

Выводы
1) Для получения первых видимых результатов не стоит в ТЗ на AI-разработку добавлять сразу весь набор возможных функций.
2) Лучше сразу выделить основные и дополнительные функции. В моем случае STT/TTS - был реально не нужен, т.к. телеграм premium и так данную задачу решает.
3) На дополнительные функции можно написать отдельное ТЗ. Далее воспользоваться Composer агентом и в итеративном режиме постепенно добавлять новые функции и сразу проверять как они работают.
Именно так я поступил во втором подходе к задаче и получил удовольствие от процесса.
👍321
#research #jobs #ai #anthropic

Попробую новый формат заметки.

🤖 Как используется ИИ на работе?
Anthropic решили посчитать и рассказать в своем новом отчете Anthropic Economic Index

Оказывается, восстание машин откладывается - ИИ пока больше помогает, чем отбирает работу 😌

📊 Немного сухих цифр:
• В каждой третьей профессии ИИ уже помогает с четвертью задач
• Но полностью на него положились только 4% счастливчиков

👨‍💻 Кто больше всех дружит с ИИ:
• Программисты (неожиданно, да?) - 37.2%
• Креативщики - 10.3%
• Преподаватели - 9.3%

💡 Любопытно, что:
• ИИ в 57% случаев работает как помощник, а не замена
• Активнее всего с ним общаются середнячки по зарплате
• А вот богачи и те, кто на минималке, пока держатся в стороне

🤔 Что думают умные головы?
Похоже, наши профессии не исчезнут, а просто подружатся с ИИ. Как-то так.

Исходный датасет здесь
Полный текст публикации тут

#роботы_тоже_люди #почти
👍2❤‍🔥1🔥1🤔1
#tools #ai #db #dev #data

🛠 Нашел прикольный инструмент для тех, кто устал рисовать базы данных на салфетках

database.build - это такой полезный помощник для проектирования БД, который понимает человеческий язык. Представьте, вы просто описываете свои таблицы обычными словами, а он уже сам разбирается что к чему.

Особенно порадовало, что он:

- Генерирует тестовые данные (прощай, admin123!)
- Легко интегрируется с Supabase (пожалуй, самый удобный BaaS для использования в AI-кодинге)
- Не заставляет вас кликать мышкой 300 раз, чтобы создать одну таблицу
- Идеально подойдет для быстрого прототипирования или когда нужно накидать структуру БД, не погружаясь в технические дебри 👨‍💻

Попробовать можно тут: database.build

Смотрите на скрине насколько легко получить клон Slack'овской БД

#разработка #базыданных #инструменты
3🔥31
#openai #news

📱 Илон Маск предложил $97.4 млрд за некоммерческую часть OpenAI

Похоже, история с OpenAI получает новый поворот. Илон Маск вместе с группой инвесторов решил сделать "предложение, от которого невозможно отказаться" – выкупить некоммерческое подразделение OpenAI за какие-то скромные $97.4 млрд.

Что происходит:
• Маск собрал команду из xAI, Valor Equity Partners и других ребят с большими кошельками
• OpenAI как раз собирается стать коммерческой компанией (SoftBank готов вложить $40 млрд при оценке в $260 млрд)
• Илон обещает вернуть компанию к открытому исходному коду и перебить любые другие предложения

Сэм Альтман отреагировал... ну, как Сэм Альтман – предложил купить Twitter за $9.74 млрд 😅 За что тут же получил звание "мошенника" от Маска.

Забавно наблюдать, как два технологических гиганта продолжают свою мыльную оперу. И да, учитывая, что оба активно работают с правительством США в сфере технологий, этот сериал явно не закончится в ближайшее время.

P.S. Интересно, кто-нибудь считал, сколько раз Маск уже пытался "спасти" компанию, которую когда-то помогал создавать? 🤔

#AI #OpenAI #ИлонМаск #технологии
😁2👍1