Генерация иллюстраций с помощью JSON в ChatGPT и Cursor

Последнюю неделю в Twitter мне постоянно попадаются посты про генерацию рекламных изображений через ChatGPT с помощью JSON.

Механика простая:

1️⃣ Загружаешь референс-картинку и просишь ИИ описать её в виде JSON.

2️⃣ Меняешь в этом JSON нужные данные под себя - и получаешь новое изображение в том же стиле.

Я решил попробовать это для своего курса по Lovable - сделал простые карточки, и они получились вполне приличными.

Я скормил ChatGPT несколько референсов с Pinterest и попросил описать стиль, чтобы в будущем можно было воспроизводить его в новых картинках.

Дальше захотелось сделать что-то посложнее - иллюстрацию с несколькими карточками, описывающими порядок действий.
Тут уже пришлось попросить ИИ сгенерировать JSON, который бы помог ИИ детально понимать структуру картинки.

Результаты были практически “что надо”, но все время были небольшие недочеты - я попробовал десяток раз исправить это, но все было тщетно.

Появилась гипотеза: возможно, у ИИ есть минимальный размер шрифта, с которым он может адекватно работать.
Я даже сделал тест — попросил сгенерировать картинку для проверки зрения с минимально возможным текстом. ИИ нарисовал шрифт даже меньше, чем в моей картинке.

В итоге я сдался и решил сгенерировать те же карточки, но через HTML. Попробовал сразу несколько моделей:

- Claude - не подгружает Tailwind в preview.

- ChatGPT - делает все топорно.

- Gemini 2.5 - отлично и быстро генерирует нужный интерфейс и отображает с подгрузкой библиотек.

Дорабатывать код я пошел в Cursor, где можно общаться с ИИ и сразу же видеть результат + открыть его в браузере отдельным окном, чтобы сделать полноразмерный скриншот.

А как у вас обстоят дела с генерацией картинок? Есть интересные кейсы?

Доделал монстр-проект

3 месяца мусолил эту штуку и наконец доделал.

Идея проста - автоматизировать действия HR менеджера в ChatGPT.

На деле:

1️⃣ Нужно генерировать описание вакансии на основе различных входных данных - текст, парсинг сайта, 2 20-страничных теста PDF, гайд по тесту.
В итоговой вакансии десяток различных полей (1-2-3 инпута) и каждый блок сгенерирован на основе собственного промпта для ИИ.

2️⃣ Далее, кандидат проходит тест и нужно сгенерировать отчет по тому, как он подходит на данную позицию.
Тут на входе - сгенерированное описание вакансии, резюме в PDF, психологический тест кандидата, 2 дополнительных теста команды и менеджера, гайд по тесту.

На выходе пару десятков полей, при этом каждый блок требует для себя определенной входной информации из разных источников - где-то страничка из теста кандидата, где-то его резюме, где-то информация из гайда и тд.
Все это происходит в одном диалоге, чтобы ИИ помнил суть, так как следующий ответ завязан на предыдущем.

Таким образом получаем действительно умный анализ на основе ряда источников.

___

Пару дней назад OpenAI выкатил новые модели и gpt-4o-mini перестал слушаться (генерировать JSON), пришлось заменить его на 4.1-mini.

Генерация отчета по кандидату занимает 20 минут и стоит примерно $1.5.

Создание такого же отчета вручную занимало у менеджера около 3 часов работы с ChatGPT.

____

Все это построено на конструкторе форм и процессов. Теперь с легкостью можно собрать еще одну форму для генерации другого типо отчета, простроить процессы с указанием нужных данных и промптов. В целом подойдет вообще под любую нишу.

Что думаете? Стоит делать из этого SaaS?

Вчера смотрел видео с AI Engineer Summit (если не видели, то там 3 десятка топовых выступлений про ИИ).

На одном из выступлений спикер показал интересный подход к работе с ИИ-агентами. Агент получает доступ к необходимым инструментам (БД, API сервисов и тд) и на входе обрабатывает пользовательский запрос.

Используя эти инструменты, агент в реальном времени собирает интерфейс, соответствующий конкретной задаче. На экране был показан пример - простой интерфейс для работы с электронной почтой.

Пользователь взаимодействует с этим интерфейсом - например, нажимает на письмо и агент получает данные об этом действии. Затем он анализирует, что пользователь, скорее всего, захочет увидеть дальше, и обновляет интерфейс, подстраивая его под следующий шаг - в данном случае отображает содержимое выбранного письма.

Таким образом, имея доступ к данным и контексту взаимодействия, агент способен на лету формировать интерфейсы, ориентированные на текущую потребность пользователя.

У такого подхода, конечно, есть ограничения: сейчас всё работает довольно медленно, интерфейсы простые, а результат может меняться от запроса к запросу.

Но если внедрить систему правил и ускорить реакцию ИИ, то в будущем можно получить действительно адаптивные интерфейсы, которые будут автоматически подстраиваться под задачи пользователя без лишней мишуры.

Выступление смотреть тут

Как редактировать Lovable приложения с Cursor

Иногда Lovable начинает чрезвычайно тупить и гонять вас по кругу, вместо того чтобы решить проблему - это очень опасно, так как наслаивает не нужные изменения. (про это говорят и в YC)
Кроме того, разрабатывать на нем является относительно дорогим удовольствием.

В обоих случаях на помощь придет Cursor.

Как подключить Cursor к Lovable проекту:

1️⃣ Для начала нужно подключить Github интеграцию в Lovable - тогда этот проект переедет в репозиторий, откуда мы сможем получить к нему внешний доступ.

2️⃣ Далее в Cursor нужно клонировать репозиторий к себе на компьютер. Таким образом у нас на комьютере будет существовать отдельная ветка со своей версией приложения.

3️⃣ Перед изменениями всегда нужно подтягивать изменения из репозитория Github - для этого есть специальная кнопка Sync Changes.

4️⃣ После того как вы внесете изменения в код с ИИ, их нужно затолкать назад в Github с помощью все той же кнопки, которая теперь будет называться Commit.

По итогу в Lovable должно высветиться измение с пометкой External Commit, которое будет указывать на новый Commit в репозитории Github, созданный без участия Lovable.
___

Эти советы взяты из курса по Lovable.