#sql #interview

#audio #code

#llm #petproject

GenSpark AI Developer 2.0: создание мобильных приложений одной командой 📱


GenSpark опять вырывается вперед, представляя обновленную версию AI Developer 2.0 — которая содержит встроенные инструменты для разработки нативных мобильных приложений с помощью текстовых запросов (см. скриншот)

Основные возможности:

• Создание игр и бизнес-приложений по текстовому описанию
• Автоматическая интеграция с Firebase для работы с базами данных
• Подключение Google Analytics для отслеживания метрик
• Генерация готовых пакетов для публикации в Google Play

Примеры использования:

1️⃣ Мобильные игры — платформа создает работающую игру за несколько минут по простому описанию

2️⃣ Бизнес-приложения — например, приложение для спортзала с системой бронирования занятий

3️⃣ Интеграция с сервисами — автоматическое подключение баз данных и аналитики

Процесс разработки:
• Выбор типа приложения (нативное)
• Описание идеи в текстовом виде
• Автоматическая генерация кода и интерфейса
• Тестирование и подготовка к публикации

Публикация приложений:
В примере на видео показывается процесс публикации в Google Play — система генерирует готовый пакет для загрузки.
Я подготовил подробную интерактивную инструкцию по ссылке
Для публикации в App Store нужно скачать код, скомпилировать локально и отправить на модерацию. Подробное руководство по App Store будет доступно позже 📲

Инструмент позиционируется как решение для пользователей без опыта программирования, которые хотят создать собственное мобильное приложение 🚀

Для тех, кто хочет повторить примеры из видео
Привожу промпты, которые там использовались:

build a halloween candy catch game

create a modern fitness course booking application using Firebase as the backend

Сейчас из-за наплыва желающих может наблюдаться перегрузка Flutter Sandbox, у меня на момент тестирования не получилось сгенерировать мобильное приложение. Надеюсь, что это временные трудности и разработчики их исправят.

@llm_notes

#mobile #vibecoding #firebase #genspark #app

#llm #petproject

Интересно будет сравнить потом с другим популярным онлайн-инструментом для создания мобильных приложений https://rork.com/

Последние несколько недель плотно работал с terminal-bench. За названием кроется сразу очень много вещей. Это и бенчмарк, и агент, и фреймворк для создания среды, где эти самые агенты могут работать над задачами.

В этом тексте как раз про последнее - про инструменты для создания среды. Сейчас это еще все называют execution harness.

Что это вообще такое? Допустим, у вас есть набор задач, и вы хотите протестировать какого-нибудь готового агента типа Claude Code или Codex (или даже своего) на то, как он справляется с этими задачами.

Чтобы такое дело провернуть, нужно понаписать немалое количество инфраструктурного кода, чтобы:
а) упаковать ваши подготовленные задачи в среду, где их можно будет изолированно решать (как правило, докер-контейнеры);
b) установить нужных агентов и/или предоставить весь необходимый скаффолдинг (если тестируете своего агента);
с) подготовить отдельную среду, в которой будет запускаться решение агента и как-то оцениваться (например, скрытыми автотестами);
d) ну и наконец, нужно хранить все возможные логи, чтобы потом можно было проанализировать все возможные паттерны;
e) а, и конечно, чтобы все это легко запускалось, каждую задачу можно было перезапускать по N раз и в идеале — легко масштабировалось.

С одной стороны, все это можно реализовать самому. Но это довольно долго и с множеством подводных камней.

Поэтому зачем, когда есть terminal-bench? На мой взгляд, у ребят получился простой, элегантный и масштабируемый фреймворк, который просто работает из коробки в несколько команд. С вас только подготовить все запускалки (докерфайлы для создания окружения и скрипты, как тестировать решение). Каждая задача - то вот такая структур. Подробный гайд есть тут . И реализовать своего агента, если нужно. Либо взять готовые интеграции из коробки - все популярные агенты уже доступны, подставляйте только API-ключи. Можно и их кастомно переделать под себя.

А потом запускаемся:

tb run \
    --dataset terminal-bench-core==head \
    --agent claude-code \
    --task-id hello-world

Все инструменты для отладки тоже есть; ещё и интерактивные сессии реализованы, если хочется симулировать какое-то определённое поведение пользователя при работе с агентом.

По впечатлениям - восторг. От опенсорсных решений давно такого не было. Все нужды, чтобы гонять своих агентов в режиме SWE-Bench задач (есть issue, просим агента сделать, делает, проверяем юнит-тестами) закрывает. Кстати, некоторое количество популярных бенчей тоже интегрировано.

И еще раз: terminal-bench предоставляет среду, чтобы можно было не париться с возней по запуску и логированию. Самое сложное – это подготовить задачи и сценарии. Это уже на вас.

#ml #agents

Когда-то я думал, что ML метрика - это довольно простая функция от двух параметров: обученной модели и тестового датасета. Но это абстракция, конечно, не выдерживает столкновения с реальным миром, а параметров значительно больше.

С локальными факторами справиться как будто несложно. О роли random seed довольно быстро узнают даже новички. Зафиксировать библиотеки тоже учат на software engineering 101.

То, что совпадение версии библиотеки - не признак эквивалентности, узнают не все (я когда-то два полных дня искал причину расхождения в ML тестах, и кроличья нора привела меня к нюансам линковки libjpeg в билдах pillow пятилетней давности).

Влияет и железо, причем не только на уровне "на какой платформе и с какой версией драйверов" - вот нетривиальный пример:

The most compelling proof came when we took a failed L20 experiment and resumed it from a checkpoint on H20 GPUs. The training immediately stabilized and recovered, proving the hardware's first-order impact on the problem.

Когда бенчмарки стали считаться поверх LLM API, отмазка "на моей машине воспроизводится" перестала работать. К локальным факторам добавился целый пласт скрытых факторов на стороне провайдера. Сначала по аналогии с random seed = 42 все учились выставлять температуру в 0, потом широко известный в узких кругах стартап всем рассказал, что размер батча важен.

И вот недавно я наступил на новые грабли: внутренний агентский бенчмарк по генерации приложений начал демонстрировать явную сезонность. Видел такое раньше, когда человек додумался использовать datetime.now() где-то в feature engineering. Ручная работа с фичами - история почти античных времен, явно не про prompt2app кодогенерацию.

Ничего хитрого: у агента было два ограничения, на количество шагов и на общее время генерации. И вот в час пик по американскому времени провайдеру становилось хуже, скорость ответа падала => случались таймауты.

#ab #courses

#llm #agents #petproject

На неделе выступил на Google Developer Group (GDG) митапе c рассказом про Gemini CLI.

Gemini CLI – это ответ гугла на Claude Code. Только все исходники в опенсоурсе.

В течение нескольких недель пытался пользоваться именно этим агентом, чтобы потом поделиться ощущениями с другими разработчиками. На митапе было несколько разработчиков из команды гугла, ждали именно такого фидбэка. рад стараться 🫡

TL;DR: у проекта точно есть потенциал, особенно за счет интересных фич. Лицензия хорошая, Apache 2.0, и хорошо подходит тем, кто делает своих агентов: всё можно переделать под себя, кодовая база не очень сложная. Так как проект в ранней фазе, дают 500 кредитов в день на бесплатное использование. Но это меньше, чем кажется, учитывая, как порой тупит агент и как приходится перезапускать сессии, кредиты сгорают быстро. Для ежедневного использования не рекомендую, слишком сыро.

Выжимка с доклада и общие впечатления такие:

• Gemini CLI стал официально доступен ещё в июле. И тогда им было просто невозможно пользоваться: CLI банально зависал и крашился на любом сценарии.

• На сегодняшний момент вопросы со стабильностью всё ещё не решены, но продуктом можно пользоваться. По эргономике он всё ближе и ближе к Claude Code, который авторы, очевидно, берут за референс.

• Полезность агента во многом измеряется качеством ллм, которая оркестрирует его действия. Как несложно догадаться, в агенте от гугла доступны только модели Gemini, конкретно Pro 2.5 и Flash. Последняя абсолютно бесполезная, и любую задачу приходится править по 2–3 раза. Pro-вариант заметно лучше и может генерировать адекватный рабочий код one-shot-ом. К качеству есть вопросы, но это ко всем агентам относится.

• Отдельно хочется упомянуть веб-разработку. Мне нравится делать тесты на парах вида: (картинка с референсным стилем фронтенда, промпт с конкретной инструкцией как нужно организовать веб страницу). Получается style-transfer задача, где нужно и придерживаться инструкции, и учитывать стиль. Вот тут Гемини просто ломается и не способен адекватно копировать стиль. Самый лучший в моих экспериментах это Codex: буквально в one-shot режиме выдаёт красивые визуалы и придерживается инструкции. Claude Code где-то посередине, тоже не очень круто.

• Так как модель не самая крутая, авторы делают фокус на профессиональных разработчиках и добавляют в начинку фичи, которые повышают производительность. Чтобы вообще не нужно было переключаться между вкладками и проводить всё время в окне с Гемини. Из полезного:

- Можно запускать агента в --sandbox режиме, когда он исполняется в отдельном докер-контейнере без возможности испортить локальные файлы.
-Можно переходить в shell mode, чтобы исполнять терминальные команды.
- Есть опция делать snapshot-ы, чтобы откатывать историю изменений прямо в агенте без явного использования гит-команд.
- Отдельно уделили внимание командам для работы с памятью: можно сжимать контекст, подгружать новые инструкции на лету, не правя GEMINI.md.

- Все эти продвинутые фичи в разной степени забагованности и работают не всегда интуитивно. А ещё некоторые выпиливаются между релизами 😄

- Тот факт, что агент опенсорсный, позволяет заглянуть в архитектурные решения и подсмотреть детали. Монорепа состоит из двух независимых частей: CLI UI для интерфейса и Core/ для tools, логики агента и API к Gemini. В целом добавлять свои built-in инструменты несложно, и можно переписать system prompt под себя. Поэтому, если вы разрабатываете своего агента, это может быть хорошим стартом.

#llm #petproject