Тоже закину в канальчик. Про ассистента которого мы делаем вышла новость. Теперь можно на конфах говорить что мы разрабатываем Таю. И так то нужны люди которые разбираются в аишной движухе. Утащу ссылочку про вакансии у Ани.

Понравилось у Вити Тарнавского. Унесу себе. Вайбкодинг или как там это все называют, не отменяет базу, это просто еще один инструмент. Офигенный инструмент. Современный инструмент. Но без базы это просто игрушка по сжиганию токенов.

Меня время от времени спрашивают (прям в телегу пишут, особенно после докладов и митапчиков): а как поднять локально модельку и поиграть со всем этим llm?

Обычно я начинаю рассказывать про Ollama, LM Studio, Docker Model Runner, веса, рантаймы, кванты, контекст, GPU/CPU и прочие радости локального зоопарка.

А теперь, кажется, можно отвечать короче: идите в браузер.

Не в смысле "гуглить", а в смысле "пробовать". Потому что в Chrome уже живет локальная LLM (можно посмотреть в chrome://on-device-internals/).

Называется это Chrome Built-in AI, под капотом Gemini Nano. Мелкая но бодрая моделька. Дергается через Prompt API и соседние API для summarize / translate / detect language / write / rewrite. Первый запуск скачивает модель в профиль Chrome, дальше инференс идет локально.

Демка: https://quantable.com/nanochat.html

И да, все это можно провернуть прямо в консольке DevTools:

const session = await LanguageModel.create({
  monitor(m) {
    m.addEventListener("downloadprogress", (e) => {
      console.log(`Model download: ${(e.loaded * 100).toFixed(1)}%`);
    });
  },
});

const result = await session.prompt("объясни RAG в двух абзацах");

console.log(result);

session.destroy();

Это пока не замена нормальному локальному сетапу. Ограничений хватает: версия Chrome, доступность API, железо, че то еще что я не заметил.

Но сама мысль бодрит. Браузер становится полноценным рантаймом для локальных моделей. Ну, вообще, он и раньше был, можно было в веб llm. А теперь это можно просто из коробки. Кайф же.

Минутка ретро.

В 2021, в самый ковидный QR-разгар, мы с коллегой за выходные сделали сайтец для генерации нескучных QR кодов.

Тогда вокруг были Госуслуги, проверки на входе, унылые черно-белые квадраты и общее ощущение, что киберпанк наступил, но какой-то очень бюджетный. Захотелось взять обычный QR и немного его очеловечить: скрестить с картинкой, чтобы он все еще читался, но выглядел уже не как налоговая декларация для робота. Я даже статейку на хабр писал про это.

Технически идея простая: берем картинку, приводим ее к удобному виду, сверху раскладываем модули QR кода и играем с error correction. QR коды специально умеют переживать часть повреждений, этим и пользуемся. Главное не переборщить, а то искусство победит сканер.

Еще тогда хотелось добавить генерацию gif. Чтобы QR был не просто картинкой, а живой картинкой. Но в 2021 это осталось в списке “когда-нибудь потом”: непонятно как нормально сделать, не было времени, код был хакатонный, жизнь случилась.

И вот “когда-нибудь потом” внезапно наступило.

Достал проект, причесал, добавил генерацию gif. Вынес генерацию в отдельную библиотечку и выложил в open source. Исходники сайта тоже открыл.

Старые пет-проекты имеют интересное свойство. Иногда ты открываешь их через несколько лет и думаешь: “кто это написал и почему оно вообще работает”. А потом добавляешь одну фичу, вторую, третью, и оно снова начинает приносить радость.

QR коды никуда не делись. Просто теперь они могут немного шевелиться. Кстати, на сайте есть стабильный трафф по генерациям, люди пользуются.

Крутится все это на Vercel, поэтому из РФ понадобиться прокси. Но, вы же уже как то вошли в тележку.

Avito.Tech.Conf получилась классной

Куча знакомых, приятные встречи и разговоры, такое заряжает надолго.

Отдельный кайф: лекция Владимира Сурдина про космос. Вот запись 🚀

Респект команде Avito за атмосферу и организацию. Вы крутые. Жду повтор в следующем году.

А ещё, раньше я двигал ИИшку в Т-Банке, а теперь двигаю ИИшку в Нетологии.
Задач много, поле непаханое, команда адекватная, драйвим эдтех. Работаем.