🔺 Llama 4 уже есть на together.ai, при регистрации дают бесплатные кредиты. Регистрируемся, пробуем, vpn/sms не нужны.

P.S. Все у нее с русским нормально.

• meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8
• meta-llama/Llama-4-Scout-17B-16E-Instruct

👉 Вот мой токен потыкать сразу 5e7f99a7bd15b5e63e537f82bf0cb112a072076209e249d13a47f5ab9c80f6c9

from together import Together

client = Together(
    api_key="***************"
)

completion = client.chat.completions.create(
    model="meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8",
    messages=[
        {"role": "system", "content": "Ты — ассистент Шерлока Холмса."},
        {"role": "user", "content": "Кто убил садовника?"},
    ],
    temperature=0.7,
    top_p=0.8,
    top_k=50,
    repetition_penalty=1,
    stop=["<|eot_id|>", "<|eom_id|>"],
    stream=True,
    max_tokens=512,
)

for token in completion:
    if hasattr(token, "choices"):
        if not token.choices:
            break
        print(token.choices[0].delta.content, end="", flush=True)

# Детектив Холмс ещё не поделился со мной своими выводами по делу об убийстве садовника. На данный момент я могу лишь повторить известные нам факты: садовник был найден мёртвым возле садового сарая, с признаками насильственной смерти. Холмс сейчас изучает улики и опрашивает свидетелей, и я не сомневаюсь, что вскоре он раскроет правду. Хотите, я приглашу его для обсуждения дела?

🔺 OmniSVG

Новая работа по отрисовке векторной графики при помощи VLM. Есть статья и открытые датасеты.

Код и модели обещают выложить soon. Примеры на лендинге выглядят симпатично, ждём код с весами.

👉 https://omnisvg.github.io

Так, друзья, чуть-чуть заработался и давно не писал. Что у нас было интересного за последнее время?

🔸 Коллеги выкатили GigaChat 2 Max повсеместно, т.е. везде. Кроме улучшений по метрикам, появился web-поиск и другие фичи (можно почитать в статье, а попробовать тут — giga.chat).

🔸 Также поучаствовали в митапе про MERA (разносторонний бенчмарк для русского языка) в Тинькове и обновили лидерборд, добавив несколько новых моделей, первым теперь стал Claude 3.7. Новый офис у Т-Банка, кстати, довольно симпатичный.

🔸 В ответ на выпуск Гиги, OpenAI выкатила свои новые модели. Появились новые reasoning модели — o3, o4-mini и новая линейка gpt-4-1 (пишут, что лучше понимают код и инструкции, контекст 1M).

🔸 Также они выпустили консоль Codex CLI (кодовый клиент для терминала, похоже на Claude Code). Пока руки не дошли, обязательно посмотрю чем отличается от других. Кто пробовал — пишите, есть ли разница.

🔸 Еще дали бета-доступ до Mercury Coder, дифузионной кодовой модели. Потыкал, по части генераций каких-то откровений не приобрел, но генерирует очень быстро, где-то по тысяче токенов в секунду.

Попробовал OpenAI'ный Codex клиент, пока сыровато. Первый же демо запрос "explain codebase" падает по лимиту в 200k токенов и результат не возвращает. Товарищи уже чинят. Странно, что сразу не проверили, много пользователей на это наткнулось.

Деньги за ~170k-180k токенов при этом кушает, тут ошибок нет.

Смотрите, что на местном развале нашёл

OpenAI добавили в API свою новую крутую модель по генерации картинок (через которую недавно все генерили Ghibli аниме) — в API она называется gpt-image-1.

Можно было бы встроить в свои проекты, тут есть куча идей, но модель доступна только после верификации организации, привязанной к аккаунту. Верификация проходит через сторонний сервис whitepersona (а у кого-то кнопки для верификации вообще нет). Там надо загружать личные документы.

У меня с первого раза не получилось и, как я понял, вторую попытку сразу не дают. Написал им в саппорт.

Upd. После письма в саппорт с просьбой дать пройти верификацию ещё раз её просто добавили.

Ща что-нибудь запилим.

🔺 У Perplexity вчера был созвон по зуму с пользователями

Я слоупок, но только по ходу созвона понял, что ведущий, Денис Ярац, и есть основатель компании. Переехал в США из Беларуси, поработал в разных конторах, сделал стартап.

Основные тезисы:

🔸 Сделали дешевле, нас ругали за плату за токены для цитирования, теперь мы их не считаем

🔸 Нас замерили на независимом бенче search arena, мы там внезапно вторые после gemini

🔸 Делаем браузер

🔸 Улучшили DeepResearch, скоро обновим. Есть большой запрос на DeepResearch для крупных компаний (поиск и анализ своих данных)

🔸 Мультиязычность для нас важна, улучшаем

🔸 Данные от пользователей мы никак не используем и модели на них не обучаем

Ну и главный тейк созвона, закинули участникам $50 на API

Если хотели написать статью про код на Хабре, то поторопитесь пока заголовки не закончились.

🔺 В NotebookLM добавили 70+ языков для озвучки

🔸 В официальной новости говорится про 50+ языков, в документации указано гораздо больше. Любой из них можно выбрать в настройках (Output language), на нём и будет всё происходить.

〰️ Что это такое?

🔸 NotebookLM — сервис от Google, в который можно загрузить документы, тексты, презентации, ссылки на сайты и видео с YouTube. Все это будет собрано в один контекст и обработано Gemini.

〰️ Что можно делать?

🔸 По данным затем можно создавать конспекты, планы обучения и таймлайны. Можно делать mind maps, тоже прикольная вещь. Можно задавать вопросы по вашим документам, но этим как будто никого не удивишь уже.

🔸 Самая прикольная фишка, как по мне, так это создание подкаста на два рассказчика по сгенерированному по вашим данным сценарию. Фишка на самом деле не самая сложная — вот тут делал на коленке подкаст по инструкции по холодильнику Бирюса (Claude + ElevenLabs).

🔸 Так вот, до недавнего времени озвучка была на английском языке, а теперь их стало сразу много (на картинке, документация тут). Есть русский. Есть даже латынь (!).

🔸 Что еще круче, так это интерактивный режим, когда можно прервать подкаст, задать вопрос, а ведущий на него ответит 🤯. Такое работает только для английского (пока это в beta режиме), зато можете прокачать свои навыки общения на этом языке. Кажется, что добавить остальные языки не будет проблемой раз они уже поддерживаются в озвучке, так что ждём.

👉 В общем штука крутая, попробовал на русском, английском, латыни и китайском. На английском, конечно, естественней всего звучит, но и на остальных весьма качественно. Скину примеры в комментариях.

🔺 Тут коллеги недавно обновили аудиомодальность в Гигачате

🔸 Интересно это потому, что теперь работа с аудио идёт не через ASR (распознавание речи в текст) с передачей текста в обычную языковую модель, а через аудио-эмбеддинги, которые подаются в контекст LLM.

🔸 То есть все звуки, шумы, смех и пение птичек не теряются на этапе транскрибации, а обрабатываются наравне с текстовым промптом, позволяя модели "слышать" звуки.

🔸 Так как аудио-эмбеддинги предварительно сжимаются, то в контекст сейчас можно передать запись длиной более 2-х часов. Можно даже просто передать ссылку на YouTube и попросить пересказать или сделать конспект.

🔸 Попробовал сгенерить timestamp'ы по видео, но так пока не умеет. Надо, видимо, дополнительно добавлять временные метки вместе с аудио или обогащать SFT сет такими задачами.

🔸 Зато работает с любыми записями, пересказывает даже матерные стендапы.

С удовольствием почитал как ребята это сделали на уровне архитектуры и обучения, предлагаю и вам. У кого есть аккаунт, ставьте лайк.

👉 Хабр