⚡️Qwen3 Embedding: новые SOTA модели эмбеддeров и реранкеров!
Все модели под apache 2.0 и на всех бенчах в топе.
Вектор эмбеддера снимается с поледнего токена подаваемого текста [EOS]. Для реранкера над последним токеном берем вероятность токена "yes" и "no"и по ним рассчитывается скор наличия ответа на вопрос в документе. Пишут, что использовали LoRa чтобы сохранить и улучшить возможности моделей. Об этом пишут в блоге, но нет упоминания в пейпере.
Обучали в три стадии, как на картинке. На первой стадии так же использовали сами же модели Qwen3 в части генерации текстовых пар вопрос - ответ. На второй стадии использовали хорошо размеченные данные. После мержили лучшие чекпойнты.
Замерили на ruCoIR (понимание на русском кодовых задач). Так же SOTA (последняя таблица на картинках). Вероятно, на ruMTEB тоже в топе будут.
HuggingFace
blog
Paper
GitHub
Все модели под apache 2.0 и на всех бенчах в топе.
Вектор эмбеддера снимается с поледнего токена подаваемого текста [EOS]. Для реранкера над последним токеном берем вероятность токена "yes" и "no"и по ним рассчитывается скор наличия ответа на вопрос в документе. Пишут, что использовали LoRa чтобы сохранить и улучшить возможности моделей. Об этом пишут в блоге, но нет упоминания в пейпере.
Обучали в три стадии, как на картинке. На первой стадии так же использовали сами же модели Qwen3 в части генерации текстовых пар вопрос - ответ. На второй стадии использовали хорошо размеченные данные. После мержили лучшие чекпойнты.
Замерили на ruCoIR (понимание на русском кодовых задач). Так же SOTA (последняя таблица на картинках). Вероятно, на ruMTEB тоже в топе будут.
HuggingFace
blog
Paper
GitHub
❤16🔥11👍8🤔1
🚀 Finam AI Lab!
Друзья, наша команда стала основой Лаборатории искусственного интелекта в финансовой группе «Финам».
Перед нами стоят амбициозные задачи — мы хотим создать модель для области финансов и добиться новых высот в построении ИИ агента, который в каких-то задачах сможет заменить разработчика. Будем заниматься исследованиями и успешные эксперименты максимально быстро катить в жизнь. Также будем делиться с вами нашими результатами.
И да, у нас открыты вакансии. Ищем сильных исследователей, AI дата-инженеров и инференс-инженера. Ссылки на вакансии в комментах.
Пресс-релиз компании
Друзья, наша команда стала основой Лаборатории искусственного интелекта в финансовой группе «Финам».
Перед нами стоят амбициозные задачи — мы хотим создать модель для области финансов и добиться новых высот в построении ИИ агента, который в каких-то задачах сможет заменить разработчика. Будем заниматься исследованиями и успешные эксперименты максимально быстро катить в жизнь. Также будем делиться с вами нашими результатами.
И да, у нас открыты вакансии. Ищем сильных исследователей, AI дата-инженеров и инференс-инженера. Ссылки на вакансии в комментах.
Пресс-релиз компании
🔥19🎉10👏5❤2😁1
Media is too big
VIEW IN TELEGRAM
🔥 Добавили KodaAgent в Koda!
Теперь в Koda можно больше вайбкодить. В версии v0.2.0 появилась агентность. Агентность позволяет дать ИИ больше автономности —теперь он не просто отвечает на вопросы, а может сам взаимодействовать с вашим проектом, понимать контекст глубже и доводить задачи до конца.
Сейчас агентность доступна с 2-мя моделями gemini 2.5 flash и DeepSeek v3 после аутентификации через гитхаб. Наша специализированная модель для агентности появится чуть позже.
В KodaAgent также можно добавить другие модели с вашим API ключом.
Так же в v 0.2.0 обновили модели ембеддера и реранкера. Теперь поиск по проекту и документации более точный.
Koda сообщество
Плагин для VSCode
Теперь в Koda можно больше вайбкодить. В версии v0.2.0 появилась агентность. Агентность позволяет дать ИИ больше автономности —теперь он не просто отвечает на вопросы, а может сам взаимодействовать с вашим проектом, понимать контекст глубже и доводить задачи до конца.
Сейчас агентность доступна с 2-мя моделями gemini 2.5 flash и DeepSeek v3 после аутентификации через гитхаб. Наша специализированная модель для агентности появится чуть позже.
В KodaAgent также можно добавить другие модели с вашим API ключом.
Так же в v 0.2.0 обновили модели ембеддера и реранкера. Теперь поиск по проекту и документации более точный.
Koda сообщество
Плагин для VSCode
🔥22👍9❤5🤣1
Центром топового опенсорса стал Китай.
Кто бы мог предположить это еще год назад. Опенсорс из Китая бьет на метриках многие закрытые модели, в том числе от организации, которая изначально позиционировала себя как open.)
За пару последних недель вышла прям куча моделей с топовыми метриками: Kimi K2, Qwen3 235B instruct, Qwen3-сoder, GLM 4.5. Стоимость инференса этих моделей в несколько раз ниже, чем у GPT4.1 и Claude Sonnet 4. Из общего — все модели c MoE.
Одно дело метрики, а другое дело, что видят глаза, когда решаешь задачи, используя модели. Как-то со времен появления Qwen 2 иногда закрадывалась мысль, что они оверфитнулись на бенчах и показывали хорошие метрики. Несколько последних дней тыкал эти модели в режиме агентности в Koda. Должен признаться, они прям хороши в агентность. DeepSeek или предыдущие версии Qwen-ов были откровенно слабы. А теперь ситуация изменилась, и они на уровне Sonnet 4 работают с тулами при решении кодовых тасок. И да, тестировал я их, взаимодействуя на русском языке. Отдельно хочется про GLM 4.5 сказать. Она лучше других справлялась и часто решала задачи лучше, чем Sonnet 4.
Мы добавили в Koda v0.2.1 GLM 4.5, Qwen3-Coder, Kimi-K2 и Qwen3 235B A22B Instruct для агентности и для чата.
Все перечисленные выше модели уже можно использовать в Koda абсолютно бесплатно.🚀
GLM-4.5 blog
Koda плагин для VSCode
Koda сообщество,
Кто бы мог предположить это еще год назад. Опенсорс из Китая бьет на метриках многие закрытые модели, в том числе от организации, которая изначально позиционировала себя как open.)
За пару последних недель вышла прям куча моделей с топовыми метриками: Kimi K2, Qwen3 235B instruct, Qwen3-сoder, GLM 4.5. Стоимость инференса этих моделей в несколько раз ниже, чем у GPT4.1 и Claude Sonnet 4. Из общего — все модели c MoE.
Одно дело метрики, а другое дело, что видят глаза, когда решаешь задачи, используя модели. Как-то со времен появления Qwen 2 иногда закрадывалась мысль, что они оверфитнулись на бенчах и показывали хорошие метрики. Несколько последних дней тыкал эти модели в режиме агентности в Koda. Должен признаться, они прям хороши в агентность. DeepSeek или предыдущие версии Qwen-ов были откровенно слабы. А теперь ситуация изменилась, и они на уровне Sonnet 4 работают с тулами при решении кодовых тасок. И да, тестировал я их, взаимодействуя на русском языке. Отдельно хочется про GLM 4.5 сказать. Она лучше других справлялась и часто решала задачи лучше, чем Sonnet 4.
Мы добавили в Koda v0.2.1 GLM 4.5, Qwen3-Coder, Kimi-K2 и Qwen3 235B A22B Instruct для агентности и для чата.
Все перечисленные выше модели уже можно использовать в Koda абсолютно бесплатно.
GLM-4.5 blog
Koda плагин для VSCode
Koda сообщество,
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥20❤10😁1🕊1
🚀Большое обновление Koda v0.3.0!
⭐️ Больше запросов: для бесплатных trial-моделей теперь доступно 1 000 запросов. У уже активных пользователей счётчик обнулился🤗
Koda стала умнее в режиме агентности:
🛑 Читает веб-страницы по ссылке — хоть код на GitHub, хоть документацию
🛑 Может “погуглить” ошибку и найти решение
🛑 Анализирует весь проект (если он небольшой) за один вызов: формирует список файлов и описывает классы и методы.
К другим улучшениям можно отнести:
🟣 Новую модель KodaAgent — для режима агентности, доступна даже если 1 000 запросов закончатся 🤘
🟣 Апгрейд KodaCompletion: лучшее качество подсказок и построчный комплишен.
🐞 Исправлено множество багов — спасибо сообществу! Присоединяйтесь и помогайте делать Koda лучше!
🔖 Появилась документация — пользоваться инструментом и настраивать его под себя и проект стало проще.
💬 Теперь у Koda есть свой Telegram-канал @kodacoderu для новостей об инструменте и всем, что с ним связано. Подписывайтесь! А также чат @kodacommunity для вопросов и обсуждений. Вступайте!
📚 Ну и самое главное – первая статья о Koda уже на Хабре: https://habr.com/ru/companies/koda/articles/936906/. Пока обзорная. Позже будут статьи про то, что под капотом и про метрики — все, как мы любим.
Ребят, поддержите Koda! Если у вас есть аккаунт на Хабре — поставьте плюс нашей статье 🙏 Каждое ваше действие помогает сделать так, чтобы о Koda узнало больше разработчиков. Спасибо!
Статья на Хабре
Телеграм-канал Koda
Телеграм-чат Koda
Документация
Плагин в VSCode
Обновленный лендинг Koda
⭐️ Больше запросов: для бесплатных trial-моделей теперь доступно 1 000 запросов. У уже активных пользователей счётчик обнулился
Koda стала умнее в режиме агентности:
К другим улучшениям можно отнести:
🐞 Исправлено множество багов — спасибо сообществу! Присоединяйтесь и помогайте делать Koda лучше!
📚 Ну и самое главное – первая статья о Koda уже на Хабре: https://habr.com/ru/companies/koda/articles/936906/. Пока обзорная. Позже будут статьи про то, что под капотом и про метрики — все, как мы любим.
Ребят, поддержите Koda! Если у вас есть аккаунт на Хабре — поставьте плюс нашей статье 🙏 Каждое ваше действие помогает сделать так, чтобы о Koda узнало больше разработчиков. Спасибо!
Статья на Хабре
Телеграм-канал Koda
Телеграм-чат Koda
Документация
Плагин в VSCode
Обновленный лендинг Koda
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥26❤11🎉10
Forwarded from AbstractDL
Gradient Accumulation Is Wasteful
Миф: чем больше батчайз, тем стабильнее и лучше учится LLM. На самом деле всё не так. Авторы этой статьи провели мега-аблейшн по гиперпараметрам претрейна LLM и обнаружили: чем МЕНЬШЕ batch size, тем ШИРЕ диапазон гиперпараметров (lr, оптимизатор, decay-рейты), на которых модель нормально учится. Короче, на маленьком batch даже ванильный SGD (без momentum!) не уступает Adam-у и Adafactor. Валидационный лосс при этом не хуже, а иногда даже лучше, чем на больших batch size.
Самое интересное — авторы показывают, что главная проблема с малельниким батчами — это не какая-то “нестабильность”, а просто неправильно настроенные беты. Особенно β₂ у Adam: его надо менять для разных батчсайзов, фиксируя полупериод затухания второго момента в токенах (по их формуле
Итого: минимальный batch size, при котором не теряется пропускная способность железа — обычно лучший выбор. На малых batch всё проще с тюнингом (широкий диапазон lr/decay/optimizer). И не нужно бояться batch size 1! Gradient accumulation — это почти всегда зло.
PS. Работает не только для претрейна, но и файнтюнинга.
Статья, GitHub
Миф: чем больше батчайз, тем стабильнее и лучше учится LLM. На самом деле всё не так. Авторы этой статьи провели мега-аблейшн по гиперпараметрам претрейна LLM и обнаружили: чем МЕНЬШЕ batch size, тем ШИРЕ диапазон гиперпараметров (lr, оптимизатор, decay-рейты), на которых модель нормально учится. Короче, на маленьком batch даже ванильный SGD (без momentum!) не уступает Adam-у и Adafactor. Валидационный лосс при этом не хуже, а иногда даже лучше, чем на больших batch size.
Самое интересное — авторы показывают, что главная проблема с малельниким батчами — это не какая-то “нестабильность”, а просто неправильно настроенные беты. Особенно β₂ у Adam: его надо менять для разных батчсайзов, фиксируя полупериод затухания второго момента в токенах (по их формуле
β₂ new = β₂^(bs_new / bs), тогда можно обучать LLM вообще на batch size 1 — и всё будет стабильно.Итого: минимальный batch size, при котором не теряется пропускная способность железа — обычно лучший выбор. На малых batch всё проще с тюнингом (широкий диапазон lr/decay/optimizer). И не нужно бояться batch size 1! Gradient accumulation — это почти всегда зло.
PS. Работает не только для претрейна, но и файнтюнинга.
Статья, GitHub
🔥29👍8❤7🤯1
Forwarded from Koda
multi_edit_existing_file для редактирования файлов без apply model.Если заметите баги или захотите предложить новые фичи — пишите, мы всегда на связи 🙏
#release #minor
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍12❤6
Forwarded from Koda
Пожалуй самое приятное – модели KodaAgent и KodaChat стали работать заметно быстрее. Советуем попробовать их в деле!
Помимо этого:
⚠️ Но будьте осторожны! Рекомендуем использовать этот режим в связке с Git'ом. Так вы всегда сможете восстановить предыдущее решение, если агент сделает не то, что вы ожидали.
modify_existing_file с длинными файлами.Если заметите баги или захотите предложить новые фичи — пишите в чат (@kodacommunity), мы всегда на связи 🙏
Koda в VS Code
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍5❤1
Koda CLI превращает терминал в умную рабочую среду. Он помогает писать и понимать код, редактировать файлы, выполнять команды, находить и устранять ошибки, общаясь с моделью на естественном языке.
Основные возможности:
Как и в расширении для VS Code, доступ ко множеству топовых моделей открыт бесплатно на первые 1 000 запросов.
Авторизация — через GitHub. А наша собственная модель KodaAgent доступна без ограничений на количество запросов.
Так же мы выпустили расширения для VS Code и JetBrains IDE для отображения диффов при редактировании агентом файлов в Koda CLI. Удобно просматривать и принимать изменения, которые предлагает агент.
Установка и запуск
Начать работу с Koda CLI очень легко:
🔹 npm install -g @kodadev/koda-cli
🔹Или скачать файл .tgz и установить
Документации пока нету, скоро будет.
Koda CLI сейчас в режиме бета-тестирования.
Ваши вопросы и баги пишите в @kodacommunity.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍9❤6
⚡️LIMI (Less is More for Agency) — очередной разрыв шаблонов.
Как-то пропустил этот пейпер, но прям зацепил.
Всего 78 высококачественных примеров решения задач с траекториями использования тулов при фантюнинге ростят метрики на AgencyBench c 45 до 73%.
Примеры собрали для 2 доменов Vibe Coding и Research Workflows.
1. Реальные запросы из практики (60 запросов):
2. Синтез запросов из GitHub Pull Requests
Потом собрали качественные траектории для этих задач.
Для каждого запроса аннотатор и GPT-5 работали вместе в SII CLI до тех пор, пока задача не была решена успешно. Из них выбирали лучшие еще.
В среднем каждая траектория содержала 42.4 тысячи токенов. Самая длинная достигла 152 тысяч токенов.
Сделали файнтюн на этих данных. Про файнтюн совсем мало деталей.
Выложили модели и датасет обучения.
Очередной пример, что качество данных решает.
Paper
HuggingFace
Датасет
Как-то пропустил этот пейпер, но прям зацепил.
Всего 78 высококачественных примеров решения задач с траекториями использования тулов при фантюнинге ростят метрики на AgencyBench c 45 до 73%.
Примеры собрали для 2 доменов Vibe Coding и Research Workflows.
1. Реальные запросы из практики (60 запросов):
2. Синтез запросов из GitHub Pull Requests
Потом собрали качественные траектории для этих задач.
Для каждого запроса аннотатор и GPT-5 работали вместе в SII CLI до тех пор, пока задача не была решена успешно. Из них выбирали лучшие еще.
В среднем каждая траектория содержала 42.4 тысячи токенов. Самая длинная достигла 152 тысяч токенов.
Сделали файнтюн на этих данных. Про файнтюн совсем мало деталей.
Выложили модели и датасет обучения.
Очередной пример, что качество данных решает.
Paper
HuggingFace
Датасет
🔥17👍11❤5👎1
Forwarded from Koda
MiniMax M2 — обновленная флагманская языковая модель от компании MiniMax, ориентированная на использование в «агентах» и для программирования.
Акцентируют внимание на трёх ключевых способностях:
Бьет по метрикам в коддинг предыдущего лидера из опенсорc - GLM 4.6. Так же уверенно опережает DeepSeek.
Попробовать саму модель можно абсолютно бесплатно уже сейчас в VS Code и терминале через утилиту Koda CLI.
Поделитесь впечатлением в нашем сообществе, насколько эта обновленная модель отрабатывает на ваших задачах.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15👍10❤1
Forwarded from Koda
😎 Друзья, мы расширяемся!
Если вы подумывали о том, чтобы сменить работу, то это прекрасная возможность 😊
Мы ищем Middle/Senior Fullstack Developer (AI Tools & CLI)
📍 Работа удалённо
💰 Уровень компенсации обсуждается индивидуально + возможен опцион
Почта для связи: job@kodacode.ru
Если вы подумывали о том, чтобы сменить работу, то это прекрасная возможность 😊
Мы ищем Middle/Senior Fullstack Developer (AI Tools & CLI)
📍 Работа удалённо
💰 Уровень компенсации обсуждается индивидуально + возможен опцион
О компании
Koda (kodacode.ru) — инструмент для разработчиков, который интегрирует мощные AI-модели прямо в рабочий процесс: в редактор, CLI и внутренние инструменты команды.
Мы делаем AI-ассистента, который помогает писать, рефакторить и анализировать код, работает локально или через подключённые LLM-бэкенды и легко встраивается в существующую инфраструктуру разработчика.
Наша цель — упростить рутину инженеров и сделать работу с кодом быстрее и точнее.
Кого мы ищем
Нам нужен Middle/Senior Fullstack Engineer, который хочет работать на стыке инструментов разработки, плагинов IDE и AI-интеграций. Мы ищем не “идеальный резюме-стек”, а человека, который понимает разработчиков и хочет создавать для них удобные инструменты.
Ты будешь работать над ядром Koda, VSCode-плагином, CLI и интеграциями с LLM.
Задачи
1. Разработка Core-компонентов
Поддержка и развитие внутреннего ядра (контекст, маршрутизация запросов, обработчики). Работа над архитектурой, влияющей на весь стек продуктов Koda.
2. Разработка расширений
Развитие плагина Koda для VS Code. Улучшение UX внутри IDE: панель, подсказки, команды, взаимодействие с редактором.
3. CLI и утилиты
Разработка и оптимизация CLI-инструментов. Повышение стабильности, скорости работы и качества DX.
4. Интеграции с LLM
Работа с API ИИ-моделей (OpenAI, Anthropic, местные backend-инференсы). Настройка промптов, передача контекста, обработка ответов.
5. Исследовательские задачи
В случае необходимости — разбор JetBrains-плагина:
- чтение и исправление Kotlin/Java-кода;
- улучшение интеграции.
Требования
Уверенный TypeScript.
Опыт разработки на Node.js (CLI, сервисы, инструменты разработки).
Понимание принципов работы LLM: контекст, промптинг, запросы к API.
Готовность разбираться в чужом коде и нетривиальных архитектурах.
Плюсом будет
Базовые знания Kotlin/Java — достаточно умения ориентироваться в коде.
Опыт разработки расширений для VS Code или других IDE.
Опыт работы с LLM-библиотеками, локальными inference-серверами, RAG.
Что предлагаем
- Работа над инструментом для разработчиков — твоя работа сразу будет видна реальным программистам.
- Постоянный контакт с AI-технологиями: модели, промпты, inference-серверы, интеграции.
- Минимум процессной бюрократии.
- Команда, в которой можно быстро расти технически: инженеры, участвующие в проектах уровня GigaCode/AI-инструментов.
- Удалённый формат и гибкость.
– Оформление по ТК РФ.
Почта для связи: job@kodacode.ru
🔥11❤5👍5😁1
Forwarded from Koda
За последние месяцы продукт заметно подрос, и мы собрали несколько метрик, которые показывают, как им пользуются.
1. Больше 3 000 человек активно пользуются Koda каждый месяц. Это та аудитория, которая регулярно возвращается и работает с инструментом. А плагин для VS Code уже скачали больше 5 000 раз.
2. Около 1 млрд токенов трафика в день. Для сравнения: это сопоставимо с обработкой десятков тысяч страниц текста или большого количества файлов кода среднего размера.
3. Самой популярной моделью у пользователей стала Koda. На втором месте — Gemini Flash, замыкает тройку MiniMax M2. В среднем KodaAgent помогает писать 30–40 тысяч строк кода в день, а KodaComplete — ещё примерно 5 000 строк.
4. Топ-3 языков программирования, с которыми Koda помогала чаще всего: Python, TypeScript и Go.
Мы параллельно развиваем и медиа:
5. На YouTube — уже больше 85 000 просмотров. Если ещё не подписались — будем рады!
6. Релизные статьи на Хабре собирают по ~20 000 просмотров. Это материалы про Koda для VS Code и про Koda CLI — на случай, если пропустили.
7. И, конечно, наше комьюнити. В чате (@kodacommunity) уже больше 300 человек, и не было ни одного дня тишины) Спасибо за баги, предложения, вопросы и просто интересные разговоры 💜
@kodacoderu
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍8❤6