YandexGPT 5 уже в опенсорсе и Алисе

Сегодня Яндекс показал миру новое поколение больших языковых моделей — YandexGPT 5. Старшая модель YandexGPT 5 Pro доступна в чате с Алисой и Yandex Cloud через API. Ну а претрейн-версия младшей модели YandexGPT 5 Lite Pretrain — уже лежит на Hugging Face.

Все подробности о процессе обучения можно прочитать в статье на Хабре. А в этом посте — главные факты о свежей опенсорсной модели Яндекса.

YandexGPT 5 Lite Pretrain — модель на 8 миллиардов параметров с длиной контекста 32 тысячи токенов. Претрейн проходил в два этапа: сначала модель обучили на 15 триллионах токенов текста на русском и английском языках, а потом использовали 320 миллиардов токенов высококачественных данных, включая образовательный контент.

На первом этапе датасет больше чем на половину состоял из веб-документов, остальное — код, математика и специфичные данные. Под последними подразумеваются синтетика (сгенерированные YandexGPT 4 вопросы на основе проверенных источников) и внутренние наработки компании (например, внутренняя база Яндекса Fact Snippet и новый корпус данных Переводчика).

На втором этапе датасет на четверть состоял из веб-страниц и почти в равных пропорциях содержал математику, код и образовательные данные. Также была небольшая часть аугментаций фактовых документов, другой синтетики и датасетов сервисов.

По сравнению с моделью предыдущего поколения, YandexGPT 4 Lite Pretrain, новая модель показывает ощутимый рост качества в решении математических задач и написании кода. А в сравнении с зарубежными аналогами, такими как LLaMa3.1-8B и Qwen-2.5-7B-base, она лидирует почти во всех типах задач.

Ещё раз приглашаем пощупать модель, почитать статью на Хабре с деталями обучения и не забыть поделиться впечатлениями в комментариях!


ML Underhood

Как подойти к дизайну визуализации?🪜

Вчера в рассылке писала про модель Тамары Мунзнер, которая предлагает учитывать разные уровни вложенности в процессе визуализации. Идея в том, что ошибка на предыдущем уровне ломает все на следующем, поэтому важно идти по ступенькам:

👩‍💻1. Понимание домена – кто целевая аудитория и что они делают?
Самое опасное тут – неправильно понять конечные цели пользователей. Решать можно через качественный сбор требований:
- Dashbaord Canvas Ромы Бунина
- Про пользовательские интервью от Nielsen Group
- Jobs to be Done

🔎2. Задача и данные – какие данные мы показываем и зачем люди на них смотрят?
Из опасностей – выбор не тех данных и трансформация к ним, непревильно подобранные аналитические вопросы к данным
- Lean Anlaytics
- Как измерять?
- Дата команды и пониманием метрик бизнеса
- Одинаковые данные, разные вопросы

📊3. Визуальное представление – как это визуализировано?
Важен правильный выбор визуализаций.
- Как выбрать график?
- Эффективность базовых графиков
- Когнитивные искажения

🛠4. Валидация алгоритма – можем ли мы это сделать?
Проверка, что с визуализаций реально взаимодействовать и она технически реализуема.
- Про перфоманс дэшбордов в Tableau и перфоманс тестирование

#devops #mlops

я знал, что так будет, но не думал, что так скоро; плюс авторы сделали целый сайт, на котором публикуют свои обзоры своей сетки

#career #softskills

Шестой месяц. Управление процессами

Прошел шестой месяц курса Стратоплана «Руководитель отдела». Две трети позади

Контент первого, второго, третьего, четвертого и пятого месяцев я описывал ранее.

Это второй по счету месяц, в котором я не смог посетить онлайн. А очень жаль. Контент был важный и полезный, так что, лишившись практики в группах, я точно намерен наверстать это, особенно внимательно прикидывая это на рутинную работу.

О чем было
- Типы оргструктур (плоская, линейная, матричная, функциональная, проектная и т.д.). Надо понимать, когда какая нужна, плюсы и минусы разных подходов. Особенно важно в небольших компаниях, чтобы при росте уметь сформировать подходящую, а в больших компаниях, чтобы не страдать на тему «Ну почему же так? Ведь в моей прошлой маленько было иначе, и нормально же жили!»
- Ну и дальше всё связанное с оргструктурой и ролевой моделью. Типа не просто берите оргструктуру, наложите её на людей и погнали. А у вас должны быть роли лидеров, интеграторов, поддерживающие всякие, и разберитесь, кто какую роль будет закрывать в вашем конкретном случае, а не в базовом трафарете.
- Очевидная, вроде бы, история про систематизацию и формализацию бизнес-процессов. Кажется, что капитанство, однако очень часто нет процесса, а есть клубок в паре голов старожилов с лейблом «так исторически сложилось».
- Вторая тоже очевидная мысль, но редко проваливаемая — делегирование через бизнес-процесс. Хочешь делегировать и пойти заниматься другими делами? Сделай процесс, формализуй, опиши, научи и гуляй смело.
- Матрица «доверие-прозрачность». Золотая классика, всем рекомендую так работать. Чем понятнее и прозрачнее то, что вы делаете, тем больше к вам доверия и отношения как к профессионалу.
- Разные способы оптимизации бизнес-процессов, типа теории ограничений, 7 потоков потерь и прочего. Всё это очень интересно, но за один урок так, чисто по верхам рассмотрели, и дальше надо самим углубляться. Во что-то я когда-то уже ходил и пробовал, что-то так и осталось на поверхностном уровне.
- И кууууча всего про метрики продуктовые, канбановые, скрамовые, HEART, PROJECT, и т.д.
- Системы отчетности: кому, когда, как, в каком формате, на основе каких метрик.
- KPI и как они совместимы с работой. Например, видел в одной компании, как человеку поставили KPI для премии — ряд доработок и нового функционала на одном из важных сайтов компании. А разработчиков не дали. Вот и крутись как хочешь. Ну, как вы понимаете, премии, конечно же, не было 🙂

Какое мнение
Обычно я делаю описание того, какой контент был мне знаком, а какой нет. В этот раз мне было это сделать очень трудно, поэтому я выделил одной портянкой важные, на мой взгляд, темы.

С одной стороны, практически всё мне было известно и понятно. Только мало кто всё это разумно делает. Основной вызов для меня лично тут не в том, чтобы что-то новое узнать, а чтобы унести это в практику, да еще и никому не навредить. А то знаете эти приколы, когда кто-то наслушается на конфе про метрики, прибежит на работу и как давай внедрять во все места всё, что услышал? 🙂