🔺 GigaChat Pro. Технические детали

Друзья, написали с коллегами небольшую статью про то как обучался GigaChat. Рассказали про оптимизации, про сбор данных и сравнились с другими моделями. Всем, кому интересно обучение LLM, приглашаю почитать.

https://habr.com/ru/companies/sberdevices/articles/780334/

🔺 Новые открытые LLM #ml_news

Пришло время обозреть открытые языковые модели, вышедшие за последнее время.

➕ Mixtral-8x7B

Новая модель от французского стартапа Mistral. Обучили модель подходом MoE (Mixture of Experts), при котором небольшая часть модели является роутером, а остальная часть состоит из N «экспертов», из которых активируется только часть.

Здесь таких частей 8, то есть суммарный вес модели ~ 45B параметров, но вычислений при инференсе столько же, как у 14B модели (активируется топ-2 «эксперта»).

Благодаря этому, Mixtral превосходит Llama 70B на большинстве бенчмарков, работая в 6 раз быстрее. На днях выложили и инструктивную версию.

HF | GitHub

➕ Phi-2

Продолжение экспериментов с малыми моделями от Microsoft. На этот раз модель стала больше — 2.7B. Идея, напомню, в обучении модели в основном на синтетических данных, тщательно подготовленных. Объем данных сравнительно небольшой — 1.4B токенов за ~5 эпох.

На многих тестах Phi-2 показывает себя лучше чем модели размером 13B, а в некоторых случаях, типа кода, лучше Llama 70B. Также на всех тестах лучше Gemini Nano 2 (3.2B). MMLU — 56,7.

HF | релиз

➕ Zephyr 3B

И новая модель от StableLM, которую обучили на открытых датасетах и выровняли при помощи DPO. Ребята провели замеры на MT-Bench (тесты, в которых в роли судьи играет другая LLM) и получили неплохие результаты, кое-где догоняя ChatGPT 3.5. На MMLU получили 46.3.

Поигрался с Zephyr'ом, на английском понравилось, на русском очень слабо.

> Describe unexisted Martian language like in Wikipedia article

> An extinct Martian language, also known as an extinct extraterrestrial language, was an ancient linguistic system used by the hypothetical intelligent, now extinct,
Martian civilization that once inhabited the Red Planet.

1. Language family: ...

HF | релиз

Коллеги выкатили генерацию новогодних открыток Гигачатом и Кандинским. Зур чак-чак нарисовать не вышло, но в целом получается очень прикольно.

👉 Можно попробовать тут.

Пришла мысль сделать простого бота (без запросов к LLM), который бы отвечал мудрыми афоризмами на твои вопросы. Типа такого:

— Как вкатиться в ML?

— Любую истину понять легко, если ее уже открыли; главное как раз в том, чтобы ее открыть.

Галилео Галилей

Пока подготовил сет из афоризмов и подумал, что можно заранее объяснить их большой моделью (как на картинке) и погенерировать к ним вопросы. Затем для вопроса пользователя искать ближайший по смыслу сгенерированный вопрос и выходить так на исходный афоризм. Может еще какие-то идеи есть?

🔺 Малый принц

Выложил параллельный корпус на малых языках на основе «Маленького принца».

📚 Балкарский, дигорский, коми, марийский и горномарийский, мокшанский и эрзянский, башкирский и татарский, чувашский, якутский и русский языки.

{'ru': '– А для чего быть богатым?',
 'ba': '— Ә ни өсөн бай булырға?',
 'cv': '— Мӗн тума кирлӗ сана пуянлӑх?',
 'di': '— Ӕма дин гъӕздугдзийнадӕ ба ци пайда ӕй?',
 'krc': '– Байлыкъ неге керекди?',
 'kv': '— А мыйла колӧ лоны озырӧн?',
 'mdf': '– А мезенди эряви улемс козякс?',
 'mrh': '— А молан поян лийнет?',
 'mrj': '— А малын тӹлӓт паян лиӓш?',
 'myv': '– Мезекс эряви улемс сюпавокс?',
 'sah': '– Ол тоҕо баай буола сатыыгыный?',
 'tt': '— Ә бай булу нигә кирәк?'}

👉 HuggingFace | Книга-трансформер

Удалил из подписчиков 300 Евгенов и полсотни Нуриков (!).

Уважаемые спамеры, верните генеративных ботов с красивыми аватарками, они поинтересней были.

Недавно у стартапа Mistral появилась доступная по API модель mistral-medium. И на лидерборде чат-арены она аж вторая после GPT-4, т.е. выше Claude и Gemini.

По деталям пока не понятно, пишут, что это внутренний прототип. Также есть модели small и tiny.

Потыкал в medium, на английском отвечает вообще отлично, на русском тоже порадовала. Изредка сбивается в грамматике и ставит английские слова, но по смыслу прям очень круто. По цене что-то около рубля за 1000 токенов.

Для тех кто кочет попробовать, вот API ключ ( ————— убрал —————).

Выставил там месячный лимит на пару евро, надеюсь, что он у них правильно работает)

UPD. Ключ убрал, нагенерили 525k токенов за 2.18 евро.

UPD 2. Limit не сработал (!) :)

Медведь в кадр не попал.

В последнее время вспомнил старое и прочитал/перечитал пару НФ книг — «Неукротимую планету» Гаррисона, «Астровитянку» Горькавого, «Спектр» Лукьяненко, рассказы Лема и Шекли. Посоветуйте, что-нибудь ещё, можно не фантастику. И поделитесь, что читаете сами, это интересно.

👉 Upd. Книги по популярной лингвистике

📚 Что советуют подписчики

🔸 Sci-fi & Fantasy

• «Диктатор» Сергея Снегова ✔️
• «Разбитая сфера» Роджера Аллена
• «Софт. Тело» Руди Рюкера
• «Контракт на Фараоне» Рэя Олдриджа
• «Основание» Айзека Азимова ✔️
• «Убик» Филиппа Дика
• «Ложная слепота» и «Морские звезды» Питера Уоттса ✔️
• «Поселок» Кира Булычева
• «Схизматрица» Брюса Стерлинга
• «Задача трёх тел» Лю Ци Синя ✔️
• «Лунная радуга» Сергея Павлова
• «Алмазный век» Нила Стивенсона
• «Час Быка» Ивана Ефремова ✔️
• «Соглашение» Сергея Лукьяненко
• «Мы — Легион. Мы — Боб» Денниса Тейлора ✔️
• «Axiom's End» Линдси Эллис
• «Криптономикон» Нила Стивенсона
• «Я, Хобо: Времена смерти» Сергея Жарковского
• «Создатель звезд» Олаф Степлдон
• «Конец радуг» и «Пламя над бездной» Вернора Винджа
• «Бесконечная война» Джо Холдемана
• «Хроника убийцы короля» Патрика Ротфусса
• «Дети Времени» Адриана Чайковского
• Проект «Аве Мария» Энди Вейера ✔️
• «Свидание с Рамой» Артура Кларка ✔️
• «ГПиМРМ» Элиезера Юдковского ✔️
• «Дюна» Френка Герберта
• «Гиперион» Дэна Симмонса ✔️
• «Заводная» Паоло Бачигалупи
• «Игрок» Иена Бэнкса


Стругацкие, Лем, Лавкрафт, Аберкромби, Бредбери

🔸 Non-fiction

• «К северу от 38 параллели» Андрея Ланькова
• «Why Nations Fail: The Origins of Power, Prosperity, and Poverty» Daron Acemoglu and James A. Robinson
• «История западной философии» Рассела
• «Все лгут. Поисковики, Big Data и Интернет знают о вас все» Сета Стивенса-Давидовица
• «Не навреди» Генри Марша
• «Потерянный и возвращенный мир». А. Р. Лурия

🔸 Fiction

• «Путешествие в Элефсин» Пелевина
• «Между двух стульев» Евгения Клюева