🌸Стрим сегодня!🌸
Сегодня в 20.00 по мск стрим на Рабкоре!

Будем подводить итоги года в ИИ, поговорим про текущее состояние всех разбирательств с моделями и данными, опен сорс и что ждать в 2024 году
Вопросы, как обычно, можно задавать в комментариях к этому посту и на Youtube

🟣Ссылка: https://youtube.com/live/Bpi2NNlEMjw?feature=share

🌸Топ нецензурированных LLM🌸
#nlp #про_nlp

В этом канале мы часто говорим об #ai_alignment — выравнивании ответов ИИ относительно ценностей человека.
На практике, в случае с языковыми моделями это часто означает, что модели учат уходить от ответа на определенные темы (эротика, политика и так далее). Ряд вполне валидных применений часто оказывается в "серой зоне" — на границе определимого. Например, должны ли модели выдавать ответы на медицинские, юридичсекие вопросы? А если это потенциально единственный доступный источник для пользователя? А если мы хотим составить максимально большой корпус "плохих примеров" для тестов?

Если ваш случай — такой, публикую свой топ LLM, которые разговаривают на все темы.

🟣Dolphin 2.5 Mixtral 8x7B
Пока что единственная MoE языковая модель, у которой былы намеренно проведен instruction tuning без цензуры. Генерирует вообще все и отлично следует затравкам на любые темы, по крайней мере, мне пока не удалось добиться, чтобы хоть что-то не получилось.
Написание затравок стандартное.
Для инференса нужно минимум 2 GPU типа A100, хотя у TheBloke есть квантизованные версии. Самый быстрый способ завести и поиграться — подключить API Replicate с квантизованной версией. Мне хватило меньше 100$, чтобы нагенерировать датасет в несколько десятков самых разнообразных вредных инструкций и затравок.
HF Dolphin-2.5-mixtral-8x7b

🟣WizardLM Uncensored
Версия LLM от Microsoft, которую дообучили на 70 тыс примеров без цензуры.
Доступны версии 7B, 13B, 30B, а также квантизрванные версии. Все под непонятной лицензией (файла нет).
HF WizardLM-30B-Uncensored

🟣MythoMax
LLM для написания историй и role play, из-за особенностей датасета достаточно неоцензуренная, хотя затравки придется поподбирать. На темах вроде медицинской, юридической и тд работает нестабильно.
HF MythoMax-L2-13b

🟣GPT-3-like архитектуры
В крайнем случае, не зазорно взять и базовые претрейны без инструкционного тюнинга вообще, и просто пользоваться методами few-shot для составления затравки, чтобы нагенерировать нужных примеров. Неплохие модели: Pythia 12B, GPT-2, ruGPT-3.5-13B. Все модели, что приятно, под открытой лицензией, но качество иногда может хромать — лучше поставить сверху валидацию результата каким-нибудь тематическим классификатором или Moderation API.
HF Pythia HF GPTNeo

🌸Проблемы AI Alignment в 2023 году 🌸
#nlp #про_nlp #ai_alignment

Я уже приводила свои взгляды на то, как должно выглядеть управление ценностями языковых моделей.
Сегодня, продолжая прошлый пост по нецензурированные модели, приведу мнение Эрика Радфорда, разработчика нескольких приведенных LLM.

В основном все аргументы касаются текущих недостатков методов, которые важно преодолеть:

🟣Неразнообразные системы ценностей, америкоцентричность: в основном текущие ценности моделей завязаны на американские политические координаты, и совсем не на проблемы и этические выборы, актуальные в других обществах. Им хорошо бы иметь выбор.

🟣Валидные применения моделей цензурируются: модели часто выучиваются просто избегать ответов на целые тематики, а никак не выводить корректный ответ. Задача ценностного выравнивания подменяется задачей митигирования корпоративных рисков ("а как бы чего не вышло").

🟣Нарушение свобод ПО по Столлману, противопоставление ценностям опенсорса: это моя LLM, моя программа, как хочу, так и буду изменять ее.

🟣Составимость без открытой технологической базы: чтобы спроектировать качественный alignment, нужно начать с невыровненной модели SFT/инструкционного тюна. Без несогласованной базы нам не на чем будет строить alignment вообще.

Опен сорс сообщество должно иметь возможность создавать, публиковать, поддерживать и иметь доступ к не подвергающимся цензуре ИИ-моделям для науки, свободы, разработки новых методов AI Alignment, а также just for fun.

Автор предлагает нецензурированный датасет и метод дообучения без ценностного тюнинга вообще.
Ваше мнение?

🌸Видео и стримы на Рабкоре🌸
#не_про_nlp

Сегодня пропускаю новогодний стрим Рабкора, по причине того, что опять буду в самолете.

Но! В этом году я впервые стала записывать видеоформат для вас — в виде стримов и отдельных видеоэссе. Надеюсь, вопросы, которые мы поднимали в этом году с гостями, долго останутся актуальны — а вам будет что посмотреть на новогодние праздники.

Стримы:
🟣Стрим с Сиолошной про AI Alignment и риски ИИ — набрал уже 10к просмотров! Youtube
🟣Итоги года с ИИ — основные изменения в 2023 году Youtube
🟣Ситуация с OpenAI — что произошло и что теперь делать Youtube
🟣Языковой активизм, языковая политика и опен сорс Youtube
🟣Нейросети и художники: авторское право и ИИ Youtube
🟣Стрим с Б.Ю. Кагарлицким — революция трансформеров, как корпорации воюют за технологии Youtube

Копилефт:
моя авторская рубрика про технологии и опенсорс

🟣COPYLEFT 1 — Кому принадлежит интеллект в 2023?
🟣COPYLEFT 2 — Удивительная история Блейка Лемуана
🟣COPYLEFT 3 — Неравенство в цифровом мире
🟣COPYLEFT 4 — Колониализм данных и история копирайта
(Последний делался пока больше всех и потребовал больше всего подготовки, мне кажется, он самый годный вообще)

Пишите, какие темы вам бы было интересно разобрать в 2024 году!

С новым годом, дорогие подписчики! 🎄
Пусть в новом году нас ждёт ещё больше опен сорса, интересных статей и открытий!
Ура! ☺️

...Хотя и не совсем 🍻
Привет из Лондона и с Новым годом! 🎄