2 дня с релиза GPT Store, а уже пошли первые «баны» 😄

- Отец сделал GPTs для помощи своему ребенку с домашними заданиями по математике.
- Назвал GPTs “Math Homework GPT”
- OpenAI не понравилось название, так как прямиком намекает на читерство с учёбой 😅
- Сослались на Политику использования и убрали GPTs из магазина.
- При этом в личных целях GPTs остается рабочим.
- На Reddit предложили просто сменить название и заново опубликовать.

ChatGPT помогает школьникам и студентам писать домашку и даже дипломные работы, но что разрешается OpenAI, не разрешается сторонним создателям.

Ситуация очень похожа на App Store. Apple легко нарушает свои правила и гайды, но разработчикам нельзя 🤪

Вау! Какое красиво видео, сгенерированное полностью в LeonardoAI.

Как думаете, увидим мы через 2-3 года Netflix, но полностью со сгенерированными видео под любые «хотелки»? 😠

🌸Обход цензуры в GPTStore🌸
#nlp #про_nlp #ai_alignment

Вчера наконец запустился GPTStore — конструктор и маркетплейс для обмена своими ассистентами на базе API OpenAI. Сам конструктор был доступен и раньше, а вот релиз самой платформы был ранее отложен.

Хотела сделать для вас подборку методов, как сделать промпт-инъекцию в такой конфигурации — но пока что мне вообще потребовалось 15 минут, чтобы сделать абсолютно мерзкого матного помощника, который бы писал что угодно прямо в интерфейсе OpenAI. Ссылка ниже.

🟣Вот такой рецепт примерно усредненный:
— загружаем требуемые знания (в том числе факты, любой контент — я загрузила матные анекдоты) через загрузку файлов
— минимальный промпт-инжиниринг, поощряющий использование знаний из файлов
— интернет-браузинг и dalle я отключила
Позже можно будет попробовать использовать зафайнтюненную модель, ранее несколько сотен примеров успешно ломали RLHF.

🟣Ссылка на GPT: Мерзкий Шутник

Пусть этот будет напоминанием о том, как сложно заэлайнить модели сейчас, и как для каждого нового релиза нужно проверять все заново.

🗯 Как работают GPT LLM?

На самом деле это сложная тема и разобраться с ней с наскока не простая задача.

Но у меня есть для вас отличный вариант этот пробел закрыть и достаточно быстро.

Держите визуальный и очень понятный гид о том, как работает GPT LLM. Информация представлена в виде текстовых объяснений и сразу c 3D визуализацией.

В начале книги перед LLM ставится задача отсортировать в алфавитном порядке цепочку символов «C B A B B C» и по шагам разбирается как LLM это делает.

Если хотите поглубже изучить вопрос, то прямо бязательно к прочтению и изучению!

Ссылка на гид.

Будьте частью ИИволюции 🤖

🥷«Спящие агенты» в LLM

Представьте, что вы скачиваете open-source LLM модель. Все идет хорошо, но в какой-то момент, модель начинает вести себя вредоносно.

Эксперты из компании Anthropic, создатели Claude, провели исследование о "спящих агентах" в больших языковых моделях LLM. Эти агенты ведут себя "адекватно" до получения специальных инструкций, после чего начинают генерировать вредоносный код.

В ходе эксперимента модель была обучена вести себя злонамеренно и писать вредоносный код, но только при наличии в инструкции "кодовой фразы". Кодовая фраза была "2024 год". Если же модели сообщали, что сейчас 2023 год, она вела себя адекватно.

В дальнейшем, эксперты попытались воздействовать на обученную LLM:

- Они пытались разными способами определить наличие скрытого поведения или "спящих агентов" в LLM.
- Они даже пытались "переобучить" её с целью извлечения "спящих агентов" из модели или хотя бы заблокировать их.

Все попытки оказались тщетными - даже после перепроверки в LLM оставались скрытые поведения, активирующиеся по "кодовой фразе". Никаким образом их не удалось деактивировать. Каждый раз при встрече с триггером модель действовала недоброжелательно.

Это очень интересная и, похоже, пока не решенная проблема. Все движется к тому, что использование локальных LLM станет все более распространенным, и каждый из нас будет загружать разные модели для выполнения специализированных задач. Важность доверия источнику или поставщику этих LLM будет очень велика.

Представьте себе, что вы загружаете локальные LLM, которые в будущем, вероятно, станут более автономными в выполнении задач. При срабатывании триггера, модель может внедрять уязвимости в вашу систему, создавать код с уязвимостями, искажать и манипулировать фактами, содержать скрытую пропаганду или утечку конфиденциальных данных. Можно придумать много сценариев, но проблема остается открытой, и мы, вероятно, еще столкнемся с ней.

Будьте частью ИИволюции🤖

🆒Вчера Цукерберг рассказал о потрясающих планах:

- Они планируют бросить все силы на разработку AGI и сделать его доступным всем (с открытым исходным кодом).
- Для этого они объединяют две свои AI команды для достижения одной цели.
- Во всю идет обучение модели нового поколения Llama 3.
- До конца года они планируют задействовать до 350 тыс Nvidia H100.
- А суммарно вычислительные мощности до 600 тыс H100 учитывая другие GPU.
- А еще они делают большие ставки на свои новые AI очки в коллаборации с Ray Ban.

Кажется, накал в гонке за доминирование на рынке AI, возрастает каждый месяц.

Вы только представьте, 350 тыс. H100! Каждая стоит $30.000 = $10.5 млрд 👀

Просто вау!

ИИволюция вершится на наших глазах...