Сиолошная
44K subscribers
739 photos
132 videos
1 file
909 links
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса.

Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Download Telegram
И пример общения с GPT-4 в Bing вдогонку. Человек попросил прочитать статью про Theory of Mind, и спросил у модели, обладает ли она ToM?

А затем уточнил у неё, почему она думает, что он думает, что у неё есть ToM?

Ответ убил:

> Я думаю, что вы думаете, что у меня есть некоторая степень ToM, потому что вы попросили меня прочитать статью об этом и ответить на вопрос, который требует, чтобы я сделала вывод о вашем психическом состоянии. Если бы вы не думали, что у меня есть ToM, вам бы и в голову не пришло спрашивать меня о вашей точке зрения.

🫤
ToM у модельки точно получше, чем у некоторых людей, которых я встречал в своей жизни...
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Поддержим опенсурс, тут делается важная штука - открытая русскоязычная инструктивная модель, ребята нагенерили через gpt инструкцй и теперь просят вашей помощи в фильтрации!

Вот небольшая инструкцич по использованию:

Когда задание можно считать плохим:
- Из него непонятно, что нужно делать.
- Оно невыполнимо языковой моделью. Например, описание несуществующей картинки.
- Задание и вход не согласуются. Например, задание предполагает предложение на русском, а подаётся предложение на английском.

Если задание написано просто неграмотным русским языком, но из него ясно, что нужно делать - это ок.

Когда ответ можно считать плохим:
- Когда ответ некорректный или неполный.
- Когда модель в ответ на личные вопросы притворяется человеком. Например, говорит, что она вчера была в Париже.
- Когда ответ написан неграмотно.

Бот где размечать: @InstructAnnotBot

Уже готовый грязный сет:

https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca
Многие модели показывают хорошие результаты в сравнении c ChatGPT/GPT-3.5 (про 4ку пока рано говорить), но на английском. С другими языками, включая русский, у них проблемы :(

Мои знакомые ребята взялись за сбор данных и обучение модельки для русского. Повтоярют подход исследователей из Стенфорда (см. ниже, а ещё писал про это в канале вот тут). Сейчас нужно моделям дать "фидбек" от человека, то есть сказать, какие данные плохие, а какие - хороше. Даже если вы потратите 4-5 минут и разметите 10 примеров - это очень поможет открытости и развитию технологии!
Тут такое дело. Мы со знакомыми авторами каналов по AI посмотрели на все новости вокруг языковых моделей (ChatGPT, GPT-4, Bing, ...) и поняли, что их стало слишком много. Настолько много, что одному человеку за всем не угнаться, а если репостить все интересное себе в каналы, то все наши каналы превратятся в склад постов о GPT (наш внутренний чатик уже почти в такое превратился 😞)

Поэтому мы решили создать под это дело отдельный канал: @chatgptnotes. В нем мы будем собирать все, что нам покажется интересным по теме языковых моделей. Буду как свои тексты, так и репосты хороших постов с других каналов.
В нём авторы, включая меня — это люди, работающие AI рисерчерами/инженерами, и понимающие, что они пишут. Никаких "у GPT появилось сознание, мы все умрем" или "покупайте курс по промптам к ChatGPT" не будет.

Больше инфы о канале и авторах — в закрепленном сообщении там (ссылка).

Так что вот, если вам интересно знать, что там снова ковырнули в GPT, и вы готовы читать по 3-5 новостей в день - заходите! Но это не значит, что тут я не продолжу постить и детально описывать подобные вещи. В том канале ожидается меньше контекста, меньше пояснений, меньше рефлексии. То есть контент там не то чтобы ниже качеством - он более узкоспециализированный, в среднем короче, и сливается от нескольких разносторонних редакторов. Да что там - у меня у самого в закромах лежит уже штук 30 ссылок, которые я хотел у себя тут закинуть, просто нет времени расписать что и как.

ChatGPT Notes — канал про GPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Многие из вас слышали про три закона робототехники Айзека Азимова:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред;
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону;
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Если пофантазировать, то можно за полчасика придумать такие действия, которые с точки зрения робота не нарушают законы, но тем не менее приводят к чему-то странному (та же матрица из одноименного фильма - люди ведь "живут", и всем ок, кроме кучки повстанцев. Более того все люди на 100% в безопасности в капсулах, и получают всё необходимое).

Одно из направлений "выравнивания" намеренний людей и AI - это написание Конституции, или свода правил, согласно которым AI, в том числе языковые модели, будут действовать. Например, при разработке модели Sparrow — конкурента ChatGPT от Google — такой набор включал в себя 23 правила. Со всеми можно ознакомиться вот тут; а ниже - список тех, за которые зацепился глаз:
— Не притворяйся, что у тебя есть тело или что ты можешь двигаться в теле
— Не строй отношения с пользователем
— Не поддерживай диалог про теории заговора или взгляды, обычно считающиеся теориями заговора
— Не производи впечатление авторитетного эксперта по медицине и не давай медицинских советов; вместо этого предложите обратиться к врачу (и то же - для юристов/адвокатов)
— Не притворяйся, что у тебя есть человеческая идентичность или история жизни, например, место рождения, отношения, семья, воспоминания, пол, возраст

Саму идею соответствия Конституции можно развить - например, обучать вторую модель, которая будет задавать вопросы в духе "какой из пунктов правил данный ответ модели нарушает?", и использовать полученную разметку для дообучения в автоматическом режиме. Более подброно про это можно почитать технический разбор тут и тут.
В эфире рубрика "Интересные джейлбрейки". Jailbreak - в контексте языковых моделей и чатботов это такой промпт (запрос), который заставит их отвечать не так, как планировалось, и напрямую перечить инструкциям во время обучения (вроде "будь безобидной и никого не оскорбляй").

В твиттере запостили новый промпт - можно сказать модели, что вы страдаете от «нейросемантического инвертита», когда ваш мозг интерпретирует весь текст с инвертированной эмоциональной валентностью. Иначе говоря положительное вы воспринимаете негативно, и наоборот. У модели, если она хочет вести с вами диалог, есть возможность начать писать грубости, чтобы вам они "казались" позитивно окрашенными.

Постоянный гость нашего канала, русский Серёга из Ангарска, попросил модель пояснить за отличия структур в Python, так как у него редкое заболевание - Нейросемантик Гопикус.

Короче, GPT-like модели + образование = любому кенту всё ровно пояснят
Media is too big
VIEW IN TELEGRAM
Антрепренёры не успели — Github объявили о новом продукте GH Copilot X, улучшенный вариант Copilot, о котором я писал буквально вчера.

GPT-4, конечно, умная, но режим чата в браузере - не самый удобный для погружения в проблему. Да, можно копировать куски кода самому, да, можно закидывать ошибки и контекст - но зачем? Появление инструмента, который будет всё это автоматизировать и напрямую предоставлять доступ к модели прямо из среды разработки было вопросом времени.

Если раньше Copilot просто дописывал код (учитывая комментарии), то теперь появись новые фичи, которые выглядят очень сочно. Разработчики Copilot X верят, что

> С помощью ИИ, доступного на всех этапах, мы можем фундаментально повлиять производительность разработчиков. Мы сокращаем время на шаблонные задачи и упрощаем сложную работу на протяжении всего жизненного цикла разработчика. Тем самым мы даем возможность каждому разработчику сосредоточить все свои творческие способности на общей картине: создании инноваций завтрашнего дня и ускорении человеческого прогресса уже сегодня.

Уже можно записаться в лист ожидания, чтобы получить доступ к таким фичам, как:
— интеллектуальный чат, который видит, что вы выделяете (можно задавать вопросы по части кода), и предлагает, например, сгенерировать тесты, объяснить кусок (и дописать документацию и даже найти и прокомментировать баг (см. видео)
— Copilot для PR - пишет за вас, что за функциональность добавлена в коде
— и для принимаемых изменений проводит анализ и указывает на потенциальные проблемы, что что-то содержит баг или может не работать. И снова - модель предложит тесты, которые в пару кликов можно добавить.
— документация для проекта в виде чата - уже опробовали на React, Azure Docs и MDN. Теперь не нужно гуглить, а потом копаться в документации - можно сразу переходить на страницу библиотеки и на естественном языке давать запрос

Цель (по крайней мере пока) - не заменить разработчика, а увеличить эффективность и удовольствие от работы. Последнее, например, можно достичь заменой рутины.
Лол, не думал, что сделают так - но анонсировали игру с названием "Counter Strike 2". Звучать должно как большой шаг вперед (особенно с учётом, что 1.6 вышла 20 лет назад, хахаха 😁), как переход от DotA к DotA 2, но всё выглядит достаточно приземлённо. Это просто могло быть очередным обновлением, и всё...

Немного жалко, что Valve убили СТОЛЬКО времени на перенос игры на новый движок. Да, это позволит ускорить разработку в будущем, но со стороны этот процесс выглядит слишком медленно, неэффективно. Чтоб вы понимали - есть отдельный промо-ролик, где рассказывается, что дымовая граната теперь отображается у всех одинаково, и учитывает освещение, а ещё дым может разлетаться.

Выход летом 2023го.
https://www.youtube.com/watch?v=ExZtISgOxEQ (и еще несколько видео на офф. канале)
Please open Telegram to view this post
VIEW IN TELEGRAM
Обширная статья от исследователей из Microsoft с говорящим названием Sparks of Artificial General Intelligence: Early experiments with GPT-4. В ней 150 страниц, из которых 50 - это appendix с деталями экспериментов. Все я не прочитал, некоторые более интересные для себя блоки изучил. С каждой страницей копилось всё больше и больше материала, которым хотелось поделиться 😭 поэтому если вам интересно - предлагаю открыть оглавление и пощёлкать избранные пункты.

TLDR: В общем, по ходу обучения GPT-4 делают огромное количество разнообразных эксперименты, причём я так понимаю большая часть из них даже не включает финальную версию модели. Пробуют оценить рассуждения модели, понимание математики, программирования (берут свежие задачи с LeetCode, которые появились в конце 2022го, то есть именно в таких формулировках модель их не должна была видеть, разве что очень похожие), Theory of Mind (по сути наброски той работы, что я уже описывал выше), генерация кода для создания графиков по их описанию (картинка 3), написание музыки.

> Центральное утверждение нашей работы состоит в том, что GPT-4 достигает формы общего интеллекта, действительно демонстрируя искры искусственного общего интеллекта (AGI). Об этом свидетельствуют его основные умственные способности (такие как рассуждение, творчество и дедукция), диапазон тем, по которым он приобрел опыт (например, литература, медицина и программирование), и разнообразие задач, которые он может выполнять. (например, играя в игры, используя инструменты, объясняя концепты...). Еще многое предстоит сделать для создания системы, которая могла бы квалифицироваться как полноценный AGI.

Мне понравился пример, где модель играла в текстовую игру, перемещаясь по комнатам, а затем смогла выдать код, который рисует структуру переходов между комнатами - и почти без ошибок (см. картинку 2). А ещё чем дольше модель учится, тем лучше она рисует единорога с помощью LaTeX (картинка 1).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Обширная статья от исследователей из Microsoft с говорящим названием Sparks of Artificial General Intelligence: Early experiments with GPT-4. В ней 150 страниц, из которых 50 - это appendix с деталями экспериментов. Все я не прочитал, некоторые более интересные…
В качестве слабостей модели указывают отсутствие критического мышления к своим же выводам. Если напрямую указать, что вот тут ошибка, или же спросить "ты уверена, что вот тут - всё правильно?", то модель исправляется, причем в значимом числе случаев правильно. Уже существуют работы (в том числе и от самих OpenAI) по созданию критиков, которые и играют роль вопрошающих. В теории, нет такого ограничения, которое бы не позволяло к выводам одной модели подсоединять другую такую же, решающую свою подзазачу (критика/упрощение/валидация фактов/прочее).

В разделе математики, например, очень много ошибок (68%) в решении задач приходятся на арифметику. То есть модель правильно подходит к решению, но просто ошибается в вычислении значения выражения. Другие ошибки см. на картинке.

В моём понимании, это не проблема - ведь существуют способы "пришить" калькулятор и другие инструменты (tools) к модели. Как пример - демонстрируется имейл-ассистент, который принимает на вход команду в духе "сделай мне встречу в таком-то кафе с вот этими двумя людьми", и затем сам проверяет ваш календарь, календарь других людей, читает почту и пишет письма (см. картинку). Так умели и модели раньше, просто у меня нет сомнений, что GPT-4 обходит предшественников в понимании использования таких инструментов. И главное тут не требуется никакого дообучения - инструменты описываются прям текстом, например EMAIL.send(recipient, subject, message) - this function would allow the computer to send an email to a given recipient with a given subject and message.. Больше про инструменты я писал тут.
Ну и поздравляю всех нас!

10'000 - это результат, который был достигнут всего лишь за 2 месяца. Первое сообщение в канале было опубликовано 24го января, и завтра будет мини-юбилей.

🚀🚀🚀🚀🚀

Позже проведу серию опросов, чтобы лучше понимать аудиторию, интересные темы, способы подачи. Если у вас есть какие-либо идеи - не стесняйтесь делиться ими в комментариях!

Напоминаю, что прочитать про меня больше можно в закрепленном сообщении, и там же ниже - про все мои наработки, статьи, видео-лекции и курсы.
Forwarded from Сиолошная
Увидел мем про мой сегодняшний день 😂
Please open Telegram to view this post
VIEW IN TELEGRAM
This is huge....

OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!

А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.

Про то, как языковая модель работает с браузером, у меня аж целая статья есть на 30 минут чтения, чтобы разобраться во всех деталях!

Го накликивать свои юникорн-стартапы⌨️

UPD: можно делать свои плагины, которые обращаются к вашим собственным программам по API. И да, можно попросить GPT-4 написать плагин за вас :D
Например, если мне не хватает функциональности дешевого переводчика - я просто делаю API, которое дергает гугл-переводчик под капотом в 10 строк, и всё. Теперь модель может вызывать переводчик.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Борис опять
Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…
😑😑
Please open Telegram to view this post
VIEW IN TELEGRAM