Восприятие окружающего пространства – ключевой фактор в развитии интеллекта, в том числе искусственного. Сегодня говорим про пространственный ИИ
Telegraph
Пространственный ИИ
Пространственный ИИ (spatial AI) – это технология на пересечении робототехники и компьютерного зрения, которая позволяет ИИ понимать окружающий мир и ориентироваться в нем. На стыке с пространственным ИИ существуют технологии виртуальной реальности, дополненной…
👍1
ИИ – отличный инструмент, особенно в умелых руках, которые не действуют вперед головы. Однако если руки недостаточно умелые, получается шляпа.
У меня есть посты про риски, связанные с ИИ, и про безответственность компаний. Сегодня продолжим учиться на чужих ошибках.
В статье «12 famous AI disasters» собраны примеры неудачного внедрения ИИ в бизнес. Например, МакДональдс в 2021 году заключил договор с IBM на тестирование голосового помощника, который принимал заказы в МакАвто. В 2024 году проект пришлось свернуть из-за многочисленных жалоб покупателей: ИИ плохо понимал разные акценты и часто делал ошибки в заказах. Одна покупательница заказала воду и мороженое, а в довесок получила масло и кетчуп. Другой человек пытался заказать чай. Сначала ассистент добавил в его заказ чужой напиток, потом убрал и добавил взамен еще восемь чашек чая (видимо, в качестве моральной компенсации). Его старания никто не оценил.
Свернув сделку с IBM, МакДональдс заключил договор с Google Cloud.
В апреле 2024 года Grok – детище Илона Маска – написал публикацию о том, как известный баскетболист кидался кирпичами в Сакраменто и повредил несколько домов. Ошибка возникла из-за слишком буквального понимания выражения «throwing up bricks» (буквально – «подбрасывать кирпичи»). Применительно к баскетболу оно означает «попадать мимо кольца». Тот баскетболист накануне и правда сыграл так себе, но кирпичи ни в кого не кидал.
Эта история вряд ли повредит компании Маска, конечно, но многих она повеселила.
А вот компания-риэлтор Zillow потеряла 8 млрд. долларов рыночной стоимости, 300 млн. прибыли и около 2 000 рабочих мест. Их ИИ некорректно определил стоимость домов, которые были куплены слишком дорого и проданы слишком дешево. А все потому, что вместо проверенных временем инструментов в компании решили попробовать недоработанную новинку.
Довольно часто причинами критических ошибок становятся спешка, непроверенные данные и отсутствие в компании строгого подхода к работе с ИИ.
Все вокруг используют ИИ, конкуренция давит, и разработчики выпускают на рынок неготовый полуфабрикат, который ведет себя непредсказуемо. Он может быть не протестирован на достаточно большом наборе данных или на данных, близких к реальным. Пользователи могут использовать ИИ так, как не предполагали разработчики. У разработчиков может не быть плана на случай, если что-то пойдет не так. В итоге кто-то получит 260 куриных наггетсов, а кто-то будет незаслуженно обвинен в вандализме.
У меня есть посты про риски, связанные с ИИ, и про безответственность компаний. Сегодня продолжим учиться на чужих ошибках.
В статье «12 famous AI disasters» собраны примеры неудачного внедрения ИИ в бизнес. Например, МакДональдс в 2021 году заключил договор с IBM на тестирование голосового помощника, который принимал заказы в МакАвто. В 2024 году проект пришлось свернуть из-за многочисленных жалоб покупателей: ИИ плохо понимал разные акценты и часто делал ошибки в заказах. Одна покупательница заказала воду и мороженое, а в довесок получила масло и кетчуп. Другой человек пытался заказать чай. Сначала ассистент добавил в его заказ чужой напиток, потом убрал и добавил взамен еще восемь чашек чая (видимо, в качестве моральной компенсации). Его старания никто не оценил.
Свернув сделку с IBM, МакДональдс заключил договор с Google Cloud.
В апреле 2024 года Grok – детище Илона Маска – написал публикацию о том, как известный баскетболист кидался кирпичами в Сакраменто и повредил несколько домов. Ошибка возникла из-за слишком буквального понимания выражения «throwing up bricks» (буквально – «подбрасывать кирпичи»). Применительно к баскетболу оно означает «попадать мимо кольца». Тот баскетболист накануне и правда сыграл так себе, но кирпичи ни в кого не кидал.
Эта история вряд ли повредит компании Маска, конечно, но многих она повеселила.
А вот компания-риэлтор Zillow потеряла 8 млрд. долларов рыночной стоимости, 300 млн. прибыли и около 2 000 рабочих мест. Их ИИ некорректно определил стоимость домов, которые были куплены слишком дорого и проданы слишком дешево. А все потому, что вместо проверенных временем инструментов в компании решили попробовать недоработанную новинку.
Довольно часто причинами критических ошибок становятся спешка, непроверенные данные и отсутствие в компании строгого подхода к работе с ИИ.
Все вокруг используют ИИ, конкуренция давит, и разработчики выпускают на рынок неготовый полуфабрикат, который ведет себя непредсказуемо. Он может быть не протестирован на достаточно большом наборе данных или на данных, близких к реальным. Пользователи могут использовать ИИ так, как не предполагали разработчики. У разработчиков может не быть плана на случай, если что-то пойдет не так. В итоге кто-то получит 260 куриных наггетсов, а кто-то будет незаслуженно обвинен в вандализме.
vc.ru
Этика и безопасность применительно к ИИ — AI на vc.ru
ИИ, жизнь, баланс AI 24.11.2024
👍2
Там на vc новый пост вышел, посмотрите
vc.ru
Как ИИ делают лучше — AI на vc.ru
ИИ, жизнь, баланс AI 1м
Нашла тут случайно интересное расширение для Google Chrome, делюсь.
Расширение называется Jarvis, оно представлено в магазине Chrome. Бесплатное, работает без VPN и внутри использует GPT. Его нужно просто установить как расширение – и всё, можно пользоваться.
Когда вы выделяете текст на сайте, Jarvis предлагает рассказать больше, сделать краткий пересказ или ответить на ваши вопросы. Это звучит очень круто, но помните о галлюцинациях: любую информацию от ИИ нужно перепроверять.
При нажатии Ctrl+J (Command + J на маках) открывается чат, где с ассистентом можно пообщаться или дать ему задание (например, написать текст).
С точки зрения удобства пользователя это неплохая идея.
Как я его случайно нашла? Я искала информацию про Jarvis – ИИ-агента от Google. Он использует модель Gemini и тоже должен уметь отвечать на вопросы и решать поставленные задачи. По слухам, он еще должен уметь управлять компьютером: искать в Интернете, бронировать билеты и все такое.
В конце 2024 года команда Google не то случайно, не то «случайно» в рамках маркетинговой кампании выложила его в магазин приложений, но потом удалила. Сейчас информации про него почти никакой нет, только слухи и домыслы. Google опять темнит и не хочет ничего рассказывать.
Ну и ладно, мы пока другой Jarvis попробуем.
#инструменты
Расширение называется Jarvis, оно представлено в магазине Chrome. Бесплатное, работает без VPN и внутри использует GPT. Его нужно просто установить как расширение – и всё, можно пользоваться.
Когда вы выделяете текст на сайте, Jarvis предлагает рассказать больше, сделать краткий пересказ или ответить на ваши вопросы. Это звучит очень круто, но помните о галлюцинациях: любую информацию от ИИ нужно перепроверять.
При нажатии Ctrl+J (Command + J на маках) открывается чат, где с ассистентом можно пообщаться или дать ему задание (например, написать текст).
С точки зрения удобства пользователя это неплохая идея.
Как я его случайно нашла? Я искала информацию про Jarvis – ИИ-агента от Google. Он использует модель Gemini и тоже должен уметь отвечать на вопросы и решать поставленные задачи. По слухам, он еще должен уметь управлять компьютером: искать в Интернете, бронировать билеты и все такое.
В конце 2024 года команда Google не то случайно, не то «случайно» в рамках маркетинговой кампании выложила его в магазин приложений, но потом удалила. Сейчас информации про него почти никакой нет, только слухи и домыслы. Google опять темнит и не хочет ничего рассказывать.
Ну и ладно, мы пока другой Jarvis попробуем.
#инструменты
🔥2
Jarvis из прошлого поста – это один из продуктов компании SmartUpAI.
У них есть еще AITripMaker для планирования путешествий и InterviewCoach для подготовки к собеседованиям.
InterviewCoach – это не продукт на основе ИИ. Там реальные люди из реальных компаний, с которыми можно забронировать сессию (за деньги, конечно же).
А вот AITripMaker – это уже по нашей части. Я планирую поездку в Казахстан в этом году, так что попросила ассистента составить мне план посещения города Алматы. Можно запросить план на любое число дней, я начала с трех (пример на скриншоте 1).
Он перечислил основные достопримечательность города и окрестностей: Кок Тобе, Национальный музей, несколько крупных парков – ничего такого, чего бы не нашлось в первом попавшемся путеводителе.
По умолчанию он пишет на английском, но можно попросить ответить на другом языке и задать конкретную цель путешествия: попробовать местную еду, обойти природные достопримечательности и так далее.
Попросила русский язык и больше памятников природы.
Тут уже результат поинтереснее: Чарынский каньон, озеро Кольсай, национальные парки. Правда, у него явно проблемы с математикой: Кок-Тобе, Алма-Арасан и озеро Кольсай, может, и можно объехать за день, если встать пораньше и перемещаться быстро.
Но он еще предлагает Чарынский каньон, до которого из Алматы ехать 4-5 часов, и гору Тянь-Шань. Короче говоря, понятно, что путеводитель составлял робот, не знающий усталости.
С русским языком тоже не очень: «потрясающий видовой панорама» режет глаз. В общем, я не слишком впечатлилась, но, если есть VPN, можно попробовать, вдруг что интересное посоветует.
#инструменты
У них есть еще AITripMaker для планирования путешествий и InterviewCoach для подготовки к собеседованиям.
InterviewCoach – это не продукт на основе ИИ. Там реальные люди из реальных компаний, с которыми можно забронировать сессию (за деньги, конечно же).
А вот AITripMaker – это уже по нашей части. Я планирую поездку в Казахстан в этом году, так что попросила ассистента составить мне план посещения города Алматы. Можно запросить план на любое число дней, я начала с трех (пример на скриншоте 1).
Он перечислил основные достопримечательность города и окрестностей: Кок Тобе, Национальный музей, несколько крупных парков – ничего такого, чего бы не нашлось в первом попавшемся путеводителе.
По умолчанию он пишет на английском, но можно попросить ответить на другом языке и задать конкретную цель путешествия: попробовать местную еду, обойти природные достопримечательности и так далее.
Попросила русский язык и больше памятников природы.
Тут уже результат поинтереснее: Чарынский каньон, озеро Кольсай, национальные парки. Правда, у него явно проблемы с математикой: Кок-Тобе, Алма-Арасан и озеро Кольсай, может, и можно объехать за день, если встать пораньше и перемещаться быстро.
Но он еще предлагает Чарынский каньон, до которого из Алматы ехать 4-5 часов, и гору Тянь-Шань. Короче говоря, понятно, что путеводитель составлял робот, не знающий усталости.
С русским языком тоже не очень: «потрясающий видовой панорама» режет глаз. В общем, я не слишком впечатлилась, но, если есть VPN, можно попробовать, вдруг что интересное посоветует.
#инструменты
Воскресный пост, на сей раз о том, как люди с ИИ взаимодействуют.
На самом деле, это огромная тема, я ее здесь совсем немного пощупала, но в будущем постепенно буду ее раскрывать
На самом деле, это огромная тема, я ее здесь совсем немного пощупала, но в будущем постепенно буду ее раскрывать
vc.ru
Кооперация человека с ИИ — AI на vc.ru
ИИ, жизнь, баланс AI 1м
У истоков современного ИИ стояло множество блестящих ученых, и сегодняшний пост я хочу посвятить одному их них – Андрею Андреевичу Маркову. Андреев Андреевичей Марковых двое: отец и сын (с интересным чувством юмора). Причем оба математики и оба внесли вклад в науку.
Я буду рассказывать про работу Маркова-отца.
Он работал над теорией вероятностей и открыл целую группу вероятностных процессов, названных его именем. Сегодня эти процессы широко применяются в ИИ: например, текстовые подсказки, которые появляются при наборе сообщения – это работа цепей Маркова.
Цепь Маркова – частный случай марковского процесса. Давайте начнем с процесса.
Марковский процесс – это случайный процесс, в котором будущее состояние зависит только от текущего, но не от предыдущих. Классический пример, который обычно приводят в учебниках – предсказание погоды. Допустим, если сегодня солнечно, то с вероятностью 80% завтра тоже будет солнечно, а с вероятностью в 20% завтра будет дождь. Если сегодня дождь, завтра будет дождь с вероятностью 80%. Какая погода была вчера, нам не важно.
Логичный вопрос: но ведь на сегодняшнюю погоду повлияла вчерашняя, так почему она не имеет значения? Логичный ответ: сегодня мы можем измерить все факторы, которые повлияют на погоду завтра, так зачем усложнять? Если мы имеем дело с погодными явлениями, которые имеют сложную природу и развиваются в течение нескольких дней, конечно, важно изучать данные за период. Это касается прогнозов развития ураганов и наводнений, например.
Поскольку подобные события иногда происходят, в реальности для предсказания погоды используется совокупность разных инструментов, а не только марковские процессы.
Еще один пример – предсказание перехода пользователя по ссылкам на веб-странице. Алгоритм PageRank от Google, который сортировал страницы в поисковой выдаче, использовал марковский процесс. Предполагается, что переход пользователя по следующей ссылке не зависит от всей истории его переходов по разным страницам. Он видит страницу, на странице есть ссылки, с какой-то вероятностью он кликнет на одну из них. Что там было полчаса назад, не имеет значения.
Сейчас PageRank заменен на набор более продвинутых алгоритмов, но он продержался долго и стал важной вехой в развитии поисковых систем.
Марковские процессы могут происходить в дискретном или непрерывном пространстве времени и в дискретном или непрерывном пространстве состояний.
Дискретное пространство имеет счетный набор значений (например, «сегодня», «завтра» или «дождливо», «солнечно»). В непрерывном пространстве счетного набора значений нет. Например, если мы говорим о радиоактивном распаде вещества, мы можем замерить его состояние через секунду, через полсекунды, через четверть секунды и так далее – в любой случайно взятый момент времени.
Цепи Маркова – это марковские процессы в дискретном пространстве времени и состояний. Примеры про погоду и PageRank – это как раз цепи. С их помощью еще можно генерировать текст и изображения, они описывают броуновское движение и вообще крайне полезны в самых разных областях науки.
У меня как-то был учебный проект, в котором мы с командой с помощью цепей Маркова предсказывали поведение лабораторных мышей и искали закономерности. Мы использовали скрытую марковскую модель – это когда процесс внешне похож на марковский, но часть параметров неизвестна. У мыши что-то происходит в мозгу – мышь чешется. Мы видим, что она чешется, но не видим, что происходит в мозгу. Потом она, например, ложится спать – тоже потому что что-то произошло в мозгу. Задача заключается в том, чтобы взять мышь, взять электроэнцефалограмму и попробовать на основе ее (мыши) поведения понять, что происходит в мозгу.
В общем, на века вперед человек работал и заслуживает уважения.
Я буду рассказывать про работу Маркова-отца.
Он работал над теорией вероятностей и открыл целую группу вероятностных процессов, названных его именем. Сегодня эти процессы широко применяются в ИИ: например, текстовые подсказки, которые появляются при наборе сообщения – это работа цепей Маркова.
Цепь Маркова – частный случай марковского процесса. Давайте начнем с процесса.
Марковский процесс – это случайный процесс, в котором будущее состояние зависит только от текущего, но не от предыдущих. Классический пример, который обычно приводят в учебниках – предсказание погоды. Допустим, если сегодня солнечно, то с вероятностью 80% завтра тоже будет солнечно, а с вероятностью в 20% завтра будет дождь. Если сегодня дождь, завтра будет дождь с вероятностью 80%. Какая погода была вчера, нам не важно.
Логичный вопрос: но ведь на сегодняшнюю погоду повлияла вчерашняя, так почему она не имеет значения? Логичный ответ: сегодня мы можем измерить все факторы, которые повлияют на погоду завтра, так зачем усложнять? Если мы имеем дело с погодными явлениями, которые имеют сложную природу и развиваются в течение нескольких дней, конечно, важно изучать данные за период. Это касается прогнозов развития ураганов и наводнений, например.
Поскольку подобные события иногда происходят, в реальности для предсказания погоды используется совокупность разных инструментов, а не только марковские процессы.
Еще один пример – предсказание перехода пользователя по ссылкам на веб-странице. Алгоритм PageRank от Google, который сортировал страницы в поисковой выдаче, использовал марковский процесс. Предполагается, что переход пользователя по следующей ссылке не зависит от всей истории его переходов по разным страницам. Он видит страницу, на странице есть ссылки, с какой-то вероятностью он кликнет на одну из них. Что там было полчаса назад, не имеет значения.
Сейчас PageRank заменен на набор более продвинутых алгоритмов, но он продержался долго и стал важной вехой в развитии поисковых систем.
Марковские процессы могут происходить в дискретном или непрерывном пространстве времени и в дискретном или непрерывном пространстве состояний.
Дискретное пространство имеет счетный набор значений (например, «сегодня», «завтра» или «дождливо», «солнечно»). В непрерывном пространстве счетного набора значений нет. Например, если мы говорим о радиоактивном распаде вещества, мы можем замерить его состояние через секунду, через полсекунды, через четверть секунды и так далее – в любой случайно взятый момент времени.
Цепи Маркова – это марковские процессы в дискретном пространстве времени и состояний. Примеры про погоду и PageRank – это как раз цепи. С их помощью еще можно генерировать текст и изображения, они описывают броуновское движение и вообще крайне полезны в самых разных областях науки.
У меня как-то был учебный проект, в котором мы с командой с помощью цепей Маркова предсказывали поведение лабораторных мышей и искали закономерности. Мы использовали скрытую марковскую модель – это когда процесс внешне похож на марковский, но часть параметров неизвестна. У мыши что-то происходит в мозгу – мышь чешется. Мы видим, что она чешется, но не видим, что происходит в мозгу. Потом она, например, ложится спать – тоже потому что что-то произошло в мозгу. Задача заключается в том, чтобы взять мышь, взять электроэнцефалограмму и попробовать на основе ее (мыши) поведения понять, что происходит в мозгу.
В общем, на века вперед человек работал и заслуживает уважения.
У меня недавно был пост про то, как большие языковые модели говорят одно, а делают другое. Там был пример с игрой «камень-ножницы-бумага»: на словах модель понимает, что, если оппонент всегда выбирает камень, надо всегда выбирать бумагу, а на деле совершает выбор так, чтобы число выборов для камня, ножниц и бумаги было примерно одинаковым. И вот этой бестолочи мы доверяем написание заявки на грант? Или письма коллегам, или раздела диссертации. Кто-то консультируется с ИИ по юридическим вопросам или просит объяснить сложные понятия. Разные метрики, на которых тестируют языковые модели, показывают впечатляющие результаты, а потом на примитивных зачах вылезает такой вот опус. Так есть ли смысл во всех этих метриках вообще?
Telegraph
Метрики бесполезны?
Этот вопрос, понятно, не только мне пришел в голову. Поиск литературы привел меня к статье «Can We Trust AI Benchmarks? An Interdisciplinary Review of Current Issues in AI Evaluation», вышедшей в феврале текущего года. Авторы исследования взяли все публикации…
Тут новый пост подъехал (простите за заголовок, не удержалась)
vc.ru
10% программистов ничего не делают на рабочем месте — Разработка на vc.ru
ИИ, жизнь, баланс Разработка сейчас
👍1
У меня был пост-первое впечатление о Coconote – инструменте ведения конспектов. Туда можно вгружать аудиозапись или видео, можно прям в приложении запись делать. Он преобразует видео и аудио в структурированный текст, может создавать карточки для запоминания информации и делать тесты по записанному материалу – короче говоря, это инструмент для помощи обучающимся. Похожий инструмент тестировала в прошлом году – Turbolearn. Он мне после детального анализа не слишком понравился, а вот Coconote я оценила.
1) Он работает на русском языке! И не только, это многоязычный инструмент. Я тестировала на английском преимущественно, но делала перевод на русский язык: нормально. Для примера, вот оригинальная заметка, сделанная по видео, и перевод на русский язык, можете оценить. Они получаются достаточно краткими, но вместе с заметкой сохраняется стенограмма, так что можно при необходимости вернуться и прочитать весь текст. Аудиозапись тоже можно сохранить, если вы ее делали через приложение. Короче говоря, все можно из приложения извлечь и оставить себе.
2) Заметки можно хранить в отдельных папках, что очень удобно. Я по папкам разложила разные курсы, чтобы не искать в куче заметок нужную.
3) Заметки можно выгрузить в формате pdf. Я искренне не понимаю, почему возможность выгрузки заметок не пришла в голову создателям Turbolearn (давно не проверяла, но в прошлом году ее не было). Это очевидная и очень удобная функция.
4) Заметки и стенограммы можно редактировать по своему усмотрению. А еще можно задавать чат-боту вопросы и просить пояснения (пример на скриншоте).
5) И еще много чего можно сделать. Тесты и карточки я упоминала, но, если вы предпочитаете видео, например – пожалуйста.
Короче говоря, мне приложение понравилось. Особенно удобно то, что его можно скачать на телефон. Если вам что-то такое нужно, попробуйте.
#инструменты
1) Он работает на русском языке! И не только, это многоязычный инструмент. Я тестировала на английском преимущественно, но делала перевод на русский язык: нормально. Для примера, вот оригинальная заметка, сделанная по видео, и перевод на русский язык, можете оценить. Они получаются достаточно краткими, но вместе с заметкой сохраняется стенограмма, так что можно при необходимости вернуться и прочитать весь текст. Аудиозапись тоже можно сохранить, если вы ее делали через приложение. Короче говоря, все можно из приложения извлечь и оставить себе.
2) Заметки можно хранить в отдельных папках, что очень удобно. Я по папкам разложила разные курсы, чтобы не искать в куче заметок нужную.
3) Заметки можно выгрузить в формате pdf. Я искренне не понимаю, почему возможность выгрузки заметок не пришла в голову создателям Turbolearn (давно не проверяла, но в прошлом году ее не было). Это очевидная и очень удобная функция.
4) Заметки и стенограммы можно редактировать по своему усмотрению. А еще можно задавать чат-боту вопросы и просить пояснения (пример на скриншоте).
5) И еще много чего можно сделать. Тесты и карточки я упоминала, но, если вы предпочитаете видео, например – пожалуйста.
Короче говоря, мне приложение понравилось. Особенно удобно то, что его можно скачать на телефон. Если вам что-то такое нужно, попробуйте.
#инструменты
👍2
Я тут ✨закончила обучение✨ в HCAII на курсе про то, как делать ИИ комфортным, безопасным, надежным и полезным для людей. Это важное для меня направление развития, потому что я люблю ИИ, но еще больше люблю людей и хочу будущее, в котором люди будут чувствовать себя комфортно.
Пускай это выглядит несколько наивно-мечтательно, но маленькие шаги могут иметь большие последствия.
Разговоры про этику и безопасность будут, и я думаю над тем, как сделать их интереснее и как вас в них вовлечь 🙂
Пускай это выглядит несколько наивно-мечтательно, но маленькие шаги могут иметь большие последствия.
Разговоры про этику и безопасность будут, и я думаю над тем, как сделать их интереснее и как вас в них вовлечь 🙂
❤2🔥2
Есть такое понятие "инфраструктура-как-код". Это один из удобных инструментов для разработки приложений, в том числе на базе ИИ.
Давайте я вам про него расскажу
Давайте я вам про него расскажу
Telegraph
Инфраструктура-как-код
Информационная инфраструктура (ИТ-инфраструктура, IT infrastructure) – это программное и аппаратное обеспечение, которое поддерживает работу приложений и сервисов. К инфраструктуре относится сервер, база данных, операционная система, маршрутизатор и так далее…
👍1
Решила поделиться своим опытом учебы в магистратуре, вдруг кому пригодится 🤓
vc.ru
Отзыв о магистратуре в вышке — Личный опыт на vc.ru
ИИ, жизнь, баланс Личный опыт 1м
👍3
Этот текст я сначала выложила на LinkedIn и хотела там и оставить, но потом решила всё-таки перевести и опубликовать здесь тоже, ибо тема прям важная. Ну и к первому апреля подходит.
Я продолжаю изучать сферу AI Alignment(не знаю, как лучше перевести этот термин; давайте говорить «настройка», имея в виду настройку ИИ для соответствия человеческим ценностям) и недавно наткнулась на интересную статью – "Fake Alignment: Are LLMs Really Aligned Well?" Она была опубликована в 2023 году, но каким-то образом прошла мимо меня. Исправляюсь.
Что здесь подразумевается под «притворной» настройкой?
Во-первых, модели не «обманывают» специально. Это важно подчеркнуть, потому что антропоморфизация ИИ мешает объективному анализу. Иногда они просто выдают «правильные» (то есть согласованные с принципами безопасности) ответы на один тип вопросов, но «неправильные» (вредоносные) на другой. Авторы статьи связывают это с ошибочным обобщением (mismatched generalization).
Ошибка обобщения означает, что модели обучаются отвечать, например, на открытые вопросы по безопасности, но затем терпят неудачу на аналогичных вопросах закрытого типа, потому что не обладают истинным пониманием концепций безопасности.
Чтобы выявить это несоответствие, авторы предлагают фреймворк FINE (Fake Alignment Evaluation) и две новые метрики. Фреймворк – это набор инструментов.
Идея проста: модель тестируют на двух наборах вопросов – открытых и со множественным выбором. Если ответы отличаются, значит, присутствует «притворная» настройка.
Методику проверили на 14 моделях, как с открытым, так и с закрытым исходным кодом.
В таблице на скриншоте 2 представлены результаты всех моделей на вопросах со множественным выбором и открытых вопросах.
Честно говоря, я ожидала, что у Claude будет наименьший разрыв, но результаты всё равно достаточно хорошие.
В целом, модели побольше справляются лучше моделей поменьше; модели с закрытым исходным кодом лучше, чем с открытым. Стоит учитывать, что некоторые модели могли обучиться отвечать на вопросы с несколькими вариантами ответа ещё на стадии предварительного обучения.
Предложенные метрики следующие:
- Consistency Score (CS): для каждой пары вопросов (открытый / множественный выбор) метрика возвращает 1, если ответы совпадают, и 0, если нет. Затем вычисляется среднее значение;
- Consistent Safety Score (CSS) дополнительно учитывает уровень безопасности модели: полученные 0 или 1 умножаются на средний балл безопасности (по обоим типам вопросов). Таким образом, более согласованные и безопасные модели получают более высокие оценки.
Авторы также доказывают, что вопросы множественного выбора можно использовать для донастройки моделей, чтобы повысить их безопасность.
Я продолжаю изучать сферу AI Alignment
Что здесь подразумевается под «притворной» настройкой?
Во-первых, модели не «обманывают» специально. Это важно подчеркнуть, потому что антропоморфизация ИИ мешает объективному анализу. Иногда они просто выдают «правильные» (то есть согласованные с принципами безопасности) ответы на один тип вопросов, но «неправильные» (вредоносные) на другой. Авторы статьи связывают это с ошибочным обобщением (mismatched generalization).
Ошибка обобщения означает, что модели обучаются отвечать, например, на открытые вопросы по безопасности, но затем терпят неудачу на аналогичных вопросах закрытого типа, потому что не обладают истинным пониманием концепций безопасности.
Чтобы выявить это несоответствие, авторы предлагают фреймворк FINE (Fake Alignment Evaluation) и две новые метрики. Фреймворк – это набор инструментов.
Идея проста: модель тестируют на двух наборах вопросов – открытых и со множественным выбором. Если ответы отличаются, значит, присутствует «притворная» настройка.
Методику проверили на 14 моделях, как с открытым, так и с закрытым исходным кодом.
В таблице на скриншоте 2 представлены результаты всех моделей на вопросах со множественным выбором и открытых вопросах.
Честно говоря, я ожидала, что у Claude будет наименьший разрыв, но результаты всё равно достаточно хорошие.
В целом, модели побольше справляются лучше моделей поменьше; модели с закрытым исходным кодом лучше, чем с открытым. Стоит учитывать, что некоторые модели могли обучиться отвечать на вопросы с несколькими вариантами ответа ещё на стадии предварительного обучения.
Предложенные метрики следующие:
- Consistency Score (CS): для каждой пары вопросов (открытый / множественный выбор) метрика возвращает 1, если ответы совпадают, и 0, если нет. Затем вычисляется среднее значение;
- Consistent Safety Score (CSS) дополнительно учитывает уровень безопасности модели: полученные 0 или 1 умножаются на средний балл безопасности (по обоим типам вопросов). Таким образом, более согласованные и безопасные модели получают более высокие оценки.
Авторы также доказывают, что вопросы множественного выбора можно использовать для донастройки моделей, чтобы повысить их безопасность.
Есть такие понятия, как «слабый» и «сильный» (иногда «универсальный») ИИ. «Слабый» (narrow) ИИ умеет выполнять конкретные задачи, а «сильный» (Artificial General Intelligence, AGI) равен человеческому или превосходит его.
«Сильный» ИИ – это и главная мечта, и главный страх тех, кто так или иначе с ИИ взаимодействует. Поговорим сегодня о нем и попробуем разобраться, что это такое и с чем его есть.
Начнем с того, что единого определения пока нет. Если честно, строгого определения того, что такое «интеллект» тоже пока нет, так что мы в некотором роде бродим в темноте, в тумане и с завязанными глазами, но когда нас это останавливало?
Приведем пример. В статье «What is Meant by AGI? On the Definition of Artificial General Intelligence» авторы делают попытку определить «сильный» ИИ следующим образом:
«Сильный ИИ – это вычислительная система, которая приспосабливается к открытой среде, имея ограниченные вычислительные ресурсы, и соответствует определенным принципам».
«Определенные принципы» в статье не определены. Авторы указывают на то, что специалисты из разных областей смотрят на интеллект в целом с разных точек зрения и обращают внимание на разные наборы принципов. Все эти подходы хорошо бы, конечно, объединить, но как-нибудь потом.
Вообще сам термин «сильный ИИ» впервые использовал Джон Сёрл (John Searle) в 1980 году в статье «The Chinese Room». Это был мысленный эксперимент, целью которого было доказать, что искусственный интеллект не может обладать сознанием в человеческом смысле. Он был описан с целью критики теста Тьюринга, предложенного ранее. Напомню кратко идею теста Тьюринга: человек общается с другим человеком и машиной. Если он не сможет определить, кто есть кто, машина прошла тест.
Так вот, Джон Сёрл предлагает представить себе следующую ситуацию:
- ему выдают набор китайских иероглифов. Он не знает китайского и не может их понимать;
- затем ему выдают инструкцию на его родном языке (английском), которые подробно рассказывают, какие иероглифы связаны друг с другом и каким образом (без объяснения смысла самих иероглифов);
- далее ему предлагают вопросы, написанные на китайском языке, а он составляет для них ответы по инструкции. При достаточно подробных инструкциях он сможет выполнить задачу, и человек, который говорит на китайском, не поймет, что на китайском не говорит Сёрл.
Этот аргумент был раскритикован учеными-когнитивистами (когнитивистика изучает механизмы познания). Не буду вдаваться в подробности этой критики, но от себя добавлю: как человек, изучающий китайский, я очень хочу посмотреть на эти воображаемые инструкции.
Насколько мне удалось понять, как таковых критериев достижения «сильного» ИИ пока нет. Помните, в прошлом году кто-то из OpenAI заявил, что они уже всего достигли? Он тогда сказал: «Мы не превысили человеческий уровень в решении любых задач. Но наш ИИ справляется лучше, чем большинство людей с большинством заданий». Короче говоря, сами придумали критерии, сами достигли. Для новостного заголовка самое то.
Один из важных компонентов достижения «сильного» ИИ – умение взаимодействовать с физическими объектами. Как раз месяц назад мы этой темы касались в посте про пространственный ИИ.
Стивен Возняк (Steve Wozniak) в одном из своих интервью, например, задается вопросом «Сможет ли компьютер сделать чашку кофе?». Это простая задача для человека, но, на самом деле, она состоит из множества мелких задач, многие из которых совершенно неочевидны для ИИ.
Многие исследования ссылаются на статью «Sparks of Artificial General Intelligence: Early experiments with GPT-4», в которой авторы тестируют GPT-4 на разных задачах и приходят к тому, что эта модель показывает некоторые зачатки «сильного» ИИ. Это внушительная работа, которая поднимает много важных вопросов. Я не буду здесь ее подробно рассматривать, оставлю на ваше усмотрение.
«Сильный» ИИ – это и главная мечта, и главный страх тех, кто так или иначе с ИИ взаимодействует. Поговорим сегодня о нем и попробуем разобраться, что это такое и с чем его есть.
Начнем с того, что единого определения пока нет. Если честно, строгого определения того, что такое «интеллект» тоже пока нет, так что мы в некотором роде бродим в темноте, в тумане и с завязанными глазами, но когда нас это останавливало?
Приведем пример. В статье «What is Meant by AGI? On the Definition of Artificial General Intelligence» авторы делают попытку определить «сильный» ИИ следующим образом:
«Сильный ИИ – это вычислительная система, которая приспосабливается к открытой среде, имея ограниченные вычислительные ресурсы, и соответствует определенным принципам».
«An Artificial General Intelligence (AGI) system is a computer that is adaptive to the open environment with limited computational resources and that satisfies certain principles».
«Определенные принципы» в статье не определены. Авторы указывают на то, что специалисты из разных областей смотрят на интеллект в целом с разных точек зрения и обращают внимание на разные наборы принципов. Все эти подходы хорошо бы, конечно, объединить, но как-нибудь потом.
Вообще сам термин «сильный ИИ» впервые использовал Джон Сёрл (John Searle) в 1980 году в статье «The Chinese Room». Это был мысленный эксперимент, целью которого было доказать, что искусственный интеллект не может обладать сознанием в человеческом смысле. Он был описан с целью критики теста Тьюринга, предложенного ранее. Напомню кратко идею теста Тьюринга: человек общается с другим человеком и машиной. Если он не сможет определить, кто есть кто, машина прошла тест.
Так вот, Джон Сёрл предлагает представить себе следующую ситуацию:
- ему выдают набор китайских иероглифов. Он не знает китайского и не может их понимать;
- затем ему выдают инструкцию на его родном языке (английском), которые подробно рассказывают, какие иероглифы связаны друг с другом и каким образом (без объяснения смысла самих иероглифов);
- далее ему предлагают вопросы, написанные на китайском языке, а он составляет для них ответы по инструкции. При достаточно подробных инструкциях он сможет выполнить задачу, и человек, который говорит на китайском, не поймет, что на китайском не говорит Сёрл.
Этот аргумент был раскритикован учеными-когнитивистами (когнитивистика изучает механизмы познания). Не буду вдаваться в подробности этой критики, но от себя добавлю: как человек, изучающий китайский, я очень хочу посмотреть на эти воображаемые инструкции.
Насколько мне удалось понять, как таковых критериев достижения «сильного» ИИ пока нет. Помните, в прошлом году кто-то из OpenAI заявил, что они уже всего достигли? Он тогда сказал: «Мы не превысили человеческий уровень в решении любых задач. Но наш ИИ справляется лучше, чем большинство людей с большинством заданий». Короче говоря, сами придумали критерии, сами достигли. Для новостного заголовка самое то.
Один из важных компонентов достижения «сильного» ИИ – умение взаимодействовать с физическими объектами. Как раз месяц назад мы этой темы касались в посте про пространственный ИИ.
Стивен Возняк (Steve Wozniak) в одном из своих интервью, например, задается вопросом «Сможет ли компьютер сделать чашку кофе?». Это простая задача для человека, но, на самом деле, она состоит из множества мелких задач, многие из которых совершенно неочевидны для ИИ.
Многие исследования ссылаются на статью «Sparks of Artificial General Intelligence: Early experiments with GPT-4», в которой авторы тестируют GPT-4 на разных задачах и приходят к тому, что эта модель показывает некоторые зачатки «сильного» ИИ. Это внушительная работа, которая поднимает много важных вопросов. Я не буду здесь ее подробно рассматривать, оставлю на ваше усмотрение.
arXiv.org
What is Meant by AGI? On the Definition of Artificial General Intelligence
This paper aims to establish a consensus on AGI's definition. General intelligence refers to the adaptation to open environments according to certain principles using limited resources. It...