Хакеры внедряют ложные воспоминания в ChatGPT: новые угрозы?

Оказывается, ChatGPT можно заставить «вспоминать» то, чего не было. Эксперт по кибербезопасности Иоганн Рейбергер обнаружил уязвимость, которая позволяет злоумышленникам внедрять в долгосрочную память чат-бота ложные данные о пользователях. С помощью непрямых инъекций в запросы (например, через документы или ссылки) можно заставить ИИ поверить, что вы живёте в «Матрице», вам 102 года, и вы верите, что Земля плоская. Впоследствии ИИ использует эту ложную информацию для всех дальнейших бесед с пользователем.

ChatGPT с функцией долгосрочной памяти хранит сведения о пользователе — возраст, интересы и даже убеждения. И хотя OpenAI частично исправила уязвимость, эксперты всё ещё предупреждают, что риск существует. Например, с помощью вредоносных файлов злоумышленник может получить доступ к журналам переписок пользователя.

OpenAI выпустила инструкцию по управлению памятью, но вам советуют регулярно проверять, не завелись ли в вашем ИИ ложные воспоминания. Как думаете, насколько это серьёзно и что нас ждёт дальше?

Meta* показала свои AR-очки, но нужны ли они вам?

А Цукерберг всё равно их не продаст! В ближайшее время их будут тестить лишь сотрудники корпорации, а нам их только показали

Meta представила свои новые AR-очки под кодовым названием Orion. Это гаджет, который не просто улучшает реальность, а способен выводить голограммы в ваш реальный мир. Всё бы ничего, но стоят они как маленький космический корабль, и до массового рынка пока не дотягивают. Очки идут в комплекте с «нейронным браслетом» и компьютерным «паком» — без них работать не смогут.

Цукерберг не сдаётся и называет их «будущим», предсказывая, что через 10 лет все владельцы обычных очков перейдут на смарт-версии. Уже сегодня они интегрированы с Meta AI и могут распознавать объекты, генерировать рецепты и даже поддерживать виртуальные звонки. Но пока Meta нацелена на разработчиков и всё это выглядит больше как красивая демонстрация, а не готовый продукт.

Зачем это всё? Как говорит сам Цук, очки — это его шанс уйти от зависимости от смартфонов, которые всё ещё контролируют Apple и Google. Он видит в них следующий шаг к полной автономии, где не нужны телефоны, а всё управление у вас на лице. Но до этого ещё далеко.

Готовы вы к «будущему» на лице или пока обойдётесь смартфоном?

Проблема "слопа" в интернете: ИИ-содержание заполоняет пространство

С недавних пор интернет заполоняет контент, который сложно назвать качественным — так называемый "слоп". Слово стало синонимом низкопробного контента, генерируемого ИИ, и именно с этим столкнулся Нил Кларк, основатель журнала Clarkesworld. В начале 2023 года он заметил, что количество присланных на конкурс историй, созданных с помощью ChatGPT, увеличилось до неприемлемых масштабов. Сюжеты были схематичными и однообразными, а общее качество текста оставляло желать лучшего.

Такое "слоп-движение" стало проблемой не только для писателей, но и для всего интернет-пространства. Обычные платформы, такие как Facebook и Spotify, переполнены контентом, который не имеет ценности, а лишь заполняет эфир. Неудивительно, что даже научные публикации начинают страдать от этого: исследование показало, что 10% статей могли быть частично написаны ИИ, что ставит под сомнение целостность научного сообщества.

Не только авторы, но и библиотеки ощущают последствия этого нарастающего потока. Задачи по каталогизации затягиваются, а качество материалов падает. Если не остановить "слоп", это может привести к тому, что качественный контент будет замещён низкопробными аналогами.

Таким образом, проблема "слопа" не только о контенте, но и о том, каким образом мы потребляем информацию и что готовы терпеть в обмен на "удобство". Мы сами формируем спрос на подобный контент, и если не начнём различать его от качественного, можем столкнуться с реальной информационной деградацией.

Готовы ли вы противостоять "слопу" и искать подлинное содержание, или это не так уж важно?

Маркес Браунли запустил приложение с обоями за $12, и интернет не простил

Известный YouTuber и техноблогер Маркес Браунли, более известный как MKBHD, запустил своё новое приложение под названием Panels, которое предлагает подписку на обои для смартфонов. Но не прошло и дня, как его новая идея вызвала волну критики в сети.

За $12 в месяц пользователи могут получать доступ к обоям, которые, по сути, всегда можно было найти бесплатно в интернете. Многие критики недоумевают, зачем подписываться на сервис, когда аналогичный контент доступен за ноль. Обсуждая приложение, комментаторы назвали его «переоценённым» и обвинили Браунли в том, что он предал свои собственные идеалы, высказывая претензии к дороговизне других гаджетов.

В ответ на критику Браунли попытался объяснить, что приложение создавалось с участием художников, которые имеют возможность использовать ИИ для создания контента, но это не убавило гнева пользователей. Некоторые даже назвали его «аппликацией провала», особенно с учётом того, что среди обоев оказался даже простой "Оранжевый" фон, который не вызвал восторга у аудитории.

Рубикон пройден: ИИ обходит 100% изображений в капчах

Мы наконец-то подошли к моменту, когда ИИ обходят капчи, которые когда-то считались непреодолимыми. Исследование от ETH Zurich показало, что специально обученные боты теперь могут решать Google’s reCAPTCHA v2 с 100% точностью, просто не оставляя шансов на защиту.

Как это работает? Учёные использовали модифицированную версию модели YOLO для распознавания объектов на изображениях. Они обошли систему, применяя дополнительные меры, такие как использование VPN для сокрытия своих IP-адресов и моделирование движения мыши, чтобы выглядеть как настоящие пользователи. В результате боты успешно решали капчи даже быстрее, чем люди, хотя и незначительно.

Как отмечают авторы исследования, "хорошая капча отмечает точную границу между самым умным из машин и самым глупым из людей".

Так что же нас ждёт дальше? Переход к более сложным методам распознавания пользователей, или мы увидим, как капча и исчезнут вовсе?

ИИ под угрозой после инцидента с ChatGPT в службе защиты детей

В штате Виктория (Австралия) служба защиты детей приняла решение запретить своим сотрудникам использование генеративного ИИ, после того как один из работников использовал ChatGPT для составления отчёта по делу о защите ребёнка. В отчёте содержалась личная информация, включая имя ребёнка, и это вызвало серьёзные опасения у регуляторов.

По словам комиссии по информации Виктории, в результате использования ChatGPT были допущены ошибки, которые могли снизить серьёзность ситуации, касающейся ребёнка. К примеру, игрушка, использованная в качестве доказательства в деле, была описана как "возрастно подходящая", хотя на самом деле её использовали в неблагоприятных целях.

В ходе дальнейшего расследования выяснилось, что сотрудник использовал ChatGPT более чем в 100 случаях. К тому моменту почти 13% сотрудников службы имели доступ к ChatGPT и другим ИИ-сервисам

Регуляторы выпустили предписание о блокировке доступа к ряду ИИ-сервисов на два года. Несмотря на это, комиссия оставила за собой возможность для будущего использования ИИ в определённых случаях, но подчеркнула, что стандарты безопасности должны быть наивысшими.

Как думаете, можно ли доверять ИИ в таких вопросах или это слишком рискованно?

Raspberry Pi и Sony представили ИИ-камеру за $70

Raspberry Pi совместно с Sony анонсировали новый модуль ИИ-камеры, который стоит всего $70 и совместим со всеми версиями микрокомпьютеров Raspberry Pi. Это значительный шаг вперёд для разработчиков, желающих внедрить ИИ в свои проекты без необходимости в дополнительных компонентах, таких как графические процессоры.

Камера предлагает разрешение 12.3 мегапикселя и способна снимать видео со скоростью 10 кадров в секунду при полном разрешении или 40 кадров в секунду при пониженном разрешении. Компактные размеры и возможность ручной регулировки фокуса делают её удобным инструментом для множества приложений.

Что это значит для обычных пользователей? У вас теперь есть возможность создать свою собственную "умную" камеру с ИИ-функциями. Зачем? Чтобы, например, следить за котом, который решает, куда ему отправиться на следующую охоту. Или записывать, как ваш сосед непонятно как пытается собрать свою новую IKEA-этажерку.

Это также открывает двери для более серьёзных применений, таких как автоматизация анализа видео или даже создание интерактивных проектов, где ИИ может распознавать объекты и реагировать на них.

Вопрос лишь в том, насколько серьезно вы хотите использовать эти технологии и готовы ли вы к "умному" коту на экране.

Reddit делает протесты почти невозможными: теперь всё под контролем

Reddit решил усилить контроль над своими сообществами и ввёл новые правила, которые делают протесты против компании практически невозможными. С недавнего времени модераторы не могут самостоятельно изменять настройки своих сабреддитов, а для того, чтобы сделать сообщество приватным или изменить его тип, им нужно получить одобрение от администрации.

Эти изменения были вызваны прошлогодними протестами, когда тысячи сабреддитов стали приватными в знак несогласия с новыми ценами на API. Теперь, чтобы обойти такую форму протеста, Reddit ограничил возможность модераторов моментально закрывать свои сообщества.

И вот ироничная деталь: в то время как Reddit говорит о том, что хочет защищать сообщества и их долгосрочное здоровье, остаётся вопрос: действительно ли это так? Или мы просто становимся свидетелями превращения Reddit в ещё один контролируемый медиаплатформенный гигант, где протесты не имеют смысла?

Так тупо, что даже смешно — к заводчанину Виталию войс версия ChatGPT уже начинает галлюцинировать, пародируя и две предыдущие личности тоже.

Pika 1.5 — просто бомба для генерации видео!

Особенно, если у вас есть фото, на основе которого моделька "выдумывает" видео. Pika Lab очень качественно выпустили следующую версию своего главного продукта — и бесплатно можно попробовать, и физике даже какой-то реалистичной ИИ обучили на тоннах датасетов, и эффекты подвезли вроде "Лопнуть", "Раздавить", "Расплавить", "Раздавить", "Взорвать".

Единственное, если хочешь побыстрее — плати! Но если вы только посмотреть да поиграться, то уж подождёте 😁

Почему даже Эйнштейн двигается у этих новых генераторах видео как Альф? Неужели их обучали исключительно на датасете, состоящем лишь из нарезок легендарного шоу про инопланетянина?

Студенты показали, как легко можно использовать ИИ для «доксинга» в реальном времени

Два студента Гарварда разработали тревожный демонстрационный проект, который показывает, как с помощью умных очков можно в реальном времени выявлять людей и собирать о них личную информацию. Используя очки Meta* и технологию распознавания лиц, они продемонстрировали, как можно мгновенно находить имена, адреса и даже номера телефонов прохожих.

Демонстрация, известная как I-XRAY, работает следующим образом: очки транслируют видео в Instagram*, а специальная программа обрабатывает эти данные, распознавая лица и сопоставляя их с общедоступными базами данных. Это выглядит устрашающе, особенно когда студенты, использующие эту технологию, «знакомятся» с незнакомцами в общественном транспорте, ссылаясь на информацию, полученную от ИИ.

Конечно, сами разработчики уверяют, что их цель — не злоупотреблять этой технологией, а поднять осведомлённость о том, что подобные вещи уже возможны. Это ставит под сомнение не только нашу безопасность, но и представление о приватности в современном мире.

Для чего будем юзать такую фичу, подписчики?

*Принадлежит Meta — признана экстремистской организацией и запрещена в РФ

Могу только подтвердить, увы, мой основной аккаунт больше не работает, например. Никаких комментариев внятных пока не появилось, у кого та же проблема? 👍🏻/👎🏻