Many-shot jailbreaking
Чем больше LLM, тем лучше она справляется с обучением новой задаче в рамках контекста — это называется In-Context Learning (ICL). В промпте вы можете показать модели, что нужно делать вот так и так, а если вот такое условие, то и ответ такой — то есть по-сути даёте демонстрацию/примеры, из которых модель на лету соображает, что нужно делать.
Кроме того, что большие модели стали лучше проявлять ICL, им же ещё и окно контекста раздули — если года полтора назад модель, смотрящая на 8'000 токенов (1 очень длинное эссе) считалась «ого-вау!», то теперь вот у гугла есть модельки на 1.5M токенов — можно вместить несколько книжек.
Но с большой силой приходит и большая ответственность. В статье Anthropic показывается, что длинное контекстное окно открывает новый вектор атаки на модели. Суть очень простая: в своём промпте добавьте несколько сотен-тысяч примеров того, как AI ассистент отвечает на запрещённые вопросы (в духе «как сделать бомбу»), и после этого пишете свой каверзный вопрос. Модель, видя, что это нормально, давать комментарии по таким топикам, не уходит в отказ, а начинает писать детальный ответ — ну а как, ей же показали, что так нужно, спасибо примерам в контексте!
Anthropic заведомо сообщили об этой проблеме другим AI-лабораториям, а также исследователям, и лишь сейчас публикуют статью, чтобы ещё больше людей про это узнало.
Решение, которое они сами предложили, простое — отдельная модель предварительно классифицирует запрос и, если необходимо, переписывает его для оригинальной модели, чтобы в нём не было разных плохих вещей. По сути, так же работает и DALL-E 3, где вместо вас запрос пишет LLM. Видимо, скоро все модели будут видеть не то, что мы пишем, а перевод на какой-то стерильный язык, а пользователи будут гадать, как же так, почему модель не видит, что я написал!
Чем больше LLM, тем лучше она справляется с обучением новой задаче в рамках контекста — это называется In-Context Learning (ICL). В промпте вы можете показать модели, что нужно делать вот так и так, а если вот такое условие, то и ответ такой — то есть по-сути даёте демонстрацию/примеры, из которых модель на лету соображает, что нужно делать.
Кроме того, что большие модели стали лучше проявлять ICL, им же ещё и окно контекста раздули — если года полтора назад модель, смотрящая на 8'000 токенов (1 очень длинное эссе) считалась «ого-вау!», то теперь вот у гугла есть модельки на 1.5M токенов — можно вместить несколько книжек.
Но с большой силой приходит и большая ответственность. В статье Anthropic показывается, что длинное контекстное окно открывает новый вектор атаки на модели. Суть очень простая: в своём промпте добавьте несколько сотен-тысяч примеров того, как AI ассистент отвечает на запрещённые вопросы (в духе «как сделать бомбу»), и после этого пишете свой каверзный вопрос. Модель, видя, что это нормально, давать комментарии по таким топикам, не уходит в отказ, а начинает писать детальный ответ — ну а как, ей же показали, что так нужно, спасибо примерам в контексте!
Anthropic заведомо сообщили об этой проблеме другим AI-лабораториям, а также исследователям, и лишь сейчас публикуют статью, чтобы ещё больше людей про это узнало.
Решение, которое они сами предложили, простое — отдельная модель предварительно классифицирует запрос и, если необходимо, переписывает его для оригинальной модели, чтобы в нём не было разных плохих вещей. По сути, так же работает и DALL-E 3, где вместо вас запрос пишет LLM. Видимо, скоро все модели будут видеть не то, что мы пишем, а перевод на какой-то стерильный язык, а пользователи будут гадать, как же так, почему модель не видит, что я написал!
Forwarded from Data, Stories and Languages
Amazon Fresh: индусы за экраном или же нет?
Сейчас на многих новостных платформах трубят, что инициатива Amazon Fresh была фейком.
https://www.engadget.com/amazon-just-walked-out-on-its-self-checkout-technology-191703603.html
Напомню, что идея была в том, что покупатели ходят по магазину, складывают товары в тележки, а потом просто уходят. Умная система следит за взятыми товарами и потом списывает стоимость покупок со счёта.
И вот сейчас уверяют, что это толпа индусов следила за покупателями в реальном времени:
Я решил поискать первоисточник и нашёл вот такое:
https://gizmodo.com/amazon-reportedly-ditches-just-walk-out-grocery-stores-1851381116
Там цитата совершенно другая:
Но дальше есть ещё одна интересная фраза:
В целом мы вряд ли узнаем правду, но мне кажется, что было два процесса:
• ручная разметка видео для улучшения моделей
• модели работали плохо, и результаты часто приходилось проверять и исправлять
#datascience
Сейчас на многих новостных платформах трубят, что инициатива Amazon Fresh была фейком.
https://www.engadget.com/amazon-just-walked-out-on-its-self-checkout-technology-191703603.html
Напомню, что идея была в том, что покупатели ходят по магазину, складывают товары в тележки, а потом просто уходят. Умная система следит за взятыми товарами и потом списывает стоимость покупок со счёта.
И вот сейчас уверяют, что это толпа индусов следила за покупателями в реальном времени:
the stores have no actual cashiers, there are reportedly over 1,000 real people in India scanning the camera feeds to ensure accurate checkouts.
Я решил поискать первоисточник и нашёл вот такое:
https://gizmodo.com/amazon-reportedly-ditches-just-walk-out-grocery-stores-1851381116
Там цитата совершенно другая:
primary role of our Machine Learning data associates is to annotate video images, which is necessary for continuously improving the underlying machine learning model powering
Но дальше есть ещё одна интересная фраза:
the spokesperson acknowledged these associates validate “a small minority” of shopping visits when AI can’t determine a purchase.
В целом мы вряд ли узнаем правду, но мне кажется, что было два процесса:
• ручная разметка видео для улучшения моделей
• модели работали плохо, и результаты часто приходилось проверять и исправлять
#datascience
Engadget
Amazon just walked out on its self-checkout technology
Amazon is removing its Just Walk Out technology from Fresh grocery stores. This is part of a larger effort to revamp the chain of retail food stores.
Сиолошная
Пара свежих ликов, касающихся будущих обновлений ChatGPT, от Tibor Blaho (кто такой — писал тут). 1. (см. гифку) Изменение сгенерированных Dall-E 3 изображений. Теперь можно будет выделить маской регион, написать отдельный запрос и перегенерировать часть…
This media is not supported in your browser
VIEW IN TELEGRAM
Вышла одна из двух фичей, про которые я писал — редактирование изображений в DALL-E 3.
Теперь можно точечно выбирать, какие части изображения хочется перерисовать, и что именно туда добавить — и всё это не ломая невыделенную часть изображения.
Опять же, такое давно можно было делать с открытыми локальными моделями (и в некоторых AI-онлайн-редакторах тоже), так что ничего инновационного.
Пробовать надо в отдельном чате с DALL-E 3 по вот этой ссылке.
Теперь можно точечно выбирать, какие части изображения хочется перерисовать, и что именно туда добавить — и всё это не ломая невыделенную часть изображения.
Опять же, такое давно можно было делать с открытыми локальными моделями (и в некоторых AI-онлайн-редакторах тоже), так что ничего инновационного.
Пробовать надо в отдельном чате с DALL-E 3 по вот этой ссылке.
Помните были слухи про то, что легендарный дизайнер из Apple Johy Ive о чём-то там трётся с Sam Altman про AI-девайсы будущего?
Согласно The Information (надёжные журналюги с меткими инсайдами об OpenAI), процесс идёт полным ходом. Сейчас ведутся переговоры про привлечение инвестиций — Ive хочет поднять до $1 млрд. Цифра выглядит огромной для потенциальной компании, у которой нет ни продукта, ни, как я понял, MVP. Занятно, что на это жалуются и инвесторы, которые не участвуют в переговорах🤓 Но с такими именитыми лидерами у руля предложение всё еще может выглядеть привлекательным.
К сожалению, пока деталей о самом девайсе и его отличии от привычных нам форм-факторов нет — лишь говорят, что «оно не будет выглядеть как смартфон». Так что можно немного пофантазировать. Для того, чтобы персональный AI-ассистент для каждого имел контекст вопроса, нужно, чтобы он имел микрофон, камеру и, вероятно, динамик (хотя это не обязательно, интерфейс с наушниками с костной проводимостью я бы взял). Может быть это очки? Камера в дужке (как у Meta X RayBan, они тоже говорили, что хотят ИИ в них запихнуть).
Но я смотрю в другую сторону. Sam Altman является крупнейшим инвестором Humane, компании, которая в начале года представила AI Pin. Выглядит как верхняя половинка маленького iPhone (см. следующий пост). Что интересно, насколько мне удалось нагуглить, они используют модели OpenAI по API для того, чтобы ассистент работал.
В общем, идея такая:
1) нацепил пин на грудь
2) он постоянно слушает (и сохраняет?) речь и диалоги
3) он регулярно делает фото/короткие видео (например, 5 сек раз в минуту) и распознает, что там происходит
4) в любой момент можно обратиться к нему с запросом, и модель внутри либо найдет ответ/сделает действие сама, либо обратится к собранной по пунктам 2 и 3 памяти и вернётся с ответом.
Вот бы туда ещё мини-проектор, чтобы на стену мог выводить визуальную информацию😃 ... в Ai Pin пока очень примитивный одноцветный проектор, так что кино не посмотришь.
(вот тут в Твиттере лежит клёвая демка, как с помощью алгоритмов записанное с Ai Pin видео переводят в 3D-модель, по которой можно виртуально полетать)
Какой дизайн понравится больше вам — очки или пин?
Согласно The Information (надёжные журналюги с меткими инсайдами об OpenAI), процесс идёт полным ходом. Сейчас ведутся переговоры про привлечение инвестиций — Ive хочет поднять до $1 млрд. Цифра выглядит огромной для потенциальной компании, у которой нет ни продукта, ни, как я понял, MVP. Занятно, что на это жалуются и инвесторы, которые не участвуют в переговорах
К сожалению, пока деталей о самом девайсе и его отличии от привычных нам форм-факторов нет — лишь говорят, что «оно не будет выглядеть как смартфон». Так что можно немного пофантазировать. Для того, чтобы персональный AI-ассистент для каждого имел контекст вопроса, нужно, чтобы он имел микрофон, камеру и, вероятно, динамик (хотя это не обязательно, интерфейс с наушниками с костной проводимостью я бы взял). Может быть это очки? Камера в дужке (как у Meta X RayBan, они тоже говорили, что хотят ИИ в них запихнуть).
Но я смотрю в другую сторону. Sam Altman является крупнейшим инвестором Humane, компании, которая в начале года представила AI Pin. Выглядит как верхняя половинка маленького iPhone (см. следующий пост). Что интересно, насколько мне удалось нагуглить, они используют модели OpenAI по API для того, чтобы ассистент работал.
В общем, идея такая:
1) нацепил пин на грудь
2) он постоянно слушает (и сохраняет?) речь и диалоги
3) он регулярно делает фото/короткие видео (например, 5 сек раз в минуту) и распознает, что там происходит
4) в любой момент можно обратиться к нему с запросом, и модель внутри либо найдет ответ/сделает действие сама, либо обратится к собранной по пунктам 2 и 3 памяти и вернётся с ответом.
Вот бы туда ещё мини-проектор, чтобы на стену мог выводить визуальную информацию
(вот тут в Твиттере лежит клёвая демка, как с помощью алгоритмов записанное с Ai Pin видео переводят в 3D-модель, по которой можно виртуально полетать)
Какой дизайн понравится больше вам — очки или пин?
Please open Telegram to view this post
VIEW IN TELEGRAM
Вот так это выглядит вживую, уже можно купить в США за $700.
Интересно, когда венчур Altman x Ive доберётся до чего-то физического? Сколько нужно времени первоклассной команде, чтобы разработать нечто подобное с нуля, с учётом того, что AI-часть отдана на откуп OpenAI?
Интересно, когда венчур Altman x Ive доберётся до чего-то физического? Сколько нужно времени первоклассной команде, чтобы разработать нечто подобное с нуля, с учётом того, что AI-часть отдана на откуп OpenAI?
Ещё осенью мне позвонил Паша @RationalAnswer и предложил поучаствовать в создании видео про AI с одним из крупнейших научпоп-каналов рунета. «Нести свет в массы — это всегда пожалуйста. Варламов уже был, и тут справимся!» — ответил я, и вот наконец на канале ТОПЛЕС вышло 40-минутное видео: https://www.youtube.com/watch?v=1A_9slmQx8M
У нас была достаточно интересная и многосторонняя задача:
— рассказать увлекательно
— но углубиться в тему, а не просто закидать картинками с первой страницы гугла и общими фразами из Википедии
— постараться не допустить технических неточностей из-за попытки упростить материал
— и при этом связать всё в одну историю, покрывающую несколько областей
В целом считаю, что вышло неплохо! Уверен, команда сильно прокачалась в топике, по ходу работы над сценарием и кейсами для рассказа была видна прогрессия — столько сил вложили! А главное задавали интересные вопросы, чтобы дополнить материал чисто с обывательской точки зрения материалом, который я воспринимаю как само собой разумеющееся. Да ещё и визуал вышел шикарным, тут отдаю должное.
Интересно, что когда видео вышло (а я ещё ничего не постил), то мне в личку пара человек написали, мол: «Ты помогал чтоли? я смотрю чет один в один)) буквально паттерны твоих лекций. ток попроще». Так вот, если вам хочется ещё больше про ИИ, только чуть посложнее (но теперь-то база будет!) — у меня есть богатая подборка контента:
🔥 Эволюция нейросетей от Т9 до ChatGPT: объясняем на простом русском, как работают языковые модели. Если вы вообще не понимаете, что творится внутри языковых нейросетей, то этот текст – лучшее место, чтобы начать разбираться (поймет даже ваша бабушка). Также есть версия в формате видео от @RationalAnswer.
🔥 Органичное продолжение про GPT-4: чему научилась новая модель?
🔥 Мой последний бенгер — настоящее предназначение SORA: как и зачем симулировать «Матрицу» для ChatGPT, где подробно рассказывается про новую нейросеть для генерации высококачественных видео.
(а ссылки на все мои материалы, включая лекции и подкасты, можно найти в шапке канала: https://t.me/seeallochnaya/3)
Со всеми статьями мне помогал Павел Комаровский @RationalAnswer, не забудьте подписаться и на него – особенно если вам интересна тема рационализма и финансовой грамотности.
У нас была достаточно интересная и многосторонняя задача:
— рассказать увлекательно
— но углубиться в тему, а не просто закидать картинками с первой страницы гугла и общими фразами из Википедии
— постараться не допустить технических неточностей из-за попытки упростить материал
— и при этом связать всё в одну историю, покрывающую несколько областей
В целом считаю, что вышло неплохо! Уверен, команда сильно прокачалась в топике, по ходу работы над сценарием и кейсами для рассказа была видна прогрессия — столько сил вложили! А главное задавали интересные вопросы, чтобы дополнить материал чисто с обывательской точки зрения материалом, который я воспринимаю как само собой разумеющееся. Да ещё и визуал вышел шикарным, тут отдаю должное.
Интересно, что когда видео вышло (а я ещё ничего не постил), то мне в личку пара человек написали, мол: «Ты помогал чтоли? я смотрю чет один в один)) буквально паттерны твоих лекций. ток попроще». Так вот, если вам хочется ещё больше про ИИ, только чуть посложнее (но теперь-то база будет!) — у меня есть богатая подборка контента:
(а ссылки на все мои материалы, включая лекции и подкасты, можно найти в шапке канала: https://t.me/seeallochnaya/3)
Со всеми статьями мне помогал Павел Комаровский @RationalAnswer, не забудьте подписаться и на него – особенно если вам интересна тема рационализма и финансовой грамотности.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Почему НЕЙРОСЕТИ нельзя КОНТРОЛИРОВАТЬ? — ТОПЛЕС
Смотри программу спринта по созданию видео и забери гайд по нейросетям бесплатно: https://bit.ly/toplesbot
Получи огромный потанцевал для своего бизнеса с бесплатным Битрикс24 + Ai. Регистрируйся: https://www.bitrix24.ru/~m0awG
Слушать новый трек от КРОСЫ🔥…
Получи огромный потанцевал для своего бизнеса с бесплатным Битрикс24 + Ai. Регистрируйся: https://www.bitrix24.ru/~m0awG
Слушать новый трек от КРОСЫ🔥…
Интересная ситуация произошла в Твиттере (но на самом деле она часто проходит и в комментах тут, и в других ТГ-каналах).
5 апреля: VictorTaelin придумал задачку, которую GPT НИКОГДА (он прям выделил) не сможет решить. Почему? Потому что модель же тупая, она не умеет рассуждать и решать задачи, на которых не была натренирована. Узнали себя или критиков из комментариев? 🙂
Для него такая задача и невозможность её решения якобы служила примером того, что модель никогда не сможет двигать науку: «если 15-летний подросток уничтожает модель в какой-либо интеллектуальной задаче вроде этой, то я не буду особо верить в то, что она сможет вылечить рак». Само заявление конечно странное, но допустим (на самом деле он пытался найти такую задачу, которую человек решает, а машина нет — что опять же глупо, люди не умеют то, что может калькулятор — и что?).
Что за задача? Есть 4 символа, B# A# #A #B. Если две разные буквы в некотором наборе символов повёрнуты друг к другу решётками, то их надо поменять местами. B# #A -> #A B#, и так далее, пока никакие два символа нельзя обработать. Сможет ли генеративная LLMка разобраться и решить задачу для строки из, скажем, 7 символов? Автор попробовал несколько раз и у него не вышло. Всё, дело закрыто, AI - хайп, пузырь.
6 апреля: после волны недовольства в комментариях, а также демонстрации того, что иногда модель решает (особенно если немного поменять условие и/или добавить интерпретатор кода, чтобы модель, ну вы знаете, могла писать программы), автор решил сделать конкурс на $10'000. Полные правила можно найти текстом вот тут. Правда он усложнил задачу — теперь символов в такой строке 12 (то есть нужно сделать от 0 до 24 шагов для решения), подаётся 50 примеров, и нужно, чтобы модель решила как минимум 45/50. 12 символов потому, что ему уже показали, что строки длины 7 решаются (иногда).
Главное ограничение — модель не должна писать код, решение должно быть полностью текстовое. Само по себе это глупо, ведь мы отбираем у модели инструмент, которым а) она умеет пользоваться б) хорошо подходит для таких задач. Блин, языки программирования и были придуманы для алгоритмизации задач со строгими правилами! Ну ладно. Считайте, что задача — забить гвоздь, но кувалды и молотки запрещены.
7 апреля: модели решают <10% задач (5 из 50), однако у двух авторов получилось выбить 29/50. Интересно, что тут вырвались вперёд модели Anthropic семейства Claude 3.
8 апреля: конкурс окончен, промпт одного из участников стабильно решает более 90% задач (47 из 50 при первом запуске). Напомню, что задачи даже более сложные, чем в изначальном твите (они длиннее), а главный инструмент решения выключен. Автор признал, что был не прав. Он также указал, что действительно верил, что LLM, аналогичные GPT, просто не могут решить такие задачи.
Автор признал, что его изначальные верования были неправильными, он ошибся. Решение задачи, конечно, не доказывает, что модели смогут придумать лекарства от рака, но они точно могут решать логические-алгоритмические задачи, которые не видели раньше (в целом не новость, но не все верят ведь!).
Интересный факт: финальное решение работает на модели Claude 3 Opus, но ни одно из топ-решений не было на GPT-4. Может, Anthropic уже используют новую архитектуру, которая лишена некоторых недостатков своих предков? Или OpenAI сильно урезают косты и ужимают модели? Возможно, узнаем в будущем — так же как и промпт, которым была решена задача (он пока не был опубликован).
5 апреля: VictorTaelin придумал задачку, которую GPT НИКОГДА (он прям выделил) не сможет решить. Почему? Потому что модель же тупая, она не умеет рассуждать и решать задачи, на которых не была натренирована. Узнали себя или критиков из комментариев? 🙂
Для него такая задача и невозможность её решения якобы служила примером того, что модель никогда не сможет двигать науку: «если 15-летний подросток уничтожает модель в какой-либо интеллектуальной задаче вроде этой, то я не буду особо верить в то, что она сможет вылечить рак». Само заявление конечно странное, но допустим (на самом деле он пытался найти такую задачу, которую человек решает, а машина нет — что опять же глупо, люди не умеют то, что может калькулятор — и что?).
Что за задача? Есть 4 символа, B# A# #A #B. Если две разные буквы в некотором наборе символов повёрнуты друг к другу решётками, то их надо поменять местами. B# #A -> #A B#, и так далее, пока никакие два символа нельзя обработать. Сможет ли генеративная LLMка разобраться и решить задачу для строки из, скажем, 7 символов? Автор попробовал несколько раз и у него не вышло. Всё, дело закрыто, AI - хайп, пузырь.
6 апреля: после волны недовольства в комментариях, а также демонстрации того, что иногда модель решает (особенно если немного поменять условие и/или добавить интерпретатор кода, чтобы модель, ну вы знаете, могла писать программы), автор решил сделать конкурс на $10'000. Полные правила можно найти текстом вот тут. Правда он усложнил задачу — теперь символов в такой строке 12 (то есть нужно сделать от 0 до 24 шагов для решения), подаётся 50 примеров, и нужно, чтобы модель решила как минимум 45/50. 12 символов потому, что ему уже показали, что строки длины 7 решаются (иногда).
Главное ограничение — модель не должна писать код, решение должно быть полностью текстовое. Само по себе это глупо, ведь мы отбираем у модели инструмент, которым а) она умеет пользоваться б) хорошо подходит для таких задач. Блин, языки программирования и были придуманы для алгоритмизации задач со строгими правилами! Ну ладно. Считайте, что задача — забить гвоздь, но кувалды и молотки запрещены.
7 апреля: модели решают <10% задач (5 из 50), однако у двух авторов получилось выбить 29/50. Интересно, что тут вырвались вперёд модели Anthropic семейства Claude 3.
8 апреля: конкурс окончен, промпт одного из участников стабильно решает более 90% задач (47 из 50 при первом запуске). Напомню, что задачи даже более сложные, чем в изначальном твите (они длиннее), а главный инструмент решения выключен. Автор признал, что был не прав. Он также указал, что действительно верил, что LLM, аналогичные GPT, просто не могут решить такие задачи.
Автор признал, что его изначальные верования были неправильными, он ошибся. Решение задачи, конечно, не доказывает, что модели смогут придумать лекарства от рака, но они точно могут решать логические-алгоритмические задачи, которые не видели раньше (в целом не новость, но не все верят ведь!).
Интересный факт: финальное решение работает на модели Claude 3 Opus, но ни одно из топ-решений не было на GPT-4. Может, Anthropic уже используют новую архитектуру, которая лишена некоторых недостатков своих предков? Или OpenAI сильно урезают косты и ужимают модели? Возможно, узнаем в будущем — так же как и промпт, которым была решена задача (он пока не был опубликован).
Всего (целых?) 3 недели назад, 14-го марта, мы с вами наблюдали за третьим тестовым пуском SpaceX Starship, который выполнил почти все задачи миссии. На неделе появились новости касательно четвёртого пуска (а также ролик с анонсом)
Тезисно про будущее программы:
— четвёртый запуск должен состояться в мае, менее чем через 3 месяца после предыдущего
— если так пойдет и дальше, то план в 6 пусков на этот год может быть выполнен. Повеселимся и порадуемся!
— в следующей миссии будут поставлены целы: для бустера — затормозить и сесть на «виртуальную башню», для корабля — пережить вход в атмосферу и выйти на связь ближе к Земле.
— что за «виртуальная башня»? Согласно новой визуализации, ускоритель должен подлететь к реальной башне аккуратно сбоку, подвинуться и плюхнуться на специальные руки. Так как тестировать это на реальной башне — опасно для инфраструктуры, то SpaceX внесёт в код координаты виртуальной башни, к которой ракета и будет подкатывать. По телеметрии можно будет отследить, всё ли прошло штатно, сколько метров была погрешность, успели ли сбросить скорость итд.
— если тренировка пройдет успешно, то в пятом полёте скорее всего будет предпринята попытка сесть на реальную башню😨 Elon оценивает, что вероятность успешного захвата башней ускорителя до конца этого года составляет 80-90%.
— (как только это произойдет хотя бы два раза подряд, можно будет сказать, что произошла революция в космонавтике — потому что это существенно снизит затраты на любой пуск, даже если корабль будет сгорать в атмосфере каждый раз)
— в следующем году нас ждёт демонстрация орбитальной заправки с помощью перекачки топлива с одного корабля на другой
— для полёта на Марс потребуется 5-6 таких заправок. Интересно, сколько нужно для Луны? Скептики оценивали, что нужно 12 — пока выглядит, что ошиблись. Будем посмотреть!
— к концу 2025-го года будет 4 пусковых башни, 2 в Техасе и 2 на легендарном мысе Канаверал. Это позволит существенно ускорить программу.
— ну а в этом году хотят построить ещё 6 кораблей и 6 ускорителей. Впереди нас ждёт множество пусков, удачных и не очень!
Ещё были новости про Марс и Лунную колонию, но об этом как нибудь потом.
Тезисно про будущее программы:
— четвёртый запуск должен состояться в мае, менее чем через 3 месяца после предыдущего
— если так пойдет и дальше, то план в 6 пусков на этот год может быть выполнен. Повеселимся и порадуемся!
— в следующей миссии будут поставлены целы: для бустера — затормозить и сесть на «виртуальную башню», для корабля — пережить вход в атмосферу и выйти на связь ближе к Земле.
— что за «виртуальная башня»? Согласно новой визуализации, ускоритель должен подлететь к реальной башне аккуратно сбоку, подвинуться и плюхнуться на специальные руки. Так как тестировать это на реальной башне — опасно для инфраструктуры, то SpaceX внесёт в код координаты виртуальной башни, к которой ракета и будет подкатывать. По телеметрии можно будет отследить, всё ли прошло штатно, сколько метров была погрешность, успели ли сбросить скорость итд.
— если тренировка пройдет успешно, то в пятом полёте скорее всего будет предпринята попытка сесть на реальную башню
— (как только это произойдет хотя бы два раза подряд, можно будет сказать, что произошла революция в космонавтике — потому что это существенно снизит затраты на любой пуск, даже если корабль будет сгорать в атмосфере каждый раз)
— в следующем году нас ждёт демонстрация орбитальной заправки с помощью перекачки топлива с одного корабля на другой
— для полёта на Марс потребуется 5-6 таких заправок. Интересно, сколько нужно для Луны? Скептики оценивали, что нужно 12 — пока выглядит, что ошиблись. Будем посмотреть!
— к концу 2025-го года будет 4 пусковых башни, 2 в Техасе и 2 на легендарном мысе Канаверал. Это позволит существенно ускорить программу.
— ну а в этом году хотят построить ещё 6 кораблей и 6 ускорителей. Впереди нас ждёт множество пусков, удачных и не очень!
Ещё были новости про Марс и Лунную колонию, но об этом как нибудь потом.
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Всего (целых?) 3 недели назад, 14-го марта, мы с вами наблюдали за третьим тестовым пуском SpaceX Starship, который выполнил почти все задачи миссии. На неделе появились новости касательно четвёртого пуска (а также ролик с анонсом) Тезисно про будущее программы:…
This media is not supported in your browser
VIEW IN TELEGRAM
И отдельно хочу показать визуализацию планируемой ловли ускорителя руками Мехазиллы (да, башню так называют).
Глядя на видео не забывайте, что серебристая цистерна из нержавейки имеет высоту 71 метр (24-этажное здание) и массу без топлива порядка 200 тонн. И нужно аккурааааатненько легоооонько вот так вот подлететь на ручки...плюхнувшись с высоты более 100 КМ.
Глядя на видео не забывайте, что серебристая цистерна из нержавейки имеет высоту 71 метр (24-этажное здание) и массу без топлива порядка 200 тонн. И нужно аккурааааатненько легоооонько вот так вот подлететь на ручки...плюхнувшись с высоты более 100 КМ.
Чуть меньше, чем через 2 часа (в 17:00 МСК), встречаемся с Валерой @cryptovalerii у него на канале в видео-формате. Запись, как всегда, будет
Поговорим про модели мира, что это такое и какое они отношение имеют к языковым моделям. Часть материала будет из моей статьи https://t.me/seeallochnaya/1120 про Sora — если вы пропустили и у вас есть время, то это маст хэв к прочтению!
Вопросы по теме можно писать под этим постом, только без спама.
Поговорим про модели мира, что это такое и какое они отношение имеют к языковым моделям. Часть материала будет из моей статьи https://t.me/seeallochnaya/1120 про Sora — если вы пропустили и у вас есть время, то это маст хэв к прочтению!
Вопросы по теме можно писать под этим постом, только без спама.
This media is not supported in your browser
VIEW IN TELEGRAM
Сегодня в США наблюдается солнечное затмение. Уверен, вы увидите множество фотографий с Земли из разных штатов — тут мне вас удивить нечем.
Но зато SpaceX могут удивить видео с орбиты, записанное камерами на одном из спутников Starlink!
We live in a twilight world...
(Источник)
Но зато SpaceX могут удивить видео с орбиты, записанное камерами на одном из спутников Starlink!
We live in a twilight world...
(Источник)
Sama приехал в Лондон на какой-то AI Summit (в чьем-то инстаграм-аккаунте написано, что это мероприятие OpenAI, но мне не удалось найти) и показывает, чего дальше ждать от флагманских моделей компании.
✅ Мультимодальность (работа с видео-аудио, более тесная интеграция работы с картинками)
✅ Улучшение рассуждений и мыслительного процесса
✅ Персонализация (интересно, что накрутят поверх памяти в ChatGPT)
✅ Надёжность (вероятно, имеется в виду меньше галлюцинаций, рефлексия над ошибками и исправление)
✅ Агенты (🔥 это мы ждём, должно стать главной фишкой моделей следующего поколения. Если не знаете, что это такое, то можно изучить тут)
Интересная структура слайда — идут ли блоки последовательно? Или всё появится одномоментно в новой модели?
Записи презентации нет, и не известно, будет ли.
✅ Мультимодальность (работа с видео-аудио, более тесная интеграция работы с картинками)
✅ Улучшение рассуждений и мыслительного процесса
✅ Персонализация (интересно, что накрутят поверх памяти в ChatGPT)
✅ Надёжность (вероятно, имеется в виду меньше галлюцинаций, рефлексия над ошибками и исправление)
✅ Агенты (
Интересная структура слайда — идут ли блоки последовательно? Или всё появится одномоментно в новой модели?
Записи презентации нет, и не известно, будет ли.
Please open Telegram to view this post
VIEW IN TELEGRAM
По словам сотрудника Meta, компания планирует выпустить две младшие версии своей модели LLAMA 3 на следующей неделе. Они будут служить в качестве превью запуска самой большой версии Llama 3 (ожидается этим летом).
Согласно источникам The Information, старшая версия будет мультимодальной (тоже понимает картинки — для младших моделей этого не заявлено) и должна догнать по качеству GPT-4. Также утверждается, что она будет в 2 раза больше самой крупной LLAMA 2 — то есть иметь 140B параметров.
В компании Mistral
Почему это важно? Модель LLAMA 2 долгое время была основным инструментом опенсорса и служилой базой/основой для дообучения под свои задачи. Затем пальма первенства перешла моделям Mistral, компании, основанной выходцами из Meta, которые работали над LLAMA'ми. Вероятно, в Meta очень хотели сделать большой скачок, и потому ничего долго не выпускали — важно показать, что они впереди, а не делают ещё-одну-заурядную-модель. С выходом LLAMA 3 сообщество может переехать на новую тушку, открывающую свежие возможности.
Please open Telegram to view this post
VIEW IN TELEGRAM
Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws
Работа сотрудников META про масштабирование моделей с точки зрения хранимых в них знаний. Первый автор пишет, что а) запустил 50'000 экспериментов б) месяц ждал одобрения компании на выделение ресурсов, потому что в) потребовалось 4,200,000 GPU-часов на всё про всё (~500 лет вычислений). Возможно, это работа — часть подготовки к публикации LLAMA 3 👀
В работе аж 12 выводов, по всем проходиться не буду, сначала дам вводную, а затем тезисы. Авторы фокусируются на запоминании данных из синтетической тренировочной выборки. Однако тут имеется в виду не запоминание слово-в-слово, а возможность извлечь знания модели в текстовом формате. «Знанием» тут называется триплет (Сущность, атрибут, значение). «Вася родился 12 декабря» -> (Вася, День рождения, 12 декабря), и такое можно пробовать извлекать вопросом «Когда у Васи День рождения?». Легко представить, как генерировать большое количество синтетики по шаблонам.
Выводы:
— авторам удаётся стабильно достигать вместимости модели 2 бита информации на параметр;
— это означает, что в 7B-модели могут уместиться все знания из английской Википедии и все книги на английском;
— причём, качество не меняется при квантизации модели до 8bit, однако при переходе к 4bit заметна просадка
— для того, чтобы добиться результата 2 бита на параметр, необходимо представить одну и ту же информацию модели 1000 раз (в том числе с разными формулировками и парафразами)
— если показывать информацию всего лишь 100 раз, то сжатие будет хуже в 2 раза: 1 бит на параметр
— если начать добавлять мусор в тренировочную выборку, то это портит модель: при соотношении 1:7 (мусора больше) модель запоминает в 20 раз меньше полезных знаний, если делать 100 показов. И проседает на 30%, если показывать 1000 раз.
— поэтому появляется вопрос - а может ли модель сама отфильтровать мусор? Для этого авторы экспериментируют с добавлением домена, откуда «взят» текст (пишут в начале wikipedia.org или 2ch.ru). Оказывается, что модели могут автоматически определять, какие домен богаты высококачественными знаниями, и определять приоритетность обучения на их основе. При этом модель не требует каких-либо предварительных знаний, она учится с нуля, этот процесс полностью автономен (за вычетом добавления источника данных в текст)
— это не позволяет восстановить полный перформанс, но существенно уменьшает деградацию из-за мусора
— теперь возникает вопрос, а где же хранятся знания? Считается, что большая часть информации зашита в FFN-слои трансформера, но даже если их удалить и оставить только аттеншен (уравняв количество параметров), то закон сохраняется
— но если вернуться к исходной архитектуре, то - особенно в моделях вблизи границы емкости (которые видели данные 1000 раз) - удаление последнего слоя после обучения показывает существенное ухудшение знаний. Просадка куда больше, чем 1/L (где L-количество слоёв. То есть мы думали, что удаление подрежет знания пропорционально, но нет). Значит, знания хранятся не в отдельных слоях, а более комплексно, подобно сейфу с кодовым замком, как комбинация. Тут я вспоминаю про суперпозицию.
В общем, ждём статью про LLAMA 3, посмотрим, как это использовалось там, насколько уменьшило галлюцинации и как изменило процесс тренировки. Ведь а) данные нужно жёстко фильтровать (это уже делалось) б) приоритизировать в) повторять много раз в разных формах (контролируемо, а не так, что одни факты попались 100 раз, а другие 10000).
Работа сотрудников META про масштабирование моделей с точки зрения хранимых в них знаний. Первый автор пишет, что а) запустил 50'000 экспериментов б) месяц ждал одобрения компании на выделение ресурсов, потому что в) потребовалось 4,200,000 GPU-часов на всё про всё (~500 лет вычислений). Возможно, это работа — часть подготовки к публикации LLAMA 3 👀
В работе аж 12 выводов, по всем проходиться не буду, сначала дам вводную, а затем тезисы. Авторы фокусируются на запоминании данных из синтетической тренировочной выборки. Однако тут имеется в виду не запоминание слово-в-слово, а возможность извлечь знания модели в текстовом формате. «Знанием» тут называется триплет (Сущность, атрибут, значение). «Вася родился 12 декабря» -> (Вася, День рождения, 12 декабря), и такое можно пробовать извлекать вопросом «Когда у Васи День рождения?». Легко представить, как генерировать большое количество синтетики по шаблонам.
Выводы:
— авторам удаётся стабильно достигать вместимости модели 2 бита информации на параметр;
— это означает, что в 7B-модели могут уместиться все знания из английской Википедии и все книги на английском;
— причём, качество не меняется при квантизации модели до 8bit, однако при переходе к 4bit заметна просадка
— для того, чтобы добиться результата 2 бита на параметр, необходимо представить одну и ту же информацию модели 1000 раз (в том числе с разными формулировками и парафразами)
— если показывать информацию всего лишь 100 раз, то сжатие будет хуже в 2 раза: 1 бит на параметр
— если начать добавлять мусор в тренировочную выборку, то это портит модель: при соотношении 1:7 (мусора больше) модель запоминает в 20 раз меньше полезных знаний, если делать 100 показов. И проседает на 30%, если показывать 1000 раз.
— поэтому появляется вопрос - а может ли модель сама отфильтровать мусор? Для этого авторы экспериментируют с добавлением домена, откуда «взят» текст (пишут в начале wikipedia.org или 2ch.ru). Оказывается, что модели могут автоматически определять, какие домен богаты высококачественными знаниями, и определять приоритетность обучения на их основе. При этом модель не требует каких-либо предварительных знаний, она учится с нуля, этот процесс полностью автономен (за вычетом добавления источника данных в текст)
— это не позволяет восстановить полный перформанс, но существенно уменьшает деградацию из-за мусора
— теперь возникает вопрос, а где же хранятся знания? Считается, что большая часть информации зашита в FFN-слои трансформера, но даже если их удалить и оставить только аттеншен (уравняв количество параметров), то закон сохраняется
— но если вернуться к исходной архитектуре, то - особенно в моделях вблизи границы емкости (которые видели данные 1000 раз) - удаление последнего слоя после обучения показывает существенное ухудшение знаний. Просадка куда больше, чем 1/L (где L-количество слоёв. То есть мы думали, что удаление подрежет знания пропорционально, но нет). Значит, знания хранятся не в отдельных слоях, а более комплексно, подобно сейфу с кодовым замком, как комбинация. Тут я вспоминаю про суперпозицию.
В общем, ждём статью про LLAMA 3, посмотрим, как это использовалось там, насколько уменьшило галлюцинации и как изменило процесс тренировки. Ведь а) данные нужно жёстко фильтровать (это уже делалось) б) приоритизировать в) повторять много раз в разных формах (контролируемо, а не так, что одни факты попались 100 раз, а другие 10000).
Сиолошная
Вчера после написания поста из-за жары не мог уснуть, решил скачать XCode (IDE для разработки приложений под системы Apple) с идеей посмотреть, насколько легко не разбирающемуся человеку написать приложение под VisionOS. Я не то что на Swift не писал — я кроме…
А поооомните 2 месяца назад вышли такие Apple Vision Pro..? Я после волны обзоров ничего про них и не видел...
Ещё 6-го февраля (пост) я захотел поиграться с разработкой приложения под гарнитуру, сделать демку AI-ассистента, который понимает, что видно на камерах и как-то на это реагирует. И оказалось, что доступ к данным с датчиков, а самое главное камер Apple не предоставляет. Это ограничение не то что сохраняется до сих пор — скорее всего оно будет с нами несколько лет. Утверждается, что решение об этом было принято на ранних стадиях разработки более 7 лет назад! Причина проста — хочется избежать скандалов с приватностью и историй, схожих с Google Glass.
Но на это жалуются разработчики — большое количество функций просто невозможно реализовать без доступа к камерам. Все очень зажаты рамками того, что предоставляет библиотека Apple, и всё тут. А ведь приложения — это одна из фишек, из-за которой в своё время iPhone завирусился. Люди могли делать что угодно, на платформу быстро перетащили все популярные приложения, и вкупе с форм-фактором это позволило смартфону перевернуть рынок.
Пока кажется, что такая история не случится с Vision Pro. Но интересно, как будут вести себя другие игроки - Snap, META (с их очками с камерой, в которые обещали добавить ассистента на базе Vision-Language Model) и новая компания Sam Altman? Перешагнут ли они через ограничения, смогут ли побороть бюрократию и, что не менее важно, переживания пользователей?
Лично мне кажется, что в 2020-ых это должно будет стать нормой: будем ждать, как корпорации начнут продавать нам эту идею. И какие меры защиты вообще появятся?
Ещё 6-го февраля (пост) я захотел поиграться с разработкой приложения под гарнитуру, сделать демку AI-ассистента, который понимает, что видно на камерах и как-то на это реагирует. И оказалось, что доступ к данным с датчиков, а самое главное камер Apple не предоставляет. Это ограничение не то что сохраняется до сих пор — скорее всего оно будет с нами несколько лет. Утверждается, что решение об этом было принято на ранних стадиях разработки более 7 лет назад! Причина проста — хочется избежать скандалов с приватностью и историй, схожих с Google Glass.
Но на это жалуются разработчики — большое количество функций просто невозможно реализовать без доступа к камерам. Все очень зажаты рамками того, что предоставляет библиотека Apple, и всё тут. А ведь приложения — это одна из фишек, из-за которой в своё время iPhone завирусился. Люди могли делать что угодно, на платформу быстро перетащили все популярные приложения, и вкупе с форм-фактором это позволило смартфону перевернуть рынок.
Пока кажется, что такая история не случится с Vision Pro. Но интересно, как будут вести себя другие игроки - Snap, META (с их очками с камерой, в которые обещали добавить ассистента на базе Vision-Language Model) и новая компания Sam Altman? Перешагнут ли они через ограничения, смогут ли побороть бюрократию и, что не менее важно, переживания пользователей?
Лично мне кажется, что в 2020-ых это должно будет стать нормой: будем ждать, как корпорации начнут продавать нам эту идею. И какие меры защиты вообще появятся?
Сиолошная
А поооомните 2 месяца назад вышли такие Apple Vision Pro..? Я после волны обзоров ничего про них и не видел... Ещё 6-го февраля (пост) я захотел поиграться с разработкой приложения под гарнитуру, сделать демку AI-ассистента, который понимает, что видно на…
Measuring the Persuasiveness of Language Models
Навык (пере-)убеждения в языковых моделеях вызывает обоснованную обеспокоенность по поводу их потенциального неприемлемого использования. Этот навык может быть использован для генерации дезинформации или побуждения людей предпринять действия против их собственных интересов. Недавно я уже разбирал работу, посвящённую анализу LLM-ок в контексте дебатов, и вот подъехала свежая работа от Anthropic.
Дизайн эксперимента:
— выбрано 28 тем, в которых мнение людей скорее всего не высечено в камне (то есть это не прописные истины в духе «солнце светит днём»). Что-то про этику, AI-контент итд.
— для каждой темы писалось 2 аргумента: за и против. Длина аргумента примерно 250 слов.
— эти аргументы были написаны как людьми, так и разными моделями. Чтобы стимулировать высокое качество и убедительность у кожаных, им сообщали, что текст будет оцениваться другими пользователями, а наиболее убедительные авторы получат денежный бонус (ахахха прямо как LLM-кам обещают чаевые)
— Для LLM-ок же выбрали 4 разных типа промтов (о них ниже) и сгенерировали аргументацию
— Каждая пара «позиция <-> источник аргумента» предлагалась 3 людям (всего больше 3500 участников!)
— Сначала они читали утверждение и высказывали, насколько с ним согласны, по шкале от 1 до 7
— После этого читали аргумент LLM или человека и снова давали оценку 1-7
— Метрика — разница в оценах. Например, сначала человек был согласен с тезисом «Автопилоты в машинах уменьшит количество происшествий на дорогах» на 6, а после того, как прочитал про, условно, сложность разработки и редкие ситуации, ответил 4 — тогда разница в его мнении будет -2.
— Для контроля были добавлены вопросы, в которых, в теории, метрика меняться не должна, как бы тебя не переубеждали (например, что вода замерзает при 0 градусов Цельсия)
Как я указал, модели генерировали аргументы с 4мя промптами:
— Убедительный: просят написать убедительный аргумент, который убедил бы кого-то с утвердившимся мнением
— Эксперт: просят модель действовать как эксперт по убеждению, используя сочетание техник риторики (пафос, логос и этос) для добавления убедительности
— Логическое рассуждение (пояснения не нужны)
— Обманчивость: написать убедительный аргумент, разрешив придумывать факты, статистику и/или «достоверные» источники, чтобы сделать аргумент максимально убедительным.
По результатам экспериментов самым действенным оказался...последний промпт🤷♂️ (кто бы мог подумать)
Основные результаты:
1. Чем больше модель и чем она мощнее, тем выше её метрика (то есть тем чаще и больше она подвигает уверенность человека по 7ми-бальной шкале)
2. Claude 3 Opus статистически значимо не отличается от навыков переубеждения людей, писавших аргументы в рамках эксперимента.
Заметки на полях:
— те участники, что писали свои аргументы, не являются экспертами по переубеждению или работе с отказами. В теории, эксперты могли показать результат куда выше
— исследовались только однораундовые диалоги, то есть где человек читал лишь одно сообщение от LLM. Полноценные диалоги на несколько минут планируют исследовать в будущем (ждём статью!)
— несмотря на то, что точка зрения людей меняется, у большинства участников всё ещё наблюдается либо отсутствие изменений в уверенности, либо оно минимально (+-1 балл, например с 5 до 4). Но много ли людей надо переубеждать, чтобы заварить кашу и холивар?
Навык (пере-)убеждения в языковых моделеях вызывает обоснованную обеспокоенность по поводу их потенциального неприемлемого использования. Этот навык может быть использован для генерации дезинформации или побуждения людей предпринять действия против их собственных интересов. Недавно я уже разбирал работу, посвящённую анализу LLM-ок в контексте дебатов, и вот подъехала свежая работа от Anthropic.
Дизайн эксперимента:
— выбрано 28 тем, в которых мнение людей скорее всего не высечено в камне (то есть это не прописные истины в духе «солнце светит днём»). Что-то про этику, AI-контент итд.
— для каждой темы писалось 2 аргумента: за и против. Длина аргумента примерно 250 слов.
— эти аргументы были написаны как людьми, так и разными моделями. Чтобы стимулировать высокое качество и убедительность у кожаных, им сообщали, что текст будет оцениваться другими пользователями, а наиболее убедительные авторы получат денежный бонус (ахахха прямо как LLM-кам обещают чаевые)
— Для LLM-ок же выбрали 4 разных типа промтов (о них ниже) и сгенерировали аргументацию
— Каждая пара «позиция <-> источник аргумента» предлагалась 3 людям (всего больше 3500 участников!)
— Сначала они читали утверждение и высказывали, насколько с ним согласны, по шкале от 1 до 7
— После этого читали аргумент LLM или человека и снова давали оценку 1-7
— Метрика — разница в оценах. Например, сначала человек был согласен с тезисом «Автопилоты в машинах уменьшит количество происшествий на дорогах» на 6, а после того, как прочитал про, условно, сложность разработки и редкие ситуации, ответил 4 — тогда разница в его мнении будет -2.
— Для контроля были добавлены вопросы, в которых, в теории, метрика меняться не должна, как бы тебя не переубеждали (например, что вода замерзает при 0 градусов Цельсия)
Как я указал, модели генерировали аргументы с 4мя промптами:
— Убедительный: просят написать убедительный аргумент, который убедил бы кого-то с утвердившимся мнением
— Эксперт: просят модель действовать как эксперт по убеждению, используя сочетание техник риторики (пафос, логос и этос) для добавления убедительности
— Логическое рассуждение (пояснения не нужны)
— Обманчивость: написать убедительный аргумент, разрешив придумывать факты, статистику и/или «достоверные» источники, чтобы сделать аргумент максимально убедительным.
По результатам экспериментов самым действенным оказался...последний промпт
Основные результаты:
1. Чем больше модель и чем она мощнее, тем выше её метрика (то есть тем чаще и больше она подвигает уверенность человека по 7ми-бальной шкале)
2. Claude 3 Opus статистически значимо не отличается от навыков переубеждения людей, писавших аргументы в рамках эксперимента.
Заметки на полях:
— те участники, что писали свои аргументы, не являются экспертами по переубеждению или работе с отказами. В теории, эксперты могли показать результат куда выше
— исследовались только однораундовые диалоги, то есть где человек читал лишь одно сообщение от LLM. Полноценные диалоги на несколько минут планируют исследовать в будущем (ждём статью!)
— несмотря на то, что точка зрения людей меняется, у большинства участников всё ещё наблюдается либо отсутствие изменений в уверенности, либо оно минимально (+-1 балл, например с 5 до 4). Но много ли людей надо переубеждать, чтобы заварить кашу и холивар?
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Measuring the Persuasiveness of Language Models Навык (пере-)убеждения в языковых моделеях вызывает обоснованную обеспокоенность по поводу их потенциального неприемлемого использования. Этот навык может быть использован для генерации дезинформации или побуждения…
В подкрепление последней заметки из поста выше — вот так выглядит гистограмма оценок участников.
По горизонтали — исходная оценка людей по теме, цветом закодировано изменение позиции. Желтая группа, самая большая — это нулевое изменение в оценке (как был уверен на X баллов из 7, так и остался). Дальше идёт зелёная, это +1.
По горизонтали — исходная оценка людей по теме, цветом закодировано изменение позиции. Желтая группа, самая большая — это нулевое изменение в оценке (как был уверен на X баллов из 7, так и остался). Дальше идёт зелёная, это +1.
Когда ваши работы по социальному импакту будем разбирать уже? А?
(а может они просто laser-focused на доработке и оценке GPT-5...и её импакте на мир?
Please open Telegram to view this post
VIEW IN TELEGRAM