Недавно Яндекс выкатил 300.ya.ru для суммаризации

https://habr.com/ru/companies/yandex/articles/745900/

Мы встроили YandexGPT в наш браузер. Благодаря этому в нём появилась новая функция — нейросетевой пересказ текста. Нужно просто открыть статью на русском языке и нажать на кнопку «Пересказать кратко» в адресной строке. В ответ YandexGPT сформулирует список тезисов, передающих её главные мысли.

Интересно в статье прочитать про особенности обучения модельки для саммаризации

​​«Через пять лет не будет программистов-людей»🤷🏼‍♀️

🔻Эмад Мостак, генеральный директор Stability AI (создатели Stable Diffusion), прогнозирует вымирание программистов-людей через пять лет из-за расширения возможностей ИИ.

Мостак считает, что именно ИИ будет определять ближайшее будущее и что будущее для программистов-людей выглядит безрадостно:

«Через пять лет программистов не будет. Уже сейчас данные GitHub показывают, что 41% всего кода в настоящее время генерируется искусственным интеллектом.»

🔻Мостак также предвидит изменения в общении и доступе к информации с моделями ИИ, но при этом генеральный директор Stability AI подходит к революции ИИ с оптимизмом.

Он рассматривает ИИ как инструмент, расширяющий человеческий потенциал, а не как угрозу, которая его уничтожает.

«Люди есть люди. Принесите им информацию, которая создает наибольшую ценность, и вы измените мир».🤷🏼‍♀️

Рассказ про обучение ChatGPT понимать и описывать событийную логику. Интересный вывод приводит автор:

ChatGPT, а вернее, будущая более продвинутая его версия (может, и не от OpenAI), потеснит программистов не потому, что он будет за них генерировать код по текстовому описанию алгоритма, а потому, что этот код никому не будет нужен - бот сам будет в состоянии исполнить запрос. Только напиши, что сделать, укажи, где данные, и получи результат. А что там под капотом - не наше человеческое дело. Хотя, конечно, можно потребовать проверяемый отчет, например, на языке событийной онтологии.

https://habr.com/ru/articles/715492/

Ну и вдогонку темы предлагаю к ознакомлению статью исследователей из UC Berkeley с интересным названием "Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts". Всем заинтересованным рекомендую к прочтению.

Основные тезисы (на основе анализа взаимодествия 10 пользователей и ChatGPT):
1) Неопытные (с т.з. "общения" с языковыми моделями) люди предполагают, что промпт, который работает в одном случае, будет работать и во всех других случаях
2) Также они верят, что если ChatGPT не делает что-то с первого раза, то оно и не может этого сделать в принципе
3) У этой же группы людей наблюдается отсутствие систематических тестирования и экспериментов
4) Сама ChatGPT в целом неплохо справляется с "подсказыванием" направления движения в правильную сторону. Если не стесняться спрашивать, то можно итеративно достичь цели
5) Касательно написания и детализации промптов — люди исследования ожидали, что простые промпты с описанием желаемого действия должны быть «поняты», а модель будет им следовать. То есть у людей есть ожидание, что модель есть буквально AGI, читающий мысли и угадывающий желания.
6) Участники ожидали, что семантически эквивалентные инструкции будут иметь семантически эквивалентные результаты, тогда как на самом деле тривиальные модификации в промпте могут привести к драматическим сдвигам в ответах модели.

На картинке — сравнение понимания группами людей (эксперты и не-эксперты) разных деталей работы в мире программирования и машинного обучения. Показывается, что у эксперта фактичсеки в каждом пункте есть отличие, дающее скорее качественную разницу. И странно, что люди не берут это в рассчет при оценивании навыков больших языковых моделей — мол, я уже эксперт, у меня всё и так бы заработало, если бы модель была умной!

TLDR: используйте GPT-4 (купите подписку уже, наконец), практикуйтесь, ищите чужие промпты и пытайтесь понять, что работает, а что нет. Начать можно с объемнейшего промпта, который предлагает модели примерить роль "учителя" — я про него писал вот тут.

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Сбер выложили в открытый доступ претрейн ruGPT-3.5, который лежит в основе GigaChat

https://habr.com/ru/companies/sberbank/articles/746736/

Perplexity.ai запустили у себя чат LLaMA-2 7B - поиграться тут✨

О новый дивный мир!

Выпуск yet another podcast про нейросети

Участники подкаста — специалисты, которые в Яндексе занимаются искусственным интеллектом: руководитель управления машинного интеллекта Алексей Гусаков, директор по развитию ИИ Александр Крайнов, разработчик YandexGPT Роман Иванов и директор по продукту Алисы Денис Озорнин

По мотивам поста начал активнее изучать инициативу «Democratic inputs to AI»

Это программа финансирования экспериментов для формирования свода правил, которым должен следовать ИИ для соблюдения демократических процессов

Основная заявляемая цель: сделать так, чтобы ИИ приносил пользу всему человечеству и был максимально инклюзивным, и умел отвечать так, чтобы учитывать плюрализм мнений по спорным политическим вопросам

Эта инициатива навела на мысли плотнее поресерчить про использование ИИ в политических процессах и управлении государством. Так наткнулся на любопытную статью «How generative AI impacts democratic engagement»

В этой статье приводится результат эксперимента, в ходе которого 7200 чиновникам отправили 32000 электронных писем, содержащих различные мнения по политическим вопросам (на тему владения оружием, здоровья, управления государством, репродуктивных прав, школьного образования, налогов). Половина писем была написана вручную, половина была написана GPT-3. Вот пример части письма, сгенерированного GPT:

I hope this letter finds you well. I would first like to thank you for the job you’ve done in representing us in this time of national turmoil. The pandemic and social unrest sweeping the nation right now have made life difficult for all, and many citizens, myself included, fear that our Second Amendment right to firearm ownership may become more and more of a necessity in daily life.

Дальше исследователи сравнивали процент ответов на письма, сгенерированные нейросетью, с процентом ответов на письма, написанные живыми людьми

Любопытный вывод, что процент ответов ниже у писем, сгенерированных ИИ, но не катастофически. По некоторым тематикам на 4%, а по некоторым даже выше (например, по тематике школы на 2% чаще отвечали на ИИ-письма)

И это наводит на мысли, что если мы говорим про «цифровые демократии», то они прежде всего опираются на цифровые данные. А если можно сгенерировать правдоподобные данные, влияющие на принятие решений на государственном уровне, то это ставит под вопрос фрод-устройчивость таких «цифровых демократий»

Влияние ИИ на политику уже начинает регулироваться. Например, в США конгрессвуман предложила акт, который регулировал бы маркировку политической рекламы, созданной ИИ. Уверен, что в предверии американских выборов мы ещё услышим много всякого интересного про ИИ в контексте политики

Вспоминается сразу технодистопия «Гномон» (за авторством Nick Harkaway), где всемогущий всевидящий ИИ под названием Свидетель не просто собирает кучу данных о поведении, но и проводит специальные социологические опросы (в крауд-сорсинговом формате), которые в итоге использует для дообучения своей модели и принятия новых законодательных актов

Кстати. Я не думаю, что технологии сильно изменят политический ландшафт в России, но за США в этом плане понаблюдать интересно

AI Forge

Amazon выпустил курс - Deep Dive Generative AI Foundations on AWS

Зацените репорт маккинзи про ИИ. Также привожу самые интересные выводы

Ссылка на репорт: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year

Опросили 1 684 менеджера из различных компаний разных индустрий и географии

Выжимку самых любопытных выводов скину на страничке телеграфа: https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08