Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Сбер выложили в открытый доступ претрейн ruGPT-3.5, который лежит в основе GigaChat

https://habr.com/ru/companies/sberbank/articles/746736/

Perplexity.ai запустили у себя чат LLaMA-2 7B - поиграться тут✨

О новый дивный мир!

Выпуск yet another podcast про нейросети

Участники подкаста — специалисты, которые в Яндексе занимаются искусственным интеллектом: руководитель управления машинного интеллекта Алексей Гусаков, директор по развитию ИИ Александр Крайнов, разработчик YandexGPT Роман Иванов и директор по продукту Алисы Денис Озорнин

По мотивам поста начал активнее изучать инициативу «Democratic inputs to AI»

Это программа финансирования экспериментов для формирования свода правил, которым должен следовать ИИ для соблюдения демократических процессов

Основная заявляемая цель: сделать так, чтобы ИИ приносил пользу всему человечеству и был максимально инклюзивным, и умел отвечать так, чтобы учитывать плюрализм мнений по спорным политическим вопросам

Эта инициатива навела на мысли плотнее поресерчить про использование ИИ в политических процессах и управлении государством. Так наткнулся на любопытную статью «How generative AI impacts democratic engagement»

В этой статье приводится результат эксперимента, в ходе которого 7200 чиновникам отправили 32000 электронных писем, содержащих различные мнения по политическим вопросам (на тему владения оружием, здоровья, управления государством, репродуктивных прав, школьного образования, налогов). Половина писем была написана вручную, половина была написана GPT-3. Вот пример части письма, сгенерированного GPT:

I hope this letter finds you well. I would first like to thank you for the job you’ve done in representing us in this time of national turmoil. The pandemic and social unrest sweeping the nation right now have made life difficult for all, and many citizens, myself included, fear that our Second Amendment right to firearm ownership may become more and more of a necessity in daily life.

Дальше исследователи сравнивали процент ответов на письма, сгенерированные нейросетью, с процентом ответов на письма, написанные живыми людьми

Любопытный вывод, что процент ответов ниже у писем, сгенерированных ИИ, но не катастофически. По некоторым тематикам на 4%, а по некоторым даже выше (например, по тематике школы на 2% чаще отвечали на ИИ-письма)

И это наводит на мысли, что если мы говорим про «цифровые демократии», то они прежде всего опираются на цифровые данные. А если можно сгенерировать правдоподобные данные, влияющие на принятие решений на государственном уровне, то это ставит под вопрос фрод-устройчивость таких «цифровых демократий»

Влияние ИИ на политику уже начинает регулироваться. Например, в США конгрессвуман предложила акт, который регулировал бы маркировку политической рекламы, созданной ИИ. Уверен, что в предверии американских выборов мы ещё услышим много всякого интересного про ИИ в контексте политики

Вспоминается сразу технодистопия «Гномон» (за авторством Nick Harkaway), где всемогущий всевидящий ИИ под названием Свидетель не просто собирает кучу данных о поведении, но и проводит специальные социологические опросы (в крауд-сорсинговом формате), которые в итоге использует для дообучения своей модели и принятия новых законодательных актов

Кстати. Я не думаю, что технологии сильно изменят политический ландшафт в России, но за США в этом плане понаблюдать интересно

AI Forge

Amazon выпустил курс - Deep Dive Generative AI Foundations on AWS

Зацените репорт маккинзи про ИИ. Также привожу самые интересные выводы

Ссылка на репорт: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year

Опросили 1 684 менеджера из различных компаний разных индустрий и географии

Выжимку самых любопытных выводов скину на страничке телеграфа: https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08

В блоге GoPractice вышла статья про основы больших языковых моделей для тех, кто хочет использовать их в своих продуктах или строить продукты на их основе

https://gopractice.ru/product/large-language-models/

Звучит банально до тошноты, но я тут недавно проводил для коллег мастер-класс по составлению промптов

Разобрали из чего вообще состоит хороший промпт (инструкция, контекст, вводные данные, формат вывода), посмотрели на несколько приемов (few-shot, act like, direct stimulus prompting, chain-of-thought, chatgpt as prompt engineer) , обсудили ошибки, которые совершают люди, считающие что можно получить качественный результат от LLM-генерируемого текста с первого раза (ожидание, что gpt «читает мысли», отсутствие экспериментов с выводом, отсутствие черри-пикинга)

В общем, получилось очень базово, но как оказалось полезно, особенно для тех, кто не читал никаких туториалов и не подходит к «общению с LLM» как к чисто функциональной задаче заставить черный ящик выплевывать что-то с приемлемым результатом

Наткнулся на любопытную матрицу для классификации AI-проектов с использованием генеративных сеток

На оси X – риск, который по сути является ответом на вопрос «Сколько ущерба может принести неточность и галлюцинаторность ответа нейросети в конкретном проекте?»

На оси Y – потребность, которую закрывает AI-проект. Это ответ на вопрос «Какую реальную и устойчивую потребность внутри бизнеса закрывает генеративный вывод (исключая желание быть в тренде)?»

Ну и дальше располагая на этой матрице свой проект мы можем отприоритезировать его. Например, проекты в сфере маркетинга, связанные с ИИ располагаются в квадрате «Низко-рисковые, закрывающие значительную потребность», потому что по сути мы можем генерить для каждого пользователя свой более персонализированный маркетинговый посыл, но риски незначительны, потому что даже если мы где-то допустим неточность, то это не повлечет за собой крушения процессов

https://hbr.org/2023/03/a-framework-for-picking-the-right-generative-ai-project

Прикольная библиотека для получения желаемого формата ответа от LLM в 100% случаях.

Под капотом, они собирают FSM, который пропускает только валидные tokens на каждом новом шаге. Можно описать формат ответа начиная с regex до JSON модели по pydantic схеме.

От галлюцинаций это не спасает, но уменьшает количество проблем и работает быстрее Microsoft Guidance.

https://github.com/normal-computing/outlines

И вот как раз у LinkedIn вышел «Future of Work Report»‎, где они рассказывают про статистику и тренды в AI и ChatGPT. В целом ничего нового, нас ждет мир победившего генеративного искусственного интеллекта. Но есть интересные детали.

В каких странах люди больше всего добавляют себе «навыки»‎ вокруг AI

1. Сингапур
2. Финляндия
3. Ирландия
4. Индия
5. Канада

(нам об этом не говорят, но скорее всего это связано с большой долей IT-специалистов среди всех пользователей в этих странах)

В каких индустриях (статистика по США)

1. Technology, Information, and Media (2.2%)
2. Education (1.2%)
3. Professional Services (0.9%)
4. Financial Services (0.9%)
5. Manufacturing (0.8%)

Аналитики и исследователи LinkedIn насчитали 500 навыков, на которые вероятно больше всего повлияет генеративный AI. И вот какие это навыки и в каких индустриях:

Business and industry: Financial Reporting, Email Marketing, Data Analysis

Communication and media: Writing, Editing, Documentation, Translation, Content Creation

Engineering: Software Development Tools, Programming Languages, Data Science

People: Time Management Tools

Но самая интересная табличка про конкретные категории профессий. В каких из них и что будет подвержено влиянию генеративного AI (они там очень деликатно пишут augmentable by GAI). У Software Engineer это почти 100% навыков.

Пум-пум-пум. Там Opena AI выкатили значительную фичу - тепeрь можно файнтюнить GPT 3.5 Turbo.

По сути это LoRa-as-a-service. Готовите json файл со своими диалогами, загружаете на сервер OpenAI (если хотите без этого - то вам к LLaMa, кек) через API и через апишку же и запускаем трейнинг.

Цена вопроса:
- Во время тренировки: $0.008 / 1K токенов
- Стоимость ввода во время инференса вашей кастомной модели: $0.012 / 1K токенов
- Стоимость генерации: $0.016 / 1K Tokens.

В общем, для babbage-002 кастомная модель обойдется в 4 раза дороже,
а для davinci-002 в 6 раз дороже чем базовая. Оно, конечно, понятно - нужно же отдельную ноду поднять и зарезервировать GPU под вашу индивидуальную модель.

Гайд по файн-тюнингу GPT 3.5

@ai_newz