Исследование: 78% руководителей считают, что внедрение ИИ привело к появлению рабочих мест

▪️ Ученые из Института для будущего работы (Institute for the Future of Work), Империал Колледжа в Лондоне и бизнес школы Warwick провели опрос и выяснили, что большинство компаний считает, что новые технологии улучшили качество работы.

▪️ 83% представителей компаний заявили, что из-за внедрения новых технологий прежним сотрудникам нужно осваивать новые навыки. 69% считают, что ИИ значительно улучшил качество работы внутри компании.

▪️ Профессор Джеймс Хейтон, ведущий автор отчета, сказал, что можно не бояться, что роботы полностью заменят людей на рабочих местах. Благодаря новым технологиям многим компаниям требуются специалисты из областей IT и компьютерной инженерии. Возможно, это приведет к тому, что какие-то профессии станут неактуальными, но в долгосрочной перспективе это, как правило, оказывает положительное влияние на экономику, добавил он.

▪️ При этом 47% респондентов заявили, что внедрение ИИ сократило количество рабочих мест в их компании.

Anthropic (создатели Claude) представили прорывной метод интерпретации нейронных сетей, разлагая их на более понятные компоненты. В своей последней работе исследователи доказали, что отдельные нейроны не всегда коррелируют с поведением модели. Вместо этого они предлагают использовать "признаки" - комбинации активаций нейронов, которые лучше интерпретируются и имеют последовательное значение. Этот метод позволил выделить специфические особенности в модели, такие как последовательности ДНК и юридический язык.

Это открывает новые перспективы для глубокого понимания и улучшения нейронных сетей. С возможностью лучше понимать внутренние процессы моделей, специалисты могут значительно улучшить их безопасность, надежность и применимость в различных отраслях. Также это может способствовать разработке новых методов обучения и оптимизации, которые были бы более эффективными и предсказуемыми. Компания уже выражает интерес к дальнейшему масштабированию этого подхода, чтобы внедрить его в более сложные модели, что может стать революционным шагом в области искусственного интеллекта.

https://www.anthropic.com/index/decomposing-language-models-into-understandable-components

Питер Норвиг, соавтор классического учебника по AI, соавтор первого MOOC (который тоже был про AI) и вообще значимый человек ещё лет десять назад, которого я уже давно не слышал, вместе с вице-президентом Google Research написали статью про то, что AGI уже здесь.

Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer.

https://www.noemamag.com/artificial-general-intelligence-is-already-here

ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)

Нужно быстро получить информацию из видео, но времени на просмотр нет? Поможет краткий пересказ видео от Яндекса!

Для этого необходимо скачать Яндекс Браузер на ваш Android или IOS смартфон или на компьютер Windows и Linux. Заходите в YouTube, открываете видео, нажимаете на всплывающую кнопку "Краткий пересказ" и вы увидите краткий пересказ информации из видео с таймкодами из этого видео. Сервис работает на YandexGPT и он полностью бесплатен!

Яндекс Браузер:
https://browser.yandex.ru

Пост взят с канала Полезная хрень

Даже если вдруг новость о запуске маркетплейса GPT не правда или, допустим, это случится не послезавтра а через 2 месяца, вот еще доказательство почему «промт-инжиниринг» умер.

В этой статье авторы доказывают, что обратная связь от пользователей и проактивные вопросы от LLM дают более точный результат чем, пусть даже сложный промтинг.

Единственный кейс где это не так — это гипотетический сценарий, когда кто-то изобретет формальный язык для промтов, который будет больше похож на Python, чем на английский. Но пока я ничего похожего не встречал.

Вместе с предыдущим постом, очень простой вывод: если уникальность вашего продукта и бизнеса это промтинг агентов или файнтьюнинг моделей, то ваш продукт не имеет конкурентного преимущества.

Ну и заставим котика прыгнуть, вбив в чат «Let the cat jump»

https://www.youtube.com/watch?v=UIZAiXYceBI

Выглядит потрясно, понятно, что в демке много всего, что скрыто за кадром, чтобы создать ощущение плавности и неразрывности пользовательского сценария. Но это всё наводит на мысли, что AGI уже очень близко

Пример AI-generated UI, который базируется на пользовательском запросе. То есть модель сначала классифицирует какой тип контента наиболее предпочтительно выдать пользователю, а дальше уже в соответствующем фрейме генерит мульти-модальный ответ с удобной навигацией

Интересно через какие этапы это проходит

1. Сначала классификация интента. На этом этапе модель понимает в какой модальности должен быть ответ: достаточно ли просто текста, нужны ли картинки, нужен ли какой-то UI для взаимодействия с данными
2. Потом доуточнение через встречные вопросы пользователю (это в дальнейшем позволит лучше сделать data-model для того контента, с которым будет взаимодействовать пользователь)
3. Потом модель генерирует PRD (product requirements) для некоторого мини-продукта, который решает пользовательскую задачу. Это позволяет понять какая функциональность должна быть: какие сценарии будет решать мини-продукт
4. А затем генерит под это layout, который описывает структуру интерфейса
5. На следующем шаге модель генерирует код на flutter для реализации пользовательского интерфейса
6. И дальше наполняет всё это контентом в соответствии с моделью данных

Ну и дальше с каждым куском контента можно также взаимодействовать и дальше продолжать в том же ключе

https://www.youtube.com/watch?v=v5tRc_5-8G4

Mistral выпустили модель Mixtral 8x7B.

Их предыдущая опенсорсная 7B модель нашла массу применения в сообществе, и теперь они пошли дальше и представили нейронку на архитектуре MoE (Mixture of experts). Здесь используется 8 моделей с 7B параметрами, каждая из которых является экспертом в своей области, и они взаимодействуют друг с другом для решения задачи пользователя.

По неподтверждённым данным схожая архитектура стоит за GPT-4, только каждая модель у их гидры имеет сотни миллиардов параметров.

Mixtral 8x7B может работать локально, выдаёт результаты на уровне GPT-3.5, в шесть раз быстрее ламы 2, имеет контекст 32к, и дружелюбную лицензию. А силами сообщества проект раскачают и на ещё больший контекст + эффективность.

Анонс
Как работает архитектура MoE
Скачать модель для локалки
Демо (ChatArena) - сравниваем бок о бок с другими моделями
Демо (Perplexity)
Демо (TogetherComputer)
Демо (HuggingChat)
Демо (HuggingFace)
Модель в формате MLX для компов Apple.
Герганов уже впилил в llama.cpp

Торрент:

magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce

К слову за год вышла не одна работа по MoE:
* ModuleFormer от IBM
* QMoE: запускаем LLM с более 1 трлн параметров на 8x3090.
* MoWE: архитектура с упором на малое требование к ресурсам.
* Mobile V-MoEs от Apple.
* SMoE как решение проблем MoE архитектуры.
* SMEAR градиентное обучение через слияние экспертов.
* Быть может не относится к MoE, но пусть тут будет: Ensemble-Instruct плюс Automix.