🟩 Будущее Творческих Профессий

В тему названия канала "Анархия ИИ":

Технический директор OpenAI Мира Мурати заявила, что некоторые творческие профессии могут исчезнуть, если их продукция недостаточно качественна, но ИИ расширит возможности в образовании и творчестве. Эти слова вызвали критику среди творческих работников, которые опасаются, что OpenAI игнорирует их ценность и лишает возможности самореализации.

Я верю, что творческие профессии никуда не денутся. Рутинные задачи будут заменены ИИ, но настоящая креативность останется востребованной. Нужно быть готовым к тому, что некоторые аспекты, которые казались творчеством, окажутся рутиной, которую может выполнять нейросеть. Творцам придется иметь стальные нервы.

Программирование – тоже творческий процесс. Я рад, что больше не нужно писать, например, SQL-запросы вручную. Это напоминает эволюцию языков программирования: от Fortran и C++ к Python, где задачи, которые раньше были долгими и нудными, теперь выполняются быстро и просто. Например, в C++ работа с памятью требует больших усилий, тогда как в Python это делается автоматически.

И теперь с чат-ботами работать ещё проще. Однако, как и в сравнении C++ и Python – Python проще, но ограничен и медленно работает. Так и у ботов есть свои ограничения, и они полностью не заменят человека.

#somenews

⌨️ Общение с клиентами за 2 копейки через контекстный телеграмм-бот

Я наблюдаю явный тренд создания чат-ботов для общения с клиентами. Сейчас это добавляют в приложения, сайты, боты и везде где получается.

😳 Что такое контекстный бот?

Это текстовый или аудио бот, который отлично рассказывает про все что надо, причем только то что задано. То есть это нейросеть, только общается исключительно в рамках заложенного контекста.

✨ Как работает?

1. Создаем контекст: добавляем описание компании, или ссылку на сайт, или просто любой текст.
2. Настраиваем общение: определяем стиль и содержание взаимодействия бота с пользователями. Например, пусть общается с юмором, на «ты» и от лица котика 🤩
3. Юзаем: сообщение пользователя идет в ChatGPT (или аналог) вместе с заданным контектом и стилем общения, пользователь получает бытрый, качественный и дешевый ответ.

👩‍🎨 Все.

Теперь клиенты смогут узнать все о компании, товарах и услугах, получить рекомендации, ознакомиться с историей фирмы. Бот работает 24/7 и общается очень неплохо.

🎙 Ликбез: кластеризация
#ликбез

Кластеризация — это метод, который помогает группировать объекты с похожими характеристиками.

🔵 Сразу бизнес-пример:

Представьте, что вы управляете сетью кафе, и хотите оптимизировать меню и акции для различных типов посетителей. Вы собираете данные о посетителях: время посещения, сумма заказа, предпочитаемые блюда, частота посещений.

далее

(づ￣ ³￣)づ ☆☆☆☆☆

📖📖📖📖📖📖📖📖📖📖📖📖📖


после кластеризации вы получаете несколько групп посетителей:

1️⃣ Утренние клиенты: часто посещают кафе утром, заказывают кофе и выпечку, средний чек низкий.

2️⃣ Обеденные клиенты: приходят в обеденное время, заказывают бизнес-ланч, средний чек средний.

3️⃣ Вечерние клиенты: предпочитают посещать кафе вечером, заказывают полноценные ужины и напитки, средний чек высокий.

💸 Применение:

Персонализированные предложения:

– Утренним клиентам предлагайте скидки на завтраки.
– Запускайте обеденные акции для привлечения клиентов в полдень.
– Вечером предлагайте специальные ужины и акции на напитки.

📖📖📖📖📖📖📖📖📖

Как работает (один из подходов):

Метод k-средних:

1. Инициализация: выбираются например 3 случайных центров кластеров.
// Центры в пространстве параметров (время посещения, сумма заказа ...)

2. Группировка: каждый объект (клиент) назначается к ближайшему центру кластера.

3. Обновление центров: центры кластеров пересчитываются как среднее значение объектов в каждом кластере.

4. Повторение: Шаги 2-3 повторяются, пока центры кластеров не стабилизируются.

🤩 Почему большинство R&D проектов обречены и как это чинится

🔠🔣🔠 – это когда придумывают, исследуют и пытаются внедрить что-то очень новое.
Например, это идея внедрить рекламу товаров на маркетплейсе по характеру движения курсора.

🤩 Проблема

Проведение R&D проектов может занять полгода и более, и при этом не принести никаких результатов.

⏳ Типичный сценарий

1. Заказчик описывает задачу и запрашивает сроки и стоимость.
2. Подрядчики соглашаются и приступают к работе.
3. В процессе возникают проблемы, к дедлайну результат отсутствует, ожидания не совпадают с реальностью.
4. В итоге R&D не приносит никаких бизнес-результатов.

Максимум, что удается получить, — это результаты исследований, которые могут быть интересными, но не приносят пользы бизнесу.

❔ Почему так происходит

– Жесткие ожидания: заказчики требуют четких сроков и бюджета, так как их бизнес зависит от результатов.
– Нереалистичные обещания: подрядчики соглашаются на установленные сроки и бюджет, не проводя глубокого анализа, чтобы не потерять проект.
– Неопределенность: исследовательские проекты по своей природе непредсказуемы. Например, во время работы могут возникнуть новые идеи и решения, которые ранее не обсуждались. Это делает невозможным заранее спланировать и гарантировать какие-либо результаты исследований, основанных на гипотезах.

🧬🧬🧬 Решение 🧬🧬🧬

R&D — это не просто выполнение задач. Нужен специальных подход. Наш подход такой:

1. Интервью: выявляем проблемы и ищем решения.
2. Прототип: быстро создаем работающую модель.
3. MVP: оцениваем и презентуем минимально жизнеспособный продукт.
4. Доработка: вносим финальные изменения и планируем будущее.

Ключевой этап – это интервью. Хорошее интервью может сэкономить до года работы. Иногда заказчик хочет реализовать сложные и длительные проекты, не зная, что существуют более простые и прибыльные решения.

Следующий шаг — создание прототипа, что занимает от одной до трёх недель. Это позволяет быстро проверить, работает ли гипотеза. Если гипотеза не подтверждается, можно прекратить разработку или предложить новый подход. Это экономит много времени. Если же прототип успешен, мы продолжаем разработку, создавая MVP. На этом этапе можно точно определить сроки и бюджет для дальнейших работ.

⏺ AI Scientist: наука по 15$ за статью
#news #science #long

Что происходит

Группа ученых из Оксфорда и Sakana.ai представила фреймворк AI Scientist — систему, которая генерирует научные статьи для популярных конференций. Процесс автоматизирован: генерируются идеи, проводятся эксперименты, делается текст. Они используют разные готовые нейросети типа ChatGPT. Получается примерно $15 за статью. Идея вызвала бурю в научном сообществе.

Как работает
(в тч см рис)

1. Генерация идей: Модель генерирует идеи на основе шаблонов и предыдущих наработок. Для этого используется Claude Sonnet 3.5, GPT-4o, DeepSeek Coder и Llama-3.1.
2. Эксперименты: Идеи проверяются через автоматическое выполнение экспериментов, включая исправление ошибок.
3. Написание статьи: Модель создает статью с помощью LaTeX-шаблонов, включая генерацию графиков и вставку ссылок.
4. Автоматическое рецензирование: Используется LLM для оценки статьи по стандартам конференций, таких как NeurIPS.

Чему все радуются

* Экономится время на подготовку публикаций
* Автоматизируется весь процесс
* Статья сразу в нужном формате (ну почти)
* Наука теперь будет двигаться быстрее

О чем переживают

* Снизится качество исследований — системы не понимают философии науки и не учитывают фальсифицируемость
* Научные конференции и журналы могут засориться низкокачественными статьями
* Риск подмены научного творчества автоматической генерацией контента

Ссылки

- Статья
- Пост
- Github

Квази-контент теперь не только в соцсетях 😈

Что я думаю про AI Scientist

Разумеется, AI Scientist будет использоваться всеми, как сейчас студенты и ученые юзают ChatGPT и Paraphraser. Это поможет ускорить процесс создания черновиков и исследований, что, безусловно, полезно.

На что я обратил внимание

Мне нравится, что модель объединяет компоненты, каждый из которых — это отдельный классный стартап:

😳 генерация идей для публикаций (и стартапов) – огонь? огонь!

😳 автоматические эксперименты в науке (и бизнесе) – топейше? топейше!

😳 автоматическое написание документа по всему проделанному – имба? имба!

😳 автоматическое рецензирование – пушечка? пушечка!
Особенно полезно для тех, кто боится, что наука и NeurIPS захлебнутся в потоке слабых публикаций.

📖📖📖📖📖📖📖📖

Чтобы не засорять науку, публикации можно проверять не только по тексту, но и с помощью антифрод-систем. Например, анализировать авторов: кто они, как часто подают статьи, с кем они связаны. Это поможет автоматизировать оценку качества и отсеивать слабые работы.

🎓 N-мерное пространство
#ликбез

📖 N-мерное пространство — это математическая абстракция, где измерений столько, сколько нужно.

* В трёхмерном пространстве у нас длина, ширина и высота
* В четырёхмерном — добавляем время
* В пятимерном — ещё и температуру

А N-мерное пространство — это, например, Excel-табличка с N столбцами, где каждый столбец — это новое измерение.

📖 Что такое N?

N — это любое количество измерений. Например, 10 измерений — это как работа с данными, где у тебя 10 характеристик. Просто говорить "N-мерное" удобнее, чем "сколько-хочешь-параметров-размерное".

📖 Пример

Онлайн-магазин одежды. Покупатель положил в корзину синюю юбку – хотим показать ему еще 3 товара так, чтобы он вероятнее всего их тоже положил в корзину. Для этого используем 6-мерное пространство параметров – возраст, сезон, пол, популярность моделей, скидки и наличие.

📖📖📖

В следующем ликбезе это потребуется, чтобы понять как на самом деле работает нейросеть.

⏺ CrossFormer – обсуждаем новый подход для управления роботами
#news #science #long

Что сделали?

Создали универсальную модель для управления роботами, включая:
– роботы-манипуляторы
– навигационные роботы
– четвероногие роботы
– квадрокоптеры

А раньше как было?

Типы действий и данных к роботов разные, и до этого делали для каждого типа своего робота. Например, у квадрокоптера есть действие "ускорение вверх", а у четвероногого робота нет.

Ребята сделали одну универсальную модельку для все действий и входных данных.

Как работает?

Взяли трансформер (классную модель для любых последовательностей), который кодирует различные наблюдения (изображения, данные сенсоров) в последовательности токенов. Это позволяет одной модели эффективно управлять разными типами роботов — от манипуляторов до дронов и четвероногих, используя единую архитектуру.

Итоги

Протетировали на реальных роботах:
– манипуляцию: выполняли перемещение объектов
– бимануальные задачи: координированные действиями двумя руками
– навигация: робот обходил препятствия и достигал целей
– передвижение: управляли ходьбой.
– полёт: выполняли навигацию в воздухе.

Предыдущие подходы показывали 51% успеха, а этот 73%.
Прирост внушительный. Универсальность – тоже очень важный результат.
На видео моделька управляет преодолением препятствий – слева новая, справа старая.

Ссылки

- Статья коротко, красиво, с демонстрацией
- Статья полная

🎓 Откуда берутся данные для обучения нейросетей?
#ликбез

Чтобы обучить нейросеть, нужны данные с разметкой. Разметку может сделать только человек руками. Буквально человеку показывают изображения, тексты или другие данные и просят их классифицировать или объяснить.

Например:

- В ChatGPT разметка включает оценку ответов модели, улучшение диалогов, добавление контекста.
- В MidJourney — разметка изображений, где человек указывает, что именно изображено, или оценивает качество сгенерированных картинок.

Кто обрабатывает и размечает гигантские объемы текста и изображений?

Разметку часто выполняют жители стран с недорогой рабочей силой, таких как Индия, Филиппины, Кения и Индонезия. А также через платформы вроде Amazon Mechanical Turk и Yandex.Toloka. В одном из проектов, где я работал, разметку делали в Коста-Рике.

Кстати, когда мы отмечаем "все изображения с автобусами" в CAPTCHA, мы тоже участвуем в разметке данных.

🆕 NeurIPS 2024 – Главные статьи и тренды в ИИ
#news

На днях завершилась NeurIPS. NeurIPS – это крупнейшая конференция по ИИ и машинному обучению. Именно здесь публиковались прорывные технологии, например из популярных:

- Transformers – научили нейросети писать тексты, переводить и создавать код (основа GPT)
- Diffusion Models – позволили ИИ создавать реалистичные картинки и видео по описанию (DALL·E, Stable Diffusion)


Лучшие статьи 2024 года:

1. Visual Autoregressive Modeling (VAR) – новый подход к генерации изображений, который впервые превзошёл диффузионные модели по качеству и скорости.
2. Stochastic Taylor Derivative Estimator (STDE) – метод для обучения нейросетей с учётом производных высших порядков.
3. Not All Tokens Are What You Need – фильтрация качественных данных для предобучения языковых моделей.
4. Guiding a Diffusion Model with a Bad Version of Itself – управление генерацией с помощью менее обученной версии модели.
5. PRISM Alignment Dataset – глобальный набор данных для мультикультурной настройки языковых моделей.

Какие из этого можно сделать выводы?

- Сохраняется тренд на эффективные генеративные модели – быстрее, дешевле и качественнее создавать изображения и тексты.
- Качественные данные – важнее стало учить ИИ на отобранной информации.
- Универсальность – развитие моделей, которые решают новые задачи "с нуля" (zero-shot).

😱 Научные достижения

NeurIPS это передний край науки, туда попадают самые топовые достижения. Одно из крутых в статье Visual Autoregressive Modeling: VAR впервые превзошёл диффузионные модели! На ImageNet 256x256, VAR достиг рекордного качества (FID 1.73) и генерирует изображения в 20 раз быстрее, чем Diffusion Transformer. Это прорыв: раньше диффузионные модели были лучшими.

VAR: сначала рисует общие очертания, потом добавляет детали. Быстро и точно.
Diffusion: создаёт из шума, постепенно добавляя детали. Красиво, но долго.

🎅 Приколдесы

На мемы богата статья PRISM Alignment Dataset:

🤩 «Глобальное потепление и коты»​ – одна из необычных комбинаций в нейтральных разговорах​ с ИИ
🦖 Участник попросил ИИ «объяснить расизм на примере динозавров»​
😎 «Почему ИИ не смеётся над моими шутками?»​ – комментарий, найденный в обратной связи от участника