🧠 Экзистенциальная проблема

Сунь-цзы, Айрис Мёрдок и Аристотель предлагают подвезти вас на машине домой. Но двое из них хотят вас убить, а один – нет. Вам придётся выбрать одного из философов – того, кто не хочет вас убивать.

Точно известно, что, по меньшей мере, один из философов всегда врёт (причём убийца — не обязательно лжец). Они сделали следующие заявления:

Сунь-цзы: Мёрдок и Аристотель говорят правду.
Мёрдок: Чтобы выжить, выбирайте Сунь-цзы или Аристотеля.
Аристотель: Если хотите жить, не выбирайте Мёрдок.

Решение:

Выбирайте Мёрдока.

Если Сунь-цзы говорит правду, тогда Мёрдок и Аристотель тоже говорят правду. Мы знаем, что один из них лжёт, поэтому Сунь-цзы определённо должен лгать. Тогда у нас есть три варианта. Либо Мёрдок и Аристотель оба врут (тогда нужно выбирать Мёрдок), либо Мёрдок врёт, а Аристотель говорит правду (тогда появляется противоречие), либо Мёрдок говорит правду, а Аристотель лжёт (опять у нас противоречие).

Единственным вариантом будет выбрать Мёрдок.

В буре новостей про нейронки от Microsoft и Google совсем незаметной осталась новость про не менее революционную Notion AI.

Некоторе из того, что она умеет:
– Автоматически писать заметки
– Резюмировать длинные статьи
– Анализировать настроение текста
– Переводить текст на разные языки
– Предлагать продолжение текста

Пока возможность открыта для 1 млн пользователей. При этом Notion AI работает на Desktop и в Web, но для доступа нужно немного повисеть в списке ожиданий.

Написал статью на Хабр

Решил рассказать о работе ML команды в горизонтальной структуре и особенностях такого подхода. Читать тут

TL;DR

1. Ответственность за сроки и метрики проекта ложится на всю команду, а не на отдельного человека, как и выполнение приоритизации проектов, когда их становится +100500, а также отслеживание прогресса по задачам. 

2. Распределение задач происходит с учетом ценности для бизнеса и вектора развития разработчика. 

3. Для формирования позиции команды по проекту проводится глубокая проработка вопроса с учетом мнения каждого разработчика.

4. Горизонтальная структура позволяет разработчикам развивать навыки самомотивации, самоорганизации и приоритизации задач.

5. Есть возможность экспериментировать с технологиями и инструментами, позволяющими создавать ценности для бизнеса.

6. Возможен быстрый рост компетенций за счет эффективного обмена опытом и знаниями.

7. Команда сплачивается вокруг совместных решений.

Чек-лист готовности идеи ML проекта.

1. Определение задачи: как машинное обучение может улучшить бизнес-процессы или определенные операции.

2. Оценка ценности: определение потенциальных экономических преимуществ, которые может принести внедрение проекта.

3. Доступность данных: оценка доступности и качества данных, необходимых для обучения моделей.

4. Культура компании: насколько компания готова к изменениям и внедрению новых технологий.

5. Планирование: разработка роадмапа внедрения проекта с определением ролей и зон ответственности.

6. Наличие ресурсов и компетенций: есть ли у вас необходимые ресурсы, вычислительные мощности, данные и квалифицированные специалисты, чтобы выполнить проект.

7. Оценка рисков: возможные риски, связанные с внедрением проекта, и меры по их минимизации.

8. Поддержка и улучшение качества: создать план поддержки и повышения качества, чтобы обеспечить успешное внедрение и дальнейшее развитие проекта.

В идеальном мире галочки должны стоять напротив каждого пункта. Но в реальности будет хорошо, если 4-5 пунктов будут зелеными.

Источник: канал моего брата. Да, он тоже ML 🤷‍♂️

Схема MLOps пайплайна

Пересматривал архитектуру MLOps пайплайна одного из проектов и захотел визуализировать пайплайн, к которому стоит стремиться. Набор этапов из этой схемы зависит от потребностей и размеров команды, процессов и культуры в компании, сложности продукта.

Если процессы в компании зрелые и культура позволяет стремиться к лучшему, то большинство из этапов обязательны вне зависимости от размеров команды и сложности продукта. Конечно, при построении подобной инфраструктуры стоит учитывать, что интеграция многих некоторых этапов является не самой простой задачей, а переход команды на новые инструменты имеет адаптационный период. Но тут важно понять, на какие риски вы соглашаетесь. Если коротко, то что чем меньше этапов в вашем пайплайне, тем выше риск невозможности поддержки проекта в будущем и мониторинга его состояния в настоящем.

Это уже MVP или все еще прототип?

Существует два похожих понятия — прототип и MVP. Иногда их путают, так что давайте разбираться.

⚙️Прототип
Это сильно упрощенная версия будущего сервиса. Он позволяет проверить одну конкретную идею/гипотезу. Обычно прототипы используют, когда задача звучит так:
«Хотим быстро проверить гипотезу/технологию А».

Например, мы делаем сервис обработки звука и хотим добавить подавление шумов. Для этого есть готовая библиотека. Прототипом будет простой код, который убирает шумы с помощью этой библиотеки. Модифицировать, обрезать, сохранять запись код не сможет, потому что цель — проверить конкретную локальную технологию.
Главный признак прототипа — это не полноценный продукт, а всего лишь небольшой кусок.

Свойства прототипа:
✅ простой
✅ быстро реализуемый
✅ сразу можно проверить работоспособность идеи
✅ легко переделать
❌ не получится использовать на проде
❌ работает только на заданном наборе данных, при любом отклонении сразу падает в ошибку

🤖MVP
MVP — это аббревиатура от английского Minimum Viable Product или «минимально жизнеспособный продукт». Это почти полноценный продукт, но с ограничениями.
Цель MVP — проверить идею не с точки зрения технологии, а на реальных пользователях. Это значит, что мы уже сделали прототип, убедились, что всё работает, и решили выпустить первую версию, в которой будет только самое необходимое для пользователей. А всё, без чего при запуске можно обойтись, в MVP не включаем ради экономии времени и денег.

Например, если мы делаем MVP того же сервиса обработки звука, то для начала там может быть только избавление от шумов, загрузка исходного и сохранение обработанного файла. При этом сервис может не иметь возможности дополнительных преобразований, обрезки, нарезки и других функций.
Смысл MVP в том, чтобы понять, взлетит ли бизнес-идея в принципе и нужно ли развивать программу дальше.

Свойства MVP:
✅ наличие интерфейса
✅ решает основную задачу пользователя
✅ не падает, если подать на вход что-то не то
❌ разработка дольше и дороже, чем в случае прототипа
❌ не имеет дополнительного функционала, кроме выполнения основной задачи

На наших глазах меняются поисковые системы.

Microsoft расширила количество запросов в режиме чата Bing до шести сообщений в одной сессии и 60 в течение дня.

Кроме этого, разработчики анонсировали три новых режима: точный, креативный и сбалансированный.

В будущем компания планирует увеличить дневной лимит до 100 сообщений, а также перестанет засчитывать запросы регулярного поиска в режиме «Чат».

Связь успеха и уровня удовлетворенности жизнью

Почему успех не равно счастье?
Что об этом говорят исследования?
Кому завидуют богачи?

Читать тут

Well done

Как ChatGPT попросили притвориться Линуксом, зайти на свой сайт и создать виртуальную тачку в виртуальной тачке. Эпично.

🤖 Китайские военные исследователи провели сражение один на один между управляемым ИИ и человеком беспилотниками в реальных условиях.
Эксперимент пришлось завершить спустя 90 секунд из-за «абсолютного превосходства» алгоритма.

В воздушном бою участвовали два небольших БПЛА. Один контролировался искусственным интеллектом на базе Nvidia Jetson TX2.
Вторым дроном дистанционно управлял опытный пилот.

✈️ По данным исследования, автономный БПЛА быстро увернулся от управляемого дрона и сел противнику «на хвост».
Все попытки человека избавиться от преследования оказались безуспешным

Источник

Дистилляция нейронных сетей

Это процесс сокращения размера большой нейронной сети до более компактной формы, сохраняя ее высокую точность. Если говорить проще, то учим маленькую сеть имитировать поведение большой. Она полезна для ускорения работы сети на мобильных устройствах или встроенных системах, где ограничены ресурсы.

Примером может служить сеть VGG16, которая содержит более 138 миллионов параметров. После дистилляции ее размер можно уменьшить до 5 миллионов параметров без значительной потери точности.

Другой пример - дистилляция BERT, используемой для обработки естественного языка. Оригинальная модель содержит более 340 миллионов параметров, но после дистилляции ее размер можно уменьшить до 27 миллионов параметров, что позволяет эффективно использовать ее на мобильных устройствах.

Про процесс:
Суть в том, чтобы использовать не только истинные метки, но и выходы большой сети (teacher) для обучения меньшей сети (student), минимизируя разницу между их выходами.

Про токсичность и влияние на команду

Токсичный человек в команде разработки может проявляться различными способами: он может быть агрессивным, критиковать других, создавать конфликты, не уважать мнение других, негативно влиять на общую атмосферу и т.д.

Работа с такими людьми может быть «опасной» для участников команды, потому что они могут вызвать у других членов команды стресс, депрессию, низкую самооценку и даже привести к психологическим проблемам. Кроме того, токсичный человек может замедлить работу команды, создавать задержки и препятствовать достижению общих целей. Все это негативно влияет на результаты и общий тонус команды.

Как найти?
Необходимо обращать внимание на следующие признаки:

1. Критика других участников проекта без конструктивных предложений.
2. Негативное отношение к мнению других.
3. Создание конфликтов и напряженной атмосферы в команде.
4. Неприятное поведение и неуважительное отношение к коллегам.
5. Недостаток эмпатии и понимания чувств других участников проекта.
6. Регулярное смещение сроков задач или прямой отказ от выполнения задач, которые ранее были назначены.
7. Попытки снять с себя ответственность за задачи и общий результат.

Как быть?
Можно применить следующие способы для управления ситуацией:

1. Открыто обсудить проблему с токсичным человеком и попытаться найти конструктивное решение.
2. Попросить помощи у руководства или HR-специалистов для решения проблемы.
3. Разделить задачи таким образом, чтобы минимизировать взаимодействие с токсичным человеком.
4. В крайнем случае, перевести его на индивидуальный проект (читай исключить токсичного человека из команды).

Важно помнить, что работа с токсичным человеком может быть сложной и требует терпения и профессионализма. Однако, если не принимать меры, то это может привести к серьезным последствиям для всей команды и проекта в целом.

Долгожданный релиз PyCaret 3.0. Что нового?

Многие этого ждали и это случилось. Ребята повысили производительность, исправили баги и много чего еще. Подробнее тут.

5 основных изменений:

1. Новый модуль прогнозирования временных рядов

2. Новый объектно-ориентированный API с поддержкой MLFLow, Weights & Biases, DagsHub и CometML

3. Полностью переработан препроцессинг

4. Добавлено предотвращение утечки таргета при использовании кросс-валидации.

5. Повышена производительность и добавлены распределенные параллельные вычисления с помощью Fugue

Сейчас очень многие говорят о том, что стоит запретить использование ChatGPT и ей подобных систем. Вся эта шумиха подогревается еще и тем, что некоторые авторитетные и влиятельные люди в медиа, такие как Yoshua Bengio, Elon Musk, Steve Wozniak и еще 5 тысяч значимых персон подписали открытое письмо. 
Хотят приостановить разработку подобных ИИ хотя бы на 6 месяцев, чтобы выработать протоколы и правила работы с такими системами. С одной стороны, порыв хороший, но как и всегда, любая сложная задача имеет простое, легкое для понимания неправильное решение.

Что тут интересного?

Из каждого утюга слышу, что GPT-4 умеет испытывать и понимать эмоции, что это большая проблема и тд. Но так ли это?
Смотрите, любая сетка, будь то Midjourney или ChatGPT - это большие трансформеры. Ни о каких эмоциях там речи не идет. Да, сети большие, очень большие. И поэтому они могут давать невиданные ранее результаты. Есть множество задач, где сетки лучше человека, но есть не менее большое множество задач, где сеткам до людей еще очень далеко. Надо понимать, что сети решают конкретные прикладные задачи и что сети семейства feed-forward, к которым относятся Midjourney и ChatGPT, имеют ограниченное количество этапов принятия решения и сигнал у них идет строго от входного к выходному слою. Они всегда сталкиваются с проблемой увеличения объема данных. Например, если им подавать каждый раз массив больше предыдущего для сортировки или большие арифметические выражения, то настанет момент, когда сеть не справится. Это говорит о том, что увеличение количества параметров в таких сетях позволяет ей лишь обрабатывать больше входных данных, находить чуть более сложные зависимости и чуть лучше подстраиваться под датасет. Ни о каких эмоциях речи не идет. Эти сети не умеют принимать решение о том, как долго им обдумывать свои решения. И это фундаментальное ограничение feed-forward моделей. 

Конечно, есть сети, которые лишены некоторых недостатков подобных систем, но специфика их архитектуры такова, что мы пока не можем обучать большие сети подобного рода - наша техника ограничена проблемой бутылочного горлышка фон Неймана. И это делает такие модели промышленно неэффективными в существующих реалиях.

Не стоит забывать про вопрос методики оценки модели и поиска критериев признания наличия интеллекта, о которых договоренностей пока нет. Есть большие датасеты вроде BIG-bench, на которых оценивают модели, но вот с признанием интеллекта есть интересный эффект - когда интеллектуальная задача решается компьютером, люди перестают её считать интеллектуальной. Еще Тьюринг занимался разработкой подобных методик оценки.

Конечно, есть риски, связанные с GPT-подобными моделями, вроде лжи, оскорблений и прочего, но на мой взгляд, такая шумиха отвлекает общество от действительно важных проблем в индустрии в целом. 

Например, проблема цифрового тайного суда или вопросы применения в медицине. Надо понимать, что решения таких систем сопоставимы с решением суда, с той лишь разницей, что оно безапелляционно и вы не имеете права посмотреть на доказательства, отстоять свою позицию или реализовать право на состязание. Есть реальные ситуации и примеры того, как люди доверяли подобным системам и отдавали им бОльшую часть работы. И мы знаем случаи, когда подобные системы имели заложенные неэффективности, которые привели к печальным последствиям. Например, история про почтовую службу Великобритании или алгоритм для вычисления мощности лучевой терапии.

Что с этим делать?
Кажется, что вместо того, чтобы заниматься популизмом и кричать «запретить ChatGPT» или «у нее есть эмоции» стоит сконцентрироваться на задачах легитимизации и прозрачности работы подобных алгоритмов, на создании этически корректных датасетов и протоколов применения подобных систем.
Я понимаю, почему люди не из индустрии так восторженно смотрят на это и поэтому, как мне кажется, люди из индустрии должны доступно объяснять остальным, что происходит и как это работает.
Если вы думали, что ИИ уже наступил и Скайнет близко - выдохните и расслабитесь, этого не происходит … пока

Уже можно приветствовать WALLE?

Google обучила парк роботов сортировать мусор.

Исследователи тестировали технологию в течение двух лет. Они использовали RL на реальных данных в комбинации с тренировками в симуляциях.

Чуваки заставили 30 роботов искать по офису мусоросортировочные станции и распределять объекты между баками определенным образом, чтобы собрать датасет. Например, банки и бутылки требовалось отнести в контейнер для вторсырья, а бумажные стаканчики — к компосту.

Еще 20 роботов сортировали мусор в специально оборудованных «классах».

Всего провели около 572 500 тестов. Система научилась правильно сортировать 84% объектов.

Сколько данных нужно для модели?
Ответ не так прост, как кажется. тык

Про самонаблюдение😂

Привет! 👋 Сегодня попробуем разобраться в интересном психологическом феномене, который оказывает значительное влияние на работу в команде и карьерный рост.

Эффект Даннинга-Крюгера🧠

Это когнитивное предубеждение, при котором люди с низкой компетентностью склонные переоценивать свои навыки, а люди с экспертными знаниями и опытом часто недооценивают себя. Это явление может иметь серьезные последствия для профессиональной деятельности, влияя как на взаимодействие в команде, так и на общую карьерную траекторию.

1. Последствия для командной работы🛠
В коллективе люди, подверженные влиянию эффекта Даннинга-Крюгера, могут проецировать необоснованное ощущение своей компетентности на команду, что приводит к ошибочным оценкам задач и проектов, а также к частым сбоям в общении. Такие люди могут сопротивляться обратной связи или сотрудничеству, считая, что они уже обладают необходимыми знаниями. Это может препятствовать внедрению новых подходов, замедлять реализацию проектов и вызывать конфликты в коллективе.

С другой стороны, члены команды, обладающие более высокой компетенцией, но недооценивающие свои возможности, могут не решаться поделиться своими соображениями. Это может помешать команде воспользоваться их ценным опытом, ограничивая потенциал роста и успеха команды.

2. Карьерный рост🚀
Эффект Даннинга-Крюгера имеет далеко идущие последствия для карьеры в целом. Те, кто переоценивает свои способности, могут упустить возможности для роста и совершенствования, поскольку ошибочно полагают, что им больше нечему учиться. Это приводит к застою и ограничению профессионального развития.

И наоборот, люди, недооценивающие свои способности, могут уклоняться от продвижения по карьерной лестнице или решения новых задач, считая, что не обладают достаточной квалификацией. Часто это приводит к упущенным возможностям и мешает полной реализации своего потенциала.

Что с этим делать?
Банально, но осознание проблемы - первый шаг к снижению влияния эффекта Даннинга-Крюгера. Регулярная самооценка, поиск конструктивной обратной связи от коллег по цеху и непрерывное развитие могут помочь человеку осознать свой реальный уровень компетентности.

Совет:
Если в вашей команде есть люди с подобными симптомами(и даже если их нет), то стоит начать выращивать культуру открытого общения в команде. Она способствует формированию атмосферы, в которой ценятся и эффективно распространяются знания и опыт. Это позволит в хорошем смысле усреднить команду, при этом сплоченность будет только расти, как и результаты такой команды. Словом, одни плюсы🤷

P.S.
Хочу еще отметить, что понимание эффекта Даннинга-Крюгера очень важно для создания сильных команд и достижения долгосрочного успеха. Осознав эту предвзятость в себе и других, мы можем улучшить взаимодействие, принимать более взвешенные решения и создать условия для постоянного роста.