Well done

Как ChatGPT попросили притвориться Линуксом, зайти на свой сайт и создать виртуальную тачку в виртуальной тачке. Эпично.

🤖 Китайские военные исследователи провели сражение один на один между управляемым ИИ и человеком беспилотниками в реальных условиях.
Эксперимент пришлось завершить спустя 90 секунд из-за «абсолютного превосходства» алгоритма.

В воздушном бою участвовали два небольших БПЛА. Один контролировался искусственным интеллектом на базе Nvidia Jetson TX2.
Вторым дроном дистанционно управлял опытный пилот.

✈️ По данным исследования, автономный БПЛА быстро увернулся от управляемого дрона и сел противнику «на хвост».
Все попытки человека избавиться от преследования оказались безуспешным

Источник

Дистилляция нейронных сетей

Это процесс сокращения размера большой нейронной сети до более компактной формы, сохраняя ее высокую точность. Если говорить проще, то учим маленькую сеть имитировать поведение большой. Она полезна для ускорения работы сети на мобильных устройствах или встроенных системах, где ограничены ресурсы.

Примером может служить сеть VGG16, которая содержит более 138 миллионов параметров. После дистилляции ее размер можно уменьшить до 5 миллионов параметров без значительной потери точности.

Другой пример - дистилляция BERT, используемой для обработки естественного языка. Оригинальная модель содержит более 340 миллионов параметров, но после дистилляции ее размер можно уменьшить до 27 миллионов параметров, что позволяет эффективно использовать ее на мобильных устройствах.

Про процесс:
Суть в том, чтобы использовать не только истинные метки, но и выходы большой сети (teacher) для обучения меньшей сети (student), минимизируя разницу между их выходами.

Про токсичность и влияние на команду

Токсичный человек в команде разработки может проявляться различными способами: он может быть агрессивным, критиковать других, создавать конфликты, не уважать мнение других, негативно влиять на общую атмосферу и т.д.

Работа с такими людьми может быть «опасной» для участников команды, потому что они могут вызвать у других членов команды стресс, депрессию, низкую самооценку и даже привести к психологическим проблемам. Кроме того, токсичный человек может замедлить работу команды, создавать задержки и препятствовать достижению общих целей. Все это негативно влияет на результаты и общий тонус команды.

Как найти?
Необходимо обращать внимание на следующие признаки:

1. Критика других участников проекта без конструктивных предложений.
2. Негативное отношение к мнению других.
3. Создание конфликтов и напряженной атмосферы в команде.
4. Неприятное поведение и неуважительное отношение к коллегам.
5. Недостаток эмпатии и понимания чувств других участников проекта.
6. Регулярное смещение сроков задач или прямой отказ от выполнения задач, которые ранее были назначены.
7. Попытки снять с себя ответственность за задачи и общий результат.

Как быть?
Можно применить следующие способы для управления ситуацией:

1. Открыто обсудить проблему с токсичным человеком и попытаться найти конструктивное решение.
2. Попросить помощи у руководства или HR-специалистов для решения проблемы.
3. Разделить задачи таким образом, чтобы минимизировать взаимодействие с токсичным человеком.
4. В крайнем случае, перевести его на индивидуальный проект (читай исключить токсичного человека из команды).

Важно помнить, что работа с токсичным человеком может быть сложной и требует терпения и профессионализма. Однако, если не принимать меры, то это может привести к серьезным последствиям для всей команды и проекта в целом.

Долгожданный релиз PyCaret 3.0. Что нового?

Многие этого ждали и это случилось. Ребята повысили производительность, исправили баги и много чего еще. Подробнее тут.

5 основных изменений:

1. Новый модуль прогнозирования временных рядов

2. Новый объектно-ориентированный API с поддержкой MLFLow, Weights & Biases, DagsHub и CometML

3. Полностью переработан препроцессинг

4. Добавлено предотвращение утечки таргета при использовании кросс-валидации.

5. Повышена производительность и добавлены распределенные параллельные вычисления с помощью Fugue

Сейчас очень многие говорят о том, что стоит запретить использование ChatGPT и ей подобных систем. Вся эта шумиха подогревается еще и тем, что некоторые авторитетные и влиятельные люди в медиа, такие как Yoshua Bengio, Elon Musk, Steve Wozniak и еще 5 тысяч значимых персон подписали открытое письмо. 
Хотят приостановить разработку подобных ИИ хотя бы на 6 месяцев, чтобы выработать протоколы и правила работы с такими системами. С одной стороны, порыв хороший, но как и всегда, любая сложная задача имеет простое, легкое для понимания неправильное решение.

Что тут интересного?

Из каждого утюга слышу, что GPT-4 умеет испытывать и понимать эмоции, что это большая проблема и тд. Но так ли это?
Смотрите, любая сетка, будь то Midjourney или ChatGPT - это большие трансформеры. Ни о каких эмоциях там речи не идет. Да, сети большие, очень большие. И поэтому они могут давать невиданные ранее результаты. Есть множество задач, где сетки лучше человека, но есть не менее большое множество задач, где сеткам до людей еще очень далеко. Надо понимать, что сети решают конкретные прикладные задачи и что сети семейства feed-forward, к которым относятся Midjourney и ChatGPT, имеют ограниченное количество этапов принятия решения и сигнал у них идет строго от входного к выходному слою. Они всегда сталкиваются с проблемой увеличения объема данных. Например, если им подавать каждый раз массив больше предыдущего для сортировки или большие арифметические выражения, то настанет момент, когда сеть не справится. Это говорит о том, что увеличение количества параметров в таких сетях позволяет ей лишь обрабатывать больше входных данных, находить чуть более сложные зависимости и чуть лучше подстраиваться под датасет. Ни о каких эмоциях речи не идет. Эти сети не умеют принимать решение о том, как долго им обдумывать свои решения. И это фундаментальное ограничение feed-forward моделей. 

Конечно, есть сети, которые лишены некоторых недостатков подобных систем, но специфика их архитектуры такова, что мы пока не можем обучать большие сети подобного рода - наша техника ограничена проблемой бутылочного горлышка фон Неймана. И это делает такие модели промышленно неэффективными в существующих реалиях.

Не стоит забывать про вопрос методики оценки модели и поиска критериев признания наличия интеллекта, о которых договоренностей пока нет. Есть большие датасеты вроде BIG-bench, на которых оценивают модели, но вот с признанием интеллекта есть интересный эффект - когда интеллектуальная задача решается компьютером, люди перестают её считать интеллектуальной. Еще Тьюринг занимался разработкой подобных методик оценки.

Конечно, есть риски, связанные с GPT-подобными моделями, вроде лжи, оскорблений и прочего, но на мой взгляд, такая шумиха отвлекает общество от действительно важных проблем в индустрии в целом. 

Например, проблема цифрового тайного суда или вопросы применения в медицине. Надо понимать, что решения таких систем сопоставимы с решением суда, с той лишь разницей, что оно безапелляционно и вы не имеете права посмотреть на доказательства, отстоять свою позицию или реализовать право на состязание. Есть реальные ситуации и примеры того, как люди доверяли подобным системам и отдавали им бОльшую часть работы. И мы знаем случаи, когда подобные системы имели заложенные неэффективности, которые привели к печальным последствиям. Например, история про почтовую службу Великобритании или алгоритм для вычисления мощности лучевой терапии.

Что с этим делать?
Кажется, что вместо того, чтобы заниматься популизмом и кричать «запретить ChatGPT» или «у нее есть эмоции» стоит сконцентрироваться на задачах легитимизации и прозрачности работы подобных алгоритмов, на создании этически корректных датасетов и протоколов применения подобных систем.
Я понимаю, почему люди не из индустрии так восторженно смотрят на это и поэтому, как мне кажется, люди из индустрии должны доступно объяснять остальным, что происходит и как это работает.
Если вы думали, что ИИ уже наступил и Скайнет близко - выдохните и расслабитесь, этого не происходит … пока

Уже можно приветствовать WALLE?

Google обучила парк роботов сортировать мусор.

Исследователи тестировали технологию в течение двух лет. Они использовали RL на реальных данных в комбинации с тренировками в симуляциях.

Чуваки заставили 30 роботов искать по офису мусоросортировочные станции и распределять объекты между баками определенным образом, чтобы собрать датасет. Например, банки и бутылки требовалось отнести в контейнер для вторсырья, а бумажные стаканчики — к компосту.

Еще 20 роботов сортировали мусор в специально оборудованных «классах».

Всего провели около 572 500 тестов. Система научилась правильно сортировать 84% объектов.

Сколько данных нужно для модели?
Ответ не так прост, как кажется. тык

Про самонаблюдение😂

Привет! 👋 Сегодня попробуем разобраться в интересном психологическом феномене, который оказывает значительное влияние на работу в команде и карьерный рост.

Эффект Даннинга-Крюгера🧠

Это когнитивное предубеждение, при котором люди с низкой компетентностью склонные переоценивать свои навыки, а люди с экспертными знаниями и опытом часто недооценивают себя. Это явление может иметь серьезные последствия для профессиональной деятельности, влияя как на взаимодействие в команде, так и на общую карьерную траекторию.

1. Последствия для командной работы🛠
В коллективе люди, подверженные влиянию эффекта Даннинга-Крюгера, могут проецировать необоснованное ощущение своей компетентности на команду, что приводит к ошибочным оценкам задач и проектов, а также к частым сбоям в общении. Такие люди могут сопротивляться обратной связи или сотрудничеству, считая, что они уже обладают необходимыми знаниями. Это может препятствовать внедрению новых подходов, замедлять реализацию проектов и вызывать конфликты в коллективе.

С другой стороны, члены команды, обладающие более высокой компетенцией, но недооценивающие свои возможности, могут не решаться поделиться своими соображениями. Это может помешать команде воспользоваться их ценным опытом, ограничивая потенциал роста и успеха команды.

2. Карьерный рост🚀
Эффект Даннинга-Крюгера имеет далеко идущие последствия для карьеры в целом. Те, кто переоценивает свои способности, могут упустить возможности для роста и совершенствования, поскольку ошибочно полагают, что им больше нечему учиться. Это приводит к застою и ограничению профессионального развития.

И наоборот, люди, недооценивающие свои способности, могут уклоняться от продвижения по карьерной лестнице или решения новых задач, считая, что не обладают достаточной квалификацией. Часто это приводит к упущенным возможностям и мешает полной реализации своего потенциала.

Что с этим делать?
Банально, но осознание проблемы - первый шаг к снижению влияния эффекта Даннинга-Крюгера. Регулярная самооценка, поиск конструктивной обратной связи от коллег по цеху и непрерывное развитие могут помочь человеку осознать свой реальный уровень компетентности.

Совет:
Если в вашей команде есть люди с подобными симптомами(и даже если их нет), то стоит начать выращивать культуру открытого общения в команде. Она способствует формированию атмосферы, в которой ценятся и эффективно распространяются знания и опыт. Это позволит в хорошем смысле усреднить команду, при этом сплоченность будет только расти, как и результаты такой команды. Словом, одни плюсы🤷

P.S.
Хочу еще отметить, что понимание эффекта Даннинга-Крюгера очень важно для создания сильных команд и достижения долгосрочного успеха. Осознав эту предвзятость в себе и других, мы можем улучшить взаимодействие, принимать более взвешенные решения и создать условия для постоянного роста.

Немного о том, почему важно наладить общий язык между бизнесом и ML командой при согласовании проекта.
И еще чуть-чуть о том, как это можно сделать
Тык

ChatGPT теперь может искать в Интернете актуальную информацию, чат-бот больше не ограничивается 2021 годом.
В интересное время живем
Источник

Открылся приём заявок на Yandex ML Prize

Это премия Яндекса для поддержки исследователей, преподавателей и научного сообщества в области машинного обучения. Подать заявку можно в следующих категориях: 
— компьютерное зрение, 
— обработка естественного языка и машинный перевод, 
— распознавание и синтез речи, 
— информационный поиск и анализ данных, 
— генеративные модели

Лауреатов выбирает совет премии, в который входят исследователи и разработчики Яндекса, а также учёные с мировым именем.

Лауреаты Yandex ML Prize получат по денежные призы от 500 тысяч до 1 млн рублей, гранты от Yandex Cloud для использования сервиса в своих исследованиях и другие призы от Яндекса.
Тык

🚀 XGBoost 2.0: Главные Нововведения!

1️⃣ Многозадачные деревья: Теперь одно дерево для всех целей! Это помогает предотвратить переобучение и учитывать корреляцию между целями.

2️⃣ Параметр устройства: Проще выбирать устройство с новым параметром "device", заменяющим старые параметры GPU.

3️⃣ Стандартный метод дерева "hist": Сделает обучение моделей более эффективным и последовательным.

4️⃣ Лучшая поддержка внешней памяти: Теперь работать с большими наборами данных можно еще эффективнее!

5️⃣ Обучение ранжированию: Доступны новые функции для обучения ранжированию.

Больше тут

Яндекс открыл прием заявок на тренировки по ML, алгоритмам и DevOps.

Пройдут с 30 октября по 1 декабря.

Всегда замечал, что у людей соседствует низкий уровень образования и бедность, но всегда удивлялся и искренне не понимал механизмов работы такой связки. Никто ведь не запрещает ходить в бесплатные библиотеки и использовать интернет (сейчас он доступен вообще везде, мне кажется). Но решил чуть больше погрузиться в эту тему и почитал исследования.

Теперь понятно, почему и как. Узнал сам - поделился с вами)