10 советов как достичь SOTA
Идем по графику и разбираем сегодня, что такое соревнование в мире машинлернинга.
Термин SOTA (сОта) активно используется в такой области искусственного интеллекта, как machine learning (машинное обучение). Означает он одно слово “state-of-the-art”, буквально “состояние развития”. Под “art” (искусство) имеется в виду искусство решения проблем при помощи инженерии. Берем живую проблему и решаем ее искусственными методами. Обычно проблемы в живом мире очень сложные, многофакторные, поэтому с кондачка их со стопроцентным успехом не решить. Приходится сравнивать разные “арты”, методы, алгоритмы, чтобы найти тот, который справится лучше всех. Анализ решений приводит обычно к выяснению, что проблема решается вот уже на таком уровне эффективности. Ниже этой эффективности падать смысла нет. Правда, эффективность тоже можно по-разному померить, да и рассказать про негативный результат (мы попробовали такое-то, а оно не работает) тоже бывает полезно, но об этом будут отдельные посты.
Получается, SOTA - это своего рода результат соревнования за самое эффективное решение. Решения можно собрать по разным научным статьям и отчетам, но гораздо удобнее, если они публикуются в одном месте. Существуют платформы для соревнований в машинлернинге. Там можно и задачу опубликовать, и свое решение, часто вместе с кодом. За результаты разрабы получают не только символические медальки, но и денюжку, и возможность опубликовать статью.
Самая известная платформа для соревнований за медальку и денюжку: Kaggle (Кегл). Не так давно в вакансиях стали упоминать, что медальки на Кегле являются положительным бонусом к основным скилам.
Ученые меряются решениями на CodaLab. Там можно посмотреть и executable papers, т.е. статьи с кодом, который можно выполнить и получить тот же результат, который зарепорчен (to report - “опубликовать, заявить”) в статье.
Но тру компьютерные лингвисты соревнуются, конечно, на SemEval (семевАл, почти как “сеновал”). Это ежегодное соревнование по актуальным, трендовым задачам в области NLP. По итогам соревнования есть хороший шанс выпустить статью в материалах Ассоциации компьютерной лингвистики (ACL), крупнейшего объединения комп. лингвистов в мире.
Так как же достичь SOTA? Итак, советы от Жака Фреско. Важно, они относятся к какой-то выбранной вами области ИИ. Можно, наверно, преуспеть во многом, но мой путь в ИИ был довольно узко-задачным. Советы:
1. Тут довольно банально - надо подточить навыки, скилы (МООКи, вот это все).
2. Найдите какую-то научную мысль, загадку, которая вас прям ведет, прям вот хочется ее разгадать. И пытайтесь разгадать. В этот момент ваши скиллы бустятся прям космически.
3. Попробуйте маленькое без конкретной даты окончания соревнование на Кегле, например, MNIST. Повисите там в турнирной таблице. Поймете, что это не страшно, даже если вы где-то внизу висите - всем пофиг.
4. Найдите более серьезное соревнование, в котором хотите участвовать всерьез.
5. Найдите товарища или команду таких же амбициозных товарищей. Желательно, чтобы у них были разные суперспособности и чтобы у них было все в порядке с софт-скилами.
6. Запаситесь валокордином и кока-колой. Научитесь плакать, если вы еще не умеете этого делать.
7. Приготовьтесь морально и подготовьте ваших близких и друзей, что пока вы участвуете в соревновании, у вас не будет личной жизни и есть риск, что вы на кого-нибудь кинетесь.
8. Пишите код и тестите на странице соревнования. Очень много. Вот встали утром, поели и арбайтен.
9. Но не забывайте про здоровье. Иначе вы тупо сгорите. Выиграете что-то или нет - это всегда лотерея. А вот здоровье уже не вернуть.
10. Не забывайте про шаманский бубен. Ну или таро, свечку поставить. Короче, любой magic (мэджик), который вам помогает по жизни.
Good luck! И помните: the odds are never in our favour!
💪
#база #эссеиистика

Сегодня будет пост по базе, а затем... барабанная дробь... анонс на октябрь. Из удивительного: я решила позаписывать кружочки - буду делать это по воскресеньям.

Итак, база: что такое NLP и как не путать его с НЛП и НЛО?

NLP - Natural Language Processing, или обработка естественного языка - от CL (комп. лингвистики) отличается тем, что занимается практическими задачами и не пытается при этом постичь природу человеческой речи. Вот есть задача перевести текст. Берем и переводим, хоть пословно. Главное, чтобы работало. Важно: речь идет именно об автоматической обработке, без рук, а также о естественном языке, т.е. том, который естественным путем возник в человеческом сообществе (машинный код или сигнальная система не подойдут).
НЛП - нейро-лингвистическое программирование - ох... Это что-то вроде коллекции советов или неких практик, как убедить человека сделать то, что вы хотите. К сожалению, я знаю много людей, которые считают это наукой. Нет, НЛП в научном сообществе не признают за науку. Если говорить именно о лингвистике, то оно наиболее близко к прагматике (в особенности теории речевых актов) и психолингвистике. А тру нейролингвистика вообще совсем другим занимается. Все эти советы и практики из НЛП (может, они и не плохие) не подкреплены научными экспериментами или какой-то иной доказательной базой. Иногда там излагается просто здравый смысл.
НЛО - неопознанный летающий объект, а также журнал "Новое литературное обозрение". Журнал был раньше хороший, а сейчас перестал мне нравиться. Неопознанные летающие объекты действительно существуют. Вопрос "Веришь ли ты в НЛО?" не корректен в том смысле, что НЛО - это такой же термин, как "искусственный интеллект". Есть документально зафиксированные показания о летающих объектах, чье происхождение не было установлено. Это вовсе не значит, что там именно инопланетяне сидели. Может быть, метеозонд или погодное явление.

Как не путать эти три аббревиатуры? Ну, как и все остальное: если чисто внутри себя попутали, то и фиг с ним, а если боитесь быть непонятым, расшифруйте аббревиатуру собеседнику 😁 🤗

#база #эссеиистика

Анонс на октябрь

⭐ 1 Популярные каналы про ИИ
🧑‍🎓3 Какую магистратуру по ИИ я делаю в ТюмГУ
📈5 Коллеряция, корреряция и коллеляция
🗿8 Глокая куздра и другие способы сойти за компьютерного лингвиста
🙅‍♀️10 Устанавливаем размерность данных без линейки и рулетки
🤷12 Энтропия в теории информации
🤔15 Кто такой Томаш Миколов?
🥱17 Логистическая (!) регрессия
💐19 5 датасетов, о которых вы должны знать
📰22 Обзор последних новостей в области ИИ
🛠24 Учимся уважать Python Django
🏅26 Как оценить эффективность ИИ
🌚29 Что делать, если вы пишете на R?
🌈31 Многоклассовая классификация

А еще со мной вышло интервью в local newspaper "Тюменский курьер". Я там, как всегда, рассуждаю об ИИ...

Популярные каналы про ИИ
Я календарь переверну, и.. OMG (оу-эм-джи) уже октябрь! (Это можно пропеть, кстати.) Вы заметили, как горят костры рябин на нашем первом видеве?
Итак, список популярных каналов про ИИ (иии… им мы открываем новую рубрику #спискии):
Метаверсище и ИИще Канал дедули по имени Сергей Цыпцын. Он давно в ИИ. Выпустил две книжки, организовывал CG Event (большую индустриальную конференцию по компьютерной графике). В computer vision (CV, компьютерное зрение) он точно разбирается. О канале пишет, что “...это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий”. Но это именно они - новости из мира ИИ, особенно касаемо графики.
Эйай ньюз Канал Артёма Санакоева: PhD (доктор наук, который как кандидат наук в России; это ступень после магистратуры) в области computer vision, гуру соревнований на Кегле (Kaggle Competition Master, был в топ-50). Делает AI Research (исследования, науку) “в одной из FAANG компаний” (FAANG = Facebook + Amazon + Apple + Netflix + Google). Пишет тоже про новости. Особой разницы с предыдущим каналом не вижу. Читаю оба, чтобы ничего не пропустить.
Kali Novskaya Персональный канал Татьяны Шавриной, которая первая со своей командой сделала GPT3 для русского языка (это такая модель-предшественник ChatGPT). В канал постит актуалочку про NLP.
Сиолошная Ведет канал Котенков Игорь (опыт работы в Яндексе, АлиЭкспресс и Пятерочке, ой то есть X5 Retail Group). Специализируется на машин лернинге, дата саенсе и NLP. У канала есть чат.
AbstractDL Канал Антона Разжигаева. Работает в Сбере. Тоже спец по computer vision. Он делал, например, Kandinsky 2.2 - нейросеть, которая рисует и дорисовывает. https://fusionbrain.ai/editor/ Тоже новости про CV, NLP и AI, но постит довольно редко. Зато есть инсайды сберовских мероприятий (“В этом году я помогаю организовать соревнование мультимодальных чатботов.”) Есть свой тг-бот Нейро Конфуций: @neural_chat_bot
Sberloga Канал data-сообщества Сбера. Почти что профсоюз сберовских дата-аналитиков. В основном постят мемасики и что-то про свои проекты. Там не очень много контента, но…
Sberloga in Data ..но у них есть чат. Болталка для жителей Сбера, которые про датасаенс и ИИ. Что интересного в этом чате: могут быть новости про разные активности в Сбере, например DataFest. А еще там иногда меряются зарплатами и куда удалось устроиться после Сбера.
GigaChat Еще немного не-рекламы Сбера. У них есть тг-бот: “Нейро­сетевая модель от Сбера. Умеет отвечать на вопросы, вести диалог, писать код, рисовать. И всё на русском языке!”
@gigachat_bot
Small Data Science for Russian Adventurers Авторский канал Александра Дьяконова. Это очень известный препод из МГУ, правда, теперь он работает в Центральном университете (универ от банка Тинькофф). Тоже был в топе на Кегле. В канале рассказывает об очень тонких тонкостях и очень сложных сложностях. Разбирает разные методы, технологии. Задает задачки на подумать. Зато если вы почувствуете, что понимаете его, значит, вы уже выучили базу про ИИ.
DLStories Нейронные сети и ИИ Еще один канал, где много разборов. Есть длиннопосты как у нас. Часто бывают разборы научных статей, тоже с тонкостями. Это надо понимать, если вы уже решили пойти в Research. Авторку зовут Татьяна, она учится в Лондоне. Больше ничего про нее не знаю.
Conversations Club Канал о новостях и инсайтах рынка разговорного AI от команды конференции Conversations (это такая индустриальная конференция). У них очень много годноты про чатботы. Постят редко но метко.
Есть еще два канала в моем списке, но они только для очень совершеннолетних, поэтому под плашкой. Там всякие хохмы, связанные с миром ИИ и ресерча, поэтому есть мат. Просто, если вы в разработке, а тем более в ИИ, то без мата очень тяжело - постоянно все глючит и не работает, как надо. В общем, уберите детей от экрана:
https://t.me/NeuralShit
https://t.me/ebaresearch

#спискии #чепочитать

Ииии… я успеваю запрыгнуть в последние минуты третьего октября, чтобы запостить на тему: “Какую магистратуру по ИИ я делаю в ТюмГУ”.
Я реально являюсь руководителем рабочей группы по разработке магистратуры под примерным названием “Искусственный интеллект в истории, лингвистике и филологии”. Цель у нас: связать такие инженерные дисциплины, как NLP, Computer Vision и Data Science, с гуманитарными науками. На что это будет похоже? Это будут проекты и кейсы, решения конкретных задач, которые возникают в гуманитарных науках и требуют цифровых скиллов. В общем, мы в группе говорим, что это "гуманитаристика здорового человека" 😅
На деле будем создавать лингвистические корпуса и датасеты, умные реконструкции археологических находок, экскурсии с дополненной реальностью и, конечно, рассуждать об этике ИИ. А затем обернем результаты работы в научные статьи, веб-приложения и даже стартапы.
А еще мы обратились к индустрии - крупным компаниям типа AIRI от Сбера и средней крупности типа Just AI, чтобы они тоже накидали нам кейсов и рассказали, каких специалистов в области ИИ им не хватает. Надеемся, что у них найдутся задачи на стыке ИИ и гуманитарных наук.
Если все пойдет по плану, то магистратура откроется уже в следующем году.
Вот такая очередная не-реклама. Сегодня коротко, зато точно без формул 😀

#иипетпроект

📈 Коллеряция, корреряция и коллеляция
С моей точки зрения, самая большая проблема с корреляцией заключается в том, что невозможно объяснить, почему в первом случае два РР, а во втором один Л. Ну зачем два Р? Сколько краски можно было сэкономить, сколько энергии на нажатии клавиши Р! Но если уж две Р, то почему всего одна Л? Это же надо запоминать. Как "параллельный", точнее, наоборот. А зачем в "робототехнике" два ОТ? Ведь можно же говорить нормально: "роботехника"...
А вторая по важности проблема в том, что написать про корреляцию без формул или кода будет крайне неудобно. Поэтому я сделала ноутбучек с кодом, но без формул.., но со ссылками.., где все подробно расписано. Жмякайте!
А, да, я же забыла объяснить, почему это в принципе важно, знать про линейную корреляцию. ИИ - это не только про нейросети. Точнее, есть такое представление:
- берешь задачу,
- ищешь нейросеть, которая эффективно решает подобную задачу,
- подлаживаешь код под свою задачу,
- вжух! F-score=99.99 (пишешь статью в Scopus'е, получаешь Нобелевскую премию..).
Вполне возможно, что у меня какой-то специфический жизненный путь, но он меня научил тому, что без анализа данных подобрать нейросеть или какой-то другой алгоритм, который успешно решает ИИ-задачу, можно, только если точно так же уже сделали 10 тысяч китайских и индийских программистов. Следовательно, для нетривиальных (фронтирных) задач данные надо изучать. Одна из особенностей данных, которая влияет на подбор ИИ-алгоритма и его эффективность, это взаимосвязь признаков, линейная коллерряция (дурацкое слово). Оценить ее позволяет коэффициент коллерряции.
И вот еще маленький отрывок из моего ноутбука (ссылка выше):
Линейная корреляция (тут правильно это слово написано) - это представление о линейной зависимости между данными. Обычно за пример берут рост и вес. Интуитивно понятно, что чем выше рост, тем больше у человека вес. То есть зависимость между двумя этими величинами прямая. Пример обратной зависимости: чем больше человек курит, тем меньше проживет. И, наконец, есть величины линейно независимые (одно растет, а другое нет... прям как некоторые виды ирисов). Дальше жмякайте ноутбучек. Кстати, со смартфона колаб-ноутбуки тоже неплохо открываются. Только запустить вряд ли получится.
Всем счастливых выходных! В воскресенье будет наше с Артемом традиционное видеообращение (с моего нового телефона🤳😊).

#база #notebook

Итак, ставшие традиционными воскресные кружочки! Первый пошел..🚀

Дисклеймер: Мы имели в виду не "естественную обработку языков", а "обработку естественных языков" 🤪

И еще немного научного стендапа 😊

Ну хоть кто-то знает. За знаниями обращаться в Технопарк ⭐

Последний на сегодня 😉 мы успели поймать немного солнечных лучей на улице 🌞