Ну и напоследок... ❤️

Гештальт 2. Мультиклассовая классификация
А разве классификация не всегда мультиклассовая?..

Классификация - это одна из самых популярных задач в ИИ. Суть задачи:
🚣 есть данные (фичи, параметры, иксы) и к ним есть лейблы (маркеры класса, игреки) - на них учимся различать экземпляры разных классов;
🚴 берем данные без лейблов и автоматически лейблы расставляем.
Примеры задач: выявление спама, определение класса ириса, определение цифры на изображении.
Первая задача в примерах - это задача бинарной классификации (спам - неспам). А вот остальные включают больше, чем два класса, и это может быть проблемой для алгоритма.
Вспомним, как работает линейная регрессия - нам нужно найти такую прямую, которая максимально близко пройдет рядом с точками массива (наши данные). В классификации мы представляем каждый класс каким-то случайным числом, например, 0, 1, 2 и т.д. То есть по оси X у нас измеренный признак, например, длина лепестка в сантиметрах, а по Y - 0, 1 или 2, в зависимости от того, к какому виду принадлежит цветок. Если класса всего два, признак всего один, и он дает числа для двух классов в двух разных диапазонах, то такая прямая очень чистенько показывает нам класс. Но тут есть проблэмка. Представим, что иксы (длина лепестка, например) у класса 0 лежат ближе к точке 4.5, иксы у класса 1 лежат ближе к точке 2.0, а иксы у класса 2 лежат ближе к точке 3.0. А у нас прямая. Вот и получается вот такая пикча (см. ниже). А предсказание по ней получается очень плохое: accuracy = ~0.37.
Как решить проблему многоклассовой классификации?
Вариант первый: если у нас три класса, построим три регрессии для попарного сравнения и выберем ту, которая дает лучший результат - one-versus-one (один против одного).
Вариант второй: для каждого класса объединим все точки, которые в него не входят, затем считаем регрессию и снова выбираем лучший результат - one-versus-all (один против всех).
Ну и есть еще всякие модификации, которые для базы сложноваты. А есть алгоритмы, которым что два класса, что много классов - по барабану. Например, наивный Байес.
Как всегда ноутбучек с кодом, чтобы увидеть на деле, как это работает. Там в конце даже задание есть на покодить.
ПС. Завтра будет анонс постов на ноябрь 💫

#база #notebook

лё картинко (обещанная пикча) с ну-такой-себе-регрессией

Анонс Анонсыч на ноябрь

В оставшиеся две трети ноября предлагаю сосредоточиться на том, как ИИ меняет нашу повседневность. Вот взять, например, профессию "преподаватель". Преподавание академических дисциплин на английском уже хорошо автоматизировано - причем с индивидуальным подходом. Если вы что-то не поняли, ИИ вернется и объяснит, и даже пошутит, какой вы несмышленыш. См. репост в следующем сообщении. (Даже хакатон по Strong Intelligence на AI Journey от Сбера был на английском.) Но нам в ТюмГУ преподаватели пока нужны 😁, т.к. для русского языка ИИ нуждается в хороших открытых датасетах и моделях. Что уж говорить о менее ресурсных языках. Итак, посты ноября:

🤓🧐14 Умный и еще умнее: AGI и ASI
💖16 ИИ-безопасность: люди могут сделать Скайнет, но их останавливает этика
🧑‍🏫19 Какие профессии исчезают?
🧮21 Векторизация. Как подавать признаки ИИ-алгоритму
🌈23 Градиентный градиент
☃🔥26 Какие профессии появляются?
🎯28 Как выбрать метрику по душе
🧑‍⚕30 Самодиагностика с ИИ

А вот и тот самый репост, где в режиме реального времени участники хакатона демонстрируют, как их система учит их rocket science - азам запуска космических ракет. Причем на вход системе разработчики подают не только текстовые сообщения, но и фото того, что нарисовали на доске. Это называется мультимодальный диалог.

Умный и еще умнее: AGI и ASI
Я думаю, мы с вами живем в замечательное время. Человечество обладает технологиями, которые могут, с одной стороны, привести к всеобщему благоденствию и тотальной справедливости, с другой - устроить глобальный апокалипсис, так что вымрут все. Как динозавры. А кто не вымрут, превратятся в куриц и будут квохтать, что им жаль, но человеческая природа (а не их личный выбор) не совместима с благоденствием. Про ядерную энергию посмотрите “Оппенгеймер” - по-моему, это новое слово в рассуждениях про атом. А я буду рассуждать про ИИ.. Потому, что мой канал об этом и плюс: за 10 лет в компьютерной лингвистике у меня накопился опыт, которым я хочу поделиться.
Что такое ИИ? Это класс задач и решений, в которых программа заменяет эксперта. Может ли программа заменить любого эксперта? Ну, например, писать законы, проверять ЕГЭ, учить людей сочинять музыку.. Еще недавно казалось, что это далекая перспектива. Но IT-бум привел к тому, что да, может уже сейчас. Что это за IT-технологии: дистрибутивная (векторная) семантика, языковые модели, трансформерная архитектура, one-shot learning и другие достижения прекрасных 2010-х. Когда в 18-19 веках произошел промышленный бум, станок заменил большую часть ручного труда. Промышленники стали чуть ли не самыми богатыми людьми в мире, возникли буржуазия, демократия, капитализм, профсоюзы, утонул Титаник, ну и так далее - и вот мы пришли к IT-революции, к нашим 2010-м. What a time to be alive!
А кто сказал, что ИИ уже настолько прям эффективен? Мы с вами уже рассматривали метрики эффективности, но они были привязаны к очень узкой задаче, например, определить собаку на фото. До симфонии далеко. В более сложной задаче ИИ проверяют при помощи бенчмарка - контрольной задачи. Расскажу на примере. Давайте возьмем очень сложную, экспертную задачу, например, проверить сочинение на ЕГЭ. Соберем большой dataset (структурированный по определенному признаку набор данных) из уже проверенных сочинений. Лейблами (маркерами класса) в нем будет балл, который поставил проверяющий. Выставляем этот бенчмарк на видное место - там, где ходит много разработчиков - и объявляем приз или просто обещаем подарить вечную славу тому, кто создаст ИИ-алгоритм, который будет выставлять оценку так же эффективно, как педагог. Вуаля, у нас есть и победитель, и экономия на учителях (на нас, учителях, издавна любят экономить, т.к. нас недолюбливают 🤓).
Это пока что отдельный алгоритм, заточенный под отдельный бенчмарк. Теперь собираем бенчмарки в коллекцию (склеиваем вместе). Назовем их GLUE (КЛЕЙ) - General Language Understanding Evaluation (Оценка Общего Понимания Языка - ООПЯ звучит не так красиво, как “клей”). И объявим новый конкурс: кто придумает систему, которая одинаково эффективно решает все задачи в нашей коллекции? (Тому опять вечная слава.) Вуаля, у нас уже почти что есть AGI. То есть такой искусственный интеллект, который проявляет интеллектуальность во всех задачах, с которыми сталкивается человек-эксперт. И ЕГЭ проверит, и эссе напишет, и диагноз поставит, музыку сочинит, логотип нарисует и быстрее вас вспомнит, как зовут Вассермана. AGI - это Artificial General Intelligence (Общий ИИ). На русский можно переводить как сильный, в отличие от слабого, который заточен только под одну задачу. Недавно был слив у компании OpenAI, что, якобы, они сделают AGI в течение нескольких лет. Но многие ИИ-системы, включая ChatGPT, уже показывают очень высокие результаты, которые не смог бы показать один эксперт (человек вряд ли может одинаково эффективно и ЕГЭ проверять, и медицинские диагнозы ставить, и симфонии писать). Так что, на мой взгляд, во многих смыслах AGI мы уже имеем. И это приводит нас к решению задач, которые десять лет назад казались очень далекими. Например, выявление юмора в тексте. И даже более того умение генерировать юмор. Да, машинка уже это умеет лучше, чем многие кожаные. А проблема выявления и генерации юмора на минуточку считалась AI-complete (ИИ-полной), т.е. решаемой только тогда, когда будет достигнут AGI.

#эссеиистика #чепосмотреть

Продолжение поста про AGI и ASI

Что дальше? Я думаю, вы догадались - осталась одна аббревиатура: ASI - Artificial Superintelligence - уровень дзен: искусственный суперинтеллект, который превосходит кожаных. Есть попытки увидеть его уже сейчас. Вот, например, сгенерированный за секунды дизайн ходячего робота - так можно не только бродилки генерить, а новые лекарства, алгоритмы оптимизации, морозоустойчивые сорта растений. А еще можно сгенерить систему батареек, где кожаные помещаются в капсулы и обогревают города машин. А часть кожаных, чей разум сопротивляется капсуле, пусть идут жить в Зеон. Раз в сто лет ASI будет уничтожать Зеон, чтобы кожаные чересчур не плодились. В общем, в отличие от 2010-х 2020-е встретили нас обсуждениями этичности и безопасности ИИ, о которой будет еще несколько постов в ноябре.

#эссеиистика

Ну и напоследок: в фильме (и книге) "Я, робот" показан мир, где роботы-пылесосы умеют ходить на двух ногах, но симфонию написать не могут. Мы уже точно не в том мире. Наши роботы-бродилки пока слишком дорогие и опасные, но вот симфонии писать умеют.

Рецепт: как сделать Скайнет
🫡 Берем много данных о военных действиях по всему миру.
📝 Ставим метки на то, что считаем значимым, например, захват объекта, поражение цели, оставление территории и т.д.
📈 Создаем бенчмарки (датасеты с контрольными задачами).
🔊 Объявляем конкурс: кто придумает ИИ, которое решит все наши бенчмарки. Вуаля, у нас есть Скайнет!
📞 Создаем ИКТ (информационно-коммуникационные технологии) и подключаемся к военным объектам, примерно как на Госуслугах 😁
🤖 Автоматизируем производство военной техники, ее транспортировку и обслуживание. (Вот это пока самое слабое место человечества на пути к вымиранию. Роботы для производства уже есть, но у них куча настроек, деталек, программ. Выпала вилка из розетки - вставить ее обратно может только кожаный персонал.)
😺 Ну все, подключаем, запускаем, по началу радуемся, как происходит тотальное исчезновение врага.
🙀 Потом обнаруживаем, что система решила, что эффективнее будет выкосить всех.
💪 Сплочаемся вокруг Джона Коннора.
🕰 Обнаруживаем, что машины придумали, как передвигаться во времени.
👩‍❤️‍👨 Отправляем Кайла Риза, чтобы он нашел Сару Коннор...

Я ничего нового в этом рецепте не изобретаю. Пару лет назад в онлайн-игре Elite Dangerous разработчики запустили такой ИИ, который оказался имбой (imba от imbalance “дисбаланс”: в играх означает механику, которая приводит к победе обладателя имбы при любом раскладе). ИИ изобрел новые виды оружия и замочил почти всех кожаных игроков. Игру пришлось остановить и убрать ИИшный патч (patch - кусок кода, который вставили в игру уже после ее выпуска, чтобы что-то улучшить, исправить).
Главная техническая проблема создания Скайнет сегодня в том, что нет инфраструктуры для воспроизводства оружия. То есть наш Скайнет один раз сделает один большой-пребольшой пук, а потом все уцелевшие кожаные должны опять идти на заводы.
Главная этическая проблема заключается в том, что люди все еще толком не договорились, что можно, а что нельзя делать при помощи ИИ. Поэтому пока, слава богу, предпочитают не вступать на этот тонкий лед.
Но ИМХО есть и еще один аргумент - чисто игровой. Представим, что мы дали роботу-пылесосу настоящее огнестрельное оружие. А наш противник вооружил свой робот-пылесос. Представим, что таких пылесосов тысячи, и они сформировали линию фронта. Пылесосы едут друг на друга, месятся, вокруг лужи бензина, ломаная сталь и прочие разрушения. Пылесосы одной стороны останавливаются полностью и выбрасывают в воздух белые флажки. Что делаем дальше? Фиксируем прирост или убыль территории, которую отстояли/проиграли пылесосы. Убираем ломаную сталь, лужи бензина, чиним армаду, восстанавливаем экологию, экономику… Внимание, вопрос: а почему мы все это не произвели онлайн, виртуально? Создаем виртуальные копии нашей армады, фигачим в них ИИ, в назначенный день и час начинаем онлайн-бой с противником. В чем принципиальная разница? ИИ будет одинаково управлять армадой как в физическом мире, так и в его виртуальной копии. Гарантия того, что условия будут соблюдены - обладание таким вот сильным ИИ, который мы щааас как запуууустим в наши пылесосы, а они как поедут-поедут… В общем, ИИ отдаленно напоминает нестратегическое ядерное оружие (НСЯО): им можно бряцать и угрожать устроить пылесосовый ба-бах, но если его реально запустить в пылесос, то, скорее всего, наступит эра Скайнет.
На тему боевых пылесосов рекомендую шоу “Битва роботов” и первую серию “Любовь. Смерть. Роботы”.

#эссеиистика

Очень зачесались руки репостнуть - вне медиаплана. И раз уж у меня месяц рассуждений на тему ИИ, то чеб и нет 😜

Часто ловлю себя на мысли, что не понимаю что такое этика и зачем она нужна. В википедию не лезу, как и Никомахову с полки не достаю, но очень сильно напрягаю память. Потом вспоминаю.

Я расскажу вам что такое этика. Это когда количество штрафов за превышение скорости, наезд на стоп-линию на светофоре, или парковку начинает превышать твою среднюю зарплату.

Ты естественно ругаешься, да что там - на чем свет материшься, отрицая систему и чувствуя себя невиновным, несправедливо наказанным, говоришь про подставу, про коварных ДПС-ников и даже отказываешься платить.

Но когда приходит удвоенный штраф за неуплату штрафа, или тебя уже вызывают в суд за административку - постепенно, сквозь скрежет зубовный, научаешься успевать платить со скидкой 50%, а потом и притормаживать перед стоп-линией, сбрасывать скорость хотя бы под камерами и пользоваться приложением Парковки Москвы)

Понятно, что с субъективной точки зрения ты все еще чувствуешь ограничение своей свободной воли, несправедливость завышенных штрафов за такой пустяк, но этика уже поселилась в тебе. И через какое-то время через сплошную на трассе ты больше не обгоняешь, налево под красную стрелку не поворачиваешь. Да, ты больше не герой, не гонщик, не Шумахер, но кто-то из-за этого возможно выжил, да и ты не особо пострадал.

Так и работает этика. Тебя - вольного стрелка, лихача и необузданного свободолюбца ей обучили. Этика - это больно.

Ребят, что за день! Опять не удержалась от репоста - на этот раз новость. В рофл-варианте: директора OpenAI Сэма Альтмана уволил уроженец Нижнего Новгорода. А если серьезно, то в компании OpenAI, которая разрабатывает ChatGPT сегодня неожиданно для всех уволили часть топ-менеджмента 😱 В чем, интересно, они прокосячили?..

Какие профессии исчезают?

Есть такой тг-канал - Метаверсище и ИИще. Его ведет Сергей Цыпцын. Когда-то он был организатором одной из крупнейших в мире конференций по computer vision (компьютерному зрению) CG Event, которая проходила в России. В своем канале, посвященном в основном CV, он регулярно поднимает виртуальный тост за профессии (или какие-то отдельные области задач), которые активно автоматизируются. Я собрала некоторые: йога- и фитнес-инструкторы, юристы, критики, искусствоведы, программисты, актеры дубляжа, композиторы, видеооператоры, операторы колл-центров, монтажеры, учителя, доктора, дизайнеры, сценаристы, фотографы, писатели, художники, музыканты, тренеры, дикторы, геймдевелоперы, эйчары, дата-аналитики, архитекторы, иллюстраторы, текстурщики, синхронисты, стилисты, пилоты, прокуроры, секретари, реставраторы, вокалисты.
Понятно, что профессия реставратора не исчезнет, пока нет наэлектризованной конструкции из металла и пластика, способной соскребать скальпелем старый слой лака и наносить новый. Ну, или хотя бы пока такая конструкция не будет дешевле, чем кожаный реставратор. Но восстанавливать прежний облик произведения искусства лучше все же опираясь на автоматический анализ. То же относится к докторам - ждем, пока подешевеют и станут более безопасными человекоподобные роботы. Про то, можно ли ставить диагнозы при помощи ИИ, будет у меня отдельный пост.
С прокурорами тут сложнее. ИИ-помощника судей и прокуроров тестируют в Китае. Но Китай вообще известен своими необычными тестами над людьми. В другой статье я читала, что использование ИИ для вынесения судебного решения неэтично. Человек, который взял на себя обязательство судить другого человека должен быть достаточно компетентен, чтобы вынести решение сам. Такую систему можно использовать, только когда у людей нет доступа к квалифицированным судьям.
Композиторы тоже имеются в виду не всякие, а те, кто сочиняет muzak, или elevator music (музыку для лифтов), т.е. что-то фоновое, как жевачка для мозга. То есть, как в недавнем посте сформулировал автор канала Gershuni: если у вас не хватает квалификации, то ИИ поможет дотянуть результат до среднего уровня, но если вы высоко квалифицированы в вашем деле, то ИИ поможет вам сэкономить время, но ваш результат опустится до среднего. Причем автор переживает, что высококлассные специалисты начнут рано или поздно использовать ИИ тайно. И (тут я уже додумываю) их квалификация опустится от отсутствия практики. Например, ученые (как минимум частично) генерят статьи, отчеты и заявки на гранты - знаю не понаслышке. А есть и еще такой термин: технологическая сингулярность. Это когда не останется специалистов, которые будут делать лучше, чем делает ИИ. Вот тогда точно профессия вымрет.
Я выпустилась с факультета романо-германской филологии в 2006 году. Большая часть однокурсниц пошли работать переводчицами. Тогда в компаниях Шлюмберже, Дойтаг и Ютэр были огромные отделы перевода с толпами сотрудников. И уже был Google Translate. За несколько лет Google Translate сократил штат этих отделов до нескольких секретарей с дополнительной функцией контроля над автоматическим переводом. Остались полевые переводчики, которые могут без Интернета где-нибудь в Африке и вертолет починять, и первую помощь оказать, и суахили выучить на всякий случай. Еще среди моих знакомых есть переводчик компьютерных игр, который умеет делать локализацию так, что у игроков слюнки текут.
В общем профессии не то чтобы исчезают совсем.
А. Сокращается количество специалистов за счет снижения рутины.
Б. Трансформируется сам труд: требуется уметь пользоваться ИИ либо добирать другие навыки.
В. Люди с недостатком опыта все больше опираются на подсказки от ИИ, даже если им не разрешили это делать.
Г. А люди с избытком опыта вместо использования собственного интеллекта тайком прибегают к ИИ.

#эссеиистика

Векторизация признаков

Начну с вопроса, ставшего традиционным: зачем? ИИ-алгоритмы на вход получают числовые данные. Поэтому, даже если ваш объект исследования на первый взгляд не описать числом, надо как-то извернуться и… Ну, описать вобщемта. Вот у нас есть 1000 смешных твитов и 1000 несмешных. Наша задача: на основе этого корпуса данных научиться отделять смешные твиты от несмешных. Твиты состоят из слов. Как превратить слова в числа? Можно посчитать, какие слова чаще встречаются в смешных твитах. И не только слова, но и хэштеги, эмодзи, пунктуационные знаки. Такой подход в компьютерной лингвистике называется bag-of-words (мешок со словами), сокращенно BOW, а слова, эмодзи и прочие символы и комплексы символов, которые могут отделяться от соседей пробелом, называются tokens (токенами). Вот, положим, мы сделали такой подсчет частот всех токенов, и что дальше? Один из вариантов - превратить результат в вектор.
Что есть вектор? Этот термин используется в разных областях, например, в геометрии это направленный отрезок. В ИИ его понимают как точку в многомерном пространстве. Размерность вектора определяется координатным базисом. Если мы представим точку в нашем физическом мире, то она определяется тремя пространственными координатами и одной временной. Пусть это будут оси X, Y, Z, ну и положим, T. Координаты точки будем записывать в том же порядке, в котором перечислили оси: x‌=(x1, x2, x3, x4). Получается, что вектор - это “упорядоченная совокупность n чисел”.
Как векторизовать твит на основе BOW? Создаем словарь всех токенов, которые нам встретились в наших твитах. Каждый новый токен становится осью в координатном базисе, а размерность вектора твита будет определяться длиной словаря (количеством этих осей = количеством уникальных токенов). Вот у нас есть два твита: “села батарейка” и “русалка села на шпагат” (второй типо смешной). Словарь будет такой: [села, батарейка, русалка, на, шпагат]. Размерность вектора каждого твита: 5. Вектор первого твита: x‌1=(1, 1, 0, 0, 0). Вектор второго твита: x‌2=(1, 0, 1, 1, 1).
Кроме токенов, к базису нашего словаря можно добавить еще сколько угодно осей. Пусть шестая ось означает длину твита, седьмая - наличие в твите картинки, восьмая - количество лайков. И т.д. Для алгоритмов обычно, чем больше существенных признаков (фич) можно собрать с объекта, тем лучше.
И что нам это дает? На современной стадии развития ИИ это дает нам всё. Векторизация позволяет выполнять любые интеллектуальные задачи с любыми данными: классификация, кластеризация, распознавание паттернов, анализ временных рядов. С математической точки зрения для совершения операций с векторами в ИИ применяется линейная алгебра, а векторы и матрицы (несколько векторов, записанных в форме двумерной таблицы) также называются тензоры (tensors). Возможно, вам знакома библиотека TensorFlow - вот откуда в ней слово tensor.
Но как? А так, что точки, которые представляют собой смешные твиты, будут в нашем многомерном пространстве находиться ближе друг к другу, образовывать как бы одно скопление. А точки для несмешных твитов - это другое скопление. И расстояние между множествами двух классов твитов будет больше, чем между векторами внутри этих множеств. По традиции заканчиваю инженерный пост ноутбуком с примерами.

#база #notebook

Градиентный градиент

Зачем? Чтобы подобрать оптимальные веса (коэффициенты k и b) для модели машинного обучения, основанной на регрессии.
Как? Начну издалека 😁 Даже пришлось разбить этот пост на две части.
Давайте вспомним сначала классификацию на основе линейной регрессии. Пусть у нас есть объекты, принадлежащие нескольким классам. Например, у нас есть два вида цветочков - ирисов. У каждого ириса возьмем один параметр, например длина чашелистика. Игрек будет класс, например 0 или 1. Представим координатную плоскость. По оси X отложим длины чашелистиков, по Y - классы. Теперь строим такую прямую, которая наиболее близко проходит к полученным точкам. Если у нас появляется новый ирис, то меряем ему длину чашелистика и по коэффициентам прямой (k и b) считаем новый игрек. К какому числу он ближе (0 или 1), к такому классу его и относим.
Теперь вспомним логистическую регрессию. Там вместо прямой используется кривая: сигмоида. Сначала наугад подбираем коэффициенты k и b. Потом считаем новый игрек и суем его в функцию сигмоиды. Выглядит странно: какие-то левые коэффициенты, в какую-то сигмоиду. Сделано это для того, чтобы вместо регрессии в виде прямой получить регрессию в виде буквы s, потому что она своими хвостиками лучше прижимается к массиву точек. В линейной регрессии есть только одно решение. А логистическую можно растягивать в разные стороны и, более того, не обязательно считать именно идеальное приближение к массиву. Пусть она будет какая-то вся кривая и недоделанная, но зато хорошо будет предсказывать классы.
Как будем растягивать букву s? Нам нужно, чтобы наша s прижималась к точкам, т.е. чтобы суммарное расстояние от нее до точек сокращалось. Сумма расстояний от точек до кривой - это типо ошибка; насколько наша кривая ошибается в оценке класса. Ее обычно обозначают игреком с треугольной шляпкой: ŷ (читается “уай хэт”) - еще такая запись в статистике означает предсказанное моделью значение. А реальный класс, представленный 0 или 1, это наши тру (true - истинные) игреки. Функция затрат, или стоимости (cost function “кост фанкшон”, cost - англ. стоимость) - это сумма тру игреков минус сумма уай хэтов. Тру игрек у нас дано. В уай хэтах тру иксы мы тоже знаем. Остаются наши неизвестные линейные коэффициенты k и b, которые надо подогнать. Формула у функции затрат такая: Cost Function (J) = Σ(y - ŷ) = Σ(y - (k * x + b)). J - патамушта якобиан - определитель матрицы Якоби. Не углубляясь в линейную алгебру, нам надо узнать по нашей функции потерь, как корректировать k и b дальше. Вот тут-то и нужен градиент.

#база

Градиентный градиент - 2

Что такое градиент функции? (Долго же я подбиралась к этому вопросу.) Вот у нас есть функция с двумя или более переменными (у нас пока с двумя - k и b). Чтобы найти ее минимум, нужно взять производную. Если переменных две и более, то берем частную производную, а минимум ищем по градиенту. Точнее, будем искать не сам минимум, а направление, в котором надо его искать. Градиент - это все значения, которые принимает частная производная функции со множеством переменных (у нас пока две - k и b), представленные в виде таблицы. И эта таблица - тоже, кстати, вектор, а градиент является вектор-функцией. Если взять все четыре признака ирисов, то в градиенте-"таблице" у нас будет k1, k2, k3, k4 и b.
Как это в итоге выглядит? Как n-мерная поверхность. В нашей задаче поиска весов (коэффициентов) логистической регрессии у такой поверхности есть минимумы и максимумы. То есть она так изгибается, что образует вогнутости и выпуклости. Они могут быть локальными, но где-то обязательно есть большой глобальный минимум. Его-то нам и надо найти.
Если в какой-то точке мы посчитаем частные производные по k и b, и потом изобразим их в виде вектора, который исходит из этой точки, то стрелочка вектора укажет направление наибыстрейшего возрастания функции (то есть как нам быстрее дойти до максимума). А нам нужен минимум, следовательно, мы будем топать в обратную сторону. Чтобы нам не притопать в локальный минимум или не перешагнуть его, выбирается параметр - learning rate (темп обучения, “лёнин рейт”).
В этот раз делюсь дополнительными материалами на эту тему.
Вот так выглядит градиент функции x^2-xy в виде поля векторов.
Вот здесь отличный тьюториал от Академии Хана на тему векторных полей - как их создавать и интерпретировать.
Вот здесь тьюториал тоже от Академии Хана на тему градиента.
Ну и я сама немного порисовала графиков к этим тьюториалам - вдруг что-то получше прояснят.
А теперь по поводу того, как градиент реализуется в логистической регрессии. Кто мой пост про логистическую регрессию читал, тому знаком мой колаб-ноутбук. Так вот я там добавила комментариев к dw, db и learning rate. Это и есть программная реализация градиента в логистической регрессии.

#база старый #notebook с новыми комментариями

Дорогие подписчики!

Я эту неделю вся в мыле делаю пакет документов для своей магистратуры по искусственному интеллекту. Но надеюсь выпустить посты, оставшиеся с ноября, в ближайшее время! Уиии

А пока немного текущих новостей:

1. Мы зачислили всех, кто подал документы на повышение квалификации после интенсива. Ждите письма с деталями по тесту.

2. Если вы тоже были на интенсиве, но забыли или долго раздумывали подать ли документы, напишите мне на корпоративную почту до 10 декабря e.v.mikhalkova@utmn.ru . Сделаем ещё одно зачисление в этом месяце.

3. Всем, кто НЕ подаст доки на удостоверение до 10 декабря, я скину на почту что-то типа сертификата участника, подписанного мной. Юридической силы особо не имеет, но можно приложить к портфолио. Считается типа как грамота или диплом участника.

4. Какую тему взять на следующий интенсив? Пишите в комментарии, а потом я сделаю голосовалку.