Этапы нейросетевого моделирования (ч.2)
Ранее мы уже кратко упоминали основные этапы нейросетевого моделирования.
Предлагаем рассмотреть этот процесс более детально на примере решения простой задачи по прогнозу погоды в Москве.
Подробности в уроке 2.7 на сайте.
👉 @aisimpleru
Ранее мы уже кратко упоминали основные этапы нейросетевого моделирования.
Предлагаем рассмотреть этот процесс более детально на примере решения простой задачи по прогнозу погоды в Москве.
Подробности в уроке 2.7 на сайте.
👉 @aisimpleru
👍4
«Экономический эффект [от внедрения технологий ИИ в России] составляет около триллиона рублей. А концу десятилетия превысит уже 10 триллионов»
М.Мишустин
Источник: rt.com
—
Для понимания. Сейчас эффект от внедрения ИИ в России по оценкам премьера - 11 $ млрд. (1 ₽ трлн.).
Планируется, что этот показатель вырастет в 10 раз 😮 через 6 лет.
К чему это может привести, мы уже писали ранее:
- сокращение рабочих мест,
- очередной виток роста зарплат в сфере ИТ и ИИ,
- людям массово придется переучиваться или остаться без работы.
👉 @aisimpleru
М.Мишустин
Источник: rt.com
—
Для понимания. Сейчас эффект от внедрения ИИ в России по оценкам премьера - 11 $ млрд. (1 ₽ трлн.).
Планируется, что этот показатель вырастет в 10 раз 😮 через 6 лет.
К чему это может привести, мы уже писали ранее:
- сокращение рабочих мест,
- очередной виток роста зарплат в сфере ИТ и ИИ,
- людям массово придется переучиваться или остаться без работы.
👉 @aisimpleru
👍2
В Тинькофф-Журнале вышел интересный курс по ИИ 🚀
Из курса вы узнаете:
1. Где используют нейросети и как они работают.
2. Почему нейросети стали популярны только в 2022 году.
3. Что они могут прямо сейчас.
Самое классное, что курс полностью бесплатный 🔥
Продолжительность 🕒: ~ 3 часа
На выходе, получите диплом, можно добавить в резюме.
Не благодарите 😉: https://journal.tinkoff.ru/pro/ai/0-intro-to-ai/
P.S. Это не реклама
👉 @aisimpleru
Из курса вы узнаете:
1. Где используют нейросети и как они работают.
2. Почему нейросети стали популярны только в 2022 году.
3. Что они могут прямо сейчас.
Самое классное, что курс полностью бесплатный 🔥
Продолжительность 🕒: ~ 3 часа
На выходе, получите диплом, можно добавить в резюме.
Не благодарите 😉: https://journal.tinkoff.ru/pro/ai/0-intro-to-ai/
P.S. Это не реклама
👉 @aisimpleru
🔥5
Способы нормализации данных в обучающих выборках 📊
Как правильно подготовить данные в выборке для обучения нейронной сети 🤔?
Нейронные сети и другие модели машинного обучения должны оперировать значениями в рамках одного диапазона.
Как быть, если в модели используются данные, например, в штуках и миллионах рублей? Нужна нормализация данных.
Подготовили подробную статью об основных методах нормализации - ссылка.
👉 @aisimpleru
Как правильно подготовить данные в выборке для обучения нейронной сети 🤔?
Нейронные сети и другие модели машинного обучения должны оперировать значениями в рамках одного диапазона.
Как быть, если в модели используются данные, например, в штуках и миллионах рублей? Нужна нормализация данных.
Подготовили подробную статью об основных методах нормализации - ссылка.
👉 @aisimpleru
👍3
Поручения Путина по итогам конференции по ИИ
Для тех, кто пропустил, сообщаем, что Президент России утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта» от 24 ноября 2023 года.
Краткая выжимка:
🔹 финансирование разработок в области генеративного ИИ будет увеличено,
🔹 разработка и внедрение больших генеративных моделей для использования в ключевых отраслях экономики,
🔹 правительство проанализирует потребности работодателей в сотрудниках, обладающих навыками ИИ,
🔹 образовательные стандарты будут дополнены требованиями к навыкам в сфере ИИ,
🔹 вычислительных мощности суперкомпьютеров, находящихся в Российской Федерации, будут увеличены,
🔹 уделено внимание формированию этических стандартов в сфере ИИ.
Источник: kremlin.ru
👉 @aisimpleru
Для тех, кто пропустил, сообщаем, что Президент России утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта» от 24 ноября 2023 года.
Краткая выжимка:
🔹 финансирование разработок в области генеративного ИИ будет увеличено,
🔹 разработка и внедрение больших генеративных моделей для использования в ключевых отраслях экономики,
🔹 правительство проанализирует потребности работодателей в сотрудниках, обладающих навыками ИИ,
🔹 образовательные стандарты будут дополнены требованиями к навыкам в сфере ИИ,
🔹 вычислительных мощности суперкомпьютеров, находящихся в Российской Федерации, будут увеличены,
🔹 уделено внимание формированию этических стандартов в сфере ИИ.
Источник: kremlin.ru
👉 @aisimpleru
👍4
Самые популярные языки программирования в сфере ИИ и машинного обучения по итогам 2023
🔸 Python — универсальный язык с активным сообществом и большим количеством свободных инструментов (TensorFlow, Keras, Scikit-learn, Pandas)
🔸 JavaScript — часто используется для разработки пользовательских интерфейсов, но также имеет ML-библиотеки (Brain.js, Deeplearnjs и ConvNetJS для нейронных сетей, Compromise для NLP, TensorFlow.js для всего понемногу)
🔸 TypeScript — надстройка над JavaScript, позволяющая писать алгоритмы и строить модели машинного обучения
🔸 C++ — мощный язык со стабильными и быстрыми программами, но сложным синтаксисом и обилием абстрактных функций
🔸 Java — высокоуровневый язык с отличными библиотеками (Weka, MOA, MALLET)
🔸 C# — гибкий и многофункциональный язык от Microsoft с поддержкой библиотеки ML.NET
🔸 Julia — молодой язык, конкурент R и Python, совместимый с ними, но быстрее их
🔸 Scala — поддерживает объектно-ориентированное и функциональное программирование
👉 @aisimpleru
🔸 Python — универсальный язык с активным сообществом и большим количеством свободных инструментов (TensorFlow, Keras, Scikit-learn, Pandas)
🔸 JavaScript — часто используется для разработки пользовательских интерфейсов, но также имеет ML-библиотеки (Brain.js, Deeplearnjs и ConvNetJS для нейронных сетей, Compromise для NLP, TensorFlow.js для всего понемногу)
🔸 TypeScript — надстройка над JavaScript, позволяющая писать алгоритмы и строить модели машинного обучения
🔸 C++ — мощный язык со стабильными и быстрыми программами, но сложным синтаксисом и обилием абстрактных функций
🔸 Java — высокоуровневый язык с отличными библиотеками (Weka, MOA, MALLET)
🔸 C# — гибкий и многофункциональный язык от Microsoft с поддержкой библиотеки ML.NET
🔸 Julia — молодой язык, конкурент R и Python, совместимый с ними, но быстрее их
🔸 Scala — поддерживает объектно-ориентированное и функциональное программирование
👉 @aisimpleru
👍4❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Клеточные автоматы
Идея клеточных автоматов была сформулирована независимо Дж. фон Нейманом и К. Цусе в конце 40-х годов.
Оба рассматривали их как универсальную вычислительную среду для построения алгоритмов, эквивалентную по своим выразительным возможностям машине Тьюринга.
Эта идея породила волну многочисленных теоретических и прикладных исследований.
Кле́точный автома́т (КА) — набор клеток, образующих некоторую периодическую решетку с заданными правилами перехода, определяющими состояние клетки в следующий момент времени через состояние клеток, находящимися от нее на расстоянии не больше некоторого, в текущий момент времени. Как правило, рассматриваются автоматы, где состояние определяется самой клеткой и ближайшими соседями. В качестве решетки обычно рассматривается кубическая решетка
На видео - пример работы клеточного автомата
👉@aisimpleru
Идея клеточных автоматов была сформулирована независимо Дж. фон Нейманом и К. Цусе в конце 40-х годов.
Оба рассматривали их как универсальную вычислительную среду для построения алгоритмов, эквивалентную по своим выразительным возможностям машине Тьюринга.
Эта идея породила волну многочисленных теоретических и прикладных исследований.
Кле́точный автома́т (КА) — набор клеток, образующих некоторую периодическую решетку с заданными правилами перехода, определяющими состояние клетки в следующий момент времени через состояние клеток, находящимися от нее на расстоянии не больше некоторого, в текущий момент времени. Как правило, рассматриваются автоматы, где состояние определяется самой клеткой и ближайшими соседями. В качестве решетки обычно рассматривается кубическая решетка
На видео - пример работы клеточного автомата
👉@aisimpleru
🔥6
Почему Python такой популярный?
Можно долго нахваливать обилие существующих библиотек для Python, простоту изучения, большое сообщество разработчиков. Но главный ответ - это простота кода.
Посмотрите на картинку 👆 и все поймете .
👉 @aisimpleru
Можно долго нахваливать обилие существующих библиотек для Python, простоту изучения, большое сообщество разработчиков. Но главный ответ - это простота кода.
Посмотрите на картинку 👆 и все поймете .
👉 @aisimpleru
🔥4
ИИ-модель, автоматически удаляющая фон с фото
На HuggingFace🤗 в бесплатном доступе размещена модель BRIA RMBG 1.4: 👇
https://huggingface.co/spaces/briaai/BRIA-RMBG-1.4
Модель легко удаляет фон с фото.
Картинку бутылки за 17 секунд модель обработала вполне не плохо 👌
Забирайте и пользуйтесь на здоровье 😉
👉@aisimpleru
На HuggingFace🤗 в бесплатном доступе размещена модель BRIA RMBG 1.4: 👇
Модель легко удаляет фон с фото.
Картинку бутылки за 17 секунд модель обработала вполне не плохо 👌
Забирайте и пользуйтесь на здоровье 😉
👉@aisimpleru
👍7
ТОП-5 специалистов на рынке IT и ИИ в 2023-2024
1. Специалисты по кибербезопасности
2. Аналитики больших данных
3. Специалисты по машинному обучению и искусственному интеллекту
4. Специалисты по облачным технологиям
5. Разработчики программного обеспечения
Hard Skills - «жесткие» навыки.
Soft Skills - «мягкие» навыки.
⚠️ Обратите внимание
- самый популярный Hard Skill - это Python,
- популярный Soft Skill - коммуникативные навыки,
- для специалистов в сфере искусственного интеллекта - самый обширный набор навыков 🙂
👉 @aisimpleru
1. Специалисты по кибербезопасности
2. Аналитики больших данных
3. Специалисты по машинному обучению и искусственному интеллекту
4. Специалисты по облачным технологиям
5. Разработчики программного обеспечения
Hard Skills - «жесткие» навыки.
Soft Skills - «мягкие» навыки.
⚠️ Обратите внимание
- самый популярный Hard Skill - это Python,
- популярный Soft Skill - коммуникативные навыки,
- для специалистов в сфере искусственного интеллекта - самый обширный набор навыков 🙂
👉 @aisimpleru
👍3🔥3
Rabbit R1. Очередной ненужный гаджет или реальная альтернатива голосовым помощникам?
Весной 2024 на рынок выходит необычное устройство.
Оранжевая коробочка с сенсорным экраном 2,88 дюйма, микрофоном, вращающейся камерой и кнопкой. Объем оперативной памяти - 2 Гб, постоянной - 128 Гб.
Цена устройства: 199$
Rabbit R1 удаленно управляет приложениями с использованием собственных механизмов интеграции. Управление осуществляется голосом.
Что под капотом?
Rabbit R1 использует нейросеть типа LAM (Large Action Model). Принцип работы заключается в том, что устройство воспринимает голосовые команды и интерпретирует их. LAM обучается путем демонстрации: алгоритм «наблюдает» за человеком, использующим определенное приложение, а потом воспроизводит его действия, даже если интерфейс сервиса отличается. Со временем модель накапливает все больше знаний и глубже «понимает» разные аспекты взаимодействия с сервисом.
Главный вопрос - почему бы просто не сделать мобильное приложение? По словам разработчиков - идея в том, чтобы изменить рынок и подходы к с устройствами на базе ИИ.
Генеральный директор Rabbit Джесси Лю на презентации устройства подчеркнул, что его разработчики не стремятся заменить смартфоны. С помощью R1 нельзя звонить, проигрывать ролики YouTube, проверять социальные сети или выполнять действия с электронной почтой. Кроме того, устройство не предполагает наличия обратной связи с другими владельцами Rabbit или смартфонов.
YouTube-демонстрация
Статья на Хабре
Сайт производителя
Весной 2024 на рынок выходит необычное устройство.
Оранжевая коробочка с сенсорным экраном 2,88 дюйма, микрофоном, вращающейся камерой и кнопкой. Объем оперативной памяти - 2 Гб, постоянной - 128 Гб.
Цена устройства: 199$
Rabbit R1 удаленно управляет приложениями с использованием собственных механизмов интеграции. Управление осуществляется голосом.
Что под капотом?
Rabbit R1 использует нейросеть типа LAM (Large Action Model). Принцип работы заключается в том, что устройство воспринимает голосовые команды и интерпретирует их. LAM обучается путем демонстрации: алгоритм «наблюдает» за человеком, использующим определенное приложение, а потом воспроизводит его действия, даже если интерфейс сервиса отличается. Со временем модель накапливает все больше знаний и глубже «понимает» разные аспекты взаимодействия с сервисом.
Главный вопрос - почему бы просто не сделать мобильное приложение? По словам разработчиков - идея в том, чтобы изменить рынок и подходы к с устройствами на базе ИИ.
Генеральный директор Rabbit Джесси Лю на презентации устройства подчеркнул, что его разработчики не стремятся заменить смартфоны. С помощью R1 нельзя звонить, проигрывать ролики YouTube, проверять социальные сети или выполнять действия с электронной почтой. Кроме того, устройство не предполагает наличия обратной связи с другими владельцами Rabbit или смартфонов.
YouTube-демонстрация
Статья на Хабре
Сайт производителя
👍3🤔3
Общая классификация постановки задачи машинного обучения
Ранее мы рассматривали, что такое машинное обучение (machine learning или ML), как метод ИИ.
Типы задач, которые могут решаться при помощи ML
Обучение с учителем:
🔹 классификация,
🔹 регрессия,
🔹 обучение ранжированию,
Обучение без учителя:
🔹 кластеризация,
🔹 снижение размерности,
🔹 оценка плотности.
Мы не касались трех типов задач задач: ранжирование, снижение размерности и оценка плотности.
Восполним этот пробел в ближайших постах.
👉 @aisimpleru
Ранее мы рассматривали, что такое машинное обучение (machine learning или ML), как метод ИИ.
Типы задач, которые могут решаться при помощи ML
Обучение с учителем:
🔹 классификация,
🔹 регрессия,
🔹 обучение ранжированию,
Обучение без учителя:
🔹 кластеризация,
🔹 снижение размерности,
🔹 оценка плотности.
Мы не касались трех типов задач задач: ранжирование, снижение размерности и оценка плотности.
Восполним этот пробел в ближайших постах.
👉 @aisimpleru
👍4🔥1
Задача снижения размерности в машинном обучении (ML)
Задача снижения размерности в машинном обучении сводится к уменьшению числа признаков набора данных.
Наличие в наборе избыточных, неинформативных признаков снижает эффективность модели.
После снижения размерности модель упрощается, а размер набора данных в памяти уменьшается. Ускоряется работа алгоритмов машинного обучения.
На практике приходится работать с данными очень больших размерностей. Изображения размером 224×224 пикселей или данные финансовых изменений во времени представляются в виде векторов.
Исследователю нужна простая и понятная визуализация и скорость для расчетов.
Где применяется:
🔹 распознавание изображений,
🔹 банковские транзакции,
🔹 аналитика больших данных.
Основные методы:
🔹 Метод главных компонент (PCA)
🔹 Метод k-средних (K-Means)
🔹 Линейный дискриминант Фишера (LDA)
🔹 Стохастические вложение соседей (t-SNE)
При подготовке текста использовали источник: ссылка
👉@aisimpleru
Задача снижения размерности в машинном обучении сводится к уменьшению числа признаков набора данных.
Наличие в наборе избыточных, неинформативных признаков снижает эффективность модели.
После снижения размерности модель упрощается, а размер набора данных в памяти уменьшается. Ускоряется работа алгоритмов машинного обучения.
На практике приходится работать с данными очень больших размерностей. Изображения размером 224×224 пикселей или данные финансовых изменений во времени представляются в виде векторов.
Исследователю нужна простая и понятная визуализация и скорость для расчетов.
Где применяется:
🔹 распознавание изображений,
🔹 банковские транзакции,
🔹 аналитика больших данных.
Основные методы:
🔹 Метод главных компонент (PCA)
🔹 Метод k-средних (K-Means)
🔹 Линейный дискриминант Фишера (LDA)
🔹 Стохастические вложение соседей (t-SNE)
При подготовке текста использовали источник: ссылка
👉@aisimpleru
👍4
Задача оценки плотности в машинном обучении (ML)
Под плотностью мы подразумеваем плотность распределения вероятности или вероятность.
Оценка плотности вероятности в ML - метод анализа данных, который позволяет оценить вероятностное распределение значений в наборе данных.
Она позволяет нам понять, как вероятно появление определенных значений или наблюдений в нашей выборке.
Зачем это нужно?
Для исключения из обучающих выборок нерелевантных, аномальных примеров.
Представьте, что у вас есть набор значений роста людей. Оценка плотности покажет, как часто встречаются разные значения роста.
В обучающем примере рост человека 175 см. Мы понимаем, что это средний рост для мужчин в мире. Если в выборке будут встречаться примеры 140 и 219 см? Скорее всего это аномальные значения. Вероятность их нахождения в выборке - минимальна. Для корректной работы модели, их лучше исключить из выборки.
Теперь представьте, что в выборке используются данные банковских транзакций или расстояния между атомами, как понять аномальны ли значения? Если вы специалист в конкретной предметной области, скорее всего, вы сможете определить. Но в большинстве случаев, лучше обратиться к ML-алгоритмам, которые помогут избежать ошибок при подготовке данных для обучения моделей.
Основные методы:
🔹 Гистограммы
🔹 Оценка плотности ядра (Kernel Density Estimation, KDE)
🔹 Случайные леса (random-forest)
🔹 Оценка парзеновского окна (Parzen Window)
Методические материалы:
scikit-learn.ru
en.wikipedia.org
Под плотностью мы подразумеваем плотность распределения вероятности или вероятность.
Оценка плотности вероятности в ML - метод анализа данных, который позволяет оценить вероятностное распределение значений в наборе данных.
Она позволяет нам понять, как вероятно появление определенных значений или наблюдений в нашей выборке.
Зачем это нужно?
Для исключения из обучающих выборок нерелевантных, аномальных примеров.
Представьте, что у вас есть набор значений роста людей. Оценка плотности покажет, как часто встречаются разные значения роста.
В обучающем примере рост человека 175 см. Мы понимаем, что это средний рост для мужчин в мире. Если в выборке будут встречаться примеры 140 и 219 см? Скорее всего это аномальные значения. Вероятность их нахождения в выборке - минимальна. Для корректной работы модели, их лучше исключить из выборки.
Теперь представьте, что в выборке используются данные банковских транзакций или расстояния между атомами, как понять аномальны ли значения? Если вы специалист в конкретной предметной области, скорее всего, вы сможете определить. Но в большинстве случаев, лучше обратиться к ML-алгоритмам, которые помогут избежать ошибок при подготовке данных для обучения моделей.
Основные методы:
🔹 Гистограммы
🔹 Оценка плотности ядра (Kernel Density Estimation, KDE)
🔹 Случайные леса (random-forest)
🔹 Оценка парзеновского окна (Parzen Window)
Методические материалы:
scikit-learn.ru
en.wikipedia.org
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Визуализация работы популярных оптимизаторов в Python
🐍 Python - наиболее популярный язык программирования для машинного обучения.
Оптимизатор - это встроенный в компонент Python алгоритм, позволяющий достичь оптимального значения функции потерь обучаемой модели.
В качестве модели может выступать нейронная сеть, алгоритм машинного обучения или их сочетание.
В процессе обучения мы стараемся минимизировать потери функции и обновлять параметры для повышения точности.
На графике выше наглядно представлено, как по-разному работают алгоритмы оптимизации Python. Все представленные оптимизаторы входят в пакет Numpy.
Источник: github.com
👉 @aisimpleru
🐍 Python - наиболее популярный язык программирования для машинного обучения.
Оптимизатор - это встроенный в компонент Python алгоритм, позволяющий достичь оптимального значения функции потерь обучаемой модели.
В качестве модели может выступать нейронная сеть, алгоритм машинного обучения или их сочетание.
В процессе обучения мы стараемся минимизировать потери функции и обновлять параметры для повышения точности.
На графике выше наглядно представлено, как по-разному работают алгоритмы оптимизации Python. Все представленные оптимизаторы входят в пакет Numpy.
Источник: github.com
👉 @aisimpleru
👍1🔥1
90% контента будет создаваться при помощи ИИ к 2026 году
К 2026 году 90% контента в интернете будет создавать искусственный интеллект, гласит прогноз Международного центра обработки данных (IDCA).
После публичного релиза таких генеративных моделей, как ChatGPT-3, StableDiffusion или MidJourney, инфополе заполнили скандалы вокруг выдачи ИИ-контента за творение человека.
В 2026, наступит интересное время. Время фейков, подделанных дважды.
Однозначно будет неясно, сгенерировано видео или контент при помощи ИИ-модели, или подготовлено человеком. На сознательный обман человека, который хочет выдать фейковое творение за реальное, будет накладываться вероятность сбоя ИИ-модели, которая сама может допускать ошибки-галлюцинации.
Изображение к посту сгенерировано в Midjourney.
Источник: idc-a.org
👉 @aisimpleru
К 2026 году 90% контента в интернете будет создавать искусственный интеллект, гласит прогноз Международного центра обработки данных (IDCA).
После публичного релиза таких генеративных моделей, как ChatGPT-3, StableDiffusion или MidJourney, инфополе заполнили скандалы вокруг выдачи ИИ-контента за творение человека.
В 2026, наступит интересное время. Время фейков, подделанных дважды.
Однозначно будет неясно, сгенерировано видео или контент при помощи ИИ-модели, или подготовлено человеком. На сознательный обман человека, который хочет выдать фейковое творение за реальное, будет накладываться вероятность сбоя ИИ-модели, которая сама может допускать ошибки-галлюцинации.
Изображение к посту сгенерировано в Midjourney.
Источник: idc-a.org
👉 @aisimpleru
👍3
По итогам 2023 года Россия - на 6 месте на GitHub, но в 2027 окажется на 9 месте
GitHub - это популярная платформа для коллективной разработки IT-проектов с возможностью контроля версий и просмотра кода чужих проектов.
В по данным GitHub сообщество российских разработчиков является 6 в мире по количеству пользователей.
В своих прогнозах на 5 лет вперед Github ориентируется на то, что Индия 🇮🇳 по числу разработчиков, зарегистрированных на GitHub, выйдет на 1 место 🚀, вытеснив США 🇺🇸 .
Бразилия 🇧🇷 поднимется на 3 место, потеснив Китай 🇨🇳 .
Россия 🇷🇺 и Германия 🇩🇪 опустятся, соответственно на 9 и 8 места, уступив позиции Индонезии 🇮🇩 и Японии 🇯🇵 .
Это мнение GitHub
👉 @aisimpleru
GitHub - это популярная платформа для коллективной разработки IT-проектов с возможностью контроля версий и просмотра кода чужих проектов.
В по данным GitHub сообщество российских разработчиков является 6 в мире по количеству пользователей.
В своих прогнозах на 5 лет вперед Github ориентируется на то, что Индия 🇮🇳 по числу разработчиков, зарегистрированных на GitHub, выйдет на 1 место 🚀, вытеснив США 🇺🇸 .
Бразилия 🇧🇷 поднимется на 3 место, потеснив Китай 🇨🇳 .
Россия 🇷🇺 и Германия 🇩🇪 опустятся, соответственно на 9 и 8 места, уступив позиции Индонезии 🇮🇩 и Японии 🇯🇵 .
Это мнение GitHub
👉 @aisimpleru
👍4
Задача ранжирования
Ранжирование - присвоение ранга классу объектов. Ранг изменяется от 1 до + бесконечности. В качестве объектов может выступать что угодно: люди, предметы, документы и т.д. В качестве простого критерия ранжирования - успеваемость для учеников, размер предмета, число страниц в книге. Здесь можно обойтись без сложных ИИ-моделей, сортируя объекты по убыванию значения критерия.
А если в качестве критерия взять релевантность поискового запроса? Это абстрактная величина, которая измеряется в том, насколько точно поисковая выдача соответствует требованиям запроса.
Так работают поисковые системы Yandex и Google. Каждую секунду поисковики выдают ТОП-10.
Основные алгоритмы:
1. Поточечный - построение регрессионной зависимости (ссылка) для каждой пары - запрос / документ
2. Попарный - создание бинарного классификатора, когда на вход поступают 2 документа, на выходе модель определяет лучший из них (см. RankNet, FRank, RankBoost, RankSVM, IR-SVM)
3. Списочный - на вход поступают все документы, на выходе - перестановка документов уже в проранжированном виде (см. SoftRank, SVMmap, AdaRank, RankGP, ListNet, ListMLE)
4. Нейросетевые алгоритмы. Так работает поиск Яндекса. Алгоритм был представлен в 2020 году. Нейронная сеть обучается приближать смысловую связь между запросом и документом на миллиардах обучающих примеров.
Источники:
- wiki
- Нейросетевой алгоритм Яндекса
👉 @aisimpleru
Ранжирование - присвоение ранга классу объектов. Ранг изменяется от 1 до + бесконечности. В качестве объектов может выступать что угодно: люди, предметы, документы и т.д. В качестве простого критерия ранжирования - успеваемость для учеников, размер предмета, число страниц в книге. Здесь можно обойтись без сложных ИИ-моделей, сортируя объекты по убыванию значения критерия.
А если в качестве критерия взять релевантность поискового запроса? Это абстрактная величина, которая измеряется в том, насколько точно поисковая выдача соответствует требованиям запроса.
Так работают поисковые системы Yandex и Google. Каждую секунду поисковики выдают ТОП-10.
Основные алгоритмы:
1. Поточечный - построение регрессионной зависимости (ссылка) для каждой пары - запрос / документ
2. Попарный - создание бинарного классификатора, когда на вход поступают 2 документа, на выходе модель определяет лучший из них (см. RankNet, FRank, RankBoost, RankSVM, IR-SVM)
3. Списочный - на вход поступают все документы, на выходе - перестановка документов уже в проранжированном виде (см. SoftRank, SVMmap, AdaRank, RankGP, ListNet, ListMLE)
4. Нейросетевые алгоритмы. Так работает поиск Яндекса. Алгоритм был представлен в 2020 году. Нейронная сеть обучается приближать смысловую связь между запросом и документом на миллиардах обучающих примеров.
Источники:
- wiki
- Нейросетевой алгоритм Яндекса
👉 @aisimpleru
👍3