Кого заменит ИИ в 2030-х
Профессора Оксфордского университета Карл Бенедикт Фрей и Майкл Осборн в 2013 разработали модель предсказания рисков для профессий, деятельность которых будет автоматизирована, т.е. заменена ИИ. Модель реализована на сайте - https://willrobotstakemyjob.com/.
Ниже - ТОП-5 групп профессий, которые пострадают с большей долей вероятности (подробнее - на сайте).
1️⃣ Бухгалтеры и аналитики начального уровня
Системы искусственного интеллекта способны обучаться правильному извлечению и анализу информации из различных источников, что позволяет снизить потребность в ручном труде. К этому также можно отнести первичную аналитику больших объемов данных, включая базовый финансовый анализ и определенные виды исследований.
2️⃣ Специалисты call-центров, администраторы
Ранее процессы обслуживания клиентов были связаны с длительным временем ожидания, нестабильным сервисом и разочарованием. Однако, в настоящее время большинство проблем решается с помощью чат-ботов, виртуальных помощников и алгоритмов машинного обучения.
3️⃣ Копирайтеры, журналисты, писатели
Появление больших языковых моделей, таких как ChatGPT, Copilot и Bard, значительно упростило процесс создания контента. ИИ способен эффективно обобщать длинные или сложные тексты, подготавливать резюме гигантских статей или целого ряда научных исследований за считанные секунды.
4️⃣ Кассиры и биржевые трейдеры
Алгоритмы искусственного интеллекта широко применяются в трейдинге, принимая быстрые решения на основе рыночных данных и анализа тенденций. Они способны выявлять зоны высокой прибыли и совершать сделки с молниеносной скоростью, которая выходит за рамки человеческих возможностей.
5️⃣ Водители такси
Развитие беспилотных автомобилей будет происходить очень быстро. Технологии ИИ позволят создать новых универсальных водителей, которые не нарушают правил, не требуют сна и отдыха, не просят зарплаты. Если это действительно произойдет, людям не выиграть конкуренцию у ИИ в этой сфере.
👉 @aisimpleru
Профессора Оксфордского университета Карл Бенедикт Фрей и Майкл Осборн в 2013 разработали модель предсказания рисков для профессий, деятельность которых будет автоматизирована, т.е. заменена ИИ. Модель реализована на сайте - https://willrobotstakemyjob.com/.
Ниже - ТОП-5 групп профессий, которые пострадают с большей долей вероятности (подробнее - на сайте).
1️⃣ Бухгалтеры и аналитики начального уровня
Системы искусственного интеллекта способны обучаться правильному извлечению и анализу информации из различных источников, что позволяет снизить потребность в ручном труде. К этому также можно отнести первичную аналитику больших объемов данных, включая базовый финансовый анализ и определенные виды исследований.
2️⃣ Специалисты call-центров, администраторы
Ранее процессы обслуживания клиентов были связаны с длительным временем ожидания, нестабильным сервисом и разочарованием. Однако, в настоящее время большинство проблем решается с помощью чат-ботов, виртуальных помощников и алгоритмов машинного обучения.
3️⃣ Копирайтеры, журналисты, писатели
Появление больших языковых моделей, таких как ChatGPT, Copilot и Bard, значительно упростило процесс создания контента. ИИ способен эффективно обобщать длинные или сложные тексты, подготавливать резюме гигантских статей или целого ряда научных исследований за считанные секунды.
4️⃣ Кассиры и биржевые трейдеры
Алгоритмы искусственного интеллекта широко применяются в трейдинге, принимая быстрые решения на основе рыночных данных и анализа тенденций. Они способны выявлять зоны высокой прибыли и совершать сделки с молниеносной скоростью, которая выходит за рамки человеческих возможностей.
5️⃣ Водители такси
Развитие беспилотных автомобилей будет происходить очень быстро. Технологии ИИ позволят создать новых универсальных водителей, которые не нарушают правил, не требуют сна и отдыха, не просят зарплаты. Если это действительно произойдет, людям не выиграть конкуренцию у ИИ в этой сфере.
👉 @aisimpleru
👍2
Какие ИИ-модели могут повторить и превзойти успех ChatGPT в 2024 году?
ChatGPT дал людям возможность общаться с компьютером на человеческом языке. В в 2024 году ИИ-модели станут еще умнее.
Вот список ИИ моделей, которые будут активно развиваться в ближайшее время:
1. Claude от Anthropic (https://www.anthropic.com/product)
🔹 200 тыс. токенов вместо 128 тыс. по сравнению с ChatGPT
🔹 4$ млрд. инвестиций от Amazon
🔹 расширенное и удобное контекстное меню
🔹 менее "токсичен" в общении благодаря упору на безопасную разработку
2. Pi от Inflection AI (https://pi.ai/talk)
🔹 гибкая модель, работающая по принципу ACI (Artificial Capable Intelligence)
🔹 1,3$ млрд. инвестиций от Microsoft и Nvidia
🔹 модель является обучаемой и персонализируемой под нужды конкретного пользователя
3. Character.AI (https://beta.character.ai/)
🔹 идея в создании собственных анимированных персонажей
🔹 целевая аудитория 18-25 лет
🔹 150$ млн. инвестиций
4. ElevenLabs (https://elevenlabs.io/)
🔹 модель предназначена для клонирования и синтеза речи
🔹 позволяет дублировать контент на разных языках, сохраняя оригинальный голос говорящего
🔹 19$ млн. инвестиций от Instagram, DeepMind, Oculus
5. Hugging Face (https://huggingface.co/)
🔹 большое число моделей с открытым исходным кодом
🔹 GitHub в области ML - другие люди могут просматривать чужие проекты
🔹 оценка компании - 4,5$ млрд.
🔹 в последнем раунде финансирования участвовали Google, Amazon, Nvidia, Intel, AMD, IBM и Qualcomm
👉 @aisimpleru
ChatGPT дал людям возможность общаться с компьютером на человеческом языке. В в 2024 году ИИ-модели станут еще умнее.
Вот список ИИ моделей, которые будут активно развиваться в ближайшее время:
1. Claude от Anthropic (https://www.anthropic.com/product)
🔹 200 тыс. токенов вместо 128 тыс. по сравнению с ChatGPT
🔹 4$ млрд. инвестиций от Amazon
🔹 расширенное и удобное контекстное меню
🔹 менее "токсичен" в общении благодаря упору на безопасную разработку
2. Pi от Inflection AI (https://pi.ai/talk)
🔹 гибкая модель, работающая по принципу ACI (Artificial Capable Intelligence)
🔹 1,3$ млрд. инвестиций от Microsoft и Nvidia
🔹 модель является обучаемой и персонализируемой под нужды конкретного пользователя
3. Character.AI (https://beta.character.ai/)
🔹 идея в создании собственных анимированных персонажей
🔹 целевая аудитория 18-25 лет
🔹 150$ млн. инвестиций
4. ElevenLabs (https://elevenlabs.io/)
🔹 модель предназначена для клонирования и синтеза речи
🔹 позволяет дублировать контент на разных языках, сохраняя оригинальный голос говорящего
🔹 19$ млн. инвестиций от Instagram, DeepMind, Oculus
5. Hugging Face (https://huggingface.co/)
🔹 большое число моделей с открытым исходным кодом
🔹 GitHub в области ML - другие люди могут просматривать чужие проекты
🔹 оценка компании - 4,5$ млрд.
🔹 в последнем раунде финансирования участвовали Google, Amazon, Nvidia, Intel, AMD, IBM и Qualcomm
👉 @aisimpleru
👍3
То, о чем мы писали почти 4 года назад (ссылка), состоялось. Компания Илона Маска Neuralink впервые имплантировала чип в мозг живому человеку.
✅ Илон Маск объявил о первой имплантации нейрочипа Neuralink человеку в социальной сети X (соцсеть запрещена в России). Операция прошла 28 января 2024 года, и пациент успешно восстанавливается. Первые результаты операции многообещающие.
✅ Первый продукт Neuralink будет называться Telepathy. Эта технология поможет пациентам с боковым амиотрофическим склерозом и другими заболеваниями общаться и пользоваться интернетом, двигая курсор силой мысли.
✅ В сентябре 2023 года Neuralink получила разрешение на испытания от независимого наблюдательного совета и начала поиск добровольцев. Полное исследование продлится около шести лет.
✅ После операции эксперты Neuralink будут наблюдать за пациентом, чтобы следить за прогрессом и гарантировать работу чипа. Запланировано 20 осмотров в течение пяти лет.
👉 @aisimpleru
✅ Илон Маск объявил о первой имплантации нейрочипа Neuralink человеку в социальной сети X (соцсеть запрещена в России). Операция прошла 28 января 2024 года, и пациент успешно восстанавливается. Первые результаты операции многообещающие.
✅ Первый продукт Neuralink будет называться Telepathy. Эта технология поможет пациентам с боковым амиотрофическим склерозом и другими заболеваниями общаться и пользоваться интернетом, двигая курсор силой мысли.
✅ В сентябре 2023 года Neuralink получила разрешение на испытания от независимого наблюдательного совета и начала поиск добровольцев. Полное исследование продлится около шести лет.
✅ После операции эксперты Neuralink будут наблюдать за пациентом, чтобы следить за прогрессом и гарантировать работу чипа. Запланировано 20 осмотров в течение пяти лет.
👉 @aisimpleru
👍4🔥1
Этапы нейросетевого моделирования (ч.2)
Ранее мы уже кратко упоминали основные этапы нейросетевого моделирования.
Предлагаем рассмотреть этот процесс более детально на примере решения простой задачи по прогнозу погоды в Москве.
Подробности в уроке 2.7 на сайте.
👉 @aisimpleru
Ранее мы уже кратко упоминали основные этапы нейросетевого моделирования.
Предлагаем рассмотреть этот процесс более детально на примере решения простой задачи по прогнозу погоды в Москве.
Подробности в уроке 2.7 на сайте.
👉 @aisimpleru
👍4
«Экономический эффект [от внедрения технологий ИИ в России] составляет около триллиона рублей. А концу десятилетия превысит уже 10 триллионов»
М.Мишустин
Источник: rt.com
—
Для понимания. Сейчас эффект от внедрения ИИ в России по оценкам премьера - 11 $ млрд. (1 ₽ трлн.).
Планируется, что этот показатель вырастет в 10 раз 😮 через 6 лет.
К чему это может привести, мы уже писали ранее:
- сокращение рабочих мест,
- очередной виток роста зарплат в сфере ИТ и ИИ,
- людям массово придется переучиваться или остаться без работы.
👉 @aisimpleru
М.Мишустин
Источник: rt.com
—
Для понимания. Сейчас эффект от внедрения ИИ в России по оценкам премьера - 11 $ млрд. (1 ₽ трлн.).
Планируется, что этот показатель вырастет в 10 раз 😮 через 6 лет.
К чему это может привести, мы уже писали ранее:
- сокращение рабочих мест,
- очередной виток роста зарплат в сфере ИТ и ИИ,
- людям массово придется переучиваться или остаться без работы.
👉 @aisimpleru
👍2
В Тинькофф-Журнале вышел интересный курс по ИИ 🚀
Из курса вы узнаете:
1. Где используют нейросети и как они работают.
2. Почему нейросети стали популярны только в 2022 году.
3. Что они могут прямо сейчас.
Самое классное, что курс полностью бесплатный 🔥
Продолжительность 🕒: ~ 3 часа
На выходе, получите диплом, можно добавить в резюме.
Не благодарите 😉: https://journal.tinkoff.ru/pro/ai/0-intro-to-ai/
P.S. Это не реклама
👉 @aisimpleru
Из курса вы узнаете:
1. Где используют нейросети и как они работают.
2. Почему нейросети стали популярны только в 2022 году.
3. Что они могут прямо сейчас.
Самое классное, что курс полностью бесплатный 🔥
Продолжительность 🕒: ~ 3 часа
На выходе, получите диплом, можно добавить в резюме.
Не благодарите 😉: https://journal.tinkoff.ru/pro/ai/0-intro-to-ai/
P.S. Это не реклама
👉 @aisimpleru
🔥5
Способы нормализации данных в обучающих выборках 📊
Как правильно подготовить данные в выборке для обучения нейронной сети 🤔?
Нейронные сети и другие модели машинного обучения должны оперировать значениями в рамках одного диапазона.
Как быть, если в модели используются данные, например, в штуках и миллионах рублей? Нужна нормализация данных.
Подготовили подробную статью об основных методах нормализации - ссылка.
👉 @aisimpleru
Как правильно подготовить данные в выборке для обучения нейронной сети 🤔?
Нейронные сети и другие модели машинного обучения должны оперировать значениями в рамках одного диапазона.
Как быть, если в модели используются данные, например, в штуках и миллионах рублей? Нужна нормализация данных.
Подготовили подробную статью об основных методах нормализации - ссылка.
👉 @aisimpleru
👍3
Поручения Путина по итогам конференции по ИИ
Для тех, кто пропустил, сообщаем, что Президент России утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта» от 24 ноября 2023 года.
Краткая выжимка:
🔹 финансирование разработок в области генеративного ИИ будет увеличено,
🔹 разработка и внедрение больших генеративных моделей для использования в ключевых отраслях экономики,
🔹 правительство проанализирует потребности работодателей в сотрудниках, обладающих навыками ИИ,
🔹 образовательные стандарты будут дополнены требованиями к навыкам в сфере ИИ,
🔹 вычислительных мощности суперкомпьютеров, находящихся в Российской Федерации, будут увеличены,
🔹 уделено внимание формированию этических стандартов в сфере ИИ.
Источник: kremlin.ru
👉 @aisimpleru
Для тех, кто пропустил, сообщаем, что Президент России утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта» от 24 ноября 2023 года.
Краткая выжимка:
🔹 финансирование разработок в области генеративного ИИ будет увеличено,
🔹 разработка и внедрение больших генеративных моделей для использования в ключевых отраслях экономики,
🔹 правительство проанализирует потребности работодателей в сотрудниках, обладающих навыками ИИ,
🔹 образовательные стандарты будут дополнены требованиями к навыкам в сфере ИИ,
🔹 вычислительных мощности суперкомпьютеров, находящихся в Российской Федерации, будут увеличены,
🔹 уделено внимание формированию этических стандартов в сфере ИИ.
Источник: kremlin.ru
👉 @aisimpleru
👍4
Самые популярные языки программирования в сфере ИИ и машинного обучения по итогам 2023
🔸 Python — универсальный язык с активным сообществом и большим количеством свободных инструментов (TensorFlow, Keras, Scikit-learn, Pandas)
🔸 JavaScript — часто используется для разработки пользовательских интерфейсов, но также имеет ML-библиотеки (Brain.js, Deeplearnjs и ConvNetJS для нейронных сетей, Compromise для NLP, TensorFlow.js для всего понемногу)
🔸 TypeScript — надстройка над JavaScript, позволяющая писать алгоритмы и строить модели машинного обучения
🔸 C++ — мощный язык со стабильными и быстрыми программами, но сложным синтаксисом и обилием абстрактных функций
🔸 Java — высокоуровневый язык с отличными библиотеками (Weka, MOA, MALLET)
🔸 C# — гибкий и многофункциональный язык от Microsoft с поддержкой библиотеки ML.NET
🔸 Julia — молодой язык, конкурент R и Python, совместимый с ними, но быстрее их
🔸 Scala — поддерживает объектно-ориентированное и функциональное программирование
👉 @aisimpleru
🔸 Python — универсальный язык с активным сообществом и большим количеством свободных инструментов (TensorFlow, Keras, Scikit-learn, Pandas)
🔸 JavaScript — часто используется для разработки пользовательских интерфейсов, но также имеет ML-библиотеки (Brain.js, Deeplearnjs и ConvNetJS для нейронных сетей, Compromise для NLP, TensorFlow.js для всего понемногу)
🔸 TypeScript — надстройка над JavaScript, позволяющая писать алгоритмы и строить модели машинного обучения
🔸 C++ — мощный язык со стабильными и быстрыми программами, но сложным синтаксисом и обилием абстрактных функций
🔸 Java — высокоуровневый язык с отличными библиотеками (Weka, MOA, MALLET)
🔸 C# — гибкий и многофункциональный язык от Microsoft с поддержкой библиотеки ML.NET
🔸 Julia — молодой язык, конкурент R и Python, совместимый с ними, но быстрее их
🔸 Scala — поддерживает объектно-ориентированное и функциональное программирование
👉 @aisimpleru
👍4❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Клеточные автоматы
Идея клеточных автоматов была сформулирована независимо Дж. фон Нейманом и К. Цусе в конце 40-х годов.
Оба рассматривали их как универсальную вычислительную среду для построения алгоритмов, эквивалентную по своим выразительным возможностям машине Тьюринга.
Эта идея породила волну многочисленных теоретических и прикладных исследований.
Кле́точный автома́т (КА) — набор клеток, образующих некоторую периодическую решетку с заданными правилами перехода, определяющими состояние клетки в следующий момент времени через состояние клеток, находящимися от нее на расстоянии не больше некоторого, в текущий момент времени. Как правило, рассматриваются автоматы, где состояние определяется самой клеткой и ближайшими соседями. В качестве решетки обычно рассматривается кубическая решетка
На видео - пример работы клеточного автомата
👉@aisimpleru
Идея клеточных автоматов была сформулирована независимо Дж. фон Нейманом и К. Цусе в конце 40-х годов.
Оба рассматривали их как универсальную вычислительную среду для построения алгоритмов, эквивалентную по своим выразительным возможностям машине Тьюринга.
Эта идея породила волну многочисленных теоретических и прикладных исследований.
Кле́точный автома́т (КА) — набор клеток, образующих некоторую периодическую решетку с заданными правилами перехода, определяющими состояние клетки в следующий момент времени через состояние клеток, находящимися от нее на расстоянии не больше некоторого, в текущий момент времени. Как правило, рассматриваются автоматы, где состояние определяется самой клеткой и ближайшими соседями. В качестве решетки обычно рассматривается кубическая решетка
На видео - пример работы клеточного автомата
👉@aisimpleru
🔥6
Почему Python такой популярный?
Можно долго нахваливать обилие существующих библиотек для Python, простоту изучения, большое сообщество разработчиков. Но главный ответ - это простота кода.
Посмотрите на картинку 👆 и все поймете .
👉 @aisimpleru
Можно долго нахваливать обилие существующих библиотек для Python, простоту изучения, большое сообщество разработчиков. Но главный ответ - это простота кода.
Посмотрите на картинку 👆 и все поймете .
👉 @aisimpleru
🔥4
ИИ-модель, автоматически удаляющая фон с фото
На HuggingFace🤗 в бесплатном доступе размещена модель BRIA RMBG 1.4: 👇
https://huggingface.co/spaces/briaai/BRIA-RMBG-1.4
Модель легко удаляет фон с фото.
Картинку бутылки за 17 секунд модель обработала вполне не плохо 👌
Забирайте и пользуйтесь на здоровье 😉
👉@aisimpleru
На HuggingFace🤗 в бесплатном доступе размещена модель BRIA RMBG 1.4: 👇
Модель легко удаляет фон с фото.
Картинку бутылки за 17 секунд модель обработала вполне не плохо 👌
Забирайте и пользуйтесь на здоровье 😉
👉@aisimpleru
👍7
ТОП-5 специалистов на рынке IT и ИИ в 2023-2024
1. Специалисты по кибербезопасности
2. Аналитики больших данных
3. Специалисты по машинному обучению и искусственному интеллекту
4. Специалисты по облачным технологиям
5. Разработчики программного обеспечения
Hard Skills - «жесткие» навыки.
Soft Skills - «мягкие» навыки.
⚠️ Обратите внимание
- самый популярный Hard Skill - это Python,
- популярный Soft Skill - коммуникативные навыки,
- для специалистов в сфере искусственного интеллекта - самый обширный набор навыков 🙂
👉 @aisimpleru
1. Специалисты по кибербезопасности
2. Аналитики больших данных
3. Специалисты по машинному обучению и искусственному интеллекту
4. Специалисты по облачным технологиям
5. Разработчики программного обеспечения
Hard Skills - «жесткие» навыки.
Soft Skills - «мягкие» навыки.
⚠️ Обратите внимание
- самый популярный Hard Skill - это Python,
- популярный Soft Skill - коммуникативные навыки,
- для специалистов в сфере искусственного интеллекта - самый обширный набор навыков 🙂
👉 @aisimpleru
👍3🔥3
Rabbit R1. Очередной ненужный гаджет или реальная альтернатива голосовым помощникам?
Весной 2024 на рынок выходит необычное устройство.
Оранжевая коробочка с сенсорным экраном 2,88 дюйма, микрофоном, вращающейся камерой и кнопкой. Объем оперативной памяти - 2 Гб, постоянной - 128 Гб.
Цена устройства: 199$
Rabbit R1 удаленно управляет приложениями с использованием собственных механизмов интеграции. Управление осуществляется голосом.
Что под капотом?
Rabbit R1 использует нейросеть типа LAM (Large Action Model). Принцип работы заключается в том, что устройство воспринимает голосовые команды и интерпретирует их. LAM обучается путем демонстрации: алгоритм «наблюдает» за человеком, использующим определенное приложение, а потом воспроизводит его действия, даже если интерфейс сервиса отличается. Со временем модель накапливает все больше знаний и глубже «понимает» разные аспекты взаимодействия с сервисом.
Главный вопрос - почему бы просто не сделать мобильное приложение? По словам разработчиков - идея в том, чтобы изменить рынок и подходы к с устройствами на базе ИИ.
Генеральный директор Rabbit Джесси Лю на презентации устройства подчеркнул, что его разработчики не стремятся заменить смартфоны. С помощью R1 нельзя звонить, проигрывать ролики YouTube, проверять социальные сети или выполнять действия с электронной почтой. Кроме того, устройство не предполагает наличия обратной связи с другими владельцами Rabbit или смартфонов.
YouTube-демонстрация
Статья на Хабре
Сайт производителя
Весной 2024 на рынок выходит необычное устройство.
Оранжевая коробочка с сенсорным экраном 2,88 дюйма, микрофоном, вращающейся камерой и кнопкой. Объем оперативной памяти - 2 Гб, постоянной - 128 Гб.
Цена устройства: 199$
Rabbit R1 удаленно управляет приложениями с использованием собственных механизмов интеграции. Управление осуществляется голосом.
Что под капотом?
Rabbit R1 использует нейросеть типа LAM (Large Action Model). Принцип работы заключается в том, что устройство воспринимает голосовые команды и интерпретирует их. LAM обучается путем демонстрации: алгоритм «наблюдает» за человеком, использующим определенное приложение, а потом воспроизводит его действия, даже если интерфейс сервиса отличается. Со временем модель накапливает все больше знаний и глубже «понимает» разные аспекты взаимодействия с сервисом.
Главный вопрос - почему бы просто не сделать мобильное приложение? По словам разработчиков - идея в том, чтобы изменить рынок и подходы к с устройствами на базе ИИ.
Генеральный директор Rabbit Джесси Лю на презентации устройства подчеркнул, что его разработчики не стремятся заменить смартфоны. С помощью R1 нельзя звонить, проигрывать ролики YouTube, проверять социальные сети или выполнять действия с электронной почтой. Кроме того, устройство не предполагает наличия обратной связи с другими владельцами Rabbit или смартфонов.
YouTube-демонстрация
Статья на Хабре
Сайт производителя
👍3🤔3
Общая классификация постановки задачи машинного обучения
Ранее мы рассматривали, что такое машинное обучение (machine learning или ML), как метод ИИ.
Типы задач, которые могут решаться при помощи ML
Обучение с учителем:
🔹 классификация,
🔹 регрессия,
🔹 обучение ранжированию,
Обучение без учителя:
🔹 кластеризация,
🔹 снижение размерности,
🔹 оценка плотности.
Мы не касались трех типов задач задач: ранжирование, снижение размерности и оценка плотности.
Восполним этот пробел в ближайших постах.
👉 @aisimpleru
Ранее мы рассматривали, что такое машинное обучение (machine learning или ML), как метод ИИ.
Типы задач, которые могут решаться при помощи ML
Обучение с учителем:
🔹 классификация,
🔹 регрессия,
🔹 обучение ранжированию,
Обучение без учителя:
🔹 кластеризация,
🔹 снижение размерности,
🔹 оценка плотности.
Мы не касались трех типов задач задач: ранжирование, снижение размерности и оценка плотности.
Восполним этот пробел в ближайших постах.
👉 @aisimpleru
👍4🔥1
Задача снижения размерности в машинном обучении (ML)
Задача снижения размерности в машинном обучении сводится к уменьшению числа признаков набора данных.
Наличие в наборе избыточных, неинформативных признаков снижает эффективность модели.
После снижения размерности модель упрощается, а размер набора данных в памяти уменьшается. Ускоряется работа алгоритмов машинного обучения.
На практике приходится работать с данными очень больших размерностей. Изображения размером 224×224 пикселей или данные финансовых изменений во времени представляются в виде векторов.
Исследователю нужна простая и понятная визуализация и скорость для расчетов.
Где применяется:
🔹 распознавание изображений,
🔹 банковские транзакции,
🔹 аналитика больших данных.
Основные методы:
🔹 Метод главных компонент (PCA)
🔹 Метод k-средних (K-Means)
🔹 Линейный дискриминант Фишера (LDA)
🔹 Стохастические вложение соседей (t-SNE)
При подготовке текста использовали источник: ссылка
👉@aisimpleru
Задача снижения размерности в машинном обучении сводится к уменьшению числа признаков набора данных.
Наличие в наборе избыточных, неинформативных признаков снижает эффективность модели.
После снижения размерности модель упрощается, а размер набора данных в памяти уменьшается. Ускоряется работа алгоритмов машинного обучения.
На практике приходится работать с данными очень больших размерностей. Изображения размером 224×224 пикселей или данные финансовых изменений во времени представляются в виде векторов.
Исследователю нужна простая и понятная визуализация и скорость для расчетов.
Где применяется:
🔹 распознавание изображений,
🔹 банковские транзакции,
🔹 аналитика больших данных.
Основные методы:
🔹 Метод главных компонент (PCA)
🔹 Метод k-средних (K-Means)
🔹 Линейный дискриминант Фишера (LDA)
🔹 Стохастические вложение соседей (t-SNE)
При подготовке текста использовали источник: ссылка
👉@aisimpleru
👍4
Задача оценки плотности в машинном обучении (ML)
Под плотностью мы подразумеваем плотность распределения вероятности или вероятность.
Оценка плотности вероятности в ML - метод анализа данных, который позволяет оценить вероятностное распределение значений в наборе данных.
Она позволяет нам понять, как вероятно появление определенных значений или наблюдений в нашей выборке.
Зачем это нужно?
Для исключения из обучающих выборок нерелевантных, аномальных примеров.
Представьте, что у вас есть набор значений роста людей. Оценка плотности покажет, как часто встречаются разные значения роста.
В обучающем примере рост человека 175 см. Мы понимаем, что это средний рост для мужчин в мире. Если в выборке будут встречаться примеры 140 и 219 см? Скорее всего это аномальные значения. Вероятность их нахождения в выборке - минимальна. Для корректной работы модели, их лучше исключить из выборки.
Теперь представьте, что в выборке используются данные банковских транзакций или расстояния между атомами, как понять аномальны ли значения? Если вы специалист в конкретной предметной области, скорее всего, вы сможете определить. Но в большинстве случаев, лучше обратиться к ML-алгоритмам, которые помогут избежать ошибок при подготовке данных для обучения моделей.
Основные методы:
🔹 Гистограммы
🔹 Оценка плотности ядра (Kernel Density Estimation, KDE)
🔹 Случайные леса (random-forest)
🔹 Оценка парзеновского окна (Parzen Window)
Методические материалы:
scikit-learn.ru
en.wikipedia.org
Под плотностью мы подразумеваем плотность распределения вероятности или вероятность.
Оценка плотности вероятности в ML - метод анализа данных, который позволяет оценить вероятностное распределение значений в наборе данных.
Она позволяет нам понять, как вероятно появление определенных значений или наблюдений в нашей выборке.
Зачем это нужно?
Для исключения из обучающих выборок нерелевантных, аномальных примеров.
Представьте, что у вас есть набор значений роста людей. Оценка плотности покажет, как часто встречаются разные значения роста.
В обучающем примере рост человека 175 см. Мы понимаем, что это средний рост для мужчин в мире. Если в выборке будут встречаться примеры 140 и 219 см? Скорее всего это аномальные значения. Вероятность их нахождения в выборке - минимальна. Для корректной работы модели, их лучше исключить из выборки.
Теперь представьте, что в выборке используются данные банковских транзакций или расстояния между атомами, как понять аномальны ли значения? Если вы специалист в конкретной предметной области, скорее всего, вы сможете определить. Но в большинстве случаев, лучше обратиться к ML-алгоритмам, которые помогут избежать ошибок при подготовке данных для обучения моделей.
Основные методы:
🔹 Гистограммы
🔹 Оценка плотности ядра (Kernel Density Estimation, KDE)
🔹 Случайные леса (random-forest)
🔹 Оценка парзеновского окна (Parzen Window)
Методические материалы:
scikit-learn.ru
en.wikipedia.org
👍2