Искусственный интеллект - точка входа
468 subscribers
409 photos
51 videos
6 files
280 links
Нейронные сети, алгоритмы машинного обучения на понятном языке 🤗
Изучаем модели ИИ в спокойной обстановке ☕️



Основной сайт: https://aisimple.ru/
Онлайн-школа: https://school.aisimple.ru/
Сотрудничество: @danvir
Download Telegram
Список готовых нейронных сетей для всех задач.

Сохраните себе где-нибудь

👉 @aisimpleru
👍1👎1
Мы с вами рассмотрели, что такое нейронные сети, поговорили о том, какие типы и архитектуры нейронных сетей бывают, как обучать нейронные сети.

Еще раз напомним мысли из вот этого поста (https://t.me/aisimpleru/31).

Любую задачу предметной области можно свести к одной или нескольким задачам из математики, статистики.

Нейронные сети прекрасно справляются с решением 5 классов задач:
1️⃣ Задача интерполирования и аппроксимации данных и рядов
2️⃣ Задача прогнозирования
3️⃣ Задача классификации
4️⃣ Задача кластеризации
5️⃣ Задача распознавания образов

На этой неделе рассмотрим все эти задачи более подробно.

👉 @aisimpleru
👍1
Задачи интерполирования и аппроксимации успешно решаются искусственными нейронными сетями.

При аппроксимации (приближение) – функция максимально близко прилегает к точкам на графике

При интерполяции (изменение, переделка) – функция строго совпадает с данными в узлах сетки.

👉 @aisimpleru
👍1
Задача прогнозирования на самом деле сводится к задаче аппроксимации.

Задача нейронной сети заключается в том, чтобы смоделировать такую зависимость одной переменной от другой так, чтобы можно было предсказать поведение этой функции на несколько шагов вперед.

Нейронные сети с большим количеством скрытых слоев могут моделировать сложные зависимости не только для одной переменной.

Такие нейронки могут моделировать зависимость множества выходов от множества входов.

👉 @aisimpleru
👍1
Рассмотрим задачу классификации.
Суть состоит в том, чтобы из множества объектов при помощи математического алгоритма отобрать объекты, отнесенные к определенным классам по каким-либо характеристикам.

Если для решения такой задачи использовать нейронную сеть, то на вход сети нужно подать параметры объекта, а на выходе получить условный номер класса, к которому относится объект.

⚠️ Важный момент! В отличие от задачи кластеризации (рассмотрим завтра), классы объектов определены заранее. Вы уже знаете количество категорий и параметры объектов, по которым тот или иной объект включается в категорию.

👉 @aisimpleru
👍1
Кластеризация (или кластерный анализ) — это задача разбиения множества объектов на группы, называемые кластерами.

Математический алгоритм разбивает объекты на группы таким образом, что внутри каждой группы окажутся наиболее «похожие» объекты.
Объекты разных групп должны быть максимально отличны друг от друга.

На входе нейронной сети – параметры объектов, на выходе – номер кластера.

В отличие от задачи классификации число групп или категорий неизвестно заранее. В процессе обучения нейронная сеть самостоятельно определяет количество кластеров и параметры объектов, по которым они включаются в кластер.

С задачей кластеризации отлично справляются нейронные сети Кохонена, которые будет рассматривать позднее в этом канале и на сайте.

👉 @aisimpleru
2
Задача распознавания образов - комплексная задача.

Для ее решения могут использоваться несколько классов моделей нейронных сетей и/или алгоритмов машинного обучения.

В частности сверточные нейронные сети справляются с данной задачей.
В сверточных нейронных сетях есть нейроны разных типов, которые различаются по функциям. Также при одинаковом количестве нейронов и скрытых слоев сверточная нейронная сеть за счет своей структуры имеет меньшее количество синаптических связей и настраиваемых весовых коэффициентов, чем многослойная нейронная сеть.

Про то, чем сверточные нейронные сети отличаются от многослойных перцептронов и как они устроены можно прочитать в статье на хабре: https://habr.com/ru/articles/214317/

👉 @aisimpleru
👍1
Мы рассмотрели, что такое нейронные сети, какие они бывают и какие задачи решают.
Сейчас в тренде понятия Deep Learning и Machine Learning.
Этот пост для тех, кто не совсем понимает, в чем отличие этих терминов между собой.

Machine Learning (машинное обучение) - способ решения задач, при котором задача решается не напрямую, а путем обучения некоторой математической модели. Обучение происходит внутри некоторой программной среды, например Python, при помощи алгоритмов. Эти алгоритмы относят к методам искусственного интеллекта.
При помощи машинного обучения вы можете решить одну из типовых задач (https://t.me/aisimpleru/72) или более сложную комплексную задачу, например управление движущимся объектом.

Deep Learning (глубокое или глубинное обучение) - совокупность методов машинного обучения, включая все основные способы (с учителем, без учителя, с подкреплением). Его называют глубоким потому, что при обучении, в основном, используются сложные архитектуры нейронных сетей, содержащие множество скрытых слоев и нейроны разных типов. Эти модели более совершенны.

Таким образом, машинное обучение - это способ решения задач, включающий весь класс методов и алгоритмов. Глубокое обучение - это разновидность машинного обучения для сложных архитектур нейронных сетей и других моделей.

Вторым отличием deep learning от machine learning является отсутствие человека в 1 случае. Deep Learning модель самостоятельно извлекает признаки для классификации.

👉 @aisimpleru
👍21
Данная схема наиболее полно отражает все типы искусственных нейронных сетей, которые наиболее часто используются в современных задачах.

«Зоопарк нейронных сетей» любезно подготовлен The Asimov Institute.

Оригинал есть только на английском языке.

Мы перевели его на русский специально для вас.

Схема в большем разрешение - ссылка.

Сохраните себе, как шпаргалку.


P.S. В рамках данного канала мы разобрали первый ряд нейронных сетей, которые называют перцептронами или нейронными сетями прямого распространения.

👉 @aisimpleru
👍3
Помимо нейронных сетей существует множество алгоритмов машинного обучения.

Посмотрите на картинку. Для каждого алгоритма машинного обучения представлена зависимость интерпретируемости модели от ее точности и гибкости.

Точность и гибкость означает, насколько точно модель решает задачу и, при этом, сохраняет это свойство при изменении параметров модели.

Интерпретируемость - свойство, которое позволяет быстро и однозначно распознать конечный результат работы модели. Проще говоря, понять насколько качественно решена задача без дополнительных преобразований выходных данных модели.

Исходя из диаграммы на картинке, ясно, что сверточные и рекуррентные нейронные сети легче всего адаптировать под изменяющиеся условия. Модели, использующие в основе данные алгоритмы, решают задачу с высокой точностью. При этом могут возникнуть проблемы с быстрой интерпретацией результата работы такой модели.

Результат работы метода K-ближайших соседей или метода наименьших квадратов прост и понятен, но менее точен. Модели, использующие данные алгоритмы, могут решать узкий круг задач в определенных условиях.

P.S. SVM (Support Vector Machine), SVM Kernel на схеме обозначают метод опорных векторов и его модификацию

👉 @aisimpleru
👍3
Прежде чем перейти к дальнейшему погружении в ИИ, его методы и непосредственное написание кода, разберемся вот с каким вопросом.

Чем знания отличаются от информации?

К примеру возьмем следующую информацию: черный цвет, животное, шерсть, теплое, двигается, весит 5 кг, издает звуки, живет в домах у людей, имеет когти, хвост, не любит собак, мужского пола.

Сразу понятно, что речь идет о коте. Как ваш мозг понял, что это кот 🐈‍⬛?

Каким-то образом мозг сопоставил разрозненные признаки и связал эти данные с некоторым объектом, который уже хранился в памяти.

Образ кота возник не сразу, а лишь после того, как вы закончили читать предложение с характеристиками.

Ключевым является понятие связи между информацией и образом. А также связей между отдельными фрагментами информации.

Возьмем большой массив характеристик котов и начать его анализировать в привязке к странам, климатическим условиям и другим параметрам, то можно узнать много нового.

Алгоритмы машинного обучения и ИИ как раз и предназначены для установления тех самых взаимосвязей. Все зависит от исходной задачи, которую ставит исследователь в рамках проведения работы

👉 @aisimpleru
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Интересный бесплатный сервис замены лиц на изображениях, а также форм предметов и изменения стиля изображения.
https://huggingface.co/spaces/editing-images/ledits

Работает довольно быстро, рекомендуем.

👉 @aisimpleru
👍1
По данным Goldman Sachs инвестиции в искусственный интеллект сначала росли в период пандемии, затем существенно замедлились. При этом, прогнозируется, что рост мировых инвестиций в эту сферу достигнет к 2025 160 млрд. долларов. Много это или мало?

По словам аналитиков Goldman Sachs долгосрочные выгоды от инвестиций в ИИ значительны: ИИ может принести от 2,5% до 4% ВВП США. Такой важный вклад, несомненно, мог бы изменить ландшафт американской экономики.

👉 @aisimpleru
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Научные сотрудники лаборатории ИТМО ИИ, способный разрабатывать проекты инфраструктуры на определенной территории.

«В решении этой задачи классический ИИ на основе больших нейронных сетей бессилен, ChatGPT тоже не справится. Слишком мало данных для обучения: успешных проектов портов в Арктике — считанное количество, а шаблоны с других территорий заточены под другие климатические условия. Наша технология универсальна, мы применили в ней гибридную модель ИИ, когда обучение на разнообразных данных эффективно сочетается с априорными знаниями, ранее накопленными в этой отрасли и записанными в виде формальных моделей», ― отметил научный руководитель исследовательского центра «Сильный ИИ в промышленности» ИТМО Александр Бухановский.

ИИ-проектировщик может стать незаменимым помощником для компаний, которые участвуют в освоении Арктической зоны (включая шельф). Он не только в разы сократит трудоемкость и сроки разработки проектов, но и позволит создавать комплексные архитектурные решения, учитывающие особенности природной среды. Например, поможет расположить здания и транспортные пути так, чтобы их сильно не замело снегом, а также выбрать безопасные для экосистемы параметры ледозащитных сооружений.

Источник: https://news.itmo.ru/ru/science/it/news/13331/

P.S. ИИ проникает во все сферы жизни. В России также ведутся работы по разным направлениям. Наиболее интересные новости по таким проектам будем публиковать в этом канале.

👉@aisimpleru
👍1
Ранее мы обсуждали:
искусственный интеллект,
нейронные сети,
понятия машинного обучения (machine learning) и глубокого обучения (deep learning),

Технология машинного обучения - обширный подраздел искусственного интеллекта. Машинное обучение - изучает методы построения алгоритмов, которые могут обучаться.

Методы машинного обучения:
- Линейная регрессия
- Нелинейная регрессия
- Логистическая регрессия
- Метод ближайших соседей
- Метод k-средних
- Деревья решений
- Метод главных компонент
- Линейный дискриминант Фишера
- Байесовский классификатор

Для решения задачи необходимо четко понимать, какой алгоритм или ансамбль алгоритмов применить.
Помните, что универсального метода нет и не будет.

Например, с помощью одного алгоритма можно обучить машину водить, но этот же алгоритм будет бесполезен для решения задач классификации статей из журналов.

Для приближения технологий машинного обучения к искусственному интеллекту часто используется ансамбль из простых алгоритмов.

Выводы:
Поэтому, невозможно рассматривать технологии Machine Learning в отрыве от задач, которые решаются с их помощью.

Завтра рассмотрим понятие линейной регрессии.

👉 @aisimpleru
👍3
Регрессия - это метод статистического анализа, используемый в машинном обучении для предсказания числовых значений на основе зависимостей между переменными.

Регрессия - одно из базовых понятий в статистике.

Идея регрессии заключается в том, чтобы найти математическую связь между независимой переменной (предиктором) и зависимой переменной (предсказываемой).

В регрессии строится модель, которая пытается приблизить зависимую переменную с помощью одной или нескольких независимых переменных.

Модель представляется уравнением, которое может использоваться для предсказания значений зависимой переменной на основе известных значений независимых переменных.

Виды регрессии:
🔹 Простая линейная регрессия
🔹 Множественная линейная регрессия
🔹 Нелинейная регрессия

Для простоты мы рассмотрим первый тип - линейную регрессию.

Мы подразумеваем, что одна величина зависит от другой. Зависимость представляет собой прямую линию на графике.

Математически это представляется уравнением вида: y = mx + b,

где y - зависимая переменная,
x - независимая переменная,
m - коэффициент наклона (slope) и b - свободный член (intercept).

Из школьной курса математики известно, что коэффициент m отвечает за угол наклона нашей прямой, а свободный член - за смещение линии вправо или влево относительно оси ординат (Y).


Задачи регрессии могут включать прогнозирование цен на недвижимость, дохода, продаж и др.

Целью регрессии является минимизация разницы между предсказанными значениями и реальными данными.

Ошибку между прогнозными значениями и реальными данными можно рассчитать при помощи метода наименьших квадратов (MSE). Мы писали об этом здесь.

Выводы:
Необязательно использовать сложные Deep Learning модели для решения задач прогнозирования. Если детальная точность не так важна, то линейная регрессия прекрасно справляется с этой задачей.

👉 @aisimpleru
👍3
Начиная с 2020 года модно быть дата-сайнтистом (Data Scientist) или по-русски, исследователем данных.

Что это за люди?
Компетенции исследователей данных лежат на пересечении трех областей:
1⃣ Алгоритмы машинного обучения и структуры данных

2⃣ Программирование

3⃣ Знания предметной области

Если вы будете разбираться в программировании и Machine Learning, то без знаний предметной области (банковское дело или розничная торговля), достигнуть серьезных результатов будет сложно.

Прежде чем работать с данными, нужно разобраться, из каких источнико поступают, как собираются, по каким принципам обрабатываются. И, самое главное, какие решения принимаются на основе таких данных.

Помимо исследователей данных существуют другие схожие профессии. Программисты-разработчики и инженеры данных. В России их область ответственности могут ошибочно приписывать дата-саентистам.

Дата-саентистами часто считают разработчиков баз данных и даже full-stack программистов.

Главное отличие в том, что исследователи данных работают с гипотезами, создают рабочие модели и прототипы.

Сильное аналитическое мышление, использование системного подхода и даже элементы к - вот креативности - востребованные “мягкие навыки” (soft skills), характерные для этой относительно молодой профессии.

👉 @aisimpleru
👍2
Технологии искусственного интеллекта (ИИ) позволят снизить операционные расходы организаций в России — экономический эффект от этого достигнет 400 миллиардов рублей к концу 2023 года, и это скромная оценка, заявил вице-премьер Дмитрий Чернышенко на форуме "Армия-2023".

По словам Чернышенко, дефицит кадров в области ИИ сокращается, но остается достаточно большим.

Источник: https://1prime.ru/state_regulation/20230818/841511053.html
👍4
Компания Meta запустила самый продвинутый переводчик на данный момент:
https://huggingface.co/spaces/facebook/seamless_m4t

Основные возможности:
- поддержка 100 языков
- перевод текст-текст,
- перевод речь-текст,
- перевод текст-речь,
- перевод речь-речь (!).

GitHub

P.S. Во времена моей молодости был Prompt пиратской версии. Работал он совершенно отвратительно даже по сравнению с Google Translate, которого даже не было в проекте тогда 😁
🔥5