Хабр / ML & AI
478 subscribers
5.47K links
Telegram-канал, где вы можете найти публикации из RSS-фидов тематических хабов "Машинное обучение" и "Искусственный интеллект" портала Хабр.

Данный канал не является официальным представительством платформы Хабр.

Администратор - @evilfreelancer
Download Telegram
[Перевод] Пошаговое руководство по созданию синтетических данных в Python

Простое руководство для новичков: как самому генерировать данные для анализа и тестирования

Представьте: вы только что написали модель машинного обучения и вам нужно протестировать её работу в конкретном сценарии. Или вы собираетесь опубликовать научную статью о пользовательском решении в области Data Science, но имеющиеся датасеты нельзя использовать из-за юридических ограничений. А может быть, в рамках проекта машинного обучения вы занимаетесь отладкой и исправлением ошибок и вам нужны данные, чтобы идентифицировать и устранить проблемы.

В этих, да и во многих других ситуациях могут пригодиться синтетические данные. Реальные данные часто недоступны: уже кому-то принадлежат или дорого стоят. Так что умение создавать синтетические данные — важный навык для дата-сайентистов.

В этой статье я расскажу, с помощью каких приёмов и методов можно с нуля создать в Python синтетические данные, игрушечные датасеты и фиктивные значения. В некоторых решениях применяются методы из библиотек Python, в других — приёмы, основанные на встроенных функциях Python.

Читать далее

#python #синтетические_данные #ml_модель #обучение_модели #генерация_данных #sdv #faker #scipy #scikit_learn #numpy | @habr_ai
Анализ кривой падения добычи нефтяных и газовых скважин

В этой статье я хочу поделиться опытом разработки алгоритмов моделирования физических процессов на примере прогнозирования производительности скважины. Некоторое время назад я был участником команды разработчиков программного обеспечения для автоматизированного расчета прогноза добычи основных и неосновных носителей из скважины. Материал и примеры взяты из открытых источников с учетом приобретенного опыта. В статье могут присутствовать неточности терминологии, т.к. исходный материал на английском языке. Примеры кода представлены на языке Python в среде Jupyter notebook.

Читать далее

#dca #machine_learning #scipy #нефтегазовая_отрасль #numpy #pandas #python | @habr_ai
Пишем свой PyTorch на NumPy. Часть 1

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей.

В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy!

Читать далее

#pytorch #python #numpy #neural_networks #from_scratch | @habr_ai
Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей.

В этой статье мы продолжим реализовывать собственную библиотеку машинного обучения на NumPy!

Читать далее

#pytorch #python #numpy #neuralnetworks #from_scratch | @habr_ai
Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения.

В этой статье мы продолжим реализацию собственный библиотеки машинного обучения на NumPy!

Читать далее

#python #pytorch #numpy #neural_networks #from_scratch | @habr_ai
Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения.

В этой части мы будем писать инференс код для GPT2 на собственной библиотеке! Читать далее

#python #pytorch #numpy #neural_networks #from_scratch | @habr_ai
Знакомимся с SciPy

Научные и технические вычисления — неотъемлемая часть работы инженеров, аналитиков и специалистов по машинному обучению. В этой статье мы разберём, чем полезна библиотека SciPy, какие задачи она помогает решать и как дополняет возможности NumPy. Покажем на примерах, как работать с константами, кластеризацией и преобразованием сигналов.

Читать далее

#scipy #python #ml #машинное_обучение #numpy | @habr_ai
[Перевод] Я не люблю NumPy

Говорят, что невозможно по-настоящему возненавидеть кого-то, если сначала не полюбил его. Не знаю, справедливо ли это в целом, но это определённо описывает моё отношение к NumPy.

NumPy — это ПО для выполнения вычислений с массивами на Python. Оно невероятно популярно и очень сильно повлияло на все популярные библиотеки машинного обучения, например, на PyTorch. Эти библиотеки во многом имеют те же самые проблемы, но для конкретики я рассмотрю NumPy. Читать далее

#numpy #работа_с_массивами #матрицы #векторы #умножение_матриц | @habr_ai
Почему Python стал языком нейросетей и как это работает на практике

Python давно перестал быть просто «языком скриптов» и уверенно вышел в лидеры среди инструментов для нейросетей. Его синтаксис понятен «с первого взгляда», а мощные библиотеки позволяют сосредоточиться на идее, а не на рутине. Сегодня, от первых численных расчётов в NumPy до сложных моделей в TensorFlow и PyTorch, всё строится вокруг привычного Python-кода. 

В этой статье мы пройдём путь от базовых скриптов до «ручных» нейросетей и ноукод-решений, чтобы понять, почему именно Python стал стандартом в мире ИИ и как с его помощью оживить ваши первые нейросети. Читать далее

#python_для_анализа_данных #зачем_учить_python #numpy #scipy #jupyter_notebook #julia #машинное_обучение #ручная_реализация_нейросети #как_устроена_нейросеть #стандарты_в_ии | @habr_ai