Data Science. Машинное обучение в бизнесе.
Проект сдан и принят ревьюером с первого раза!😊
Нужно решить, где бурить новую скважину при определенном бюджете компании.
Что делала: предобработка данных; обучение и проверка модели для каждого региона;
определение среднего запаса предсказанного сырья и показателя RSME;
расчет объема сырья для безубыточности планируемой скважины, сравнительный анализ;
выбор скважины с максимальными значениями предсказаний;
подсчет рисков и прибыли;
распределение прибыли техникой Bootstrap;
определение средней прибыли и конечный выбор региона для разработки.
Python
С пн 17 спринт, тема "Алгоритмы. Рекурсия"
Проект сдан и принят ревьюером с первого раза!😊
Нужно решить, где бурить новую скважину при определенном бюджете компании.
Что делала: предобработка данных; обучение и проверка модели для каждого региона;
определение среднего запаса предсказанного сырья и показателя RSME;
расчет объема сырья для безубыточности планируемой скважины, сравнительный анализ;
выбор скважины с максимальными значениями предсказаний;
подсчет рисков и прибыли;
распределение прибыли техникой Bootstrap;
определение средней прибыли и конечный выбор региона для разработки.
Python
С пн 17 спринт, тема "Алгоритмы. Рекурсия"
👍3🐳2
Data Sciense
Сдан 'Сборный Проект — 2'
Нужно было подготовить для реальной компании прототип модели машинного обучения, которая должна предсказать коэффициент восстановления золота из золотосодержащей руды. Модель поможет оптимизировать производство, чтобы не запускать предприятие с убыточными характеристиками.
Что делала:
1. Предобработка данных;
2. Исследовательский анализ данных (определение концентрации золота на разных этапах очистки);
3. Построение, обучение и выбор лучшей модели (обучение разных моделей, оценка качества кросс-валидацией, вычисление sMAPE);
4. Проверка модели на качество на тестовой выборке.
В жесткий дедлайн я уложилась, впереди каникулы на датасайнс🙂
Python
С завтрашнего дня сажусь за тему 'Алгоритмы.Рекурсия'🤯
Сдан 'Сборный Проект — 2'
Нужно было подготовить для реальной компании прототип модели машинного обучения, которая должна предсказать коэффициент восстановления золота из золотосодержащей руды. Модель поможет оптимизировать производство, чтобы не запускать предприятие с убыточными характеристиками.
Что делала:
1. Предобработка данных;
2. Исследовательский анализ данных (определение концентрации золота на разных этапах очистки);
3. Построение, обучение и выбор лучшей модели (обучение разных моделей, оценка качества кросс-валидацией, вычисление sMAPE);
4. Проверка модели на качество на тестовой выборке.
В жесткий дедлайн я уложилась, впереди каникулы на датасайнс🙂
Python
С завтрашнего дня сажусь за тему 'Алгоритмы.Рекурсия'🤯
👍5🤡1
Наконец-то!
Я закончила темы по алгоритмам, сдала эти проекты, как прошла через темный лес! Было тяжко, много непонятно. А если на пальцах понятно, то как написать код - большой вопрос! Вокруг лежат исписанные листочки со схемами, но я до сих пор не уверена, что поняла все до конца!
Доп.темами на изучение дали "Хеш-функции" и "Деревья". С ними тоже долго разбираться!
А тем временем на DS еще вчера начались темы по линейной алгебре.
Все на бегу, все нужно успеть😩...
Я закончила темы по алгоритмам, сдала эти проекты, как прошла через темный лес! Было тяжко, много непонятно. А если на пальцах понятно, то как написать код - большой вопрос! Вокруг лежат исписанные листочки со схемами, но я до сих пор не уверена, что поняла все до конца!
Доп.темами на изучение дали "Хеш-функции" и "Деревья". С ними тоже долго разбираться!
А тем временем на DS еще вчера начались темы по линейной алгебре.
Все на бегу, все нужно успеть😩...
🕊2
Data Science
11 спринт проект "Защита персональных данных"🔐
ТЗ: разработать такой метод преобразования данных, чтобы по ним было сложно восстановить персональную информацию клиентов.
Применив матричные операции запрограммировать алгоритм таким образом, чтобы качество модели машинного обучения не ухудшилось.
Проект сдала с 3 раза - застряла на свойствах обратимой матрицы.
Python
Однокурсники еще с пятницы начали тему "Парсинг". Надо срочно догонять...🧐
11 спринт проект "Защита персональных данных"🔐
ТЗ: разработать такой метод преобразования данных, чтобы по ним было сложно восстановить персональную информацию клиентов.
Применив матричные операции запрограммировать алгоритм таким образом, чтобы качество модели машинного обучения не ухудшилось.
Проект сдала с 3 раза - застряла на свойствах обратимой матрицы.
Python
Однокурсники еще с пятницы начали тему "Парсинг". Надо срочно догонять...🧐
❤4🔥1
Python
Закончила проект парсинга, который работает с сайтом https://www.python.org.
Парсинг:
собирает ссылки на статьи о нововведениях в Python;
собирает информацию о статусах версий Python;
скачивает архив с актуальной документацией в формате .csv;
выводит статусы данных с документов PEP Python.
Data Science
Начала читать теорию по теме "Численные методы".
Закончила проект парсинга, который работает с сайтом https://www.python.org.
Парсинг:
собирает ссылки на статьи о нововведениях в Python;
собирает информацию о статусах версий Python;
скачивает архив с актуальной документацией в формате .csv;
выводит статусы данных с документов PEP Python.
Data Science
Начала читать теорию по теме "Численные методы".
👍2🔥1
Привет всем. Эту неделю я торжественно знаменую как - "гонка наперегонки со временем, в которой я победила!"
Работа одновременно с двумя проектами: один по Python, второй по Data Science.
Python. Жесткий дедлайн
Закончила я тему парсинга финальным проектом "Асинхронный парсер PEP". Ставлю галочку напротив навыка "Парсинг"!
Наконец-то, на этом курсе этот жесткий дедлайн является последним! Я его успешно завершила, а значит, мой путь обучения потихоньку приближается к концу.
Глядя на мою карту навыков, можно сказать, что я знаю довольно-таки много! И от этого чувства расправляются плечи, и чувствуешь себя еще увереннее!
Впереди меня ждет модуль "Альтернативные фреймворки", знакомство с Flask и FastAPI.
Работа одновременно с двумя проектами: один по Python, второй по Data Science.
Python. Жесткий дедлайн
Закончила я тему парсинга финальным проектом "Асинхронный парсер PEP". Ставлю галочку напротив навыка "Парсинг"!
Наконец-то, на этом курсе этот жесткий дедлайн является последним! Я его успешно завершила, а значит, мой путь обучения потихоньку приближается к концу.
Глядя на мою карту навыков, можно сказать, что я знаю довольно-таки много! И от этого чувства расправляются плечи, и чувствуешь себя еще увереннее!
Впереди меня ждет модуль "Альтернативные фреймворки", знакомство с Flask и FastAPI.
🔥3
Data Science
Как ранее писала, на этом курсе тоже все быстро и со встречей рассвета!
Итак, тема "Временные ряды" пройдена. Проект "Чётенькое такси" сдан. Нужно было спрогнозировать количество заказов такси. Какую работу провела:
анализировала временные ряды и разбивала их на тренды и сезонность;
делала срез по часу;
создавала признаки для временных рядов;
обучала разные модели на выборках;
выбирала лучшую и тестировала.
Сегодня уже начинается тема "Машинное обучение для текстов". Вдох, выдох и поехали дальше...
Как ранее писала, на этом курсе тоже все быстро и со встречей рассвета!
Итак, тема "Временные ряды" пройдена. Проект "Чётенькое такси" сдан. Нужно было спрогнозировать количество заказов такси. Какую работу провела:
анализировала временные ряды и разбивала их на тренды и сезонность;
делала срез по часу;
создавала признаки для временных рядов;
обучала разные модели на выборках;
выбирала лучшую и тестировала.
Сегодня уже начинается тема "Машинное обучение для текстов". Вдох, выдох и поехали дальше...
👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Тотальный диктант
Вчера вот уже 8-й год подряд писала тотальный диктант.
В предыдущие годы сдавала на "4": были и орфографические, и пунктуационные ошибки. В прошлом – ни одной орфографической, но допустила 2 пунктуационные.
Ждем результат 12 апреля...😉
Вчера вот уже 8-й год подряд писала тотальный диктант.
В предыдущие годы сдавала на "4": были и орфографические, и пунктуационные ошибки. В прошлом – ни одной орфографической, но допустила 2 пунктуационные.
Ждем результат 12 апреля...😉
🔥5👍1
Пару слов об образовании
Я целый день билась над одной проблемой — Pipeline в NLP.
Закончив проект, отправила его на первое ревью. Ревьюер накидал замечаний, в результате которых я убила 9 часов на решение: перелопатила весь интернет, прочитала кучу форумов...
Но самое интересное, что гениальная идея приходит, когда мы совсем ее не ждем. Иду я с магазина и вспоминаю про одну краем глаза увиденную статью. И... бинго! Задача решена!
В общем, в этом и есть суть образования: когда ищешь решение, бьёшься над проблемой, пытаешься, тратишь кучу времени для казалось бы элементарной задачи...
А что нельзя назвать образованием — так это бесконечный просмотр якобы обучающих видосиков в Ютубе, которые обещают сделать тебя за 1 месяц программистом! Это так не работает: нельзя научиться плавать, прочитав книгу, как надо плавать)))
И кстати, теперь в моей коробочке знаний есть машинное обучение в тексте.
Я целый день билась над одной проблемой — Pipeline в NLP.
Закончив проект, отправила его на первое ревью. Ревьюер накидал замечаний, в результате которых я убила 9 часов на решение: перелопатила весь интернет, прочитала кучу форумов...
Но самое интересное, что гениальная идея приходит, когда мы совсем ее не ждем. Иду я с магазина и вспоминаю про одну краем глаза увиденную статью. И... бинго! Задача решена!
В общем, в этом и есть суть образования: когда ищешь решение, бьёшься над проблемой, пытаешься, тратишь кучу времени для казалось бы элементарной задачи...
А что нельзя назвать образованием — так это бесконечный просмотр якобы обучающих видосиков в Ютубе, которые обещают сделать тебя за 1 месяц программистом! Это так не работает: нельзя научиться плавать, прочитав книгу, как надо плавать)))
И кстати, теперь в моей коробочке знаний есть машинное обучение в тексте.
🐳6👍1🕊1
Пришли результаты Тотального диктанта. Тройка😭
1-я ошибка (орфографическая) — «не умевший» пишется раздельно, т.к. есть зависимые слова (очень глупая ошибка, поторопилась)
2-я ошибка (орфографическая) — задумАвшись. Как здесь-то можно было накосячить?))
3-я ошибка (пунктуационная) — тоже глупая ошибка, не поставила запятую после однородных членов
4-я ошибка (пунктуационная) — «подобно Дерсу» выделять запятыми не надо было.
5-я ошибка (пунктуационная) — после «Куросавы» надо было поставить тире, т.к. оно заменяет отсутствующее сказуемое. Вполне можно было ошибиться.
Так обидно за глупые ошибки! Переживала очень из-за этого...
print("...ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! (И. С. Тургенев)")
1-я ошибка (орфографическая) — «не умевший» пишется раздельно, т.к. есть зависимые слова (очень глупая ошибка, поторопилась)
2-я ошибка (орфографическая) — задумАвшись. Как здесь-то можно было накосячить?))
3-я ошибка (пунктуационная) — тоже глупая ошибка, не поставила запятую после однородных членов
4-я ошибка (пунктуационная) — «подобно Дерсу» выделять запятыми не надо было.
5-я ошибка (пунктуационная) — после «Куросавы» надо было поставить тире, т.к. оно заменяет отсутствующее сказуемое. Вполне можно было ошибиться.
Так обидно за глупые ошибки! Переживала очень из-за этого...
print("...ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! (И. С. Тургенев)")
👍5❤🔥3😱1🙈1
Привет всем.
Делюсь очередным движением😜
Data Science
Пару дней назад сдала проект "Викишоп". Заданием было определить токсичность комментариев, чтобы затем отправить их на модерацию. Это раздел машинного обучения NLP, обработка естественного языка.
Что делала:
предобработка данных, лемматизация, удаление лишних символов, токенизация, деление на обучающую и тестовые выборки, используя Pipeline векторизация + поиск гиперпараметров через GridSearchCV, выбор лучшей модели и тестирование. Данных было много,около 160тыс. Подбор гиперпараметров шел очень долго, поэтому я уменьшила выборку до 10 тыс., достигнув при этом метрику f1=0.75 при целевой 0.74. Считаю,что справилась на ура!
Данная тема была с жестким дедлайном, с пн на этом курсе у меня недельные каникулы.
Python
Изучаю новый фреймворк Flask. Сейчас работаю над финальным проектом.
Делюсь очередным движением😜
Data Science
Пару дней назад сдала проект "Викишоп". Заданием было определить токсичность комментариев, чтобы затем отправить их на модерацию. Это раздел машинного обучения NLP, обработка естественного языка.
Что делала:
предобработка данных, лемматизация, удаление лишних символов, токенизация, деление на обучающую и тестовые выборки, используя Pipeline векторизация + поиск гиперпараметров через GridSearchCV, выбор лучшей модели и тестирование. Данных было много,около 160тыс. Подбор гиперпараметров шел очень долго, поэтому я уменьшила выборку до 10 тыс., достигнув при этом метрику f1=0.75 при целевой 0.74. Считаю,что справилась на ура!
Данная тема была с жестким дедлайном, с пн на этом курсе у меня недельные каникулы.
Python
Изучаю новый фреймворк Flask. Сейчас работаю над финальным проектом.
🔥9🕊2
Pytest. Flask
Работаю с приложением на Flask. Накодила чуток и запустила питест — 17 тестов из 31 упали сразу😂
7 часов исправлений и недоумений, что хочет от меня тестировщик и вуаля... 31 PASSED.
Проект на 2-й проверке ревьюера. Жду...
Работаю с приложением на Flask. Накодила чуток и запустила питест — 17 тестов из 31 упали сразу😂
7 часов исправлений и недоумений, что хочет от меня тестировщик и вуаля... 31 PASSED.
Проект на 2-й проверке ревьюера. Жду...
🔥4👍3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
SQL
Прошла всю теорию по FastAPI в Python, финальный проект пока отложила и перешла на SQL в Data Science.
Второй день изучаю/повторяю SQL: 7 тем, в каждой по 10-11 задач😱🤯😰. И казалось бы, они должны даваться легко, т.к я уже их изучала на курсе Python, но все равно есть некоторые моменты, которые я подзабыла.
Совет дня: повторение — мать учения!
Прошла всю теорию по FastAPI в Python, финальный проект пока отложила и перешла на SQL в Data Science.
Второй день изучаю/повторяю SQL: 7 тем, в каждой по 10-11 задач😱🤯😰. И казалось бы, они должны даваться легко, т.к я уже их изучала на курсе Python, но все равно есть некоторые моменты, которые я подзабыла.
Совет дня: повторение — мать учения!
🔥6👏2😁1