Пару слов об образовании
Я целый день билась над одной проблемой — Pipeline в NLP.
Закончив проект, отправила его на первое ревью. Ревьюер накидал замечаний, в результате которых я убила 9 часов на решение: перелопатила весь интернет, прочитала кучу форумов...
Но самое интересное, что гениальная идея приходит, когда мы совсем ее не ждем. Иду я с магазина и вспоминаю про одну краем глаза увиденную статью. И... бинго! Задача решена!
В общем, в этом и есть суть образования: когда ищешь решение, бьёшься над проблемой, пытаешься, тратишь кучу времени для казалось бы элементарной задачи...
А что нельзя назвать образованием — так это бесконечный просмотр якобы обучающих видосиков в Ютубе, которые обещают сделать тебя за 1 месяц программистом! Это так не работает: нельзя научиться плавать, прочитав книгу, как надо плавать)))
И кстати, теперь в моей коробочке знаний есть машинное обучение в тексте.
Я целый день билась над одной проблемой — Pipeline в NLP.
Закончив проект, отправила его на первое ревью. Ревьюер накидал замечаний, в результате которых я убила 9 часов на решение: перелопатила весь интернет, прочитала кучу форумов...
Но самое интересное, что гениальная идея приходит, когда мы совсем ее не ждем. Иду я с магазина и вспоминаю про одну краем глаза увиденную статью. И... бинго! Задача решена!
В общем, в этом и есть суть образования: когда ищешь решение, бьёшься над проблемой, пытаешься, тратишь кучу времени для казалось бы элементарной задачи...
А что нельзя назвать образованием — так это бесконечный просмотр якобы обучающих видосиков в Ютубе, которые обещают сделать тебя за 1 месяц программистом! Это так не работает: нельзя научиться плавать, прочитав книгу, как надо плавать)))
И кстати, теперь в моей коробочке знаний есть машинное обучение в тексте.
🐳6👍1🕊1
Пришли результаты Тотального диктанта. Тройка😭
1-я ошибка (орфографическая) — «не умевший» пишется раздельно, т.к. есть зависимые слова (очень глупая ошибка, поторопилась)
2-я ошибка (орфографическая) — задумАвшись. Как здесь-то можно было накосячить?))
3-я ошибка (пунктуационная) — тоже глупая ошибка, не поставила запятую после однородных членов
4-я ошибка (пунктуационная) — «подобно Дерсу» выделять запятыми не надо было.
5-я ошибка (пунктуационная) — после «Куросавы» надо было поставить тире, т.к. оно заменяет отсутствующее сказуемое. Вполне можно было ошибиться.
Так обидно за глупые ошибки! Переживала очень из-за этого...
print("...ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! (И. С. Тургенев)")
1-я ошибка (орфографическая) — «не умевший» пишется раздельно, т.к. есть зависимые слова (очень глупая ошибка, поторопилась)
2-я ошибка (орфографическая) — задумАвшись. Как здесь-то можно было накосячить?))
3-я ошибка (пунктуационная) — тоже глупая ошибка, не поставила запятую после однородных членов
4-я ошибка (пунктуационная) — «подобно Дерсу» выделять запятыми не надо было.
5-я ошибка (пунктуационная) — после «Куросавы» надо было поставить тире, т.к. оно заменяет отсутствующее сказуемое. Вполне можно было ошибиться.
Так обидно за глупые ошибки! Переживала очень из-за этого...
print("...ты один мне поддержка и опора, о великий, могучий, правдивый и свободный русский язык! (И. С. Тургенев)")
👍5❤🔥3😱1🙈1
Привет всем.
Делюсь очередным движением😜
Data Science
Пару дней назад сдала проект "Викишоп". Заданием было определить токсичность комментариев, чтобы затем отправить их на модерацию. Это раздел машинного обучения NLP, обработка естественного языка.
Что делала:
предобработка данных, лемматизация, удаление лишних символов, токенизация, деление на обучающую и тестовые выборки, используя Pipeline векторизация + поиск гиперпараметров через GridSearchCV, выбор лучшей модели и тестирование. Данных было много,около 160тыс. Подбор гиперпараметров шел очень долго, поэтому я уменьшила выборку до 10 тыс., достигнув при этом метрику f1=0.75 при целевой 0.74. Считаю,что справилась на ура!
Данная тема была с жестким дедлайном, с пн на этом курсе у меня недельные каникулы.
Python
Изучаю новый фреймворк Flask. Сейчас работаю над финальным проектом.
Делюсь очередным движением😜
Data Science
Пару дней назад сдала проект "Викишоп". Заданием было определить токсичность комментариев, чтобы затем отправить их на модерацию. Это раздел машинного обучения NLP, обработка естественного языка.
Что делала:
предобработка данных, лемматизация, удаление лишних символов, токенизация, деление на обучающую и тестовые выборки, используя Pipeline векторизация + поиск гиперпараметров через GridSearchCV, выбор лучшей модели и тестирование. Данных было много,около 160тыс. Подбор гиперпараметров шел очень долго, поэтому я уменьшила выборку до 10 тыс., достигнув при этом метрику f1=0.75 при целевой 0.74. Считаю,что справилась на ура!
Данная тема была с жестким дедлайном, с пн на этом курсе у меня недельные каникулы.
Python
Изучаю новый фреймворк Flask. Сейчас работаю над финальным проектом.
🔥9🕊2
Pytest. Flask
Работаю с приложением на Flask. Накодила чуток и запустила питест — 17 тестов из 31 упали сразу😂
7 часов исправлений и недоумений, что хочет от меня тестировщик и вуаля... 31 PASSED.
Проект на 2-й проверке ревьюера. Жду...
Работаю с приложением на Flask. Накодила чуток и запустила питест — 17 тестов из 31 упали сразу😂
7 часов исправлений и недоумений, что хочет от меня тестировщик и вуаля... 31 PASSED.
Проект на 2-й проверке ревьюера. Жду...
🔥4👍3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
SQL
Прошла всю теорию по FastAPI в Python, финальный проект пока отложила и перешла на SQL в Data Science.
Второй день изучаю/повторяю SQL: 7 тем, в каждой по 10-11 задач😱🤯😰. И казалось бы, они должны даваться легко, т.к я уже их изучала на курсе Python, но все равно есть некоторые моменты, которые я подзабыла.
Совет дня: повторение — мать учения!
Прошла всю теорию по FastAPI в Python, финальный проект пока отложила и перешла на SQL в Data Science.
Второй день изучаю/повторяю SQL: 7 тем, в каждой по 10-11 задач😱🤯😰. И казалось бы, они должны даваться легко, т.к я уже их изучала на курсе Python, но все равно есть некоторые моменты, которые я подзабыла.
Совет дня: повторение — мать учения!
🔥6👏2😁1
Что нового
Закончила пару дней назад тему SQL в Data Science.
Хочу подытожить свои впечатления. Данную тему я начала изучать на курсе Python. Там ее проходили совместно с Django. На тот момент был стресс: как бы понять Django, а тут еще и SQL))). Тогда я слабо ориентировалась в связях между таблицами и командами.
На курсе Дата сайнс тему баз данных раскрывают качественно . Проходишь много практических сложных задач, которые тренируют понимание взаимодействия таблиц.
Все-таки хорошо, что я выбрала параллельный курс)). Восполняются некоторые пробелы по темам. Сегодня я могу с уверенностью сказать, что SQL знаю хорошо!
Python: вчера отправила финальный проект по FastAPI на ревью.
DS: начала изучать компьютерное зрение.
Закончила пару дней назад тему SQL в Data Science.
Хочу подытожить свои впечатления. Данную тему я начала изучать на курсе Python. Там ее проходили совместно с Django. На тот момент был стресс: как бы понять Django, а тут еще и SQL))). Тогда я слабо ориентировалась в связях между таблицами и командами.
На курсе Дата сайнс тему баз данных раскрывают качественно . Проходишь много практических сложных задач, которые тренируют понимание взаимодействия таблиц.
Все-таки хорошо, что я выбрала параллельный курс)). Восполняются некоторые пробелы по темам. Сегодня я могу с уверенностью сказать, что SQL знаю хорошо!
Python: вчера отправила финальный проект по FastAPI на ревью.
DS: начала изучать компьютерное зрение.
👏10👍4
Data Science
Закончила финал. проект по компьютерному зрению.
ТЗ заключалось в построении модели, которая определяет приблизительный возраст человека по фото (контроль продажи алкоголя).
Что делала:
исследовательский анализ набора фоток (база данных состоит из 7591 фотографии),
обработка, подготовка изображений (аугментация, изменение размеров, повороты, переворачивание),
обучение нейронной сети (метрика MAE должна быть <7).
Как видите на картинках, модель хорошо справилась с задачей при MAE=6.4. Приблизительный возраст людей на фото определен.
Понимаю, что тема "Компьютерное зрение" очень сложная: мне ее еще изучать и познавать, но нежирную галочку ставлю)))
Python
Начала модуль "Python для бизнеса". Буду отрабатывать навыки использования Python для управления сервисами Google Sheets API и Google Drive API.
Кстати, это уже 23 спринт из 24😜
Закончила финал. проект по компьютерному зрению.
ТЗ заключалось в построении модели, которая определяет приблизительный возраст человека по фото (контроль продажи алкоголя).
Что делала:
исследовательский анализ набора фоток (база данных состоит из 7591 фотографии),
обработка, подготовка изображений (аугментация, изменение размеров, повороты, переворачивание),
обучение нейронной сети (метрика MAE должна быть <7).
Как видите на картинках, модель хорошо справилась с задачей при MAE=6.4. Приблизительный возраст людей на фото определен.
Понимаю, что тема "Компьютерное зрение" очень сложная: мне ее еще изучать и познавать, но нежирную галочку ставлю)))
Python
Начала модуль "Python для бизнеса". Буду отрабатывать навыки использования Python для управления сервисами Google Sheets API и Google Drive API.
Кстати, это уже 23 спринт из 24😜
🔥12👍2
Устала так за насыщенный обучением год! Как в песне ... "и силы на исходе..." Пару дней назад даже впала в депрессию и проплакала всю ночь. И все из-за интенсивного обучения. Казалось бы, конец этапов, но организм просит отдыха! В общем, на три дня вышла из строя и уехала на природу, за город, в Подмосковье. В пн вернусь и с новыми силами займусь финальным по пайтон.
Совет дня: отдыхайте! Всегда будет что-то важное и срочное! Берегите здоровье и будьте спокойны!
Совет дня: отдыхайте! Всегда будет что-то важное и срочное! Берегите здоровье и будьте спокойны!
👍13🔥4❤2💯1
Человеко-часы
Я тут посчитала намедни. Чуть больше года прошло, как я учусь на пайтон-разработчика, а с октября еще и на дата-сайнтиста.
В среднем, я работаю/учусь примерно по 8-10 часов в день. То есть у меня немного другой, как мне кажется, сценарий. Я не оптимизирую свой день в поисках встраивания в него 2-3-часового обучения. Наоборот, я устраиваю жизнь вокруг обучения. В субботу и вс поменьше (по 4-5 ч.). За всё это время у меня не было ни разу ни одних каникул. Во время каникул в пайтон я занималась сайнсом и наоборот. Наверное, максимум 5-6 случаев было, когда я не работала больше 3 дней подряд.
Посчитаем примерно человеко-часы: 60 недель по 8-10 часов по 6 дней в неделю выходит примерно 3300 часов. Посчитаю не в свою пользу, вычтем 15%, итого 2800 часов потрачено)
Что сейчас:
1. В процессе финальный проект в 23 спринте в питоне. Впереди еще отчетный командный проект;
2. Участвую в одном хакатоне;
3. По гос. поддержке мне удовлетворили заявку на Data Engineer (универ Баумана);
4. Начала карьерный трек в питоне и сайнсе (об этом отдельно);
5. В сайнсе с пн последний спринт "Обучение без учителя". Затем дипломный проект.
Полный вперед🔥🚀
Я тут посчитала намедни. Чуть больше года прошло, как я учусь на пайтон-разработчика, а с октября еще и на дата-сайнтиста.
В среднем, я работаю/учусь примерно по 8-10 часов в день. То есть у меня немного другой, как мне кажется, сценарий. Я не оптимизирую свой день в поисках встраивания в него 2-3-часового обучения. Наоборот, я устраиваю жизнь вокруг обучения. В субботу и вс поменьше (по 4-5 ч.). За всё это время у меня не было ни разу ни одних каникул. Во время каникул в пайтон я занималась сайнсом и наоборот. Наверное, максимум 5-6 случаев было, когда я не работала больше 3 дней подряд.
Посчитаем примерно человеко-часы: 60 недель по 8-10 часов по 6 дней в неделю выходит примерно 3300 часов. Посчитаю не в свою пользу, вычтем 15%, итого 2800 часов потрачено)
Что сейчас:
1. В процессе финальный проект в 23 спринте в питоне. Впереди еще отчетный командный проект;
2. Участвую в одном хакатоне;
3. По гос. поддержке мне удовлетворили заявку на Data Engineer (универ Баумана);
4. Начала карьерный трек в питоне и сайнсе (об этом отдельно);
5. В сайнсе с пн последний спринт "Обучение без учителя". Затем дипломный проект.
Полный вперед🔥🚀
🔥21👍3❤2🤡1🤓1
Python
Сегодня приняли проект с бизнес-задачей: велась работа с облачной платформой Google Cloud Platform.
Что делала: уже ранее (на предыдущем спринте) разработанное приложение "Фонд поддержки котиков QRKot ( FastAPI) настроила и подключила к Google API, использовав сервисы Google Sheets API и Google Drive API. Добавила к приложению возможность формирования отчёта в гугл-таблице.
Впереди меня ждет командный проект, который станет финалом обучения на курсе Python-разработчик плюс. А затем получение диплома🙏🏻
Data Science
Последний проект я сдала дня три назад. Впереди неделя каникул, а затем финальный проект. На этом курсе он не командный. Потом получение диплома🙏🏻
Осталось совсем чуть-чуть...
Пожелайте мне удачи☺️
Сегодня приняли проект с бизнес-задачей: велась работа с облачной платформой Google Cloud Platform.
Что делала: уже ранее (на предыдущем спринте) разработанное приложение "Фонд поддержки котиков QRKot ( FastAPI) настроила и подключила к Google API, использовав сервисы Google Sheets API и Google Drive API. Добавила к приложению возможность формирования отчёта в гугл-таблице.
Впереди меня ждет командный проект, который станет финалом обучения на курсе Python-разработчик плюс. А затем получение диплома🙏🏻
Data Science
Последний проект я сдала дня три назад. Впереди неделя каникул, а затем финальный проект. На этом курсе он не командный. Потом получение диплома🙏🏻
Осталось совсем чуть-чуть...
Пожелайте мне удачи☺️
🔥14👏2❤1
Я закончила курс Data Science!
Привет, друзья. Начинаю принимать поздравления🤗
Закончила курс Data Science🏆, но такое чувство,что мне что-то не додали, осталось чувство "хочу еще", а уже "всё, конец" )))
Но я склоняюсь к мнению - такое чувство от того, что DS - направление, связанное со стремительным развитием в области ИИ, а значит, всегда нужно будет совершенствоваться и учиться, и познавать, и все равно будет мало.
Надо сказать, что на курсе дали почти все, что нужно знать крепкому джуну.
И добавить: если бы я к началу обучения курса не знала основ по Python, было бы тяжелее вникнуть в новые темы.
Итак, задачей дипломного проекта было: для снижения затрат за электроэнергию спрогнозировать конечную температуру плавления стали при определенных факторах. Для того,чтобы получить необходимый состав стали для конечного продукта, в процессе плавления добавляются доп. вещества + прибавляют/убавляют температуру в печи. Конечно, я почитала предварительно про данный процесс, чтоб быть в теме)).
Что делала в проекте: исследовательский анализ, предобработка, удаление аномальных выбросов (визуализация хорошо помогает) Нашла полную мощность, работу, с помощью матрицы корреляции определила зависимость факторов и среди сильно коррелирующих пар удалила только один фактор. В итоге собрала сводную, по которой провела деление на выборки, затем обучение с помощью пайплайна и гридсерча, подбор гиперпараметров, выбор лучшей модели (у меня хорошо себя показала модель бустинга) и тестирование. В конце - определение важности факторов, которое показало, что наиболее влияющими факторами оказались первоначальная температура и длительность нагрева. И хотя доп. вещества тоже оказывают влияние на температуру (ведь при их добавлении мощность может снизиться), в моем случае они заняли не первые места. Метрика MAE на обучающей выборке показала 6.0, а на тесте 6.2. Учитывая требование заказчика МАЕ<=6.8, можно сделать вывод: модель сработала хорошо.
Насчет диплома:
Так как на этот курс я поступила по гос. программе, то с бюрократией по срокам диплом я получу через месяц :). А электронный вариант мне уже скоро вышлют на эл. адрес.
В пятницу у нас выпускной! Вообще, он запланирован как онлайн-мероприятие. Но мы, москвичи, решили собраться в ресторане и подключиться толпой к остальным онлайщикам.
#яндекспрактикум #мояистория
Привет, друзья. Начинаю принимать поздравления🤗
Закончила курс Data Science🏆, но такое чувство,что мне что-то не додали, осталось чувство "хочу еще", а уже "всё, конец" )))
Но я склоняюсь к мнению - такое чувство от того, что DS - направление, связанное со стремительным развитием в области ИИ, а значит, всегда нужно будет совершенствоваться и учиться, и познавать, и все равно будет мало.
Надо сказать, что на курсе дали почти все, что нужно знать крепкому джуну.
И добавить: если бы я к началу обучения курса не знала основ по Python, было бы тяжелее вникнуть в новые темы.
Итак, задачей дипломного проекта было: для снижения затрат за электроэнергию спрогнозировать конечную температуру плавления стали при определенных факторах. Для того,чтобы получить необходимый состав стали для конечного продукта, в процессе плавления добавляются доп. вещества + прибавляют/убавляют температуру в печи. Конечно, я почитала предварительно про данный процесс, чтоб быть в теме)).
Что делала в проекте: исследовательский анализ, предобработка, удаление аномальных выбросов (визуализация хорошо помогает) Нашла полную мощность, работу, с помощью матрицы корреляции определила зависимость факторов и среди сильно коррелирующих пар удалила только один фактор. В итоге собрала сводную, по которой провела деление на выборки, затем обучение с помощью пайплайна и гридсерча, подбор гиперпараметров, выбор лучшей модели (у меня хорошо себя показала модель бустинга) и тестирование. В конце - определение важности факторов, которое показало, что наиболее влияющими факторами оказались первоначальная температура и длительность нагрева. И хотя доп. вещества тоже оказывают влияние на температуру (ведь при их добавлении мощность может снизиться), в моем случае они заняли не первые места. Метрика MAE на обучающей выборке показала 6.0, а на тесте 6.2. Учитывая требование заказчика МАЕ<=6.8, можно сделать вывод: модель сработала хорошо.
Насчет диплома:
Так как на этот курс я поступила по гос. программе, то с бюрократией по срокам диплом я получу через месяц :). А электронный вариант мне уже скоро вышлют на эл. адрес.
В пятницу у нас выпускной! Вообще, он запланирован как онлайн-мероприятие. Но мы, москвичи, решили собраться в ресторане и подключиться толпой к остальным онлайщикам.
#яндекспрактикум #мояистория
🎉24👍5🔥4❤2❤🔥1