Курс freeCodeCamp по Deep Learning на базе PyTorch. 9.5 часов на YouTube + множество практических заданий, все ссылки на код и другие файлы в описании к видео.

Разбираются:
- База Pytorch
- Классификация изображений
- Обучение на GPU
- Сверточные нейронные сети
- Аугментация и регуляризация данных
- Обучение генеративно-состязательных нейронных сетей

https://www.youtube.com/watch?v=GIsg-ZUy0MY

#pytorch #deep_learning #course

Несколько интересных статей и переводов по #data_science и #python из недавних постов на Хабре:
— «Triton: Open Source язык для ядер Deep Learning» перевод статьи про трудности обработки данных на GPU и проект Triton от OpenAI https://habr.com/ru/company/skillfactory/blog/579380/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov. В оригинале статьи вёрстка более корректная: https://openai.com/blog/triton/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov
— Про собеседования ML-инженера в компании-гиганты с примерами для разных этапов: https://habr.com/ru/post/579410/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov. Статью хорошо дополняют комментарии.
— Пяток книжек по статистике и анализу данных, которые я и сам рекомендую: https://habr.com/ru/company/skypro/blog/579278/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov
— Пара статей про «Python-культуру» в российских компаниях: https://habr.com/ru/company/it_people/blog/576410/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov (Provectus) и https://habr.com/ru/company/it_people/blog/569868/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov (Тинькофф)

Присылайте, если было что-то еще интересное.

На YouTube-канале Karpov Courses выходит серия с собеседованиями по ML-позициям https://www.youtube.com/watch?v=WKYPQtqE-m0&list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

Валерий Бабушкин проводит тестовые собеседования с аналитиками данных. Далее в компании пары дата сайнтистов разбирает ошибки. Местами слишком неспешно, но реалистично.

#data_science #hr

Коротко для новичков: что такое Kaggle

Как указано на сайте ODS https://ods.ai/, Data Science соревнование — это «коллективное решение бизнес задачи в игровой форме, в кратчайшие сроки, с целью выявления лучшего решения. Это повод окунуться в предметную область и понять, как задача бизнеса переводится на язык прикладной математики».

📊 Kaggle https://www.kaggle.com/ — самая известная платформа Data Science соревнований. Любая компания может объявить на ней конкурс с денежным призом и описанием специфичной задачи анализа данных, а участники найдут решение.

💽 Логика простая: даже крутейший отдел дата сайентистов не сравнится по разнообразию идей с крупным коммьюнити, каким является Kaggle. А так компания добивается результата за небольшой срок и при ограниченных вложениях денег. Особенно, если данные и вся сопутствующая информация хорошо подготовлены. Плюс реклама компании в IT-среде.

🤖 Аналитики могут искать решение по одиночке или в команде. Kaggle проверяет не само решение, а то, насколько хорошо предлагаемая модель научилась предсказывать по имеющимся данным скрытые от нее значения. Например, находить координату объекта по фотографии, которая содержит этот объект. Чья модель предсказывает лучше, у того и выше место в рейтинге.

🏅 За позиции в рейтинге участники получают медали — золотые, серебряные, бронзовые. Их также дают за датасеты, публичные Jupyter-блокноты, участие в обсуждениях. Последние, кстати, не очень ценятся. Медали складываются в звания: Expert — Master — Grandmaster. Может помочь при прохождении технических интервью.

🏎️ Один из главных подвохов — некоторые задачи требуют значительных вычислительных ресурсов, которые могут очень отличаться у разных участников. Kaggle чуть выравнивает шансы, предоставляя возможности запуска Jupyter-блокнотов на графических (GPU) и тензорных (TPU) ускорителях. Аналогично тому, как это работает в Google Colab, то есть с лимитом вычислений в границах временного интервала.

🎓 Ещё здесь есть множество мини-курсов. Но мне их текущий формат не очень нравится — тесты выглядят натянуто.

Главное: Kaggle — это среда, в которой можно почерпнуть и попробовать на бизнес-задачах свежие идеи из мира Data Science.

#kaggle #novice #data_science

Интересное начинание 7×7 — сериал «Шифропанки». В первой серии простым языком рассказано об ошибке 451, замедлении твиттера через ТСПУ, истории блокировки телеграма и технологии VPN.

https://youtu.be/CZuNhhlAKNY

Очень люблю ролики от Arzamas, их плотность и подачу. И вот они выпустили очередной суперский видеоликбез, на этот раз про игры — «История игр за 17 минут». От шахмат до современных консолей, от карт таро до покемонов, от Олимпиад до «Монополии» — изучаем, как и во что играли египтяне и викинги, рыцари и придворные дамы, китайские императоры и персидские шахи.

Думаю, что будет интересно всем геймдев-разработчикам и просто любителям поиграть.

https://youtu.be/zj9OVaQJ978

#gamedev #game #история #игры

В прошлом году я написал пост о том, как устроена и что умеет языковая модель GPT-3: https://proglib.io/p/avtodopolnenie-dlinoy-v-tysyachu-slov-chto-izvestno-o-neyrosetevoy-modeli-gpt-3-2020-11-21

Разработчики продолжают создавать на базе GPT-3 интересные инструменты:
👓 Zebrium https://www.zebrium.com/ анализирует миллионы строчек логов программного обеспечения, чтобы сформулировать в кратком виде причину, из-за которой возникла проблема. На мой вкус, отличное решение для девопсов.
🌐 Debuild http://debuild.co/ позволяет генерировать фуллстек веб-приложения с помощью простого описания на английском. На выходе React UI и обработчик SQL-запросов. Пока обещания, но выглядит интересно.
🗄️ SeekWell https://www.seekwell.io/ помогает генерировать, синхронизировать и визуализировать SQL-запросы для простой синхронизации баз данных между Google Sheets, Salesforce, ZSlack и др. приложениями. Работает с разными SQL-диалектами: MySQL, Postgres, Redshift, MS SQL Server и Snowflake. Выдают две недели для бесплатного теста.

Как будто NoCode-инструменты создаются в основном для самих разработчиков 🤷

#нейросети #gpt #инструменты_разработки

Артем Кашканов демонстрирует в деле свою коллекции электролюминесцентных индикаторов прошедших эпох:

https://www.youtube.com/watch?v=uzdB3YLdzu0

Для беглого ознакомления есть текстовая версия на хабре: https://habr.com/ru/company/ruvds/blog/580124/

#электроника #индикаторы

На Хабре недавно опубликовали перевод статьи Self-Parking Car In 500 Lines of Code. Большая статья с вдумчивой и хорошо иллюстрированной проработкой идеи генетического алгоритма (автор написал визуальный симулятор: https://trekhleb.dev/self-parking-car-evolution). И всё это на чистом JavaScript, без python-библиотек, так что идеи можно прочувствовать, как они есть.

Оригинал: https://trekhleb.dev/blog/2021/self-parking-car-evolution/
Перевод: https://habr.com/ru/post/580812/

#data_science #parking

Чтение на выходные. На Сигме опубликована статья Виталия Атанасова «Цифровой капитализм и утопии Интернета» про труд его и стоимость в эпоху цифровых технологий и возможные посткапиталистические утопии.

https://syg.ma/@sygma/vitalii-atanasov-tsifrovoi-kapitalizm-i-utopii-intiernieta

#интернет #деньги

JupyterLab теперь и в виде десктопного приложения

Самая популярная IDE для анализа данных стала еще лучше. Теперь не нужно запускать JupyterLab через терминал, вышла настольная версия. Что такое JupyterLab, я описывал еще в этой давней статье: https://proglib.io/p/jupyter

Линки для скачивания установщиков доступны на странице GitHub: https://github.com/jupyterlab/jupyterlab_app

В интерфейсе всё, как и раньше. Однако теперь будет проще новичкам, для которых терминал это что-то с другой планеты (c Юпитера? :-)

#jupyter #data_science

Что посмотреть: Мирослав Кунгуров составил подборку YouTube-каналов по робототехнике, электронике и микроконтроллерам.

https://proglib.io/p/37-luchshih-kanalov-youtube-pro-robototehniku-ot-novichka-do-professionala-2021-09-30

#робототехника #микроконтроллеры #электроника #youtube

На RealPython подробно разобрали, какие новые фичи появятся в Python 3.10:

https://realpython.com/python310-new-features/

#python

В блоге TowardDataScience вышел хороший разбор pydantic — библиотеки для валидации данных:

https://towardsdatascience.com/8-reasons-to-start-using-pydantic-to-improve-data-parsing-and-validation-4f437eae7678

#data_science #validation

В Коде выпустили хороший вводный урок о том, как запустить нейросеть (для совсем новичков):

https://thecode.media/we-did-it/

#deep_learning #data_science

По приглашению Библиотеки программиста делаю курс о том, как писать статьи для IT. Курс состоит из семи модулей, планирую выпускать по одному модулю в неделю.

Курс бесплатный, первый модуль уже выложил на Степике: https://stepik.org/101672
Буду рад любой критике.

#курсы #статьи #IT

Описание сookiecutter-шаблона для Data Science проектов:
https://drivendata.github.io/cookiecutter-data-science/

Якорная ссылка, чтобы сразу посмотреть структуру:
https://drivendata.github.io/cookiecutter-data-science/#directory-structure



#data_science #cookiecutter

Занятное интервью с Александром Скидановым о блокчейне, открытом интернете, Bing, привлечении инвестиций и Y-Combinator.

Карьера Скиданова началась с победы на Уральской олимпиаде по программированию, продолжилась стажировкой в Bing-отделении Microsoft и миллиардным стартапом в маленькой квартире. Запущенный год назад NEAR Protocol уже привлек $33,7 млн инвестиций и борется за право стать доминирующей блокчейн-платформой на рынке.

Что интересно: сама история Скиданова и то, как он просто и увлеченно рассказывает о разных проектах.

https://www.youtube.com/watch?v=1aK2u_fdiIY

#интервью

Дописал и выпустил вторую часть курса о статьях для IT: https://stepik.org/course/101672/

В новом модуле рассказываю о сборе материала, системе ведения заметок и эффективном письме.

#курсы #статьи_для_IT