📊 Туториал: визуализация данных в вебе с помощью Python и Dash

В этом руководстве рассмотрим, как с помощью Python и библиотеки Dash создать, оформить и опубликовать на хостинге интерактивное веб-приложение с результатами анализа данных.

https://proglib.io/p/tutorial-vizualizaciya-dannyh-v-vebe-s-pomoshchyu-python-i-dash-2021-01-11

#python #data_science #dash #web

Рассмотрим на примерах, в чем польза вложенных функций Python и как их применять для инкапсуляции кода, замыканий и декораторов.

https://proglib.io/p/kak-v-python-primenyayutsya-vlozhennye-funkcii-2021-02-09

#python

Перевел статью Педро Прегейру Python & APIs: A Winning Combo for Reading Public Data

https://proglib.io/p/python-i-api-prevoshodnoe-kombo-dlya-avtomatizacii-raboty-s-publichnymi-dannymi-2021-02-26

Написал статью про арены, пулы и блоки. Если сочетание этих трех слов вам ни о чем не говорит, пора узнать, как устроена работа с памятью в Python.

🐍 Помнить всё. Как работает память в Python

https://proglib.io/p/pomnit-vse-kak-rabotaet-pamyat-v-python-2021-03-14

#python #memory #allocators

🎞 Как с помощью Python делать красивые математические анимации

Перевел для proglib статью с примерами, как использовать навыки Python, чтобы сделать красивые математические анимации в духе YouTube-канала 3Blue1Brown.

https://proglib.io/p/kak-s-pomoshchyu-python-delat-krasivye-matematicheskie-animacii-2021-04-14

#python #manim #animations #3Blue1Brown

DatasetGAN: эффективная фабрика разметки данных с минимальными человеческими усилиями

https://vk.com/@python_ds-datasetgan-effektivnaya-fabrika-razmetki-dannyh-s-minimalnym

#data_science #deep_learning #computer_vision

UART в вопросах и ответах за 5 минут

https://zen.yandex.ru/media/id/5b1596ca7800199f3b5b8cb8/uart-v-voprosah-i-otvetah-za-5-minut-60ae6c7a4c412a10ce4a82aa

Перевел подробный туториал о том, как шаг за шагом создать сайт с бэкендом на Django, фронтендом на Vue и связкой между ними на GraphQL. Для всех любителей Python и современной веб-разработки.

https://proglib.io/p/polnyy-fullstek-pishem-sayt-na-django-vue-i-graphql-2021-07-22

#django #vue #graphql

Кратко о том, как работать с файлами Excel из Python, и наоборот — запускать Python-код изнутри Excel (последнее — бегло).

https://vk.com/@python_ds-kak-rabotat-s-excel-failami-iz-python

#python #excel #spreadsheets

На YouTube выложен курс Калифорнийского университета Berkeley из 66 занятий про проектированию, визуализации и пониманию глубоких нейронных сетей https://www.youtube.com/playlist?list=PLuv1FSpHurUevSXe_k0S7Onh6ruL-_NNh

#data_science #courses #deep_learning

Курс freeCodeCamp по Deep Learning на базе PyTorch. 9.5 часов на YouTube + множество практических заданий, все ссылки на код и другие файлы в описании к видео.

Разбираются:
- База Pytorch
- Классификация изображений
- Обучение на GPU
- Сверточные нейронные сети
- Аугментация и регуляризация данных
- Обучение генеративно-состязательных нейронных сетей

https://www.youtube.com/watch?v=GIsg-ZUy0MY

#pytorch #deep_learning #course

Несколько интересных статей и переводов по #data_science и #python из недавних постов на Хабре:
— «Triton: Open Source язык для ядер Deep Learning» перевод статьи про трудности обработки данных на GPU и проект Triton от OpenAI https://habr.com/ru/company/skillfactory/blog/579380/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov. В оригинале статьи вёрстка более корректная: https://openai.com/blog/triton/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov
— Про собеседования ML-инженера в компании-гиганты с примерами для разных этапов: https://habr.com/ru/post/579410/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov. Статью хорошо дополняют комментарии.
— Пяток книжек по статистике и анализу данных, которые я и сам рекомендую: https://habr.com/ru/company/skypro/blog/579278/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov
— Пара статей про «Python-культуру» в российских компаниях: https://habr.com/ru/company/it_people/blog/576410/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov (Provectus) и https://habr.com/ru/company/it_people/blog/569868/?utm_source=telegram.me&utm_medium=social&utm_campaign=neskolko-interesnyh-statey-i-perevodov (Тинькофф)

Присылайте, если было что-то еще интересное.

На YouTube-канале Karpov Courses выходит серия с собеседованиями по ML-позициям https://www.youtube.com/watch?v=WKYPQtqE-m0&list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

Валерий Бабушкин проводит тестовые собеседования с аналитиками данных. Далее в компании пары дата сайнтистов разбирает ошибки. Местами слишком неспешно, но реалистично.

#data_science #hr

Коротко для новичков: что такое Kaggle

Как указано на сайте ODS https://ods.ai/, Data Science соревнование — это «коллективное решение бизнес задачи в игровой форме, в кратчайшие сроки, с целью выявления лучшего решения. Это повод окунуться в предметную область и понять, как задача бизнеса переводится на язык прикладной математики».

📊 Kaggle https://www.kaggle.com/ — самая известная платформа Data Science соревнований. Любая компания может объявить на ней конкурс с денежным призом и описанием специфичной задачи анализа данных, а участники найдут решение.

💽 Логика простая: даже крутейший отдел дата сайентистов не сравнится по разнообразию идей с крупным коммьюнити, каким является Kaggle. А так компания добивается результата за небольшой срок и при ограниченных вложениях денег. Особенно, если данные и вся сопутствующая информация хорошо подготовлены. Плюс реклама компании в IT-среде.

🤖 Аналитики могут искать решение по одиночке или в команде. Kaggle проверяет не само решение, а то, насколько хорошо предлагаемая модель научилась предсказывать по имеющимся данным скрытые от нее значения. Например, находить координату объекта по фотографии, которая содержит этот объект. Чья модель предсказывает лучше, у того и выше место в рейтинге.

🏅 За позиции в рейтинге участники получают медали — золотые, серебряные, бронзовые. Их также дают за датасеты, публичные Jupyter-блокноты, участие в обсуждениях. Последние, кстати, не очень ценятся. Медали складываются в звания: Expert — Master — Grandmaster. Может помочь при прохождении технических интервью.

🏎️ Один из главных подвохов — некоторые задачи требуют значительных вычислительных ресурсов, которые могут очень отличаться у разных участников. Kaggle чуть выравнивает шансы, предоставляя возможности запуска Jupyter-блокнотов на графических (GPU) и тензорных (TPU) ускорителях. Аналогично тому, как это работает в Google Colab, то есть с лимитом вычислений в границах временного интервала.

🎓 Ещё здесь есть множество мини-курсов. Но мне их текущий формат не очень нравится — тесты выглядят натянуто.

Главное: Kaggle — это среда, в которой можно почерпнуть и попробовать на бизнес-задачах свежие идеи из мира Data Science.

#kaggle #novice #data_science

Интересное начинание 7×7 — сериал «Шифропанки». В первой серии простым языком рассказано об ошибке 451, замедлении твиттера через ТСПУ, истории блокировки телеграма и технологии VPN.

https://youtu.be/CZuNhhlAKNY

Очень люблю ролики от Arzamas, их плотность и подачу. И вот они выпустили очередной суперский видеоликбез, на этот раз про игры — «История игр за 17 минут». От шахмат до современных консолей, от карт таро до покемонов, от Олимпиад до «Монополии» — изучаем, как и во что играли египтяне и викинги, рыцари и придворные дамы, китайские императоры и персидские шахи.

Думаю, что будет интересно всем геймдев-разработчикам и просто любителям поиграть.

https://youtu.be/zj9OVaQJ978

#gamedev #game #история #игры

В прошлом году я написал пост о том, как устроена и что умеет языковая модель GPT-3: https://proglib.io/p/avtodopolnenie-dlinoy-v-tysyachu-slov-chto-izvestno-o-neyrosetevoy-modeli-gpt-3-2020-11-21

Разработчики продолжают создавать на базе GPT-3 интересные инструменты:
👓 Zebrium https://www.zebrium.com/ анализирует миллионы строчек логов программного обеспечения, чтобы сформулировать в кратком виде причину, из-за которой возникла проблема. На мой вкус, отличное решение для девопсов.
🌐 Debuild http://debuild.co/ позволяет генерировать фуллстек веб-приложения с помощью простого описания на английском. На выходе React UI и обработчик SQL-запросов. Пока обещания, но выглядит интересно.
🗄️ SeekWell https://www.seekwell.io/ помогает генерировать, синхронизировать и визуализировать SQL-запросы для простой синхронизации баз данных между Google Sheets, Salesforce, ZSlack и др. приложениями. Работает с разными SQL-диалектами: MySQL, Postgres, Redshift, MS SQL Server и Snowflake. Выдают две недели для бесплатного теста.

Как будто NoCode-инструменты создаются в основном для самих разработчиков 🤷

#нейросети #gpt #инструменты_разработки