Новая статья об экосистеме пакетов для анализа данных 🐍🐼

https://www.securitylab.ru/blog/personal/DFedorov/352651.php

Аналитик данных - это исследователь (об этом тут) 🔭

Подход к разработке на Python 🐍 для исследователей основан на трех взаимосвязанных идеях.

👉 Открытая наука (подробнее тут): обеспечение свободного доступа к данным, методам и результатам для всех путем их публикации в соответствии с открытыми лицензиями.

👉 Воспроизводимое исследование: обеспечение того, чтобы любой, у кого есть доступ к данным и ПО, мог воспроизвести результаты, как для их проверки, так и для их дальнейшего использования.

👉 Устойчивое программное обеспечение: легкость его обслуживания и расширения, а не полная замена.

Люди часто смешивают эти три концепции, но они отличаются. Например, если вы делитесь своими данными и программами, которые их анализируют, но не документируете, какие шаги и в каком порядке нужно предпринять, то ваша работа будет открытой, но невоспроизводимой. И наоборот, если вы полностью автоматизируете свой анализ, но ваши данные доступны только людям в вашей лаборатории, то ваша работа воспроизводима, но не открыта.

Продолжение текста по ссылке.

Первым шагом в анализе данных является загрузка и первоначальная обработка данных. Прежде чем это сделать, стоит подумать, как мы собираемся организовать проект, какой способ хранения файлов выберем 🤔

Рассмотрим подробнее один из вариантов структуры каталогов.
Продолжить чтение по ссылке.

Долго думал, с какой стороны зайти в тему командной оболочки GNU/Linux, 🤔 и пошел самым простым путем - показал примеры в Google Colab.

Решаем задачу подсчета количества строк в наборе файлов и разбираемся в UNIX-каналах (pipe) 💪

👉 Версия статьи в HTML и интерактив в CoLab 🐍

Друзья 👋, появилось конструктивное предложение о дальнейшем развитии нашего аналитического Python сообщества! 🖥

1️⃣ За время существования группы, а появилась она 4 года назад 😱, выросло целое поколение программистов, владеющих основами Python, и накопилось множество полезных материалов, не связанных напрямую с анализом данных 🐼: о развитии сообщества вокруг открытого кода 🖥, преподавании, автоматизации рутинных задач, устройстве интерпретатора языка и др.

2️⃣ За прошедший год я успел сменить место работы и теперь руковожу образовательными проектами в компании Positive Technologies ⬜️, занимающейся разработкой средств кибербезопасности 🥷. После двенадцати лет преподавания в вузе 👨‍🏫 это новый и интересный для меня опыт, которым тоже хочется поделиться.

3️⃣ В связи с этими изменения я принял волевое решение 💪 существенно расширить список публикуемых в группе тем.

4️⃣ Встречайте — Этюды для программистов на Python. Название навеяно книгой Чарльза Уэзерелла "Этюды для программистов" и фортепианными этюдами Листа, Шопена и Шумана ❤️

Остаемся на связи! 🖥
@dm_fedorov

Существует миф о том, что гуманитарию сложно понять компьютерные науки, а мир строго делится на физиков и лириков. Проверим, так ли это? 🧐

Вокруг компьютерных наук сложилась собственная философия, которая развивается и транслируется сообществом разработчиков открытого исходного кода.

Приведу пример. "Делай что-то одно, но делай это хорошо" - так звучит философия UNIX, далекого родственника современных операционных систем Linux и MacOS 🖥

Этот принцип легко переносится на Python: лучше создать функцию или модуль, который надежно и эффективно решает одну задачу, чем пытаться сразу разобраться со множеством проблем. Как следствие, гораздо эффективнее и проще на небольшом коде реализуются юнит-тесты.

Моим любимым примером такого модуля является requests ♥️, он рекомендован в официальной документации Python, хотя не входит в стандартный набор модулей 🖥

Вопросы для размышления:
1️⃣ какие еще модули, реализующие этот принцип, можете вспомнить?
2️⃣ где еще в компьютерных науках встречается реализация этого принципа?

Делюсь своим новым каналом про образование в области кибербезопасности 🥷

Подписывайтесь, если хотите больше узнать о том, как стать этичным хакером или расследовать киберпреступления 👣 👀

В канале рассказываю, где и как обучают специалистов по кибербезопасности, и с чего начать свой путь в эту интересную область 🤔