​​Инфографика дня: пирамида навыков инженера по обработке данных

Специалист по данным под ником SeattleDataGUy опубликовал в блоге на dev.to пирамиду набора навыков, которые нужны инженерам по обработке данных. Ее цель — помочь специалистам сосредоточиться на навыках, которые следует изучить в первую очередь, чтобы заложить прочную основу. По мнению автора, уже после освоения этих навыков можно будет заняться теми системами, инструментами и моделями, которые больше нравятся.

https://highload.today/infografika-dnya-piramida-navykov-inzhenera-po-obrabotke-dannyh/

#infographics #data #Python #SQL

​​Бот-анекдот в Twitter с помощью Python и Zapier

Очередная инструкция по созданию бота. На этот раз мы расскажем, как с помощью Python и инструмента для автоматизации задач и создания рабочих процессов путем интеграции различных приложений Zapier написать Twitter-бот, который будет раз в час постить шутки. Инструкцией в своем блоге на dev.to поделился разработчик Рахул Банерджи.

https://highload.today/bot-anekdot-v-twitter-s-pomoshhyu-python-i-zapier/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Twitter #bot #Python #Zapier #базазнаний

​​Youtube comments processing – сервис для анализа комментариев на YouTube

Проект Галины Симонец нацелен как на обычных пользователей, которые смотрят видео на YouTube, так и на бизнес, который работает с этой площадкой, – профессиональных блогеров или компании, продвигающие свои продукты.

Суть проекта – извлечение ценных знаний из комментариев под видео на YouTube с помощью машинного обучения. Речь идет в том числе о выявлении кластеров среди комментаторов (в зависимости от мнения, которое они высказывают), анализе тональности, обнаружении ботов, а также, например, комментариев, нацеленных на разжигание ненависти. Блогерам и бизнесу такой анализ должен быть полезен для понимания своей аудитории, а тем, кто просто смотрит видео, может быть интересно узнать процент негативных комментариев у любимого блогера.

Проект пока на первом этапе разработки. Уже реализована предобработка русскоязычного текста с использованием техник Natural Language Processing, проведено исследование методов классификации для обработки естественного языка на тестовых отзывах, разработан модуль для выгрузки комментариев по ссылке. Использовались Python-библиотеки для обработки естественного языка и работающие с моделями машинного обучения: Stanza, Sklearn, Urllib.parse, Wikiruwordnet, NLTK, Pandas, Numpy.

Монетизировать проект предполагается за счет платной подписки или продажи дополнительных услуг по анализу комментариев в дополнение к бесплатным пакетам.

Ссылка на проект: https://github.com/halynavs/youtube_comments_processing

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#YCP #YouTube #Python #machinelearning

​​AIMagic – Telegram-бот для улучшения фотографий

Автора проекта Андрей Белоножко искал способ сделать старые черно-белые семейные фотографии цветными и нашел специальную нейронную сеть, которая это делает. Так как он профессионально занимается разработкой Telegram-ботов, то «решил по-быстрому сваять бота, который будет полезен людям, которые столкнулись с подобной проблемой».

Проект был сделан всего за день. Использовались Python и асинхронный фреймворк для написания ботов RocketGram (точнее, собственная реализация этого фреймворка). Бот работает на бесплатном сервере от Oracle.

Помимо перевода черно-белых фото в цветные AIMagic решает и проблему улучшения качества и разрешения изображений – например, скринов нечетких топографических карт. Аудитория в марте достигла 13 тыс. пользователей, ежедневно добавляется примерно 50–70 новых, притом что продвижением автор вообще не занимался (кроме поста в чате, где обсуждают ботов, и в канале друга).

Ссылки на проект: https://github.com/dzendjo/aimagicbot
https://t.me/aimagicbot

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#AllMagic #Python #Oracle

​​Phoqer – маркетплейс для аренды вещей

Автор следующего проекта – Марьян Зозуля

Переехав по учебе сначала в Польшу, затем в Португалию, а потом обратно в Польшу и еще пару раз внутри страны, Марьян Зозуля устал заново покупать, перевозить с собой и раздаривать разные вещи и сформулировал для себя «концепцию одного чемодана», название которой говорит само за себя. А заодно придумал маркетплейс, на котором вещи можно будет арендовать.

Проект, по его мнению, пригодится не только тем, кто часто переезжает с места на место, но и тем, кто не может себе позволить покупку дорогостоящей профессиональной техники или снаряжения, в которых нуждается для создания контента или спорта. А также тем, кто заранее понимает, что не будет долго пользоваться модным гаджетом или не до конца уверен, что ему так уж необходим новый пылесос.

С технической стороны проект из себя представляет следующее: фронтенд на Next.js («быстрый как React, но не вредит SEO») и TypeScript, бэкенд на FastAPI («микрофреймворк на Python, очень гибкий и очень быстрый благодаря встроенной асинхронности»), база данных Postgress и CI/CD с помощью GitHub Actions и Docker Compose.

https://github.com/MarianMalvin/phoqer
Сайт проекта: http://phoqer.com/

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#Nextjs #Python #TypeScript #Phoqer

​​Pyre: расширение для обнаружения ошибок в коде на Python

Pyre — расширение для статической проверки типов для Python, совместимое с PEP 484 и предназначенное для улучшения качества и скорости разработки большого объема кода и интерактивного выделения типов в среде разработки. Код проекта доступен на GitHub, распространяется под лицензией MIT и набрал уже 5,5 тысяч звездочек.

https://highload.today/pyre-rasshirenie-dlya-obnaruzheniya-oshibok-v-kode-na-python/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Pyre #Python

​​TwitterFollowBot: Бот на Python для автоматизации действий в Twitter

TwitterFollowBot — бот на Python, который автоматизирует несколько действий в Twitter, например, отслеживание пользователей и добавление твитов в избранное. Проект распространяется под лицензией GPL.

https://highload.today/twitterfollowbot-bot-na-python-dlya-avtomatizatsii-dejstvij-v-twitter/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Twitter #bot

​​Blueprint: инструмент для управления конфигурацией на основе Debian и RPM

Blueprint — это инструмент для управления конфигурацией, который выполняет обратную инженерию серверов. Они просматривает популярные менеджеры пакетов, находит изменения, внесенные в файлы конфигурации и архивирует программное обеспечение (ПО), созданное из исходных текстов. Инструмент работает в дистрибутивах Linux на основе Debian и RPM.

https://highload.today/blueprint-instrument-dlya-upravleniya-konfiguratsiej-na-osnove-debian-i-rpm/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Blueprint

​​Microsoft: программирование на Python в Visual Studio теперь быстрее, чем когда-либо

Компания Microsoft выпустила обновление Python Extension для Visual Studio Code (VS Code), которое вводит расширение Pylance в качестве языкового сервера по умолчанию для Python наряду с более быстрым запуском и отладчиком с автоматической перезагрузкой скриптов Python.

https://highload.today/microsoft-programmirovanie-na-python-v-visual-studio-teper-bystree-chem-kogda-libo/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #VSCode

​​Гвидо ван Россум: не надейтесь на выход Python 4.0

Новая версия языка программирования Python 4.0 может никогда не выйти. Об этом в интервью Microsoft Reactor рассказал создатель яп Гвидо ван Россум. По словам разработчика, «почти табу говорить о Python 4.0 после трудной миграции с версии 2.0 на 3.0 в 2008 году».

https://highload.today/gvido-van-rossum-ne-nadejtes-na-vyhod-python-4-0/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Go #Rust

​​Гвидо ван Россум: Python слишком большой и медленный для разработки мобильных и веб-приложений

Создатель языка программирования Python Гвидо ван Россум поделился мыслями о Python как о языке для браузера и мобильных устройств и его будущих конкурентах, таких как Julia.

https://highload.today/gvido-van-rossum-python-slishkom-bolshoj-i-medlennyj-dlya-razrabotki-mobilnyh-i-veb-prilozhenij/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Rust #Go

В последнее время Jupyter Notebook стал очень популярен среди специалистов Data Science, став де-факто стандартом для быстрого прототипирования и анализа данных.

В нашем вводном руководстве мы стараемся раздвинуть границы его возможностей еще дальше, переосмысливая то, чем может быть Notebook, кем может быть использован, и что можно с ним делать.

#python #datascience

Scikit-learn является одной из наиболее широко используемых библиотек #Python для машинного обучения. Ее простой стандартный интерфейс позволяет производить препроцессинг данных, а также заниматься обучением, оптимизацией и оценкой модели.

Сегодня предлагаем наше введение в эту популярную ML-библиотеку для новичков.