Highload — медіа для розробників
4.16K subscribers
5.6K photos
277 videos
18 files
6.48K links
Розповідаємо про людей, які створюють код, та про код, який вони пишуть.

Зв'язатися із редакцією можна тут: news@highload.today. А щодо розміщення реклами, будь ласка, пишіть на specials@highload.today.

Наш чат https://t.me/highloadchatt
Download Telegram
​​Регулярные выражения в языке Python

Регулярные выражения поддерживаются большинством современных языков программирования. Они очень полезны при работе со строками и текстом. В этой статье мы расскажем о самых основных особенностях применения RegEx в языке Python. А так же про то, как заменить часть текста в строке (спойлер: re.replace() не существует, для этого нужен re.sub() )

Продолжение читайте на нашем сайте https://highload.today/regulyarnye-vyrazheniya-v-yazyke-python/
.
#python #regex
Отладка кода на Python с помощью «мороженого»

Зачем использовать print, если можно взять «мороженое»? Специалист по анализу данных Хуэн Тран поделилась в блоге на medium.com методом по отладке Python без использования команды print. Она призывает вместо привычного способа, который считает слишком неудобным, использовать библиотеку под названием мороженое Icecream.

https://highload.today/otladka-koda-na-python-s-pomoshhyu-morozhenogo/

#debuggin #Python #print #icecream
​​ClipClip – приложение с упражнениями для зрения

Голосование за проекты на конкурсе продолжается! Хотим вам напомнить, что есть ограничение на голосование с каждого IP-адреса. Поэтому просите ваших друзей отключаться от общественных сетей и голосовать с мобильных телефонов. А еще мы перенастроили кеширование, те у кого не проходили голоса, теперь смогут это сделать.

«Я работаю программистом уже четыре года, интересуюсь цифровыми технологиями лет, наверное, шесть, а направляю свой взгляд в экран половину жизни. Примерно в возрасте 12 лет у меня упало зрение – я начал носить очки. Я был далеко не первым (и уж точно далеко не последним) в классе с такой проблемой», – рассказал автор проекта Никита Скрипченко.

В октябре 2020 года он решил всерьез взяться за свое зрение. В очередной раз почитал про тренировки для зрения, которые когда-то начинал, а потом забрасывал, и решил, что лучше достигать целей помогли бы напоминания. Так появилась идея приложения, в котором будут доступны сами тренировки, уведомления и другие полезные функции.
Как iOS-разработчик Никита выбрал для проекта любимый Swift. Для бэкенда по организации хранения новостей и доступа к ним выбор пал на Django – «потому что это очень просто» и PostgreSQL в качестве базы данных, потому что с ней уже был опыт.

Проект пока не запущен, но его основная функциональная часть, по словам Никиты, готова на 90%. Он хочет выпустить приложение и посмотреть на первый фидбэк.
Полезным заделом на будущее Никита считает решение по онбордингу пользователя: собирается информация о состоянии здоровья глаз, о том, носит ли человек очки или линзы.

Сейчас в приложении нет платного функционала, но после каждого блока упражнений пользователю придется посмотреть рекламный блок. Переход на подписочную модель был бы желателен, признает Никита, но сначала хочется понять, что необходимо пользователям.

Показать код Никита согласился только для ограниченного круга людей.

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#Swift #Python #Django #PostgreSQL
​​Memescraper – приложение для скрейпинга мемов с Reddit

Каждый день мы представляем вам два проекта из списка участников нашего конкурса. Сегодня это приложение от Андрея Романюка.

Целью приложения была «возможность бесконечного скроллинга свежих мемов» так, чтобы не надо было отвлекаться на рекламу на сайте и другие посты.

Процесс создания приложения, по словам разработчика, был довольно простым. Бэкенд реализован на Django, так как это многофункциональный фреймворк. Selenium Web Driver использовался, так как это универсальный инструмент для web-scraping на Python. Advanced Python Scheduler применялся для задавания задачи по скрейпингу.

Развертывание проекта проходило на Heroku. Фронтенд – базовый UI на Bootstrap с выполнением JavaScript для некоторых функций (например, endless scroll).

Имеется один известный баг – если мем был удален из источника, то вместо него виден черный квадрат с соответствующей надписью. Планируется добавить еще один таск, где с помощью Google OCR будут удаляться «мертвые» картинки. А также в планах деплой на AWS.

https://memescraper.herokuapp.com/

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#Django #Python #SeleniumWebDriver #Heroku #bootstrap
​​Светофор, отображающий состояние билда

Следующий проект от Екатерины Романчук, она нашла необычное применение обычному уличному светофору.

Идея пришла к Екатерине, когда она работала тестировщицей Automation QA и ей хотелось показывать всем состояние последней сборки. Если светофор красный – нет смысла скачивать билд и начинать тестировать.

Проект реализован на Python. Cron на ноутбуке периодически запускал скрипт, который проверял состояние билда и передавал команды светофору. Проект разрабатывался в свободное время с поддержкой от DevOps-команды.

Светофор проработал около четырех лет, но сейчас валяется без дела.
https://github.com/safo-bora/TrafficLightCode

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#светофор #Python #QA
​​Instagram-бот за 5 минут + автоматизация браузера с помощью Selenium

Разработчик с ником c0d3x27 разместил в блоге на medium.com инструкцию по созданию Instagram-бота с помощью Python. Бот способен автоматизировать действия в Instagram, чтобы владелец аккаунта получал больше подписчиков и лайков при минимуме личного вмешательства.

https://highload.today/instagram-bot-za-5-minut-avtomatizatsiya-brauzera-s-pomoshhyu-selenium/

#Instagram #bot #Python #Telegram #Selenium
Гайд по Deep Daze и самые странные изображения из нейросети

Инструмент для генерации изображения из текста Deep Daze для преобразования использует OpenAI CLIP и Siren (сеть неявного нейронного представления). Проект выпущен под лицензией MIT и имеет на GiitHub 3,2 тысяч звездочек.

https://highload.today/gajd-po-deep-daze-i-samye-strannye-izobrazheniya-iz-nejroseti/

#OpenAI #deepdaze #Siren #Python
​​Инфографика дня: пирамида навыков инженера по обработке данных

Специалист по данным под ником SeattleDataGUy опубликовал в блоге на dev.to пирамиду набора навыков, которые нужны инженерам по обработке данных. Ее цель — помочь специалистам сосредоточиться на навыках, которые следует изучить в первую очередь, чтобы заложить прочную основу. По мнению автора, уже после освоения этих навыков можно будет заняться теми системами, инструментами и моделями, которые больше нравятся.

https://highload.today/infografika-dnya-piramida-navykov-inzhenera-po-obrabotke-dannyh/

#infographics #data #Python #SQL
​​Бот-анекдот в Twitter с помощью Python и Zapier

Очередная инструкция по созданию бота. На этот раз мы расскажем, как с помощью Python и инструмента для автоматизации задач и создания рабочих процессов путем интеграции различных приложений Zapier написать Twitter-бот, который будет раз в час постить шутки. Инструкцией в своем блоге на dev.to поделился разработчик Рахул Банерджи.

https://highload.today/bot-anekdot-v-twitter-s-pomoshhyu-python-i-zapier/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Twitter #bot #Python #Zapier #базазнаний
​​Youtube comments processing – сервис для анализа комментариев на YouTube

Проект Галины Симонец нацелен как на обычных пользователей, которые смотрят видео на YouTube, так и на бизнес, который работает с этой площадкой, – профессиональных блогеров или компании, продвигающие свои продукты.

Суть проекта – извлечение ценных знаний из комментариев под видео на YouTube с помощью машинного обучения. Речь идет в том числе о выявлении кластеров среди комментаторов (в зависимости от мнения, которое они высказывают), анализе тональности, обнаружении ботов, а также, например, комментариев, нацеленных на разжигание ненависти. Блогерам и бизнесу такой анализ должен быть полезен для понимания своей аудитории, а тем, кто просто смотрит видео, может быть интересно узнать процент негативных комментариев у любимого блогера.

Проект пока на первом этапе разработки. Уже реализована предобработка русскоязычного текста с использованием техник Natural Language Processing, проведено исследование методов классификации для обработки естественного языка на тестовых отзывах, разработан модуль для выгрузки комментариев по ссылке. Использовались Python-библиотеки для обработки естественного языка и работающие с моделями машинного обучения: Stanza, Sklearn, Urllib.parse, Wikiruwordnet, NLTK, Pandas, Numpy.

Монетизировать проект предполагается за счет платной подписки или продажи дополнительных услуг по анализу комментариев в дополнение к бесплатным пакетам.

Ссылка на проект: https://github.com/halynavs/youtube_comments_processing

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#YCP #YouTube #Python #machinelearning
​​AIMagic – Telegram-бот для улучшения фотографий

Автора проекта Андрей Белоножко искал способ сделать старые черно-белые семейные фотографии цветными и нашел специальную нейронную сеть, которая это делает. Так как он профессионально занимается разработкой Telegram-ботов, то «решил по-быстрому сваять бота, который будет полезен людям, которые столкнулись с подобной проблемой».

Проект был сделан всего за день. Использовались Python и асинхронный фреймворк для написания ботов RocketGram (точнее, собственная реализация этого фреймворка). Бот работает на бесплатном сервере от Oracle.

Помимо перевода черно-белых фото в цветные AIMagic решает и проблему улучшения качества и разрешения изображений – например, скринов нечетких топографических карт. Аудитория в марте достигла 13 тыс. пользователей, ежедневно добавляется примерно 50–70 новых, притом что продвижением автор вообще не занимался (кроме поста в чате, где обсуждают ботов, и в канале друга).

Ссылки на проект: https://github.com/dzendjo/aimagicbot
https://t.me/aimagicbot

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#AllMagic #Python #Oracle
​​Phoqer – маркетплейс для аренды вещей

Автор следующего проекта – Марьян Зозуля

Переехав по учебе сначала в Польшу, затем в Португалию, а потом обратно в Польшу и еще пару раз внутри страны, Марьян Зозуля устал заново покупать, перевозить с собой и раздаривать разные вещи и сформулировал для себя «концепцию одного чемодана», название которой говорит само за себя. А заодно придумал маркетплейс, на котором вещи можно будет арендовать.

Проект, по его мнению, пригодится не только тем, кто часто переезжает с места на место, но и тем, кто не может себе позволить покупку дорогостоящей профессиональной техники или снаряжения, в которых нуждается для создания контента или спорта. А также тем, кто заранее понимает, что не будет долго пользоваться модным гаджетом или не до конца уверен, что ему так уж необходим новый пылесос.

С технической стороны проект из себя представляет следующее: фронтенд на Next.js («быстрый как React, но не вредит SEO») и TypeScript, бэкенд на FastAPI («микрофреймворк на Python, очень гибкий и очень быстрый благодаря встроенной асинхронности»), база данных Postgress и CI/CD с помощью GitHub Actions и Docker Compose.

https://github.com/MarianMalvin/phoqer
Сайт проекта: http://phoqer.com/

Проголосовать за этот проект можно на странице https://highload.today/top-30-pet-proektov-igry-memy-boty-baraholki-svetofor-i-alkotester/

#Nextjs #Python #TypeScript #Phoqer
​​Pyre: расширение для обнаружения ошибок в коде на Python

Pyre — расширение для статической проверки типов для Python, совместимое с PEP 484 и предназначенное для улучшения качества и скорости разработки большого объема кода и интерактивного выделения типов в среде разработки. Код проекта доступен на GitHub, распространяется под лицензией MIT и набрал уже 5,5 тысяч звездочек.

https://highload.today/pyre-rasshirenie-dlya-obnaruzheniya-oshibok-v-kode-na-python/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Pyre #Python
​​TwitterFollowBot: Бот на Python для автоматизации действий в Twitter

TwitterFollowBot — бот на Python, который автоматизирует несколько действий в Twitter, например, отслеживание пользователей и добавление твитов в избранное. Проект распространяется под лицензией GPL.

https://highload.today/twitterfollowbot-bot-na-python-dlya-avtomatizatsii-dejstvij-v-twitter/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Twitter #bot
​​Blueprint: инструмент для управления конфигурацией на основе Debian и RPM

Blueprint — это инструмент для управления конфигурацией, который выполняет обратную инженерию серверов. Они просматривает популярные менеджеры пакетов, находит изменения, внесенные в файлы конфигурации и архивирует программное обеспечение (ПО), созданное из исходных текстов. Инструмент работает в дистрибутивах Linux на основе Debian и RPM.

https://highload.today/blueprint-instrument-dlya-upravleniya-konfiguratsiej-na-osnove-debian-i-rpm/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Blueprint
​​Microsoft: программирование на Python в Visual Studio теперь быстрее, чем когда-либо

Компания Microsoft выпустила обновление Python Extension для Visual Studio Code (VS Code), которое вводит расширение Pylance в качестве языкового сервера по умолчанию для Python наряду с более быстрым запуском и отладчиком с автоматической перезагрузкой скриптов Python.

https://highload.today/microsoft-programmirovanie-na-python-v-visual-studio-teper-bystree-chem-kogda-libo/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #VSCode
​​Гвидо ван Россум: не надейтесь на выход Python 4.0

Новая версия языка программирования Python 4.0 может никогда не выйти. Об этом в интервью Microsoft Reactor рассказал создатель яп Гвидо ван Россум. По словам разработчика, «почти табу говорить о Python 4.0 после трудной миграции с версии 2.0 на 3.0 в 2008 году».

https://highload.today/gvido-van-rossum-ne-nadejtes-na-vyhod-python-4-0/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Go #Rust
​​Гвидо ван Россум: Python слишком большой и медленный для разработки мобильных и веб-приложений

Создатель языка программирования Python Гвидо ван Россум поделился мыслями о Python как о языке для браузера и мобильных устройств и его будущих конкурентах, таких как Julia.

https://highload.today/gvido-van-rossum-python-slishkom-bolshoj-i-medlennyj-dlya-razrabotki-mobilnyh-i-veb-prilozhenij/?utm_source=telegram&utm_medium=social&utm_campaign=telega

#Python #Rust #Go
В последнее время Jupyter Notebook стал очень популярен среди специалистов Data Science, став де-факто стандартом для быстрого прототипирования и анализа данных.

В нашем вводном руководстве мы стараемся раздвинуть границы его возможностей еще дальше, переосмысливая то, чем может быть Notebook, кем может быть использован, и что можно с ним делать.

#python #datascience
Scikit-learn является одной из наиболее широко используемых библиотек #Python для машинного обучения. Ее простой стандартный интерфейс позволяет производить препроцессинг данных, а также заниматься обучением, оптимизацией и оценкой модели.

Сегодня предлагаем наше введение в эту популярную ML-библиотеку для новичков.