SelectorGadget:
point and click CSS selectors
https://selectorgadget.com/

Selectors

When you’re scraping web pages, the most common task you need to perform is to extract data from the HTML source. There are several libraries available to achieve this, such as:

BeautifulSoup is a very popular web scraping library among Python programmers which constructs a Python object based on the structure of the HTML code and also deals with bad markup reasonably well, but it has one drawback: it’s slow.
lxml is an XML parsing library (which also parses HTML) with a pythonic API based on ElementTree. (lxml is not part of the Python standard library.)

Scrapy comes with its own mechanism for extracting data. They’re called selectors because they “select” certain parts of the HTML document specified either by XPath or CSS expressions.
https://docs.scrapy.org/en/latest/topics/selectors.html#topics-selectors

​В чём разница между изучением Data Science и реальной работой?

Рассказываем про основные отличия: https://tprg.ru/rObs

#datascience

How to Do a Binary Search in Python – Real Python
https://realpython.com/binary-search-python/#benchmarking

Ansible 101 videos with Jeff Geerling, and more Ansible news | Opensource.com
https://opensource.com/article/20/4/ansible-news-edition-nine

Подборка из 10 фишек JavaScript

Т.к. React построен на основе чистого JS, то с помощью этих фишек можно будет писать более качественный код на этом фреймворке:

https://tprg.ru/sAOb

#javascript #react

Онлайн-инструмент, с помощью которого можно сгенерировать CSS-стиль для Material Design компонента:

https://tprg.ru/xV5L

#фронтенд #css

​HTTP/3 уже почти здесь. Поддержка в популярных браузерах реализована, но выключена по умолчанию, разработчики Nginx обещают присоединиться к веселью уже в текущей ветке 1.17, а CloudFlare в своём стиле просто добавила одну галку — тыкнул и всё работает.

Поиграться и провести тесты можно уже сейчас:

Собираем Nginx по инструкции (https://tprg.ru/yTiU) или берём готовый docker image (https://tprg.ru/1Rkr).

Выпускаем сертификат через Let's Encrypt, правим конфиги (https://tprg.ru/QbLu), запускаем контейнер.

Проверяем как всё работает:
— В онлайне: https://www.http3check.net/
— Через curl (собираем из исходников https://tprg.ru/Qqe2 или берём готовый контейнер https://tprg.ru/zOJe)

Включаем в браузерах:
— Chrome: chrome://flags/#enable-quic
— Firefox: about:config => network.http.http3.enabled

Мы должны получить уменьшение latency и в целом ускорение, потому что в теории в HTTP/3:
– Быстрее handshake (1 или 0-RTT)
— Нет проблемы с HOL (https://tprg.ru/Z6lF)
— Переключение сети проиходит без потерь

Узнать больше как работает HTTP/3 можно тут, например: https://tprg.ru/TmEi

GoScan — сканер сети, основанный на nmap, но с большим уровнем абстракции. Умеет в автодополнение команд.

Обнаружение хостов, сканер портов, поиск запущенных сервисов через интеграции с другими утилитами — вот это всё.

Но самое интересное, что GoScan хорошо работает в нестабильном окружении с потерями связи. Все процессы запускаются в фоне и сохраняют состояние в SQLite. Если что-то пойдёт не так, можно будет продолжить с предыдущей точки или вообще получить результаты асинхронно.

Подробнее на гитхабе: https://github.com/marco-lancini/goscan

#сеть

Где и как мониторить скорость загрузки веб-сайта, чтобы понимать как можно всё улучшить — годная подборка инструментов от команды Tproger

https://tproger.ru/articles/tproger-performance-monitoring-and-improving-tools/

#мониторинг #инструменты

Git Flow — модель ветвления и слияния в гите, которая стала безумно популярной после одной заметки 10-летней давности. И вот в этом году выходит другая статья, где говорится, что это всё фигня и так делать не надо. И даже автор оригинальной заметки вносит правки в своё видение.

В общем, занятно получилось: https://habr.com/ru/company/flant/blog/491320/

#git

Годная статейка про то, как забирать данные с других сайтов и при этом не попасть в бан. Ну или попасть, но потом обойти его.

https://tproger.ru/translations/web-scraping-without-getting-blocked/

Имеется в виду именно открытый парсинг, когда API или готовых фидов нет. Например, чтобы забрать себе данные по ценам на товары в онлайн-магазинах конкуретов.

(картинка в посте про «извлечение» данных, хехе, ну вы поняли)

#парсинг

Python Tricks: A Buffet of Awesome Python Features (2017)

При помощи книги вы можете узнать много нового о работе на Python. Пошаговое повествование и простые примеры кода отличают эту книгу от подобных. После прочтения вы сможете писать чистый правильный код без напряжения. Изучать тонкости Python сложно, и с помощью этой книги вы сможете сосредоточиться на развитии практических навыков, действительно имеющих значение.

Скачать книгу