Selectors

When you’re scraping web pages, the most common task you need to perform is to extract data from the HTML source. There are several libraries available to achieve this, such as:

BeautifulSoup is a very popular web scraping library among Python programmers which constructs a Python object based on the structure of the HTML code and also deals with bad markup reasonably well, but it has one drawback: it’s slow.
lxml is an XML parsing library (which also parses HTML) with a pythonic API based on ElementTree. (lxml is not part of the Python standard library.)

Scrapy comes with its own mechanism for extracting data. They’re called selectors because they “select” certain parts of the HTML document specified either by XPath or CSS expressions.
https://docs.scrapy.org/en/latest/topics/selectors.html#topics-selectors

​В чём разница между изучением Data Science и реальной работой?

Рассказываем про основные отличия: https://tprg.ru/rObs

#datascience

How to Do a Binary Search in Python – Real Python
https://realpython.com/binary-search-python/#benchmarking

Ansible 101 videos with Jeff Geerling, and more Ansible news | Opensource.com
https://opensource.com/article/20/4/ansible-news-edition-nine

Подборка из 10 фишек JavaScript

Т.к. React построен на основе чистого JS, то с помощью этих фишек можно будет писать более качественный код на этом фреймворке:

https://tprg.ru/sAOb

#javascript #react

Онлайн-инструмент, с помощью которого можно сгенерировать CSS-стиль для Material Design компонента:

https://tprg.ru/xV5L

#фронтенд #css

​HTTP/3 уже почти здесь. Поддержка в популярных браузерах реализована, но выключена по умолчанию, разработчики Nginx обещают присоединиться к веселью уже в текущей ветке 1.17, а CloudFlare в своём стиле просто добавила одну галку — тыкнул и всё работает.

Поиграться и провести тесты можно уже сейчас:

Собираем Nginx по инструкции (https://tprg.ru/yTiU) или берём готовый docker image (https://tprg.ru/1Rkr).

Выпускаем сертификат через Let's Encrypt, правим конфиги (https://tprg.ru/QbLu), запускаем контейнер.

Проверяем как всё работает:
— В онлайне: https://www.http3check.net/
— Через curl (собираем из исходников https://tprg.ru/Qqe2 или берём готовый контейнер https://tprg.ru/zOJe)

Включаем в браузерах:
— Chrome: chrome://flags/#enable-quic
— Firefox: about:config => network.http.http3.enabled

Мы должны получить уменьшение latency и в целом ускорение, потому что в теории в HTTP/3:
– Быстрее handshake (1 или 0-RTT)
— Нет проблемы с HOL (https://tprg.ru/Z6lF)
— Переключение сети проиходит без потерь

Узнать больше как работает HTTP/3 можно тут, например: https://tprg.ru/TmEi

GoScan — сканер сети, основанный на nmap, но с большим уровнем абстракции. Умеет в автодополнение команд.

Обнаружение хостов, сканер портов, поиск запущенных сервисов через интеграции с другими утилитами — вот это всё.

Но самое интересное, что GoScan хорошо работает в нестабильном окружении с потерями связи. Все процессы запускаются в фоне и сохраняют состояние в SQLite. Если что-то пойдёт не так, можно будет продолжить с предыдущей точки или вообще получить результаты асинхронно.

Подробнее на гитхабе: https://github.com/marco-lancini/goscan

#сеть

Где и как мониторить скорость загрузки веб-сайта, чтобы понимать как можно всё улучшить — годная подборка инструментов от команды Tproger

https://tproger.ru/articles/tproger-performance-monitoring-and-improving-tools/

#мониторинг #инструменты

Git Flow — модель ветвления и слияния в гите, которая стала безумно популярной после одной заметки 10-летней давности. И вот в этом году выходит другая статья, где говорится, что это всё фигня и так делать не надо. И даже автор оригинальной заметки вносит правки в своё видение.

В общем, занятно получилось: https://habr.com/ru/company/flant/blog/491320/

#git

Годная статейка про то, как забирать данные с других сайтов и при этом не попасть в бан. Ну или попасть, но потом обойти его.

https://tproger.ru/translations/web-scraping-without-getting-blocked/

Имеется в виду именно открытый парсинг, когда API или готовых фидов нет. Например, чтобы забрать себе данные по ценам на товары в онлайн-магазинах конкуретов.

(картинка в посте про «извлечение» данных, хехе, ну вы поняли)

#парсинг

Python Tricks: A Buffet of Awesome Python Features (2017)

При помощи книги вы можете узнать много нового о работе на Python. Пошаговое повествование и простые примеры кода отличают эту книгу от подобных. После прочтения вы сможете писать чистый правильный код без напряжения. Изучать тонкости Python сложно, и с помощью этой книги вы сможете сосредоточиться на развитии практических навыков, действительно имеющих значение.

Скачать книгу

table-magic
https://stevecat.net/table-magic/

IBM проведет бесплатные курсы по COBOL и выложит их на GitHub / Хабр
https://m.habr.com/ru/news/t/496748/

​Code review без ревьювера: 8 инструментов, которые помогут улучшить код

Если вас или кого-то в вашей команде раздражает процесс code review, то, возможно, дело в отсутствии подходящего инструмента.

Делимся подборкой инструментов, которые помогут улучшить ваш код и упростить code review:

https://tprg.ru/FHl0

#codereview

Сегодня делимся полезными ссылками для всех программистов, не только по вебу. Да что уж там, это вообще для многих полезно.

Как возродить потерянную мотивацию: https://tprg.ru/c2af

Вам кажется, что все вокруг программируют лучше? Не беспокойтесь, вы не одиноки: https://tprg.ru/Pmjy

Зачем разработчику личный план развития и как его составить: https://tprg.ru/ICke

Как побороть прокрастинацию: https://tprg.ru/isha

#мотивация #саморазвитие

Как создать hover-анимацию, показанную в этом видео? Вот подробный гайд:

https://tprg.ru/fdgR

#фронтенд #css

Подборка из 11 репозиториев, которые помогут прокачаться любому разработчику

1. Awesome — самый популярный репозиторий, в котором представлены все темы, от разработки ПО до аппаратного обеспечения и бизнеса: https://github.com/sindresorhus/awesome

2. Подборка бесплатного ПО и сервисов: https://github.com/ripienaar/free-for-dev

3. Пособие для технических интервью: https://github.com/yangshun/tech-interview-handbook

4. Подборка бесплатных источников для обучения: https://github.com/EbookFoundation/free-programming-b..

5. Подборка бесплатных API: https://github.com/public-apis/public-apis

6. Заметки эффективного инженера: https://gist.github.com/rondy/af1dee1d28c02e9a225ae55..

7. Разбор продвинутых вопросов по JavaScript: https://github.com/lydiahallie/javascript-questions

8. Алгоритмы и структуры данных на JavaScript: https://github.com/trekhleb/javascript-algorithms

9. Чистый код на JavaScript: https://github.com/ryanmcdermott/clean-code-javascript

10. Awesome для начинающих: https://github.com/MunGell/awesome-for-beginners

11. Большой список проблемных строк, которые пользователи могут вводить в ваше программу: https://github.com/minimaxir/big-list-of-naughty-stri..

#javascript

Веб-дизайнер и художник по визуализации данных Николас Руже уже более 20 лет занимается разработкой интерактивных инструментов, инфографики, плакатов. Среди последних его работ — восстановленные научные работы, учебники и энциклопедии 19 века в формате интерактивных сайтов и постеров.

Например, на картинке в посте — постер на основе каталога растений 1868 года. Высокая детализация и похожесть на оригинал достигается его дотошностью: чтобы перенести с бумаги на экран 722 изображения, ему пришлось 3 месяца изучать ботанику и тратить на каждый цветок от 1 до 4 часов.

О других его проектах можно почитать здесь: https://tprg.ru/8yK5

#фронтенд #дизайн

​Подборка бесплатных курсов по машинному обучению

— Базовый курс от Эндрю Ына, доцента Стэнфордского университета, PhD по математике, одного из основателей Coursera: https://www.coursera.org/learn/machine-learning

— Курс от Columbia University на платформе edX: https://www.edx.org/course/machine-learning

— Специализация, которая включает в себя 5 курсов для полного погружения в Deep Learning от deeplearning.ai: https://www.deeplearning.ai/deep-learning-specializat..

— Курс по Deep Learning, направленный на получение практического опыта от fast.ai: https://course.fast.ai/

— Открытый курс от ODS.ai, сообщества по машинному обучению: https://ods.ai/

— Русскоязычный курс по нейронным сетям и глубокому обучению: https://dlcourse.ai/

#ml #курсы