💻 Бесплатный курс по Scrapy. 4+ часа

В курсе вы узнаете все об вебсрейпинге/парсинге и создадите свой первый проект с Scrapy.

Курс охватывает:
🟢 Создание своего первого парсера на Scrapy.
🟢 Сканирование веб-сайтов и сбор данных с каждой страницы.
🟢 Очистка данных с помощью Items и Item Pipelines
🟢 Сохранение данных в файлы CSV, базы данных MySQL и Postgres.
🟢 Использование поддельных юзер-агентов и заголовков, чтобы избежать блокировки.
🟢 Использование прокси для масштабирования веб-скрапинга без бана.
🟢 Развертывание парсера в облаке и планирование его периодического запуска.

#doc #soft #python

😄 Чтобы утирать слёзы при падении контейнера

😭 Капча выходит на новый уровень

Безумная капча от Microsoft — теперь юзерам предлагают отличить жужжание пчелы от пердежа какого-то мужика 😆

#humor #cyberpunk

⚙️Чешская JetBrains отключила россиянам возможность скачивать IntelliJ IDEA – одну из самых известных сред разработки на Java

JetBrains была основана в 2000 г. и специализируется на выпуске продуктов для разработки на языках Java, C#, Ruby, PHP, Python, Objective-C, C++, VB .NET, Scala и др. Штаб-квартира находится в Праге

Одним из основателей JetBrains является россиянин Сергей Дмитриев

😢Причины блокировки JetBrains не указывает, но на сайте отмечено, что скачивание запрещено по юридическим причинам

👨‍💻 Китайские сталкеры показали одну из своих ферм для накрутки просмотров на контент

100% за кадром тапают хомяка 👊

#cyberpunk

Что такое continuous Integration ( CI ) ?
Спросят с вероятностью 18%

Continuous Integration (CI) или Непрерывная интеграция — это практика в разработке ПО, при которой код, написанный разработчиками, автоматически интегрируется в общую кодовую базу несколько раз в день. Главная цель — ускорить процесс разработки и обеспечить его более высокое качество за счёт раннего обнаружения и устранения ошибок, улучшения совместимости кода и автоматизации тестирования.

Ключевые аспекты:

- Автоматическая сборка и тестирование: Каждый раз при добавлении нового кода в репозиторий автоматически выполняется сборка проекта и запускаются тесты, что позволяет быстро выявлять и исправлять ошибки, а также снижает риски связанные с интеграцией.
- Централизованное управление версиями: Все изменения кода сохраняются в централизованном репозитории (например, Git), что облегчает совместную работу и откат изменений при необходимости.
- Мониторинг и уведомления: Система CI отслеживает состояние сборки и тестирования, автоматически уведомляя команду о проблемах, что позволяет оперативно реагировать на ошибки.
- Документация и отчетность: Системы CI предоставляют отчеты и логи выполнения сборок и тестов, что упрощает анализ проблем и планирование дальнейших действий.

Преимущества:

✅ Ускорение процесса разработки и улучшение качества продукта: Благодаря автоматизации сборки и тестирования, а также раннему выявлению ошибок.
✅ Сокращение времени на интеграцию: Непрерывная интеграция уменьшает сложность слияния изменений и устраняет проблемы совместимости кода.
✅ Улучшение обратной связи: Команда разработки получает мгновенную обратную связь о состоянии кода, что позволяет быстро реагировать на проблемы.
✅ Повышение транспарентности процесса разработки: Все участники проекта видят текущее состояние кодовой базы и результаты тестирования.

Инструменты для непрерывной интеграции:

Существует множество инструментов, поддерживающих практику CI, включая Jenkins, Travis CI, GitLab CI/CD, CircleCI и другие. Эти инструменты позволяют настроить процесс интеграции и тестирования в соответствии с потребностями проекта, автоматизировать рутинные задачи и сосредоточиться на разработке функционала.

Непрерывная интеграция является важной частью современных практик разработки ПО, позволяя командам быстрее и эффективнее создавать качественные продукты.

👉 Можно посмотреть Примеры как отвечают люди на этот вопрос, или перейти К списку 1855 вопроса на Тестировщика. Ставь 👍 если нравится контент

🔐 | 🔐

⌨️ Корейцы выпустили социальный ролик про ...клавиатуру

Кто-то хоть раз использовал Scroll Lock? 🤨

😄

#humor #news

😳До чего нынче дошел прогресс в области ИИ.

Ученые из Нидерландов недавно протестировали свою модель по реконструкции изображений с помощью искусственного интеллекта и импланта в мозге обезьяны.

🔘Верхний ряд – то, что видела обезьяна
🔘Средний – изображения, которые воссоздала ML-модель по сигналам из мозга обезьяны
🔘Нижний – такая же реконструкция с моделью предыдущего поколения

Похоже старина Маск пророчит, говоря о том, что в будущем все с чипами будем ходить)

Что такое Web Sockets (веб сокет) ?
Спросят с вероятностью 10%

WebSockets — это продвинутая технология, позволяющая открыть интерактивное коммуникационное сессию между пользовательским браузером (или другим клиентом) и сервером. С помощью него можно обмениваться данными в реальном времени без необходимости постоянно отправлять запросы на сервер, что является значительным улучшением по сравнению с традиционным HTTP-подключением.

Основные характеристики:

✅ Двусторонняя связь: В отличие от HTTP, где общение обычно инициируется клиентом, WebSockets позволяют серверу активно отправлять сообщения клиенту, когда появляются новые данные, без необходимости для клиента постоянно проверять сервер на наличие обновлений.
✅ Постоянное соединение: После установления соединения через WebSocket оно остаётся открытым, позволяя обмениваться данными в обе стороны до тех пор, пока одна из сторон явно не закроет соединение. Это сокращает задержки и повышает эффективность обмена данными между клиентом и сервером.
✅ Совместимость с HTTP: Соединение WebSocket начинается с HTTP-запроса, который затем "повышается" до WebSocket-соединения. Это обеспечивает лёгкую интеграцию с существующей веб-инфраструктурой.
✅ Эффективность и масштабируемость: WebSockets используют гораздо меньше ресурсов по сравнению с традиционными HTTP-запросами, особенно в приложениях, требующих частых обновлений данных в реальном времени.

Примеры:

- Чаты и мгновенные сообщения: Быстрый обмен сообщениями между пользователями в реальном времени.
- Онлайн-игры: Обеспечение низкой задержки и постоянного обновления состояния игры для всех участников.
- Торговые платформы: Мгновенное отображение изменений цен и обновлений рынка без задержек.
- Коллаборативные приложения: Поддержка реального времени совместной работы над документами и проектами.

Для работы с WebSockets на стороне клиента (например, в браузере) используется JavaScript API, позволяющий устанавливать соединение с сервером, отправлять и получать данные. На стороне сервера для работы с WebSockets может использоваться широкий спектр технологий и фреймворков, поддерживающих эту технологию.

👉 Можно посмотреть Примеры как отвечают люди на этот вопрос, или перейти К списку 1855 вопроса на Тестировщика. Ставь 👍 если нравится контент

🔐 | 🔐

Что такое Web Sockets (веб сокет) ?
Спросят с вероятностью 10%

WebSockets — это продвинутая технология, позволяющая открыть интерактивное коммуникационное сессию между пользовательским браузером (или другим клиентом) и сервером. С помощью него можно обмениваться данными в реальном времени без необходимости постоянно отправлять запросы на сервер, что является значительным улучшением по сравнению с традиционным HTTP-подключением.

Основные характеристики:

✅ Двусторонняя связь: В отличие от HTTP, где общение обычно инициируется клиентом, WebSockets позволяют серверу активно отправлять сообщения клиенту, когда появляются новые данные, без необходимости для клиента постоянно проверять сервер на наличие обновлений.
✅ Постоянное соединение: После установления соединения через WebSocket оно остаётся открытым, позволяя обмениваться данными в обе стороны до тех пор, пока одна из сторон явно не закроет соединение. Это сокращает задержки и повышает эффективность обмена данными между клиентом и сервером.
✅ Совместимость с HTTP: Соединение WebSocket начинается с HTTP-запроса, который затем "повышается" до WebSocket-соединения. Это обеспечивает лёгкую интеграцию с существующей веб-инфраструктурой.
✅ Эффективность и масштабируемость: WebSockets используют гораздо меньше ресурсов по сравнению с традиционными HTTP-запросами, особенно в приложениях, требующих частых обновлений данных в реальном времени.

Примеры:

- Чаты и мгновенные сообщения: Быстрый обмен сообщениями между пользователями в реальном времени.
- Онлайн-игры: Обеспечение низкой задержки и постоянного обновления состояния игры для всех участников.
- Торговые платформы: Мгновенное отображение изменений цен и обновлений рынка без задержек.
- Коллаборативные приложения: Поддержка реального времени совместной работы над документами и проектами.

Для работы с WebSockets на стороне клиента (например, в браузере) используется JavaScript API, позволяющий устанавливать соединение с сервером, отправлять и получать данные. На стороне сервера для работы с WebSockets может использоваться широкий спектр технологий и фреймворков, поддерживающих эту технологию.

👉 Можно посмотреть Примеры как отвечают люди на этот вопрос, или перейти К списку 1855 вопроса на Тестировщика. Ставь 👍 если нравится контент

🔐 | 🔐

И на следующий день минус продуктивность)

☠️ Парсинг Instagram

Модуль многофункциональный, умеет:
➡️ загружать общедоступные и частные профили;
➡️ сообщения;
➡️ фотографии, хэштеги, истории пользователей;
➡️ качает комментарии и геотеги;
➡️ позволяет отслеживать изменения профиля;
➡️ детально настривать фильтрацию;
➡️ получать информацию о профиле и много чего интересного.

https://youtu.be/Iy2ERjDzvdo

#youtube #soft #python

📱Вчера Илон Маск в очередной раз назвал WhatsApp небезопасным, а сегодня мессенджер прилёг в России.

Совпадение? - Конечно😂

Благодаря этим новостям, я вспомнил про существоание вотсапа, сто лет им не пользовался, онли телега. 

Ну и пока мессенджер не доступен, вот вам учебник по написанию его клона, пора подвинуть Цукерберга

🧑‍💻 Наглядная эволюция роботостроения за 40 лет

#cyberpunk

😎 Чтобы предотвратить хакерскую атаку, нужно сыграть на опережение...

Компания Zotac саморучно, но слуачайно, слила в сеть личные данные клиентов из базы RMA.

RMA — возврат некачественных😁 или неисправных изделий производителю для ремонта.

🔊В итоге можно было вбить в гугле запрос "Zotac RMA" и получить все данные клиентов, которые они вводили при обращении в компанию и при оплате счёта

Подписаться

😄 Чел проспал на работу и придумал гениальную отмазку

Чтобы оправдать свое опоздание, он использовал руль и видео с пробками. Причем ему даже позвонили по видеосвязи, но спалить его не удалось 😂

Берем на заметку 😀

#humor #cyberpunk