Мощный фреймворк для парсинга больших объемов данных

Scrapy — это фреймворк для парсинга сайтов, основанный на асинхронной архитектуре.

Ключевые компоненты Scrapy: пауки (Spiders) для определения правил парсинга, элементы (Items) для хранения извлеченной информации и каналы обработки (Pipelines) для обработки и сохранения данных.

Парсинг HTML на Scrapy выглядит так:

1. Паук отправляет запрос к сайту.
2. Получает ответ и извлекает данные.
3. Создает элементы с данными.
4. Передает элементы в pipeline.
5. Pipeline обрабатывает и сохраняет данные.

Ставьте «❤️», если пост оказался полезным!

✔ Меню канала

#чтотакое

Каким был первый компьютер?

Создание компьютера стало результатом работы многих инженеров и учёных, и нельзя выделить единственного его создателя.

Однако среди них, выделяется немецкий инженер Конрад Цузе. В 1936–1938 годах он построил первый программируемый механический компьютер Z1, а в 1941 году создал Z3 — первый полностью функционирующий программируемый цифровой компьютер.

Цузе также разработал первый высокоуровневый язык программирования Plankalkül, включающий современные концепции.

Интересно, что было много других учёных, которые также претендовали на создание "первого компьютера", и определить единственного создателя невозможно.

Но подробнее узнать о других создателях можно в статье по ссылке

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

Кто такой Кевин Митник?

Кевин Митник, родившийся 6 августа 1963 года в Лос-Анджелесе, и стал одним из самых известных хакеров в истории, взломав множество правительственных и корпоративных систем. Он мастерски использовал методы социальной инженерии и несколько лет скрывался от ФБР, демонстрируя свои навыки в киберпреступности.

С раннего возраста Кевин проявлял интерес к технологиям, получив сертификат радиолюбителя в 12 лет. В 1979 году он взломал школьную компьютерную сеть, получив доступ к системе оценок.

Позже он присоединился к группе хакеров и успешно взломал систему Digital Equipment Corporation, что подтвердило его технические способности.

Подробнее про него здесь

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

Популярная ИИ-библиотека на Python заразилась криптомайнером

Злоумышленники внедрили криптомайнер в версию 8.3.41 библиотеки, распространяя вредоносный код через платформу PyPI, воспользовавшись уязвимостью в GitHub Actions. Это позволило обойти проверку кода, так как изменения появились только в пакете на PyPI.

После обнаружения проблемы команда Ultralytics выпустила исправленные версии, но первая из них (8.3.42) также оказалась зараженной.

Только версия 8.3.43 была очищена от вредоносного кода. Инцидент привёл к значительному росту загрузки процессора у пользователей, установивших заражённые версии, и мог затронуть тысячи систем, использующих библиотеку.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

Что такое ELK-стек?

Стек ELK — это распределенная RESTful-система, состоящая из компонентов Elasticsearch, Logstash и Kibana, предназначенная для централизованного логирования и аналитики.

Elasticsearch выполняет функции базы данных NoSQL и поисковика, обеспечивая масштабирование и репликацию данных.

Он позволяет эффективно извлекать и обрабатывать данные из различных источников в режиме реального времени.

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

#чтотакое

Разработчик написал 25 тыс строк кода... на экране смартфона

Пользователь Reddit рассказал о разработчике, который создал плагин для Neovim, написав 25 000 строк кода на смартфоне с помощью приложения Termux.

Несмотря на ограничения экрана и отсутствие полноценной клавиатуры, он завершил проект качественно, что принесло ему около 2000 звёзд на GitHub. Тем самым он показал, как современные технологии позволяют программировать в неожиданных условиях.

Ставьте «❤️», если пост вас удивил!

✔ Меню канала

ChatGPT и другие ИИ упали и недоступны по всему миру

ChatGPT, генератор видео Sora и API OpenAI стали недоступны для пользователей по всему миру, включая интеграцию с Siri в iOS 18.2. Компания подтвердила сбой и работает над его устранением, но сроки восстановления неизвестны.

Проблема, вероятно, связана с наплывом пользователей iOS, желающих протестировать интеграцию. Кампания обещает держать в курсе новостей на странице по ссылке, пока ChatGPT не починят.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

Где хранить JWT токен на клиенте?

Всего существует 2 самых распространённых способа хранения JWT токенов на клиентской части: локальное хранилище (localStorage) и куки-файлы (cookie).

Local Storage. Основное преимущество локального хранилища заключается удобсте, ведь вы работаете к чистым javascript'ом, однако в этом случае страдает безопасность - уязвимость к XSS-атакам.

Cookie. Главное преимущество куки-файлов заключается в том, что они недоступны из JavaScript. В результате они не так уязвимы к XSS-атакам, как локальное хранилище, но может случиться так, что токены в куки-файлах сохранить не удастся.

✔ Ссылка на подробную статью

Ставьте «❤️», если хотите увидеть сравнение этих 2 способов!

✔ Меню канала

Что такое Electron?

Electron — это фреймворк от GitHub, созданный в 2013 году для разработки desktop приложений с использованием веб-технологий. Он основан на Chromium и Node.js, что позволяет интегрировать веб-технологии в dekstop программы.

Многие известные приложения, такие как Visual Studio Code, Slack и Discord, построены на Electron. Его главное преимущество — использование знакомых технологий, таких как Node.js, React/Vue, для создания полноценных приложений.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

#чтотакое

Что такое Pybind11?

Pybind11 — это библиотека, позволяющая легко создавать привязки между C++ и Python, упрощая интеграцию высокопроизводительных компонентов C++ в Python-приложения.

Он поддерживает современные функции C++, такие как шаблоны и умные указатели. Библиотека используется в проектах, требующих высокой производительности или доступа к существующему C++ коду.

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

#чтотакое

Релиз GitLab 17.6 с бета-версией Duo Chat

В релизе GitLab 17.6 представлено почти 150 улучшений, среди которых ключевое — возможность размещать и поддерживать большие языковые модели (LLM) в GitLab Duo Chat на собственном сервере.

Эта функция доступна в бета-версии для подписчиков Ultimate и Duo Enterprise. Автономные модели можно применять как локально, так и в частном облаке для общения и автозаполнения.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

Главные плюсы и минусы хранения JWT в куках

JWT - популярный способ аутентификации и авторизации пользователей в веб-приложениях. Одним из распространенных методов хранения JWT - хранение в куках. Давайте рассмотрим плюсы и минусы этого способа:

Главный плюс это безопасность, ведь куки с флагами HttpOnly и Secure защищают токен от доступа через JavaScript и обеспечивают его передачу по HTTPS, снижая риск XSS-атак.

Так же это достаточно удобно, т. к. токены в куках позволяют пользователю оставаться аутентифицированным даже после перезагрузки страницы или закрытия браузера при длительном сроке действия куков.

Главным минусов является уязвимость к CSRF. Куки подвержены атакам CSRF, так как автоматически отправляются с запросами.

Ещё размер и производительность этого способа играет важную роль, ведь у куки есть ограничение по размеру (до 4 КБ), поэтому это может стать проблемой при использовании больших JWT или нескольких токенов.

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

Главные плюсы и минусы хранения JWT в local Storage

В прошлый раз мы рассмотрели плюсы и минусы хранения JWT в куках. Давайте так же разберемся с хранением JWT в local storage :)

Плюсы хранения JWT в Local Storage:

1. Простота. Local Storage предоставляет простой API для сохранения и извлечения данных. Это делает его удобным для разработчиков, которые могут легко сохранять JWT после успешной аутентификации.

2. Долговременное хранение. Данные в Local Storage сохраняются даже после закрытия вкладки или браузера, что позволяет пользователям оставаться аутентифицированными при повторном входе на сайт.

3. Нет ограничений. В отличие от куки, которые имеют ограничение по размеру (обычно 4 КБ), Local Storage позволяет хранить более объемные данные.

Минусы хранения в local storage:

Одним из главных недостатков Local Storage является его уязвимость к атакам типа XSS. Если злоумышленник сможет выполнить скрипт на стороне клиента, он может получить доступ к JWT.

Так же в отличие от куки, данные в Local Storage не отправляются автоматически с запросами к серверу. Разработчикам нужно будет добавлять токен в заголовки запросов.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

SessionStorage — хранилище данных в браузере

SessionStorage — временное хранилище данных в браузере, очищающееся при закрытии вкладки, но сохраняющее данные при перезагрузке.

Его используют для хранения информации о неавторизованных пользователях, например, о просмотренных товарах или незаконченных заказах в интернет-магазинах и временного сохранения данных в формах.

Ставьте «❤️», если пост оказался полезным!

✔ Меню канала

#чтотакое

Альтернатива Bash? Да, это ZSH!

ZSH является расширенной версией Bourne Shell (sh) с множеством новых функций, поддержкой плагинов и тем. Она основана на Bash, что делает переход к ней простым.

Преимуществ ZSH очень много, но вот парочку основных:

Автоматическое выполнение команд, рекурсивное расширение путей, исправление орфографии и приблизительное завершение команд.

Особенно выделяется поддержка плагинов и тем, что делает ZSH более гибкой и настраиваемой.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

#чтотакое

Инструмент для сборки нативных модулей Node.js

Node-gyp — это инструмент, который позволяет разработчикам создавать и компилировать нативные модули для Node.js, интегрируя C и C++ код в JavaScript-приложения.

Основные функции node-gyp

1. Сборка нативных модулей: Использует файл binding.gyp для описания компиляции и зависимостей модуля.

2. Кроссплатформенность: Поддерживает Windows, macOS и Linux.

3. Интеграция с npm: Упрощает установку и использование нативных модулей.

Ставьте «❤️», если пост оказался интересным!

✔ Меню канала

#чтотакое

Что такое DLL?

DLL (Dynamic Link Library) — это файл в Windows, который содержит код и данные, используемые несколькими программами одновременно. Это позволяет экономить память и упрощает обновление ПО, так как разработчики могут создавать модули, загружаемые по мере необходимости.

DLL-файлы содержат функции и процедуры, доступные для различных приложений, что предотвращает дублирование кода. Они широко используются в играх, офисных программах и системных библиотеках, а понимание их работы помогает решать проблемы совместимости и устранять неполадки.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

#чтотакое

Что такое QR-фишинг?

QR-фишинг (квишинг) - это разновидность фишинга, в которой злоумышленники используют QR-коды для кражи личной информации, такой как учетные данные или номера кредитных карт.

Изначально злоумышленники создают поддельные QR-коды и распространяют их через электронные письма, текстовые сообщения, а так же размещают в общественных местах.

Пользователи обычно доверяют QR-кодам больше чем ссылкам. Сканируя такой код, вы попадаете на фальшивый сайт, внешне похожий на обычный, но такой сайт либо может загружать вредоносное ПО, либо будет запрашивать конфиденциальные данные.

Ставьте «❤️», если хотите узнать как избежать подобных атак и оставаться в безопасности!

✔ Меню канала

#кибербезопасность

Как защититься от QR-фишинга?

Чтобы защититься от QR-фишинга, важно проверять источник QR-кода и избегать сканирования кодов из незнакомых или подозрительных источников. Лучше всего использовать безопасные приложения для сканирования, которые позволяют предварительно просмотреть URL, и всегда проверяют адрес на легитимность.

Также не забывайте обновлять ПО вашего устройства и будьте осторожны с сайтами, требующими ввод личной информации. Установка антивирусного ПО также добавит уровень защиты к вашим данным.

Ставьте «❤️», если пост вам понравился!

✔ Меню канала

GitFlic замена GitHub?

GitFlic — это российская платформа, созданная в ответ на блокировки международных сервисов, таких как GitHub и GitLab. Она обеспечивает безопасность и контроль над проектами, предлагая инструменты для управления репозиториями и кодом, включая CI/CD.

Платформа ориентирована как на индивидуальных разработчиков, так и на крупные организации, предоставляя надежную альтернативу международным решениям и удовлетворяя растущие потребности в доступных и безопасных инструментах разработки.

Ставьте «❤️», если пост оказался полезным!

✔ Меню канала

GitHub Copilot стал полностью бесплатным внутри VSCode

GitHub запустил бесплатный план для Copilot, который позволяет пользователям получать доступ к ИИ-помощнику в VSCode без подписки.

Бесплатная версия включает 2000 автодополнений кода в месяц, 50 запросов в чате Copilot и доступ к моделям GPT-4o и Claude 3.5 Sonnet.

Чтобы активировать бесплатный план, нужно установить GitHub Copilot в VSCode и войти в аккаунт GitHub.

Подробности доступны в официальном блоге GitHub.

Ставьте «❤️», если пост вас удивил!

✔ Меню канала