Инструменты веб-скрейпинга на Python 👩🏽💻
• Requests
Запросы упрощают отправку HTTP-запросов. Для добавления аутентификации, аргументов и строк запросов конфигурации к URL-адресам, можно использовать API запросов и метод get JSON. Requests — довольно популярная среди специалистов по работе с данными библиотека для парсинга многостраничных веб-сайтов.
• Beautiful Soup
Beautiful Soup используется для очистки и извлечения данных из HTML и XLM и для анализа HTML-текста, позволяет преобразовывать текстовые данные в структурированную таблицу или фрейм данных pandas. В некоторых случаях вам нужен только тег таблицы, и вы можете получить доступ ко всем данным без разбора текста.
• Scrapy
Scrapy — это совместная платформа с открытым исходным кодом для парсинга и сканирования веб-страниц. Это быстро, просто и расширяемо для сканирования многостраничных веб-сайтов для извлечения данных в структурированном формате. Обычно он используется для интеллектуального анализа данных, мониторинга и автоматизированного тестирования.
• Requests
Запросы упрощают отправку HTTP-запросов. Для добавления аутентификации, аргументов и строк запросов конфигурации к URL-адресам, можно использовать API запросов и метод get JSON. Requests — довольно популярная среди специалистов по работе с данными библиотека для парсинга многостраничных веб-сайтов.
• Beautiful Soup
Beautiful Soup используется для очистки и извлечения данных из HTML и XLM и для анализа HTML-текста, позволяет преобразовывать текстовые данные в структурированную таблицу или фрейм данных pandas. В некоторых случаях вам нужен только тег таблицы, и вы можете получить доступ ко всем данным без разбора текста.
• Scrapy
Scrapy — это совместная платформа с открытым исходным кодом для парсинга и сканирования веб-страниц. Это быстро, просто и расширяемо для сканирования многостраничных веб-сайтов для извлечения данных в структурированном формате. Обычно он используется для интеллектуального анализа данных, мониторинга и автоматизированного тестирования.
🔥3👍1
Инструменты веб-разработки на Python 👩🏽💻
• Flask
Flask — это веб-фреймворк с открытым исходным кодом для создания веб-приложений и REST API. Flask основан на наборе инструментов WSGI (Интерфейс шлюза веб-сервера) и механизме шаблонов Jinja2. Его можно использовать для создания как простых, так и крупномасштабных веб-приложений, таких как веб-сайты для ведения блогов, приложения для социальных сетей, веб-страницы портфолио, приложения для машинного обучения и панель аналитики.
• Streamlit
Streamlit — это самый быстрый и простой способ создания и публикации веб-приложений. Вы можете создать портфолио, панель аналитики, веб-приложение для машинного обучения, учебное пособие, а также приложения для геопространственных данных и компьютерного зрения за несколько минут. Вам просто нужно добавить виджет аналогично объявлению переменных в Python. Нет необходимости изучать внутреннюю разработку, определять маршруты и обрабатывать HTTP-запросы, HTML, CSS и JavaScript. Большинство специалистов по данным используют Streamlit для демонстрации финансовых отчетов, исследований и концепций машинного обучения.
• FastAPI
FastAPI — это веб-фреймворк для создания высокопроизводительных веб-API. Подобно Streamlit, для создания готовых веб-приложений требуется несколько строк кода. После развертывания веб-приложения вы можете получить к нему доступ с помощью графического интерфейса или с помощью HTTP-запросов. Он быстрый, интуитивно понятный и надежный. Он также используется для внутреннего кризисного управления и управления аутентификацией для веб-приложений.
• Flask
Flask — это веб-фреймворк с открытым исходным кодом для создания веб-приложений и REST API. Flask основан на наборе инструментов WSGI (Интерфейс шлюза веб-сервера) и механизме шаблонов Jinja2. Его можно использовать для создания как простых, так и крупномасштабных веб-приложений, таких как веб-сайты для ведения блогов, приложения для социальных сетей, веб-страницы портфолио, приложения для машинного обучения и панель аналитики.
• Streamlit
Streamlit — это самый быстрый и простой способ создания и публикации веб-приложений. Вы можете создать портфолио, панель аналитики, веб-приложение для машинного обучения, учебное пособие, а также приложения для геопространственных данных и компьютерного зрения за несколько минут. Вам просто нужно добавить виджет аналогично объявлению переменных в Python. Нет необходимости изучать внутреннюю разработку, определять маршруты и обрабатывать HTTP-запросы, HTML, CSS и JavaScript. Большинство специалистов по данным используют Streamlit для демонстрации финансовых отчетов, исследований и концепций машинного обучения.
• FastAPI
FastAPI — это веб-фреймворк для создания высокопроизводительных веб-API. Подобно Streamlit, для создания готовых веб-приложений требуется несколько строк кода. После развертывания веб-приложения вы можете получить к нему доступ с помощью графического интерфейса или с помощью HTTP-запросов. Он быстрый, интуитивно понятный и надежный. Он также используется для внутреннего кризисного управления и управления аутентификацией для веб-приложений.
👍2
Инструменты визуализации данных Python 👩🏽💻
• Matplotlib
Matplotlib — это ворота в мир визуализации данных. С помощью Matplotlib вы можете создавать полностью настраиваемые статические, анимированные и интерактивные визуализации. Matplotlib интуитивно понятен, вы можете использовать его для трехмерной, многоуровневой и детальной визуализации.
• Seaborn
Seaborn — это высокоуровневый интерфейс на основе Matplotlib для создания привлекательных статистических графиков. Он легко адаптируется, для его настройки можно использовать matplotlib: для создания нескольких графиков, редактирования оси, заголовка или даже цветов.
• Plotly
Если вам нужны функции Tableau или PowerBI, вы используете библиотеку Plotly Python для отображения интерактивных графиков и графиков качества публикации. Вы можете увеличить график, выделить один столбец, отфильтровать данные и даже анимировать его в соответствии со своими потребностями. Он поставляется с настраиваемыми элементами управления и позволяет вам анимировать ваши визуализации и работать над преобразованием данных. Plotly также содержит виджеты Jupyter, 3D-диаграммы, диаграммы AI, финансовые диаграммы и научные диаграммы. Plotly — лучший инструмент для создания аналитических отчетов на основе Jupyter.
• Pandas-profiling
Pandas-profiling — это инструмент AutoEDA для создания отчетов по исследовательской аналитики данных с помощью одной строки кода. Отчет включает типы столбцов, отсутствующие значения, уникальные значения, квантильную статистику, описательную статистику, гистограмму, корреляцию, текстовый анализ, а также анализ файлов и изображений. Это очень полезный инструмент, когда у вас мало времени на изучение.
• Matplotlib
Matplotlib — это ворота в мир визуализации данных. С помощью Matplotlib вы можете создавать полностью настраиваемые статические, анимированные и интерактивные визуализации. Matplotlib интуитивно понятен, вы можете использовать его для трехмерной, многоуровневой и детальной визуализации.
• Seaborn
Seaborn — это высокоуровневый интерфейс на основе Matplotlib для создания привлекательных статистических графиков. Он легко адаптируется, для его настройки можно использовать matplotlib: для создания нескольких графиков, редактирования оси, заголовка или даже цветов.
• Plotly
Если вам нужны функции Tableau или PowerBI, вы используете библиотеку Plotly Python для отображения интерактивных графиков и графиков качества публикации. Вы можете увеличить график, выделить один столбец, отфильтровать данные и даже анимировать его в соответствии со своими потребностями. Он поставляется с настраиваемыми элементами управления и позволяет вам анимировать ваши визуализации и работать над преобразованием данных. Plotly также содержит виджеты Jupyter, 3D-диаграммы, диаграммы AI, финансовые диаграммы и научные диаграммы. Plotly — лучший инструмент для создания аналитических отчетов на основе Jupyter.
• Pandas-profiling
Pandas-profiling — это инструмент AutoEDA для создания отчетов по исследовательской аналитики данных с помощью одной строки кода. Отчет включает типы столбцов, отсутствующие значения, уникальные значения, квантильную статистику, описательную статистику, гистограмму, корреляцию, текстовый анализ, а также анализ файлов и изображений. Это очень полезный инструмент, когда у вас мало времени на изучение.
👍3
Веб-разработка — это новый чёрный ✨
Давно меня здесь не было и пора возвращаться🎉
Хочется немного изменить тематику канала и направить её в русло web-разработки. Причем, будет материал и про frontend и про backend 💻
А что это такое и для чего оно нужно вам поможет разобраться следующая шпаргалка, ну что? погнали?✈️
Давно меня здесь не было и пора возвращаться🎉
Хочется немного изменить тематику канала и направить её в русло web-разработки. Причем, будет материал и про frontend и про backend 💻
А что это такое и для чего оно нужно вам поможет разобраться следующая шпаргалка, ну что? погнали?✈️
👍3
Почему web разработка столь популярна 🧐
• WEB везде 😁
Сейчас у большинства приложений, сервисов, игр есть их веб версии.
В вебе работает огромное количество приложений, которыми вы пользуетесь каждый день: почта, соцсети, чаты и мессенджеры, дизайнерские и редакторские программы, бухгалтерия и онлайн-банки.
• Быстрый переход от старта до продукта 🚀
При веб разработке мы сразу создам графический интерфейс, а потом вешаем на него обработчики различных событий. Преимущество в том, что почти сразу мы можем видеть "продукт". Так же созданные таким образом приложения и страницы легко
представить на всеобщее обозрение.
• Обширный рынок труда 💸
Веб разработка представляет собой широкий инструментарий:
📍Классическая разработка сайтов.
📍Онлайн-сервисы, маркетплейсы и веб-витрины.
📍Сложная вёрстка и интерактивный фронтенд.
📍Бэкенд.
📍Полноценная разработка веб-приложений.
📍Кроссплатформенная разработка. 📍Поддержка сайтов и приложений.
• WEB везде 😁
Сейчас у большинства приложений, сервисов, игр есть их веб версии.
В вебе работает огромное количество приложений, которыми вы пользуетесь каждый день: почта, соцсети, чаты и мессенджеры, дизайнерские и редакторские программы, бухгалтерия и онлайн-банки.
• Быстрый переход от старта до продукта 🚀
При веб разработке мы сразу создам графический интерфейс, а потом вешаем на него обработчики различных событий. Преимущество в том, что почти сразу мы можем видеть "продукт". Так же созданные таким образом приложения и страницы легко
представить на всеобщее обозрение.
• Обширный рынок труда 💸
Веб разработка представляет собой широкий инструментарий:
📍Классическая разработка сайтов.
📍Онлайн-сервисы, маркетплейсы и веб-витрины.
📍Сложная вёрстка и интерактивный фронтенд.
📍Бэкенд.
📍Полноценная разработка веб-приложений.
📍Кроссплатформенная разработка. 📍Поддержка сайтов и приложений.
👍1
Что такое Angular 🧐
• Angular — это фреймворк компании Google, который используется для разработки браузерных, десктопных и мобильных приложений, где можно быстро и бесшовно перемещаться по сайту.
• Angular работает по принципу SPA.
• Angular содержит компоненты, модули, сервисы, директивы, и формы.
• Для коммерческой разработки с помощью Angular нужны следующие знания:
📍HTML, CSS, JavaScript — база для запуска сайта.
📍TypeScript — рекомендованный язык для Angular-приложений.
📍Git и GitHub — инструменты хранения кода и командной работы.
📍Пакетные менеджеры — технология установки программ и обновлений.
📍Препроцессоры — синтаксис для упрощённого написания кода.
Подробнее об этом можно почитать в журнале "Код" 💻
• Angular — это фреймворк компании Google, который используется для разработки браузерных, десктопных и мобильных приложений, где можно быстро и бесшовно перемещаться по сайту.
• Angular работает по принципу SPA.
• Angular содержит компоненты, модули, сервисы, директивы, и формы.
• Для коммерческой разработки с помощью Angular нужны следующие знания:
📍HTML, CSS, JavaScript — база для запуска сайта.
📍TypeScript — рекомендованный язык для Angular-приложений.
📍Git и GitHub — инструменты хранения кода и командной работы.
📍Пакетные менеджеры — технология установки программ и обновлений.
📍Препроцессоры — синтаксис для упрощённого написания кода.
Подробнее об этом можно почитать в журнале "Код" 💻
👍1
Webapp и telegram ✨
В одном из обновлений телеграм-боты получили много новых функций. Из них для разработчиков самая примечательная - Telegram Web Apps (Веб-приложения внутри телеграм).
С этим нововведением разработчики могут подключать к своим ботам web-приложения, которые открываются в дополнительном окне, что сильно расширяет инструментарий, а, следовательно и функционал ботов в телеграм.
Используя angular и ts я создала небольшой бот пример, который покажет как это все работает 🤙🏻
Бот содержит в себе веб приложение, которое можно открыть и с помощью кнопки, предоставляемой телеграмм и с помощью кнопки клавиатуры.
Попробуй @WebAppCookie_Bot и испытай судьбу 💫
В одном из обновлений телеграм-боты получили много новых функций. Из них для разработчиков самая примечательная - Telegram Web Apps (Веб-приложения внутри телеграм).
С этим нововведением разработчики могут подключать к своим ботам web-приложения, которые открываются в дополнительном окне, что сильно расширяет инструментарий, а, следовательно и функционал ботов в телеграм.
Используя angular и ts я создала небольшой бот пример, который покажет как это все работает 🤙🏻
Бот содержит в себе веб приложение, которое можно открыть и с помощью кнопки, предоставляемой телеграмм и с помощью кнопки клавиатуры.
Попробуй @WebAppCookie_Bot и испытай судьбу 💫
👍1
Называем переменные и функции так, чтобы вас уважали ✨
Небольшие правила, чтобы ваш код был красивым, читаем и был понятен каждому😏
Небольшие правила, чтобы ваш код был красивым, читаем и был понятен каждому😏
👍2
Visual Studio Code ✨
Программу можно скачать с официального сайта. VS Code - это бесплатный продукт с открытым исходным кодом от Микрософт, доступный на всех платформах.
Сразу после установки VS Code не умеет показывать результаты работы кода. Для просмотра написанных веб-страниц следует использовать расширения Live Server, которое необходимо установить дополнительно.
Программу можно скачать с официального сайта. VS Code - это бесплатный продукт с открытым исходным кодом от Микрософт, доступный на всех платформах.
Сразу после установки VS Code не умеет показывать результаты работы кода. Для просмотра написанных веб-страниц следует использовать расширения Live Server, которое необходимо установить дополнительно.
👍1
Visual Studio Code: кому и зачем он нужен ✨
Интересная статья о VS Code от журнала "Код". Статья познакомит вас с базовыми настройками студии👇🏻
https://thecode.media/visual-studio-code/
Интересная статья о VS Code от журнала "Код". Статья познакомит вас с базовыми настройками студии👇🏻
https://thecode.media/visual-studio-code/
👍2
Полезный сайт справочник для тех, кто изучает web-технологии ✨
Здесь вы найдете справочники по HTML, CSS и JS, информацию по типографике .
В разделе «Уроки» Вы сможете найти идеи и примеры оформления различных элементов web-интерфейса, узнать про различные приемы и правила использования тех или иных CSS-свойств.
Советую перейти и ознакомиться👇🏻
https://html5book.ru/
Здесь вы найдете справочники по HTML, CSS и JS, информацию по типографике .
В разделе «Уроки» Вы сможете найти идеи и примеры оформления различных элементов web-интерфейса, узнать про различные приемы и правила использования тех или иных CSS-свойств.
Советую перейти и ознакомиться👇🏻
https://html5book.ru/
👍1
Forwarded from Яндекс Образование
Продолжаем рассказывать о возможностях этой осени. Открыта регистрация на Intern Backend Meetup — приглашаем начинающих разработчиков!
Вас ждут лекции от экспертов Яндекса о новых технологиях и подходах, которые мы используем при создании сервисов. Программа появится немного позже, а пока — save the date:
▫️С++ — 14 ноября
▫️Go — 21 ноября
Регистрация: https://clck.ru/32UEuw
Встречи пройдут онлайн и офлайн в нашем московском офисе. Тех, кто хочет прийти лично пообщаться с командами и рекрутерами, мы попросим при регистрации прикрепить резюме и решить одну задачу в Контесте.
А если вы пишете на других языках (Python, Java, Swift, Kotlin или JavaScript) 👉🏻
Не упустите шанс поучаствовать в ускоренном наборе на стажировку в Яндексе — Intern Week Offer . Напоминаем, подать заявку и сделать тестовое задание нужно до 30 октября
Вас ждут лекции от экспертов Яндекса о новых технологиях и подходах, которые мы используем при создании сервисов. Программа появится немного позже, а пока — save the date:
▫️С++ — 14 ноября
▫️Go — 21 ноября
Регистрация: https://clck.ru/32UEuw
Встречи пройдут онлайн и офлайн в нашем московском офисе. Тех, кто хочет прийти лично пообщаться с командами и рекрутерами, мы попросим при регистрации прикрепить резюме и решить одну задачу в Контесте.
А если вы пишете на других языках (Python, Java, Swift, Kotlin или JavaScript) 👉🏻
❤1
Forwarded from Russian Business
Как придумать идею для стартапа: 10 стратегий
Есть множество рекомендаций о том, как найти идею для стартапа. Например, «устроить мозговой штурм» и «соединить две идеи в одну». Однако такие советы в основном предполагают, что перспективная концепция появится просто из ниоткуда.
Гораздо эффективнее использовать продуманные стратегии, позволяющие последовательно генерировать бизнес-идею. Продукт или услуга, разработанный таким способом, с большей вероятностью будет пользоваться спросом. Рассмотрим 10 таких стратегий.
@rb_ru
Есть множество рекомендаций о том, как найти идею для стартапа. Например, «устроить мозговой штурм» и «соединить две идеи в одну». Однако такие советы в основном предполагают, что перспективная концепция появится просто из ниоткуда.
Гораздо эффективнее использовать продуманные стратегии, позволяющие последовательно генерировать бизнес-идею. Продукт или услуга, разработанный таким способом, с большей вероятностью будет пользоваться спросом. Рассмотрим 10 таких стратегий.
@rb_ru