Forwarded from Python School
Ajax required
Этот декоратор проверяет, является ли запрос AJAX-запросом, этот декоратор полезен, когда мы работаем с Javascript-фреймворками такими как jQuery, и является хорошим способом защиты нашего приложения.
Этот декоратор проверяет, является ли запрос AJAX-запросом, этот декоратор полезен, когда мы работаем с Javascript-фреймворками такими как jQuery, и является хорошим способом защиты нашего приложения.
Forwarded from Базы данных & SQL
Как подружить Python и базы данных SQL.
Подробное руководство.
#python #postgresql #sqlite #mysql
Автор данной статьи рассказывает как связать Python и такие СУБД как: SQLite, MySQL и PostgreSQL.
Читать
Подробное руководство.
#python #postgresql #sqlite #mysql
Автор данной статьи рассказывает как связать Python и такие СУБД как: SQLite, MySQL и PostgreSQL.
Читать
Forwarded from Инжиниринг Данных (Dmitry Anoshin)
Заключительное видео по модулю 5 - Python в Облаке AWS на базе AWS Python Workshop. Так же Сергей перевел весь воркшоп на русский, я сам его прошел и остался очень довольный, все как мы любим - от простого к сложному.
Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили вв конце модуля про облычные вычисления провести Workshop по Python на AWS. Воркшоп доступен на английском и русском языках. Из него вы на парктики узнаете основы работы с Python:
📌 Переменные
📌 Типы данных
📌 Пакеты
📌 Функции
📌 Аргументы и параметры
📌 Циклы и Условия
📌 Логирование и Ошибки
📌 Python библиотека boto3 для работы с AWS
📌 Cloud9 - AWS IDE
Модуль 5 оффициально окончен. Все материалы по нему - в git, включая сертификат для linkedin и значок открытка для социальных сетей.
Далее я начну модуль 6, а Рома портирует модуль про облачные вычисления как отдельный самостоятельный курс на степик. Мы явно опережаем время с облаками, но это был важный элемент в современной аналитике.
Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили вв конце модуля про облычные вычисления провести Workshop по Python на AWS. Воркшоп доступен на английском и русском языках. Из него вы на парктики узнаете основы работы с Python:
📌 Переменные
📌 Типы данных
📌 Пакеты
📌 Функции
📌 Аргументы и параметры
📌 Циклы и Условия
📌 Логирование и Ошибки
📌 Python библиотека boto3 для работы с AWS
📌 Cloud9 - AWS IDE
Модуль 5 оффициально окончен. Все материалы по нему - в git, включая сертификат для linkedin и значок открытка для социальных сетей.
Далее я начну модуль 6, а Рома портирует модуль про облачные вычисления как отдельный самостоятельный курс на степик. Мы явно опережаем время с облаками, но это был важный элемент в современной аналитике.
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили…
Forwarded from Python Academy
Вызов программ операционной системы
sh — это полноценный интерфейс, как альтернатива
Все запускаемые команды импортируются, как обычные функции, но функциями не являются, а лишь динамически обращаются к командам системы. Таким образом мы можем по сути обратиться к любой программе в системе.
Для обращения к командам программы и передать набор аргументов команды, мы можем передать их как обычные аргументы функции.
Также в модуле реализована функция
#sh
sh — это полноценный интерфейс, как альтернатива
subprocess
, который позволяет вызывать любую программу, как если бы это была обычная функция. Все запускаемые команды импортируются, как обычные функции, но функциями не являются, а лишь динамически обращаются к командам системы. Таким образом мы можем по сути обратиться к любой программе в системе.
sh
полагается на системные вызовы Unix и работает только в Unix-подобных операционных системах, т.е. данный модуль не подойдет для работы с Windows.Для обращения к командам программы и передать набор аргументов команды, мы можем передать их как обычные аргументы функции.
Также в модуле реализована функция
which
, которая находит полный путь до программы либо возвращает None
, если программа не найдена.#sh
Forwarded from Python Academy
Находим схожие строки
В стандартной библиотеке Python существует модуль
Этот метод ищет "наилучшие" возможные совпадения. Первый аргумент задаёт искомую строку, второй аргумент — список, в котором выполняется поиск.
Также в метод можно передать необязательный аргумент
#difflib
В стандартной библиотеке Python существует модуль
difflib
, в котором есть интересный метод get_close_matches
. Он позволяет найти в списке строки, похожие на некую исходную.Этот метод ищет "наилучшие" возможные совпадения. Первый аргумент задаёт искомую строку, второй аргумент — список, в котором выполняется поиск.
Также в метод можно передать необязательный аргумент
n
, который задаёт максимальное число возвращаемых совпадений.#difflib
Forwarded from Python Academy
Гайд по Python для новичков
Если впервые на канале — полезно знать, что в Python Academy уже куча статей на разные темы. Вот лучшее из того, о чем я успел рассказать:
— Вирус локер на Python и Tkinter
— 7 фишек, максимально улучшающие твой код
— Работа с процессами в Python
— 99% точность в классификации цифр на Keras
— Pandas для начинающих
— Градиентный спуск: просто о сложном
#начинающим
Если впервые на канале — полезно знать, что в Python Academy уже куча статей на разные темы. Вот лучшее из того, о чем я успел рассказать:
— Вирус локер на Python и Tkinter
— 7 фишек, максимально улучшающие твой код
— Работа с процессами в Python
— 99% точность в классификации цифр на Keras
— Pandas для начинающих
— Градиентный спуск: просто о сложном
#начинающим
Forwarded from Python Academy
Аргументы и параметры командной строки
Для обработки передаваемых аргументов и создания удобный интерфейс командной строки в python есть отличный модуль
Для начала нам нужно создать объект парсера
Первым параметром
После добавления всех аргументов, нам нужно их спарсить с помощью метода
#argparse
Для обработки передаваемых аргументов и создания удобный интерфейс командной строки в python есть отличный модуль
argparse
.Для начала нам нужно создать объект парсера
ArgumentParser
, в который мы уже сможем добавить аргументы с нужными параметрами с помощью метода add_argument
.Первым параметром
add_argument
принимает либо имя обязательного позиционного аргумента, либо список опционального аргумента (опциональный аргумент идентифицируется через -
). Также у add_argument
есть множество необязательных опциональных параметров для работы с передаваемым значением аргумента, о них можете почитать в данной статье.После добавления всех аргументов, нам нужно их спарсить с помощью метода
parse_args
, на выходе мы получим объект со всеми содержащимися аргументами.#argparse
Forwarded from Инжиниринг Данных (Dmitry Anoshin)
Отличные примеры про использование error handler in Python "Python Try and Except Statements – How to Handle Exceptions in Python" https://www.freecodecamp.org/news/python-try-and-except-statements-how-to-handle-exceptions-in-python/
freeCodeCamp.org
Python Try and Except Statements – How to Handle Exceptions in Python
When coding in Python, you can often anticipate runtime errors even in a syntactically and logically correct program. These errors can be caused by invalid inputs or some predictable inconsistencies. In Python, you can use the try and the except blo...
Forwarded from Инжиниринг Данных (Dmitry Anoshin)
Статья написано про конкретный пример - пароли в Python, то есть о том, что нельзя хранить их в коде. На самом деле топик достаточно обширный. В облаках я уже привык использовать решения для безопасности, где я могу хранить ключи - AWS Secret Manager или Azure Key Vault. А как вы храните пароли, если не используете облако?
Другая проблема - это ротация паролей и ключей каждые 90 дней. Например, AWS Secret может сам меня ключ IAM secret key и подставлять в код - идеальный сценарий. У Azure, да и AWS можно вообще обходится без паролей, что тоже очень хорошая практика. Но интересно как с этим on premise?
"Stop Hardcoding Sensitive Data in Your Python Applications | by Ahmed Besbes | Sep, 2021 | Towards Data Science" https://towardsdatascience.com/stop-hardcoding-sensitive-data-in-your-python-applications-86eb2a96bec3
Другая проблема - это ротация паролей и ключей каждые 90 дней. Например, AWS Secret может сам меня ключ IAM secret key и подставлять в код - идеальный сценарий. У Azure, да и AWS можно вообще обходится без паролей, что тоже очень хорошая практика. Но интересно как с этим on premise?
"Stop Hardcoding Sensitive Data in Your Python Applications | by Ahmed Besbes | Sep, 2021 | Towards Data Science" https://towardsdatascience.com/stop-hardcoding-sensitive-data-in-your-python-applications-86eb2a96bec3
Forwarded from Data Science | Machinelearning [ru]
process mining: 100 строк кода и генератор логов у нас в руках
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Forwarded from Simulative
⚙️ Зачем нужны конфиги в Python и как работать с ними правильно?
Конфиги - необходимый атрибут в любом проекте, хотя некоторые программисты недооценивают их важность. С помощью конфигов удобно хранить данные доступов, прописывать пути до папок/логов и т.д.
Ок, то что конфиги нужны - вопросов нет. Но как с ними лучше работать? Существует большое количество мнений по этому поводу, но мы в своих проектах привыкли пользоваться .ini-файлами и библиотекой configparser. Такой подход снимает кучу головной боли - один раз мы прописываем все в конфиге и на все оставшееся время вообще забываем про него.
✅ Кстати, совет: если над проектом работает сразу несколько человек, то можно добавить конфиг в gitignore, чтобы у каждого была своя локальная копия с нужными настройками. Тогда конфиг не будет перезатираться при каждом git pull.
А как у вас обстоят дела с конфигами? Используете их или по-старинке храните все прямо в коде?)
Конфиги - необходимый атрибут в любом проекте, хотя некоторые программисты недооценивают их важность. С помощью конфигов удобно хранить данные доступов, прописывать пути до папок/логов и т.д.
Ок, то что конфиги нужны - вопросов нет. Но как с ними лучше работать? Существует большое количество мнений по этому поводу, но мы в своих проектах привыкли пользоваться .ini-файлами и библиотекой configparser. Такой подход снимает кучу головной боли - один раз мы прописываем все в конфиге и на все оставшееся время вообще забываем про него.
✅ Кстати, совет: если над проектом работает сразу несколько человек, то можно добавить конфиг в gitignore, чтобы у каждого была своя локальная копия с нужными настройками. Тогда конфиг не будет перезатираться при каждом git pull.
А как у вас обстоят дела с конфигами? Используете их или по-старинке храните все прямо в коде?)
Forwarded from Python School
Преобразуем список в словарь при помощи генератора словаря (ч.1)
Для преобразования списка Python в словарь также можно использовать генератор словаря.
Генератор словаря похож на генератор списка в том, что оба они создают новое значение соответствующего типа данных.
Что касается синтаксиса, в генераторе словаря используются фигурные скобки {}, а в генераторе списка — квадратные [ ].
Для преобразования списка Python в словарь также можно использовать генератор словаря.
Генератор словаря похож на генератор списка в том, что оба они создают новое значение соответствующего типа данных.
Что касается синтаксиса, в генераторе словаря используются фигурные скобки {}, а в генераторе списка — квадратные [ ].