#python python... PYTHON 🔛 🚀
11 subscribers
914 photos
7 videos
158 files
1.54K links
Download Telegram
Forwarded from HABR FEED + OPENNET
Что может пойти не так с Data Science? Часть 1: сбор данных
https://habr.com/ru/post/510944/?utm_source=habrahabr&utm_medium=rss&utm_campaign=510944
Tags: Блог компании RUVDS.com, Data Engineering, Data Mining, Python, Социальные сети и сообщества, data science, сбор данных, планирование, agile
Author paramonov_ruvds #habr
Forwarded from Python Academy
Какая тема вам больше интересна?
Anonymous Poll
55%
Телеграм-боты
45%
Этичный хакинг
Forwarded from Python Academy
Используем pathlib вместо os

Стандартная библиотека Python 3 содержит модуль pathlib, включающий в себя функцию Path(), достаточную для полноценной работы с файловыми путями.

Одной из самых крутых фич в работе с путями является замена os.path.join() на более удобный и элегантный вариант, изображенный на картинке.

По сути эта библиотека заменяет ранее используемые для работы с путями функции из модуля os (например  os.mkdir или os.path) на более удобные.

#path #os
The Python 3 Standard Library by Example (2017)
Автор: Doug Hellmann

Стандартная библиотека Python 3 содержит сотни модулей для взаимодействия с операционной системой, интерпретатором и Интернетом - все они тщательно протестированы и готовы к началу разработки приложений. Автор книги, эксперт по Python, знакомит читателя с каждой обширной частью библиотеки при помощи примеров кода и качественных описаний. Книга может быть использована как справочник.

Скачать книгу: https://t.me/progbook2/330
Advanced Python: параллелизм и многопоточность.

Автор статьи объясняет почему, когда и как использовать потоки, асинхронные и множественные процессы в Python.

https://proglib.io/w/dce340be
#python python... PYTHON 🔛 🚀
https://github.com/evhub/coconut/blob/master/tests/main_test.py#L140
def rm_path(path):
"""Delete a path."""
if os.path.isdir(path):
shutil.rmtree(path)
elif os.path.isfile(path):
os.remove(path)

def call_python(args, kwargs):
"""Calls the current Python."""
call([sys.executable] + args,
kwargs)



@contextmanager
def using_path(path):
"""Removes a path at the beginning and end."""
if os.path.exists(path):
rm_path(path)
try:
yield
finally:
try:
rm_path(path)
except OSError:
logger.display_exc()


@contextmanager
def using_dest():
"""Makes and removes the dest folder."""
try:
os.mkdir(dest)
except Exception:
shutil.rmtree(dest)
os.mkdir(dest)
try:
yield
finally:
try:
rm_path(dest)
except OSError:
logger.display_exc()


@contextmanager
def using_logger():
"""Use a temporary logger, then restore the old logger."""
saved_logger = Logger(logger)
try:
yield
finally:
logger.copy_from(saved_logger)


from coconut.terminal import logger, Logger

def test_pyston(self):
with using_path(pyston):
comp_pyston(["--no-tco"])
if PY2 and PYPY:
run_pyston()
#python python... PYTHON 🔛 🚀
https://github.com/evhub/coconut/blob/master/tests/main_test.py#L140
def is_hashable(obj):
"""Determine if obj is hashable."""
try:
hash(obj)
except Exception:
return False
else:
return True


def assert_hashable_or_dict(name, obj):
"""Assert obj is hashable, or for dicts apply recursively to values."""
if isinstance(obj, dict):
for val in obj.values():
assert_hashable_or_dict(name, val)
else:
assert is_hashable(obj), "Constant " + name + " contains unhashable values"


def is_importable(name):
"""Determine if name can be imported."""
try:
import_module(name)
except ImportError:
return False
else:
return True
Using RoboBrowser to Login and Extract Data

В данном видео автор использует RoboBrowser, модуль Python-3 и инструмент для веб-автоматизации.
RoboBrowser - это библиотека Pythonic для автоматического просмотра веб-страниц и обработки форм. Он построен поверх запросов и библиотек BeautifulSoup. Напишем скрипт, который автоматически регистрируется в веб-форме и извлекает информацию после входа в систему.

#видеодня

https://www.youtube.com/watch?v=hrdDIrT9kJI