В Python-сервисе нужно обрабатывать очень большие объёмы данных построчно из файлов размером в десятки гигабайт. Какой подход наиболее правильный, чтобы избежать проблем с памятью?
Варианты ответа:
👾 — Использовать readlines() для чтения всего файла в список
👍 — Читать файл построчно через итератор (for line in file:)
🥰 — Сначала загрузить файл в pandas.DataFrame, а затем обрабатывать
⚡️ — Использовать json.load() для загрузки файла в память
Библиотека задач по Python
Варианты ответа:
👾 — Использовать readlines() для чтения всего файла в список
👍 — Читать файл построчно через итератор (for line in file:)
🥰 — Сначала загрузить файл в pandas.DataFrame, а затем обрабатывать
⚡️ — Использовать json.load() для загрузки файла в память
Библиотека задач по Python
🥰12👍10
Прокачай свой Python на 100%
Задачи помогают запомнить синтаксис. Фундаментальные курсы помогают понять, почему решение должно быть именно таким. Совмести приятное с полезным.
Оффер 1 + 2:
Платишь за один курс (старший по цене), забираешь три.
Рекомендуем:
— Алгоритмы и структуры данных;
— Математика для Data Science (если смотришь в сторону AI);
— Архитектуры и шаблоны проектирования.
Забрать бандл
До 31 декабря.
Менеджер: @manager_proglib
Задачи помогают запомнить синтаксис. Фундаментальные курсы помогают понять, почему решение должно быть именно таким. Совмести приятное с полезным.
Оффер 1 + 2:
Платишь за один курс (старший по цене), забираешь три.
Рекомендуем:
— Алгоритмы и структуры данных;
— Математика для Data Science (если смотришь в сторону AI);
— Архитектуры и шаблоны проектирования.
Забрать бандл
До 31 декабря.
Менеджер: @manager_proglib
❤1
У вас есть Python-сервис, обрабатывающий большие объёмы данных. При профилировании видно, что программа тратит много времени на создание временных коллекций при работе с map, filter и list comprehensions. Какой подход поможет уменьшить расход памяти и повысить эффективность?
👾 — Переписать код на while-циклы с индексами
👍 — Использовать генераторы и выражения-генераторы вместо создания списков
🥰 — Заменить map и filter на вложенные for-циклы
⚡️ — Принудительно вызывать gc.collect() после каждой итерации
Библиотека задач по Python
👾 — Переписать код на while-циклы с индексами
👍 — Использовать генераторы и выражения-генераторы вместо создания списков
🥰 — Заменить map и filter на вложенные for-циклы
Библиотека задач по Python
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16
Что будет у functools.lru_cache, если аргумент не хешируемый (например, list)?
👾 — Автоматически скопирует и захеширует любой аргумент
👍 — Построит ключ из args/kwargs; при нехешируемом аргументе бросит TypeError на вызове
🥰 — Нехешируемые аргументы игнорируются при ключе
⚡️ — Учитывает только позиционные аргументы, kwargs игнорируются
Библиотека задач по Python
👾 — Автоматически скопирует и захеширует любой аргумент
👍 — Построит ключ из args/kwargs; при нехешируемом аргументе бросит TypeError на вызове
🥰 — Нехешируемые аргументы игнорируются при ключе
⚡️ — Учитывает только позиционные аргументы, kwargs игнорируются
Библиотека задач по Python
👍7
В чем разница между модулем и пакетом в Python?
Каждый файл программы на Python является модулем, который может импортировать другие модули в виде объектов. Таким образом, модуль служит способом организации вашей программы. Папка, содержащая программу на Python, называется пакетом модулей.
Библиотека задач по Python
Библиотека задач по Python