Когда действительно нужны итераторы в python

И первое с чего нужно начать — итераторы нужны не ради экономия памяти, а они нужны ради контроля над чтением данных

Самый простой пример:

class DataStream:
    def __init__(self, source):
        self.source = source
        self.pos = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.pos >= len(self.source):
            raise StopIteration
        value = self.source[self.pos]
        self.pos += 1
        return value

Такой объект читает данные по одному элементу и запоминает позицию

Т.е. состояние хранится внутри и повторно пройтись по данным нельзя

stream = DataStream([1, 2, 3])

list(stream)  # [1, 2, 3]
list(stream)  # []

По сути если объект можно читать сколько угодно раз — это скорее коллекция
А если можно прочитать только один раз — это поток

Итератор — это одноразовый поток

В целом можно сделать и через генератор:

def stream(data):
    for x in data:
        yield x

Но так стоит делать в следующих ситуациях:
- нет необходимости возвращаться назад
- нет внешних эффектов
- не нужно управление процессом чтения

Но как только появится задача вроде "продолжить с места последнего падения" или "повторить последний шаг" — с генератором может быть больше проблем, чем пользы

Как можно сохранить позицию, например:

class CheckpointStream(DataStream):
    def checkpoint(self):
        return self.pos

    def restore(self, pos):
        self.pos = pos

stream = CheckpointStream([100, 200, 300])

print(next(stream))  # 100
saved = stream.checkpoint()

print(next(stream))  # 200
stream.restore(saved)

print(next(stream))  # снова 200

Так работают пакетные обработки, конвейеры данных и повторные запуски после ошибок


А асинхронный вариант может выглядеть так:

class AsyncStream:
    def __aiter__(self):
        return self

    async def __anext__(self):
        ...

# Дальше обычный цикл:
async for item in stream:
    ...

Если подытожить:
Генератор — удобный синтаксис
Итератор — инструмент управления

Если контроль над данными и позициями не нужен — не усложняйте код, можете просто использовать генератор


⭐️ Пост Guru Python:
Сергей Филичкин

Если ты хочешь получить оффер, то тебе нужно понять, на что стоит тратить свои силы при подготовке к трудоустройству

Когда ты смотришь вакансии, начинает казаться, что ты должен выучить всё и сразу. Ты вроде уже пишешь какой-то функционал, решаешь задачки, чувствуешь прогресс, но при этом не понимаешь, стоит ли выучить ещё одну кучу технологий либо нужно уже остановиться на том, что есть. И вот эта каша в голове не дает тебе сделать первый шаг – откликнуться на вакансию и пройти собеседование

Попробуй сейчас проверить свои знания и готовность идти к собесам 👀

1. Убедись, что ты понимаешь, как твои инструменты работают внутри ("под капотом"). На уровне мидла важно как минимум разбираться в асинхронности, работе памяти и многопоточности

2. Если ты всё-таки выбираешь работать с более сложными технологиями, то проверь, что хорошо в них разбираешься. Да, нужно глубоко знать хотя бы один фреймворк, а об остальных стоит иметь какое-то представление (и желательно не совсем поверхностное)

3. А если ты уже на этапе составления резюме и собесов, проверь, как упаковал свой опыт (ведь собеседования буквально все больше начинают походить на продажу в магазине или даже на рынке 🫠). В резюме крайне желательно указать свои настоящие бизнес-кейсы (с описанием архитектурных решений, проблемами, с которыми столкнулся, и тем, как ты их решил)

Твоя основная задача вообще не в том, чтобы всё тупо вызубрить. Она заключается в том, чтобы реально разобраться в разработке и самое главное доказать работодателю, что ты понимаешь, что и зачем ты делаешь

⭐️ Пост Guru Python:
Сергей Филичкин

Мало кто знает, что наличие хард скилов не всегда обеспечивает карьерный рост(

Наверняка ты замечал, что, несмотря на опыт и владение современным стеком, ты постоянно сталкиваешься с одним и тем же потолком: в зарплате, сложности в решении задач и ощущении, что не растешь

3 ситуации, с которыми сталкивается большинство:

1. Делаешь на работе всё на автомате, а на собесе – тупишь
Решаешь задачи автоматически, уже не думая. При этом стоит попасть на техническое интервью, даже на вакансию middle+ – начинаешь объяснять простые вещи сложно, путаешься в теории, не можешь связно рассказывать

2. Выполняешь задачи уровня выше за прежние деньги
Берёшь на себя всё больше ответственности (по факту уже работаешь как middle+ - senior), но получаешь всё ту же оплату на которую приходил (или чуть выше). А заговорить об этом как-то неловко, вдруг откажут или вообще уволят 🫣🤦‍♂️

3. Хочешь уже найти новую работу, но постоянно сам себя обманываешь
Составляешь план, решаешь подучить технологии/теорию, а через неделю снова скатываешься в прокрастинацию и рутину

По факту все решается просто: тебе нужна система. Которая заставит тебя каждый день предпринимать хотя бы маленькие шаги на пути к твоей цели. Поэтому постарайся сосредоточиться не на изучении теории и изучении только в момент "озарения" (по сути когда пришла мотивация), а постарайся выстроить систему, которая будет двигать тебя к результату

На работе же ты тоже строишь "систему", чтобы она всегда работала (в идеале) и давала прогнозируемый результат. Так вот сделай систему для своей жизни

Пока ты не выстроишь такую, ты постоянно будешь попадать в те 3 ситуации, о которых писал выше

⭐️ Пост Guru Python:
Сергей Филичкин