ПРИНЦИПЫ ПОТОКОВОЙ ОБРАБОТКИ
ловись data большая и маленькая

Синхронная микропакетная обработка (#microBatch), как автобус по расписанию — ждём комплект данных за временной слот (микропакет), режем на кусочки (сеты) и паралелим. Плюсы очевидны:
— быстро (малый размер)
— дёшево (малый ресурс)
— сердито (минимальная задержка)
Но, неравномерность данных в сетах, может тормозить весь пакет.

Асинхронная микропакетная обработка (#eventDrive) решает эту проблему словно маршрутка — тригером выступает не расписание, а объем данных: «Набралось — поехали».
В то же время возникает проблема агрегирования данных, поскольку задачи по-прежнему изолированы.

Потоковая модель обработки #DAG формирует графы (конечная совокупность точек), которые с одной стороны полностью изолированы, с другой — не нуждаются в синхронизации.
Как генерация спарклайнов в Excel, где под каждую задачу клонируется (паралелится) свой граф.

В то же время, потоковая модель рассматривает данные как ресурс для принятия решения, и когда «окно» закрывается — решение принято, инные данные не могут быть интегрированы в «окно». Что исключает возможность повторной обработки исторических данных тем же кодом.

Модель непрерывного обновления (#stateful) не считает решение (окончательно) принятым и поэтому обновляет данные. Таким образом, в модели данные рассматриваются как поток изменений, где каждое изменение обновляет состояние вычисления.

В то же время буфер сохраняет возможность пересчитать историю с новым кодом — сделать ретроспективу. Например, подогнать уровень чувствительности к нужным решениям.

Помимо гибридных моделей (#lambda- и #kappa-архитектуры), отдельно стоит выделить специализированые #CEP-модели, которые работают внутри конкретных паттернов данных.

В любом случае, цель данного обзора — лишь познакомить с базывами методами работы в потоке, выделяя отличия от стат.анализа.

#dataStreaming

#TAGUCHI: ФУНКЦИЯ КАЧЕСТВА
+1 гвоздь в крышку LSS

Геничи Тагути, формализовал метод оптимизации требований посредством проектирования качества процессов.

Концепция основана на отказе от традиционной классификации брак/годный через математическую функцию потерь (экономически обоснованную оценку вариативности).

В рамках концепции актуальны понятия сигнал (целевое значение переменной) и шум (величина отклонения). В свою очередь факторы шума разделяются на управляемые (регулируемые) и неуправляемые — факторы среды.

Проектирование параметров качества (целевых значений сигнала системы) осуществляется с учётом остаточного уровня шума.

Изначально, метод позиционировался как инструмент #LEAN, но применение ортогональных массивов и статистического анализа #SPC, позволили занять почётное место в западной методологии SixSigma.

Метод #TAGUCHI — это элегантная математическая концепция, которая связывает вариативность и экономику предприятия. В то же время, метод остаётся абсолютно «ручным».

продолжение ›››

САМОДОСТАТОЧНЫЙ КОТИК БУСТ
альтернатива «ручным» методам

Ортогональные массивы — это мощный статистический ресурс позволяющий минимизировать риски, особенно в части планирования изменений (#DoE).
В то же время, в реальных условиях:

— Массивы громоздки даже для специализированного ПО и требуют сильных навыков в статистике

— Риск ложной точности SN-отношения в обеспечении устойчивости процесса (ориентация на шум)

— Фокус функции на влияние основных факторов без учёта их взаимодействия (критично для промышленных отраслей)

Главным же ограничением является само семантическое древо факторов (сигналы и шумы).
Метод #TAGUCHI оценивает влияние только установленных параметров.

Градиентный бустинг — это техника построения (семантического) дерева решений из простых моделей классификации и регрессии.
Такой подход позволяет выявить более сложные зависимости между наблюдаемыми данными.

Здесь особенно хочется выделить CatBoost (Category Boosting) от Яндекс, который работает «из коробки»

‹‹‹ назад

#SIXSIGMA: МЕТОДОЛОГИЯ УСТАРЕЛА
до того, как её успели освоить

Среди неофитов и даже практиков производственных систем SixSigma долго считалась «священной коровой» практически с момента её зарождения.

Математическое обоснование гипотез, точность стандартов успеха (вероятность дефекта на уровне 3,4:1000000), использование специализированного софта (даже у тарологов такого нет) и, конечно, стоимость обучения — создавали эффект элитарного клуба.

Методология для мира, которого нет:

1. Подход разработан в и для эпохи массового производства. Сегодня большая удача, если вам удастся выпустить один миллион изделий без изменений.

2. Формализм. Фреймворк подготовки эксперимента в разы длинее самого эксперимента, и это в эпоху хайпа вокруг #PoC и MVP.

3. Строгий функционал. Даже ветераны #LEAN приравняли #CJM к #VSM и изучают эмоции клиента (#UX/CX), пока 6б шлифуют холодные процессы.

4. «Ручная» обработка данных — вообще анахронизм в эпоху больших данных, машинного обучения и больших языковых моделей.

5. Смещение фокуса на дефекты (STB, smaller the better — меньше лучше) в оптимизации процессов. GE — символ успеха SixSigma, практически проиграл гонку инноваций.

К тому же, стандартизация компетенций, сертификация и стоимость обучения отгородили мастеров в «закрытое сообщество», став преградой к широкой популяризации практик.

Бесспорно, в свое время SixSigma была революционной методологией.
Но в мире, где скорость и адаптивность важнее совершенства, методология устарела, так и не успев стать базой операционного превосходства.

В СУНДУЧКЕ СО СКАЗКАМИ
НОВЫЙ ТИП ИСТОРИЙ

Новый тип актива для меня и 😁 экстремальный эксперимент для коллег — проводили изменения без отраслевой экспертизы, с нулевой инерцией мышления 🤯

Формально, мы лишь перевели отчетность подземной добычи на классическую модель «узких мест» и организовали мониторинг #OEE.

Фактически, подтвердили отсутствие пиков (с учётом работы проходки) на магистральных конвейерах, разобрали все плановые/внеплановые (#КТГ) и нормируемые/ненормируемые (#КИО) простои. Сопоставили проектные показатели качества (зольность) и мощность забоя.

В результате, присоединившись к приборам технического учёта энергии, выделили (по профилю токовой нагрузки) целевой режим работы комбайна и установили систему учёта времени простоя для нецелевого.

Соответственно, любой выход комбайна из режима более 5 минут, считается простоем и требует точного учёта (описание причин и корректирующих мероприятий).

В свою очередь, критический взгляд на все типы остановок позволил найти решения, как их исключить 😏

ЕСТЕСТВЕННЫЙ ИНТЕЛЛЕКТ
Работа, работа, перейди на чат-бота

Из каждого «утюга» новости об адаптации ИИ к прикладным задачам, но в ежедневных жизненных ситуациях, кажется, что не используется даже естественный.

Согласен, заявление категоричное, но как часто люди действуют проактивно (не по привычке, а рационально или хотя бы логично)? Редко, потому что:
🙉 думать — больно
🙈 планировать — долго
🙊 отвечать за последствия — страшно

Удивительно, но популярная подобного рода «зона комфорта» — это работа.
Пришёл, увидел, переслал!
Рутина как стиль жизни — основные навыки: быть незаметным, выглядеть уставшим.

Пока ИИ учатся решать задачи выходящие из шаблонов, рутинеры их просто игнорируют: «так нельзя», «не положено», «не принято».
Рутино-менеджер, когда планка требований ниже чем зарплата.

Можно предположить, что зарплата — индикатор интеллектуального вклада для офисных сотрудников.
Тогда наименее оплачиваемые позиции прекрасные кандидаты на цифровизацию.

Вы уже запросили список позиций с окладом ниже среднего?

МНОГОГРАННОСТЬ И СТЕРЕОТИПЫ
Как бы всё, и ничего в частности

Многие маркетинговые теории делят потребителей на бумеров, зумеров и миллениалов. По мне так верить, что поведение человека определяет дата рождения, это как следовать указаниям гороскопа из радио.

В то же время, сложно отрицать что ценности формируются в контексте бытия (политика, медиа, образование, социум) — экономические события определяют наши привычки, а информационный фон — восприятие действительности.

Таким образом, утверждение что одни и те же экономические потрясения и технологическое развитие по-разному проникает в привычки и ценности разных поколений, вполне справедливо. Но есть нюанс.

Влияние факторов размыто не только возрастом (жизненным опытом), но и регионом/географией, профессией, отраслевыми трендами и социальным благополучием.

В конечном счете, теория поколений У. Штрауса и Н. Хаува (так-то 1991г.) ярко описывает механику и различия в мотивации, которые важно понять, принять и применять.

Ищите «ключи» — берегите команду

БУМЕРЫ #BG

МИЛЛЕНИАЛЫ #YG

ЗУМЕРЫ #ZG

ПРОДОЛЖЕНИЕ О ВЫГОРАНИИ
см.предыдущую дискуссию тут

Тезис для обсуждения: выгорание — это ваш неосознанный выбор.

1. Например, фрилансеры хватают по 5-7 проектов, чтобы не пропустить «клёв» и подкопить «подушку». Страх просесть в доходе отучил делиться и делегировать, такая вот соло-стратегия лидерства в тренде.

2. Переработка как критерий успеха — своего рода признание востребованости в моменте, и перспектив в будущем. Сюда же социальное одобрение усердного труда, уважение и сочувствие окружающих.

3. Стоит признать, что в период переработки нет времени на хобби.
Или наоборот — у вас просто хобби нет. Есть лишь самореализация в работе и сублимация хобби в переработке.

4. Редко кто проявляет позицию жертвы — «меня заставили», как правило, звучат причины «сейчас такой период», «тут нельзя было отказаться», «ну а кто, если не я?» — обстоятельства (но мы же знаем что это выбор).

5. Промедление в развитии или полное отсутвие динамики. Переработка — удобное оправдание поставить важное на паузу, разгребая срочное. Жизнь становится проще — ты делаешь, что умеешь, и у тебя хорошо получается.

К чему всё это? Важным рычагом в управлении ментальным здоровьем является осознание своего выбора.
Осознанный выбор — это уже вопрос приоритетов.

Условно занятость можно разделить на операционную и проектную (даже если вы занимаетесь только проектами, но они однотипные — это операционка).

И если вы уже хороши в операционке (выдаёте как из пушки), то не пора ли снова к проектам — за новыми знаниями и навыками?

ЭВОЛЮЦИЯ ЭКСПЕРТИЗЫ
природа «стеклянного потолка»

Недавно в жаркой дискуссии адаптировал теорию Качества к профессиональному росту.
На удивление, метафора оказалась весьма годной, решил поделиться:

Эффективность — ты учишься делать правильно, потом быстро (дёшево). С каждым повторением движения становятся увереннее, открываются новые нюансы, появляется время и возможности экспериментировать с тонкими настройками.

Но на пике эффективности можно оказаться в «беличьем колесе» — забирать на себя подобные задачи, потому что никто не справится с ними лучше (см. выгорание).

Продуктивность — когда выдаёшь решения, поддержку которых можно делегировать. Вроде как по-прежнему управляешь процессом, но на другом уровне: скрипты, чек-листы, стандарты. Ты наполняешь процесс экспертизой, фокусируешься на качестве продукта.

Перфекционизм, как вера в идеальное решение, способен здесь стать ловушкой и долгое время удерживать от перехода на новый уровень.

Мультипликация — тиражирование или масштабирование успешной модели.
Миг удачи, минута славы, ты хакнул обстоятельства — собрал модель, которая эффективно приносит годный результат. Через мгновение среда изменится (модель скопируют или появится более эффективная модель), но это окно возможностей для тебя.

Очевидно, что невозможно перепрыгнуть ранние этапы эволюции: неэффективные процессы рухнут при масштабировании или вы утонете в операционке без делегирования.

Устойчивость или динамическое равновесие зарождается не с умения распределять риски, а с отказа от стремления к стабильности. Ключевой навык — диагностика слабых сигналов, переход от реакции на изменения к предвосхищению.

Вместо итогов: «Стеклянный потолок» — это ограничение с «отражением», для преодоления которого нужны изменения в себе.

СТРАХ И РАДОСТЬ ЗАВТРАШНЕГО ДНЯ
упускать лишнее — видеть главное

Вы уже знакомы? FOMO (Fear Of Missing Out) — страх упущенных возможностей, а JOMO (Joy Of Missing Out) — радость упущенных возможностей.

Многие противопоставляют понятия и вместо Радости получают оправдание бездействия.

JOMO — не в том, чтобы наконец-то упасть на диван и похвалить себя за то, что в тренде. Удовольствие скрывается в обретении своего ритма:
— утро — для себя
— завтрак — в тишине
— встречи — для решений
— время — для семьи
— ночи —для любви
— тусовки — только с кем легко
— а сон — твой генератор лёгкости.

Ритм — это когда ты знаешь, сколько стоит твой день, и не позволяешь ему распыляться между чужими ожиданиями. «Радость от упущенного» — не бегство от жизни, а осознанный выбор жить. Каждое сказанное «Да» чему-то мимолетному — это негласное «Нет» чему-то важному для тебя.

После отказа от лишнего, чувствуется не пустота, а пространство для работы. Ощущается контроль над временем и энергией. JOMO — это не «меньше», а «точнее».

КВАДРАНТ: СРОЧНОЕ И ВАЖНОЕ
или утраченный смысл kaizen

Вроде всё понятно, дела СРОЧНЫЕ имеют срок (закреплены в календаре) — это несложные задачи, главное их сделать вовремя.
Дела ВАЖНЫЕ срока не имеют, но они меняют нашу жизнь к лучшему и/или открывают новые возможности, у них есть приоритет (закреплены в списке).

Далее, между слотами СРОЧНЫХ дел резервируем время под ВАЖНЫЕ и распределяем согласно приоритета. Можно было бы сказать, что СРОЧНЫЕ — операционка, а ВАЖНЫЕ — проекты.
Но нет, есть И СРОЧНЫЕ И ВАЖНЫЕ — это те, что и ограничены во времени,
и сильно влияют на нашу жизнь.
❕Вот они — это и есть проекты:

— тройственное ограничение (вовремя достичь приемлемого качества, не завалив всё остальное)

— высокий уровень неопределённости (планировали каскадом, исполняли итерациями, получали инкременты)))

— управление сложностью реализации (противоречивые интересы, риски, альтернативы, последствия)

— временный характер деятельности, ориентированный на конкретный результат.

А как же ВАЖНОЕ — двери в наше счастливое будущее, где всё хорошо?
Как правило, остаётся в Списке дел пока не перестаёт быть важным или не становится #Kaizen — процессом.

Увлечение измерениями, оценкой, сравнением вытеснило из внимания процесс как практику, как привычку.
Именно формирование привычки, позволяет без оглядки на результат, двигаться в выбранном направлении.

Ещё раз посмотрите на свой список БЕССРОЧНО ВАЖНОГО и на то, какие у вас привычки?
А какие короткие или маленькие «традиции» могли бы быть? Что угодно, которые позволят просто начать чтобы появился отдельный слот — время вырабатывать навык и оттачивать практику. А когда выпадет случай/придёт вдохновение, ты будешь готов.

Хочешь победить человека (себя) — действуй как Система.

— Так, проблемы будем решать по мере их поступления.
— А вы правда директор по стратегии?

ЦИТАТА ВМЕСТО ОПРАВДАНИЯ
Дефицит времени и энергии

Словно по запросу, судьбинушка мне подкинула Проект, что ни вдохнуть, ни пёрн... простите, но это самое сдержанное описание ситуации.
В то же время, отличная возможность в реальных условиях оценить полноту и достаточность антипригарных мероприятий.

И ведь упустил! Упустил, важнейший аспект — практические рекомендации, как быть, когда «печёт» и «подгарает».

«ВОРОНКА ИСТОЩЕНИЯ»
персональный энергоменеджмент

Теория М. Осберг строится на том, что когда у нас дефицит времени, мы отказываемся от несрочных и необязательных дел.
А коварство «воронки» в том, что именно эти дела восполняют баланс жизненной энергии.

В итоге цикл повторяется, и ситуация обостряется. На каждом следующем витке мы мобилизуем оставшиеся жизненные силы, и как корректирующее действие на дефицит продуктивности отменяем в расписании «праздные» дела, постепенно скатываясь в яму эмоционального выгорания.

Очевидно, необходимо сохранять баланс и удерживать в расписании все восстановительные практики, приносящие радость в будни.
Однако, по-настоящему эффективным решением станет не стандартизация расписания, а проектирование стратегии радости.

Преимущество стратегии в том, что вы не просто эксплуатируете источники энергии и вдохновения, а планово создаёте и развиваете новые.
Задумайтесь, что вас по-настоящему радует, и как долго вы готовы этим заниматься?

То-то же 😊