Одна ячейка в Excel обошлась JPMorgan в $6,5 миллиарда 🤦♂️
Не опечатка. В 2012-м сотрудник копировал данные между файлами, и при вставке формула взяла сумму вместо среднего. Ошибку не заметили, модель неделями занижала риск, и банк потерял $6,5 млрд каскадом.
Одна ячейка. Без проверки на входе. Шесть с половиной миллиардов😡
В Excel есть для этого охранник, Data Validation. Сидит на входе в ячейку, не пускает мусор. Вкладка Data → Data Validation (или Alt+D+L).
Custom-формулы, самое мощное😎
Тут ты сам пишешь правила. Антидубликаты:
Только рабочие дни:
Обязательное заполнение:
Если бы вначале я знал, как бояре любят изворачиваться в отчётах, изучил бы Data Validation самым первым.
И тут грабли: Ctrl+V обходит валидацию. Копипастой можно запихнуть что угодно мимо правил. Лечение: добавь защиту листа (Sheet Protection). Два замка надёжнее одного.
Базовые ограничения✅
1️⃣ Выпадающие списки (List). Столбец «Статус задачи», один пишет «Готово», другой «готово», третий «сделал Петров». Ставишь List, задаёшь варианты через запятую или именованный диапазон. Творчество закончилось.
2️⃣ Числа и даты (Whole number, Decimal, Date). В столбце «Скидка» кто-то вбивает 500%. Или в дату ставит 2077 год. Задаёшь диапазон: скидка 0–50, дата от 01.01.2020 до сегодня. Дрянь не пролезет.
Ещё грабли, на которые наступают🤔
1️⃣ Error Alert в режиме Warning. Пользователь видит предупреждение, жмёт «ОК» и спокойно пишет что попало. Ставь режим Stop. Тогда без вариантов.
2️⃣ Input Message. При настройке правила есть вкладка Input Message: вписываешь подсказку «Вводи только статус из списка, руками не дописывай». Большинство эту вкладку даже не открывают. А зря, сразу меньше «творчества».
3️⃣ Circle Invalid Data. Data → Circle Invalid Data. Обводит красным ячейки, где накосячили с правилами. Кайф для ревизии старых файлов, которые заполняли до тебя.
Открой любую рабочую таблицу. Поставь хотя бы одно правило на ключевой столбец. Через неделю нажми «Обвести неверные данные», увидишь, сколько мусора скопилось.
Спойлер: обычно дофига🤷♀️
#excel
@data_dzen🙂
Не опечатка. В 2012-м сотрудник копировал данные между файлами, и при вставке формула взяла сумму вместо среднего. Ошибку не заметили, модель неделями занижала риск, и банк потерял $6,5 млрд каскадом.
Одна ячейка. Без проверки на входе. Шесть с половиной миллиардов
В Excel есть для этого охранник, Data Validation. Сидит на входе в ячейку, не пускает мусор. Вкладка Data → Data Validation (или Alt+D+L).
Custom-формулы, самое мощное
Тут ты сам пишешь правила. Антидубликаты:
=COUNTIF($A$2:$A$100,A2)<=1
Только рабочие дни:
=WEEKDAY(C2,2)<6
Обязательное заполнение:
=LEN(A2)>0
Если бы вначале я знал, как бояре любят изворачиваться в отчётах, изучил бы Data Validation самым первым.
И тут грабли: Ctrl+V обходит валидацию. Копипастой можно запихнуть что угодно мимо правил. Лечение: добавь защиту листа (Sheet Protection). Два замка надёжнее одного.
Базовые ограничения
Ещё грабли, на которые наступают
Открой любую рабочую таблицу. Поставь хотя бы одно правило на ключевой столбец. Через неделю нажми «Обвести неверные данные», увидишь, сколько мусора скопилось.
Спойлер: обычно дофига
#excel
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡45🎉30👨💻26 15 13 8
Пятница = скорее хвалим себя 💪
Архитектор посмотрел на мою схему и говорит: «Ты переизобрёл паттерн иерархической памяти». А я просто хотел, чтобы Кеша не забывал, о чём мы вчера говорили😎
Третья реинкарнация моего ИИ-ассистента. Первые две версии - это была чистая эйфория. Те 7 дней, когда собираешь первый прототип, ни с чем не сравнить. Но руки-то чешутся.
Что было. Postgres для хранения диалогов. Тяжело, избыточно для одного пользователя.
Fine-tuning на 5 000 примеров - первый блин комом. Из 5 000 штук примерно половина содержали действие-экшен. Модель обучилась и начала экшенить везде. 75% тестов прошла нормально, а в 20% случаев, где надо было подумать, переспросить, глянуть на экран, она всё равно лупила экшеном. Классическая ловушка перекоса данных, OpenAI прямо об этом предупреждает🤷♀️
Google Colab дал бесплатно ~5 часов GPU. Обучение модели заняло 2 эпохи за 4,5 часа. Впритирку. Час запаса. Совет: не заливайте огромные датасеты в бесплатный Colab, сессия отвалится, и привет😠
Что стало. Пересадил всё на SQLite, самую распространённую СУБД в мире, 4 млрд активных установок. Работает в каждом айфоне, каждом андроиде. Серверов не надо, бэкап - просто скопировать файл. Для персонального ассистента - то что надо.
Для векторизации файлов накрутил ChromaDB с обходчиком. Нейронку пересадил на видеокарту, ответ за ~1 секунду. Ляпота😎
Fine-tuning, решение: разбить набор инструкций на равномерные части и обучить повторно. Выделить равномерные категории, чтобы модель не зубрила одинаковые паттерны.
А вот с памятью вышло интересно. Выстроил пайплайн иерархической памяти. Строил от боли: как бы я сам хотел, чтобы нагрузка была минимальной, а контекст находился быстро. SQLite для диалогов, личностей, предпочтений, краткосрочной и долгосрочной памяти.
ChromaDB для семантического поиска по файлам. Отправил архитектуру на консультацию.
А мне в ответ:
Оказывается, это реальный научный паттерн H-MEM, описанный в 2025 году. Четыре уровня: домен, категория, след памяти, эпизод. Я вслепую, по интуиции, пришёл к тому же.
В который раз убеждаюсь, что сначала лучше выстроить логику и боли «на салфетке», а потом уже накручивать инструменты.
Заходи в комменты и поделись своей победой👇
@data_dzen🙂
Архитектор посмотрел на мою схему и говорит: «Ты переизобрёл паттерн иерархической памяти». А я просто хотел, чтобы Кеша не забывал, о чём мы вчера говорили
Третья реинкарнация моего ИИ-ассистента. Первые две версии - это была чистая эйфория. Те 7 дней, когда собираешь первый прототип, ни с чем не сравнить. Но руки-то чешутся.
Что было. Postgres для хранения диалогов. Тяжело, избыточно для одного пользователя.
Fine-tuning на 5 000 примеров - первый блин комом. Из 5 000 штук примерно половина содержали действие-экшен. Модель обучилась и начала экшенить везде. 75% тестов прошла нормально, а в 20% случаев, где надо было подумать, переспросить, глянуть на экран, она всё равно лупила экшеном. Классическая ловушка перекоса данных, OpenAI прямо об этом предупреждает
Google Colab дал бесплатно ~5 часов GPU. Обучение модели заняло 2 эпохи за 4,5 часа. Впритирку. Час запаса. Совет: не заливайте огромные датасеты в бесплатный Colab, сессия отвалится, и привет
Что стало. Пересадил всё на SQLite, самую распространённую СУБД в мире, 4 млрд активных установок. Работает в каждом айфоне, каждом андроиде. Серверов не надо, бэкап - просто скопировать файл. Для персонального ассистента - то что надо.
Для векторизации файлов накрутил ChromaDB с обходчиком. Нейронку пересадил на видеокарту, ответ за ~1 секунду. Ляпота
Fine-tuning, решение: разбить набор инструкций на равномерные части и обучить повторно. Выделить равномерные категории, чтобы модель не зубрила одинаковые паттерны.
А вот с памятью вышло интересно. Выстроил пайплайн иерархической памяти. Строил от боли: как бы я сам хотел, чтобы нагрузка была минимальной, а контекст находился быстро. SQLite для диалогов, личностей, предпочтений, краткосрочной и долгосрочной памяти.
ChromaDB для семантического поиска по файлам. Отправил архитектуру на консультацию.
А мне в ответ:
«Ты переизобрёл паттерн иерархической памяти».
Ни хера себе, да я архитектор получается!😁
Оказывается, это реальный научный паттерн H-MEM, описанный в 2025 году. Четыре уровня: домен, категория, след памяти, эпизод. Я вслепую, по интуиции, пришёл к тому же.
В который раз убеждаюсь, что сначала лучше выстроить логику и боли «на салфетке», а потом уже накручивать инструменты.
Заходи в комменты и поделись своей победой
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
1 42 30 25👌6🤩4🎉3⚡1😈1👨💻1
На Уолл-стрит джунам отрезают провод от мыши 🤷♀️
На Reddit эту байку пересказывают годами, и в ней куда больше здравого смысла, чем кажется.
Бесконечно тянемся к мыши при работе. Тратим на это тонну рабочего времени - за год набегают сотни часов чистой рутины.
А если админ в запарке стянул мышь со стола. Что тогда, работу останавливать?😁
В 2024-2025 Microsoft добавила в Excel 365 новые шорткаты и фичи. Кто предпочитает мышку, про них вряд ли знает.
Вот 10 комбинаций, которые закрывают большую часть ежедневных операций. От простых к свежим.
1️⃣ Alt+= - мгновенная автосумма
Выделяешь диапазон, жмёшь Alt+=, СУММ() вставляется сама. Работает и для строки, и для столбца, и для нескольких столбцов разом. На каждой сумме экономишь 5-10 секунд, за день набегает приличная экономия.
2️⃣ Ctrl+T - умная таблица за секунду
Превращает диапазон в таблицу с автофильтрами, чередующейся заливкой и именованными столбцами. Формулы в такой таблице сами распространяются на новые строки. В регулярной отчетности спасательный круг.
3️⃣ Ctrl+Shift+L - фильтры вкл/выкл
Нажал = включил автофильтр. Нажал ещё раз = выключил. Никаких заходов в меню «Данные».
4️⃣ F4 - двойной агент
Внутри формулы: переключает ссылку между $A$1, A1, $A1, A$1. Вне формулы: повторяет последнее действие. Залил ячейку цветом? F4 повторит заливку на следующей. Два режима, одна клавиша.
5️⃣ Ctrl+E - Flash Fill
Задаёшь 1-2 примера в соседнем столбце, жмёшь Ctrl+E. Excel сам распознаёт паттерн и заполняет весь столбец. Вытащить имя из ФИО, домен из email, поменять регистр - всё без единой формулы. Появился ещё в 2013-м, но до сих пор вызывает «вау» даже у опытных. Да и чего уж тут. Я сам на момент когда работал с Power Query не знал про все шорткаты.
6️⃣ Ctrl+; и Ctrl+Shift+; - дата и время
Ctrl+; вставляет сегодняшнюю дату. Ctrl+Shift+; - текущее время. Статически, без пересчёта. Вместо тысячи =СЕГОДНЯ().
7️⃣ Alt+H+O+I - автоподбор ширины столбцов
А это мой фаворит. Очень уж нравится когда ширина таблиц отшлифована до идеала. Вместо двойного клика по границе каждого столбца мышкой: выделяешь всё (Ctrl+A), жмёшь Alt → H → O → I. Все 20, 30, 50 столбцов подгоняются под содержимое разом.
8️⃣ Ctrl+` (обратный апостроф) - показать все формулы
Переключает весь лист между результатами и формулами. Для аудита - самое то. Уж точно лучше чем проверять формулы по одной через F2.
9️⃣ Ctrl+Shift+V - вставка только значений
Microsoft добавила в Excel 365 в августе 2024. Один из самых запрашиваемых шорткатов за всю историю Excel. Коли часто копируешь в таблицы данные извне без нее никуда.
1️⃣ 0️⃣ Alt+W+E+F - Focus Cell
Подсвечивает всю строку и столбец активной ячейки, аки линейка на экране. В широких таблицах на 30+ столбцов глаза больше не блуждают.
Всего десять штук, запомнишь на раз-два. А разницу в скорости почувствуешь ещё быстрее💯
Завтра закину постец про то как поставить свеженький Office без сомнительных активаторов😎
Попробуй потыкать в работе. А сколько ты знал комбинаций до поста?
🔥 - знал почти все
👍 - половину знал, половину нет
😎 - Ctrl+Shift+V и Focus Cell - это что вообще??
#excel
@data_dzen🙂
На Reddit эту байку пересказывают годами, и в ней куда больше здравого смысла, чем кажется.
Бесконечно тянемся к мыши при работе. Тратим на это тонну рабочего времени - за год набегают сотни часов чистой рутины.
А если админ в запарке стянул мышь со стола. Что тогда, работу останавливать?
В 2024-2025 Microsoft добавила в Excel 365 новые шорткаты и фичи. Кто предпочитает мышку, про них вряд ли знает.
Вот 10 комбинаций, которые закрывают большую часть ежедневных операций. От простых к свежим.
Выделяешь диапазон, жмёшь Alt+=, СУММ() вставляется сама. Работает и для строки, и для столбца, и для нескольких столбцов разом. На каждой сумме экономишь 5-10 секунд, за день набегает приличная экономия.
Превращает диапазон в таблицу с автофильтрами, чередующейся заливкой и именованными столбцами. Формулы в такой таблице сами распространяются на новые строки. В регулярной отчетности спасательный круг.
Нажал = включил автофильтр. Нажал ещё раз = выключил. Никаких заходов в меню «Данные».
Внутри формулы: переключает ссылку между $A$1, A1, $A1, A$1. Вне формулы: повторяет последнее действие. Залил ячейку цветом? F4 повторит заливку на следующей. Два режима, одна клавиша.
Задаёшь 1-2 примера в соседнем столбце, жмёшь Ctrl+E. Excel сам распознаёт паттерн и заполняет весь столбец. Вытащить имя из ФИО, домен из email, поменять регистр - всё без единой формулы. Появился ещё в 2013-м, но до сих пор вызывает «вау» даже у опытных. Да и чего уж тут. Я сам на момент когда работал с Power Query не знал про все шорткаты.
Ctrl+; вставляет сегодняшнюю дату. Ctrl+Shift+; - текущее время. Статически, без пересчёта. Вместо тысячи =СЕГОДНЯ().
А это мой фаворит. Очень уж нравится когда ширина таблиц отшлифована до идеала. Вместо двойного клика по границе каждого столбца мышкой: выделяешь всё (Ctrl+A), жмёшь Alt → H → O → I. Все 20, 30, 50 столбцов подгоняются под содержимое разом.
Переключает весь лист между результатами и формулами. Для аудита - самое то. Уж точно лучше чем проверять формулы по одной через F2.
Microsoft добавила в Excel 365 в августе 2024. Один из самых запрашиваемых шорткатов за всю историю Excel. Коли часто копируешь в таблицы данные извне без нее никуда.
Подсвечивает всю строку и столбец активной ячейки, аки линейка на экране. В широких таблицах на 30+ столбцов глаза больше не блуждают.
Всего десять штук, запомнишь на раз-два. А разницу в скорости почувствуешь ещё быстрее
Если у вас не срабатывает один из этих шорткатов - скорее всего, у вас русская версия Excel.
Дело в том, что комбинации вроде Alt + W + E + F - это не глобальные хоткеи, а последовательные нажатия клавиш-подсказок (keytips) на ленте, и в локализованных версиях буквы отличаются. Чтобы узнать актуальные подсказки именно для вашей версии, просто зажмите клавишу Alt - над каждым элементом ленты появятся нужные буквы. Дальше нажимайте их по цепочке. Например, Focus Cell в русском Excel вызывается через Alt → О → Я1 → Ф.
Завтра закину постец про то как поставить свеженький Office без сомнительных активаторов
Попробуй потыкать в работе. А сколько ты знал комбинаций до поста?
#excel
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Свежий Office 365 со всеми новинками 2024-2025. Без VPN. За 10 минут 😎
Вчера писал про шорткаты Excel. Ctrl+Shift+V, Focus Cell, всё это работает только в Microsoft 365. На старом Office 2016/2019 этого нет. И не будет. Microsoft прекратила их поддержку 14 октября 2025.
А поставить свежий Office в России тот ещё квест🤦♂️
CDN Microsoft заблокированы, стандартный установщик требует командную строку и ковыряние XML. Кто пробовал, знает.
Я пользуюсь Office Tool Plus. Бесплатная, open-source, с графическим интерфейсом и цифровой подписью.
Не активатор, не вирус. Просто удобная обёртка над установщиком Microsoft.
Далее пошаговая инструкция по установке👇
1. Скачать
Сайт: otp.landian.vip → Download → версия 64-бит.
Коли сайт не открывается, идём на GitHub: github.com/YerongAI/Office-Tool/releases → файл Office_Tool_with_runtime (~77 МБ). Эта версия с .NET-рантаймом внутри, запускается сразу без доустановки.
2. Запустить
Разархивировать, запустить Office Tool Plus.exe. Программа портативная, установки не требует.
3. Снести старый Office (если нужно)
Стоит C2R-версия (Office 2016-2024 click-to-run)? OTP обновит поверх, настройки сохранятся. А вот MSI-версия (Office 2010/2013 из .msi) — сначала удалить. В OTP: раздел «Инструменты» → «Удаление Office». Сносит всё, включая хвосты.
4. Настроить продукт
Вкладка «Развёртывание». Блок «Продукты» → «Добавить продукт» → Microsoft 365 Apps for Enterprise.
Нужен Visio или Project? Добавляешь отдельно, они не входят в 365.
5. Платформа и язык
64-бит для современных ПК. Язык ставь русский. Хочешь английскую проверку правописания, добавь Proofing Tools отдельно.
6. Убрать лишнее
По умолчанию ставится всё: Access, Publisher, Lync. Сними галочки с того, чем не пользуешься. Чем меньше, тем быстрее.
⚠️ 7. Сменить установочный модуль ⚠️
Это главный подводный камень. В настройках замени «Office Deployment Tool» на «Office Tool Plus». Без этого в России загрузка зависнет или выдаст ошибку.
8. Канал обновлений
«Актуальный канал» (Current Channel) - новые фичи приходят первыми.
Хочешь стабильности - «Ежемесячный корпоративный» (Monthly Enterprise).
9. AcceptEULA
Включи галочку автопринятия лицензионного соглашения. Иначе при первом запуске Word вылезет окно «Примите соглашение» и не пустит дальше.
10. Развертывание
Жмёшь «Развернуть». OTP сам скачает и поставит. Минут 5-10 в зависимости от скорости интернета.
⚠️ 11. Активация через Ohook ⚠️
Office установлен, но не активирован. Открываем PowerShell от администратора (Win → «PowerShell» → правой кнопкой → «От имени администратора»). Вводим:
В меню выбираем 2 (Ohook) → затем 1 (Install). Готово. Активация перманентная, не слетает при обновлениях Office и Windows. Забудьте про KMS и продление каждые 180 дней🔥
Скрипт open-source, код на GitHub.
Итого: 11 шагов, 10 минут, свежий Office 365, Focus Cell и всеми шорткатами из вчерашнего поста.
Какая версия Office у тебя сейчас?👇
🔥 - Microsoft 365
👍 - Office 2021/2024, коробка
🩷 - Старый добрый Office 2016/2019
👀 - Понятия не имею, надо проверить
#Excel
@data_dzen🙂
Вчера писал про шорткаты Excel. Ctrl+Shift+V, Focus Cell, всё это работает только в Microsoft 365. На старом Office 2016/2019 этого нет. И не будет. Microsoft прекратила их поддержку 14 октября 2025.
А поставить свежий Office в России тот ещё квест
CDN Microsoft заблокированы, стандартный установщик требует командную строку и ковыряние XML. Кто пробовал, знает.
Я пользуюсь Office Tool Plus. Бесплатная, open-source, с графическим интерфейсом и цифровой подписью.
Не активатор, не вирус. Просто удобная обёртка над установщиком Microsoft.
Далее пошаговая инструкция по установке
1. Скачать
Сайт: otp.landian.vip → Download → версия 64-бит.
Коли сайт не открывается, идём на GitHub: github.com/YerongAI/Office-Tool/releases → файл Office_Tool_with_runtime (~77 МБ). Эта версия с .NET-рантаймом внутри, запускается сразу без доустановки.
2. Запустить
Разархивировать, запустить Office Tool Plus.exe. Программа портативная, установки не требует.
3. Снести старый Office (если нужно)
Стоит C2R-версия (Office 2016-2024 click-to-run)? OTP обновит поверх, настройки сохранятся. А вот MSI-версия (Office 2010/2013 из .msi) — сначала удалить. В OTP: раздел «Инструменты» → «Удаление Office». Сносит всё, включая хвосты.
4. Настроить продукт
Вкладка «Развёртывание». Блок «Продукты» → «Добавить продукт» → Microsoft 365 Apps for Enterprise.
Проверь чтоб у продукта была подпись Retail.
Нужен Visio или Project? Добавляешь отдельно, они не входят в 365.
5. Платформа и язык
64-бит для современных ПК. Язык ставь русский. Хочешь английскую проверку правописания, добавь Proofing Tools отдельно.
6. Убрать лишнее
По умолчанию ставится всё: Access, Publisher, Lync. Сними галочки с того, чем не пользуешься. Чем меньше, тем быстрее.
⚠️ 7. Сменить установочный модуль ⚠️
Это главный подводный камень. В настройках замени «Office Deployment Tool» на «Office Tool Plus». Без этого в России загрузка зависнет или выдаст ошибку.
8. Канал обновлений
«Актуальный канал» (Current Channel) - новые фичи приходят первыми.
Хочешь стабильности - «Ежемесячный корпоративный» (Monthly Enterprise).
9. AcceptEULA
Включи галочку автопринятия лицензионного соглашения. Иначе при первом запуске Word вылезет окно «Примите соглашение» и не пустит дальше.
10. Развертывание
Жмёшь «Развернуть». OTP сам скачает и поставит. Минут 5-10 в зависимости от скорости интернета.
⚠️ 11. Активация через Ohook ⚠️
Office установлен, но не активирован. Открываем PowerShell от администратора (Win → «PowerShell» → правой кнопкой → «От имени администратора»). Вводим:
irm https://get.activated.win | iex
В меню выбираем 2 (Ohook) → затем 1 (Install). Готово. Активация перманентная, не слетает при обновлениях Office и Windows. Забудьте про KMS и продление каждые 180 дней
Скрипт open-source, код на GitHub.
Итого: 11 шагов, 10 минут, свежий Office 365, Focus Cell и всеми шорткатами из вчерашнего поста.
Какая версия Office у тебя сейчас?
👀 - Понятия не имею, надо проверить
#Excel
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
1 58 41 29👏10🎉10🥰9👌9👀8⚡7
В 1920-х советский психолог наблюдала за официантами в берлинском кафе. И заметила странную штуку 🤔
Официант помнил каждый незакрытый заказ. Столик 5, два кофе, штрудель. Столик 8, чай с лимоном. Но стоило гостю расплатиться... заказ стирался из памяти.
Блюма Зейгарник потом доказала это в лаборатории: незавершённые дела мозг запоминает вдвое лучше завершённых. Держит в оперативке. Как вкладки в браузере, которые жрут ресурсы.
Мы строим мониторинг для бизнеса каждый день. Метрики, алерты, графики. Трекаем всё подряд. А себя любимых кто трекать будет?
Я начну😎
На этой неделе накопал информацию по подходу голосовых ассистентов в Алисе и Siri.
Суть такая: есть кольцевой буфер, который перезаписывает фразы, ища в них заветное ключевое слово.
Удобство в том, что не надо ждать полсекунды после активации.
Просто говоришь «Кеша, обнови зависимости в проекте». Он обнаружит ключевое слово и отдаст ассистенту весь набор запросов. Нуу, в теории🤷♀️
На практике пока обкатываю. Потихоньку собираю его )
Ещё собираю разговорные фразы для эмоционального слоя и сарказма, чтобы ассистент был более человечным и мог подколоть😁
А параллельно провёл просмотры 10 квартир/домов. Не простое это дело. Но чем больше данных для выборки, тем лучше. Нам ли не знать )
Неделька насыщенная.
Поставь🔥 , если хоть раз ловил себя на мысли «я ничего особенного не умею».
И не забудь пройти в комментарии и поделиться успехами за неделю👇
@data_dzen🙂
Официант помнил каждый незакрытый заказ. Столик 5, два кофе, штрудель. Столик 8, чай с лимоном. Но стоило гостю расплатиться... заказ стирался из памяти.
Блюма Зейгарник потом доказала это в лаборатории: незавершённые дела мозг запоминает вдвое лучше завершённых. Держит в оперативке. Как вкладки в браузере, которые жрут ресурсы.
Мы строим мониторинг для бизнеса каждый день. Метрики, алерты, графики. Трекаем всё подряд. А себя любимых кто трекать будет?
Я начну
На этой неделе накопал информацию по подходу голосовых ассистентов в Алисе и Siri.
Суть такая: есть кольцевой буфер, который перезаписывает фразы, ища в них заветное ключевое слово.
Удобство в том, что не надо ждать полсекунды после активации.
Просто говоришь «Кеша, обнови зависимости в проекте». Он обнаружит ключевое слово и отдаст ассистенту весь набор запросов. Нуу, в теории
На практике пока обкатываю. Потихоньку собираю его )
Ещё собираю разговорные фразы для эмоционального слоя и сарказма, чтобы ассистент был более человечным и мог подколоть
А параллельно провёл просмотры 10 квартир/домов. Не простое это дело. Но чем больше данных для выборки, тем лучше. Нам ли не знать )
Неделька насыщенная.
Поставь
И не забудь пройти в комментарии и поделиться успехами за неделю
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Из Excel в космолет за две надстройки 😎
Excel, которым пользуются в 90% компаний и за глаза ругают, на деле использует лишь каплю возможностей. Данные заливают руками, типы правят вручную, а вопрос «оно само обновится?» вызывает тяжёлый вздох. Потому что две вкладки в меню так и остались нетронутыми.
Расписание у большинства такое: скачал файл, почистил руками, добавил формулы, отправил боярину. Назавтра всё сначала. Послезавтра всё сначала. Скука смертная.😔
Сорок минут ежедневно на работу, которая должна занимать три клика.
Теперь добавь 2 миллиона строк. Excel упирается в потолок на миллионе строк и ложится. Ок, делишь файл на части. Теряешь связи между таблицами, сводная начинает врать.
А можно включить 2 надстройки и использовать Excel на максимум.
Я познакомился с этими надстройками в 2017-м. Подрабатывал на фрилансе. Сайты на Wordpress да всякая рутина. Прилетает задача. Нужно из 60 толстых excel файлов вытянуть только определённые группы товаров и всё объединить в одном файле. Дали два дня. Попробовал 2 файла руками собрать. Ужас, скучно и нудно. Начал копать сеть, вдруг есть волшебная пилюля. И нашёл Power Query. Чуть повозившись с интерфейсом, я подключил все файлы из папки и собрал целевой файл за 10 минут. Я аж привстал. Ладно, пойдем расскажу, что за звери эти надстройки💪
1️⃣ Power Query: данные без рук
Он уже вшит. Вкладка «Данные», раздел «Получить и преобразовать». Подключаешь источник один раз, настраиваешь трансформацию, дальше жмёшь «Обновить». Процесс, который занимал час, теперь занимает десять секунд.
Но есть проблемка. Power Query «угадывает» типы данных, глядя лишь на первые 200–1000 строк, зависит от источника. Для CSV хватает 200, для других форматов чуть больше. Но суть одна: если данные неоднородные, числа тихо становятся текстом без единого предупреждения.
Потому чтоб спать спокойно, типы данных всегда проставляй вручную. Не доверяй автоопределению. Да, подольше. Зато потом не надо перелопачивать старые настройки и искать проблему.
И ещё. Не делай один огромный запрос. Всегда в работе используй итеративный подход.
Цепочка работает лучше: отдельный шаг на очистку, отдельный на преобразование. Загрузку — тоже отдельно. Когда что-то сломается (а это случится), найдёшь проблему за минуту, а не за час.
И да, PQ позволяет подключать базы данных напрямую✅
2️⃣ Power Pivot: Excel без потолка
1 048 576 строк — лимит обычного Excel. Power Pivot держит десятки миллионов через VertiPaq-сжатие (тот же движок, что внутри Power BI). Сам xlsx-файл при этом становится тяжелее, внутрь упаковывается база данных. Зато в памяти данные занимают в разы меньше: VertiPaq сжимает примерно в 10 раз (ну, порядок такой — точная цифра зависит от данных), хранит колоночно, а не построчно. Большие данные летают.
Главное, что там есть — меры. Не лепи всё в вычисляемые столбцы: они считаются всегда и раздувают модель, а мера считается только тогда, когда ты её видишь в сводной, под конкретный контекст фильтра. Разница в разы.
Сердце Power Pivot — функция CALCULATE. Она меняет контекст вычисления. «Продажи без возвратов», «план только по Москве», «что если цена выросла на 10%». Это всё CALCULATE.
Для любителей яблочек (Apple), коим и я являюсь😁
Power Pivot недоступен на macOS. Да грустно, но как есть. Если в команде есть коллеги на Mac, они просто не увидят этого чуда.
Если у тебя отчёты крутятся вокруг Excel — попробуй эти две надстройки👇
#excel
@data_dzen🙂
Excel, которым пользуются в 90% компаний и за глаза ругают, на деле использует лишь каплю возможностей. Данные заливают руками, типы правят вручную, а вопрос «оно само обновится?» вызывает тяжёлый вздох. Потому что две вкладки в меню так и остались нетронутыми.
Расписание у большинства такое: скачал файл, почистил руками, добавил формулы, отправил боярину. Назавтра всё сначала. Послезавтра всё сначала. Скука смертная.
Сорок минут ежедневно на работу, которая должна занимать три клика.
Теперь добавь 2 миллиона строк. Excel упирается в потолок на миллионе строк и ложится. Ок, делишь файл на части. Теряешь связи между таблицами, сводная начинает врать.
А можно включить 2 надстройки и использовать Excel на максимум.
Я познакомился с этими надстройками в 2017-м. Подрабатывал на фрилансе. Сайты на Wordpress да всякая рутина. Прилетает задача. Нужно из 60 толстых excel файлов вытянуть только определённые группы товаров и всё объединить в одном файле. Дали два дня. Попробовал 2 файла руками собрать. Ужас, скучно и нудно. Начал копать сеть, вдруг есть волшебная пилюля. И нашёл Power Query. Чуть повозившись с интерфейсом, я подключил все файлы из папки и собрал целевой файл за 10 минут. Я аж привстал. Ладно, пойдем расскажу, что за звери эти надстройки
Он уже вшит. Вкладка «Данные», раздел «Получить и преобразовать». Подключаешь источник один раз, настраиваешь трансформацию, дальше жмёшь «Обновить». Процесс, который занимал час, теперь занимает десять секунд.
Но есть проблемка. Power Query «угадывает» типы данных, глядя лишь на первые 200–1000 строк, зависит от источника. Для CSV хватает 200, для других форматов чуть больше. Но суть одна: если данные неоднородные, числа тихо становятся текстом без единого предупреждения.
Потому чтоб спать спокойно, типы данных всегда проставляй вручную. Не доверяй автоопределению. Да, подольше. Зато потом не надо перелопачивать старые настройки и искать проблему.
И ещё. Не делай один огромный запрос. Всегда в работе используй итеративный подход.
Цепочка работает лучше: отдельный шаг на очистку, отдельный на преобразование. Загрузку — тоже отдельно. Когда что-то сломается (а это случится), найдёшь проблему за минуту, а не за час.
И да, PQ позволяет подключать базы данных напрямую
1 048 576 строк — лимит обычного Excel. Power Pivot держит десятки миллионов через VertiPaq-сжатие (тот же движок, что внутри Power BI). Сам xlsx-файл при этом становится тяжелее, внутрь упаковывается база данных. Зато в памяти данные занимают в разы меньше: VertiPaq сжимает примерно в 10 раз (ну, порядок такой — точная цифра зависит от данных), хранит колоночно, а не построчно. Большие данные летают.
Главное, что там есть — меры. Не лепи всё в вычисляемые столбцы: они считаются всегда и раздувают модель, а мера считается только тогда, когда ты её видишь в сводной, под конкретный контекст фильтра. Разница в разы.
Сердце Power Pivot — функция CALCULATE. Она меняет контекст вычисления. «Продажи без возвратов», «план только по Москве», «что если цена выросла на 10%». Это всё CALCULATE.
Для любителей яблочек (Apple), коим и я являюсь
Power Pivot недоступен на macOS. Да грустно, но как есть. Если в команде есть коллеги на Mac, они просто не увидят этого чуда.
Если у тебя отчёты крутятся вокруг Excel — попробуй эти две надстройки
#excel
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Пятница пришла, давайте похвалим себя за труды 😎
Обсуждали год → собрали за неделю. Проект по медицине региона, который месяцами ходил по кабинетам, наконец пошёл в разработку💪
За одну неделю с командой упаковали всё, что растягивали на согласования почти 12 месяцев, и отдали в работу. Ирония в том что разработка займёт меньше времени, чем её обсуждение😂
Каждый кусочек проекта это попытка упростить жизнь заказчику. Меньше ручного труда, головной боли. Ну и вишенкой на торте: экономия бюджета в перспективе.
22 месяца на закупку, 2 на работу
Gartner считает, что средний цикл государственных IT-закупок — около 22 месяцев. В коммерции 6–7. Разница в три с лишним раза. Свежесть этого исследования неизвестна, но цифры +/- совпадают с реалиями.
ТЗ в госсекторе часто пишут не ради продукта, а ради ГОСТов. Документ на 80–100 страниц. 10% про функционал. Остальное: стандарты, методички, регламенты. А ещё обязательные паузы, заседания комиссий, окна для жалоб, перезапуски процедур. Вот и набегают те самые 22 месяца.
Когда контракт наконец подписан, на реализацию остаётся 2–3 месяца. Отчётность может занимать до 30% объёма работ, потому что документы проходят через 3–4 уровня контроля.
Хотели как лучше, а получилось ...🤦♂️
Система задумана как защита от недобросовестных исполнителей. На деле выкручивает руки тем, кто хочет сделать нормальный продукт.
А вот проблемные компании за счёт сильных юристов и умения работать с формулировками ТЗ нередко отбиваются от контролирующих органов.
Видел я такую конторку. У них в штате даже не было разработчиков, и по итогу при ревью кода выяснилось что каждый раз код писали разные люди. Видимо фрилансеры😁
Вот такая вот «защита». Коли в компании штат юристов больше, чем специалистов - это первый звоночек.
ГОСТы на месте, а качество.. нуу как повезёт🤷♀️
Государство тратит годы, чтобы подробно описать, как потратить деньги. А потом даёт команде 2–3 месяца, чтобы всё реализовать. Документация ничего не говорит о качестве продукта, зато каждый ГОСТ на месте.
Но мы пробиваемся и делаем то, что нужно людям. И эта неделя, маленькая победа, за которую себя точно можно похвалить🔥
А теперь ваш черёд. Какие подвиги совершили на неделе?👇
@data_dzen🙂
Обсуждали год → собрали за неделю. Проект по медицине региона, который месяцами ходил по кабинетам, наконец пошёл в разработку
За одну неделю с командой упаковали всё, что растягивали на согласования почти 12 месяцев, и отдали в работу. Ирония в том что разработка займёт меньше времени, чем её обсуждение
Каждый кусочек проекта это попытка упростить жизнь заказчику. Меньше ручного труда, головной боли. Ну и вишенкой на торте: экономия бюджета в перспективе.
22 месяца на закупку, 2 на работу
Gartner считает, что средний цикл государственных IT-закупок — около 22 месяцев. В коммерции 6–7. Разница в три с лишним раза. Свежесть этого исследования неизвестна, но цифры +/- совпадают с реалиями.
ТЗ в госсекторе часто пишут не ради продукта, а ради ГОСТов. Документ на 80–100 страниц. 10% про функционал. Остальное: стандарты, методички, регламенты. А ещё обязательные паузы, заседания комиссий, окна для жалоб, перезапуски процедур. Вот и набегают те самые 22 месяца.
Когда контракт наконец подписан, на реализацию остаётся 2–3 месяца. Отчётность может занимать до 30% объёма работ, потому что документы проходят через 3–4 уровня контроля.
Хотели как лучше, а получилось ...
Система задумана как защита от недобросовестных исполнителей. На деле выкручивает руки тем, кто хочет сделать нормальный продукт.
А вот проблемные компании за счёт сильных юристов и умения работать с формулировками ТЗ нередко отбиваются от контролирующих органов.
Видел я такую конторку. У них в штате даже не было разработчиков, и по итогу при ревью кода выяснилось что каждый раз код писали разные люди. Видимо фрилансеры
Вот такая вот «защита». Коли в компании штат юристов больше, чем специалистов - это первый звоночек.
ГОСТы на месте, а качество.. нуу как повезёт
Государство тратит годы, чтобы подробно описать, как потратить деньги. А потом даёт команде 2–3 месяца, чтобы всё реализовать. Документация ничего не говорит о качестве продукта, зато каждый ГОСТ на месте.
Но мы пробиваемся и делаем то, что нужно людям. И эта неделя, маленькая победа, за которую себя точно можно похвалить
А теперь ваш черёд. Какие подвиги совершили на неделе?
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Убираем рутину из расписания через автоматизацию Excel 😎
Ну вот и подходит наш путь по Excel к завершению. На этой неделе закроем его большой статьёй и шпаргалкой по тренировке.
А пока обсудим золотую жилу для ленивого🤔
Его анонсировали в 1993-м. А он до сих пор кормит аналитиков в половине корпораций РФ. Речь про макросы.
Макрос - сценарий на VBA, который автоматизирует рутину: чистку данных, сборку отчётов, рассылку, генерацию документов. Всё локально. Без интернета.
Что умеют делать с макросами:
1️⃣ Чистят выгрузку из 1С за 8 секунд вместо 40 минут руками: пустые строки, пробелы, кривые даты, коды → нормальные названия
2️⃣ Собирают сводный отчёт из десятков региональных файлов: макрос сам обходит папки, забирает данные, клеит, считает итоги
3️⃣ Рассылают PDF через Outlook по списку адресатов - открыл, нажал, ушёл за кофе
4️⃣ Генерят сотни счетов/актов по шаблону: цикл по строкам = файл на каждого контрагента
5️⃣ Строят мини-дашборд для отдела продаж: сводная по менеджерам, топы и аутсайдеры, PDF в папку
А зачем вам это?🤔
Оптимизируем: полдня ручной работы, человеческие ошибки, «ой, забыл Х поле».
Получаем: 2–3 минуты работы машины, предсказуемый результат каждый раз.
Почему в РФ без VBA вообще никуда
В госах, банках, ВПК, промышленности - станции физически отрезаны от интернета. Office Scripts, Power Automate, Copilot - не работают без облака от слова совсем.
VBA - единственный встроенный способ автоматизации в таких контурах. IT-отдел не нужен. Согласования доступов, лицензии на RPA? Забудьте.
Факт: Наша дорогая ФНС с 120 000 рабочих мест годами жила на макросах как основном способе убить рутину. Переход на RPA начали только в 2025-м. Так как им потребовалась работа в браузере и связка с дополнительными программами.
Где засада🤦♂️
1️⃣ Жёсткие диапазоны: записал макрос под A1:F100, через месяц данных до строки 500 - код не обрабатывает новое, а ты уверен что всё ок
2️⃣ Привязка к ActiveSheet: запустил из другой книги - упал или посчитал не то
3️⃣ Нет обработки ошибок: без Option Explicit и On Error код ломается в проде на ровном месте
4️⃣ Обновление Excel/Windows: апдейт ломает старые макросы - от зависаний до ошибок на простых операциях
Лечим динамическими диапазонами, явными ссылками на листы, обработкой ошибок и документацией версий (Да да, той самой которую никто и никогда не хочет вести).
Это решает диалоги вроде:
— "У нас все поломалось, срочно почини"
— "Ну чего вам надо, у меня все работает. Это у вас кривые настройки"
Аналитик с VBA в закрытом контуре = человек у которого больше половины рабочего дня свободного время на кофе да шутки-прибаутки с коллегами. Ну или вдруг на создание гениального отчета… Главное сильно не кичиться такой автоматизацией, а то боярин нагрузит лишней работкой😂
Есть ли у вас в практике рутинные действия, что повторяются бесконечно и их можно было закрыть макросами?
Накиньте примеров в комменты👇
И конечно попробуйте потестить. Вдруг поможет и вам💯
#Excel
@data_dzen🙂
Ну вот и подходит наш путь по Excel к завершению. На этой неделе закроем его большой статьёй и шпаргалкой по тренировке.
А пока обсудим золотую жилу для ленивого
Его анонсировали в 1993-м. А он до сих пор кормит аналитиков в половине корпораций РФ. Речь про макросы.
Макрос - сценарий на VBA, который автоматизирует рутину: чистку данных, сборку отчётов, рассылку, генерацию документов. Всё локально. Без интернета.
Что умеют делать с макросами:
А зачем вам это?
Оптимизируем: полдня ручной работы, человеческие ошибки, «ой, забыл Х поле».
Получаем: 2–3 минуты работы машины, предсказуемый результат каждый раз.
Почему в РФ без VBA вообще никуда
В госах, банках, ВПК, промышленности - станции физически отрезаны от интернета. Office Scripts, Power Automate, Copilot - не работают без облака от слова совсем.
VBA - единственный встроенный способ автоматизации в таких контурах. IT-отдел не нужен. Согласования доступов, лицензии на RPA? Забудьте.
Факт: Наша дорогая ФНС с 120 000 рабочих мест годами жила на макросах как основном способе убить рутину. Переход на RPA начали только в 2025-м. Так как им потребовалась работа в браузере и связка с дополнительными программами.
Где засада
Лечим динамическими диапазонами, явными ссылками на листы, обработкой ошибок и документацией версий (Да да, той самой которую никто и никогда не хочет вести).
Это решает диалоги вроде:
— "У нас все поломалось, срочно почини"
— "Ну чего вам надо, у меня все работает. Это у вас кривые настройки"
Аналитик с VBA в закрытом контуре = человек у которого больше половины рабочего дня свободного время на кофе да шутки-прибаутки с коллегами. Ну или вдруг на создание гениального отчета… Главное сильно не кичиться такой автоматизацией, а то боярин нагрузит лишней работкой
Есть ли у вас в практике рутинные действия, что повторяются бесконечно и их можно было закрыть макросами?
Накиньте примеров в комменты
И конечно попробуйте потестить. Вдруг поможет и вам
#Excel
@data_dzen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM