Заметки Менеджера Данных
19 subscribers
57 photos
12 videos
20 files
29 links
Data Manager Diaries.

Было:
Вместе учимся приводить в порядок, "читать", а также интерпретировать имеющиеся данные.

Стало:
Фулл-стек разработка. Программирование в целом и немного обработки данных..

Технологии:
Python 3, R, Excel, VBA, Power Query, SQL
Download Telegram
Прощальное письмо от Т2:

Уходите из t2? Нам жаль… Останемся друзьями? Мы могли бы оказаться рядом, когда вам будет нужна связь на выгодных условиях. Если вы хотите получать рекламную информацию об услугах t2 на этот номер, пожалуйста, отправьте нам любое SMS.

🫣😁🤣🥹😅
😁1
Я конечно, понимаю, что это личная беседа. Прости, теле2, но не могу не поделиться информацией о твоей ЩЕДРОСТИ, к сожалению, запоздалой
🫣😁😅🥹🤣

Мы всегда вам рады. Если вы решите вернуться к нам с этим номером в течение года, то скидка 30% на тариф "Мой онлайн+" на 12 месяцев будет ждать вас в разделе "Промокоды" в приложении T2 (6+).
❤1😁1
image_2025-12-30_11-39-55.png
595.9 KB
Прошка*

Прошка пошел погулять,
Пдф-файлы лениво жевать,
По папкам он как козел скачет,
Ничего не топчет и не косячит,
Даже антивиря** злого он не беспокоит,
Он очень умно и грамотно настроен - ёУ)
У него везде подкручена задержка:
По количеству файлов и по таймаутам конечно)

Прошка - умный, он все помнит,
Где гулял ранее, по каким директориям,
Какие файлы он жевал, какие пережевал и пережевывал,
А какие даже переварил и ...
ну Вы сами поняли...

Прошка запомнил уже боле 80 тыщ файлов,
А точнее их полных названий,
И не только названия, а полные пути к ним,
Прошка - умный!
Главное: ШТОБ ЕГО НЕ ЗАБЛОЧИЛ НАШ МЕСТНЫЙ АДМИН...

)))

Примечания
* "Прошка" - потому что PDF Compressor PRO 😄
** "Антивирь" - антивирусная программа.
🔥2❤1
ну очевидно же)))
Forwarded from Кабаныч
Трамп выбрал ледяной остров, а мог бы получить 350 000 000 000 эскимо чистая линия...
А что выберете вы?

КАБАНЫЧ
❤1👍1🔥1
Привет всем!

Работы ведутся полным ходом.

Последний модуль на заведующей стадии, затем подгружаем документы с этого года и вводим в эксплуатацию

Неспеша, отдельно для каждого из 15 филиалов 🫠
👍4❤1👏1
Хааааааай)

Демонстрирую результаты работы пдф-компрессора.*

Что было сделано за последнее время по нему:
1) добавлен ОКР-движок (Теззеракт****);
2) по умолчанию теперь программа сжимает с помощью Гостскрипт + Теззеракт;
3) проект перезалит в отдельный репозиторий и находится в открытом доступе (хотите - пользуйтесь);
4) кажется, найден более-менее идеальный баланс по количеству итераций (проверка и попытка сжатия файлов) и простоя между ними (333 файла и отдых 11 сек.) - в такой конфиге антивирус не сносит интерпретатор Пайтон 😁;
5) добавлено несколько новых и важных полей в таблицу с обработанными файлами (количество страниц в пдф-файле, изначальный размер файла, кбайт);
6) в конфигу добавлены "ред-флаги" (от англ. красные флаги) на пропуск текущего файла (1-ый: максимально допустимое количество страниц, 2-ой: минимальный кбайт/стр. файла, 3-ий: минимальный размер файла), если количество страниц более, чем в показателе - пропускаем с соотв. отметкой о причине пропуска, в то же время если размер каждой (в среднем) страницы менее, чем в указанном втором новом показателе - то же самое, таким образом удается избежать 1: пытаться обрабатывать слишком большие (по количеству страниц, выставлено 128 страниц) файлы, а также достаточно сжатые (на Ваш взгляд, установленый порог сжатия - 128 кбайт/стр.) - и не пытаться тратить время на эти файлы, так как их количество более 60 тыс. 3-ий показатель позволяет пропускать маленькие файлы (установлен порог 1 мегабайт, то есть файлы с размером менее 1 МБайта пропускаются).


К каким преимуществам привели эти обновления:
1) ОКР-Теззеракт стал хорошо сжимать "недожеванные" ГостСкриптом файлы, так как он хорошо обрабатывает именно отсканированные (изображения) пдф-ки;
2) естественно, это привело к дополнительной экономии дискового места (локальная сеть организации), а также каждого сотрудника организации за счет времени "копи-пасты" / отправки сжатых файлов;
3) добавление новых показателей способствует получению более полной картины "паттернов" (особенностей) работы с файлами в каждом отделе / отделении, что может косвенно свидетельствовать о цифровой грамотности сотрудников в них.

Какие недостатки и минусы обнаружены в ходе работы:
1) перегрузка по памяти "роняет работу ОСи" (Операционной Системы) рабочей станции, на которой запускается главный исполняемый скрипт программы;
2) данный инциндент происходит примерно 1 раз в 2-3 суток бесперервной работы или в течении суток, если ПК использовать в других целях помимо запущенного пдф-компрессор-про;
3) скорость обработки файлов при комплексном подходе (tesseract+ghostscrypt) ниже в 2-3 раза по сравнению с режимом без "трушного" ОКР (чистый ghostscript***) 🥲.

Возможные доработки и улучшения в ближайшее время, связанные с программой:
1) исправление кода для предотвращения дальнейших перегрузок по памяти;
2) доработка в скриптовую форму программы с возможностью запуска с помощью крона;
3) внедрение скриптовой версии программы в систему документооборота либо в качестве прослойки при подгрузке пдф-файлов либо также запуск в фоне по расписанию (в ночное время) для сжатия и экономии дискового места / времени пользователей на последующее скачивание файлов.

Примечания:
* Скриншот - в комментариях.
** OCR on Wiki:
https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D1%81%D0%B8%D0%BC%D0%B2%D0%BE%D0%BB%D0%BE%D0%B2
***GhostScript official website:
https://ghostscript.com/
**** Tesseract on Wiki:
https://ru.wikipedia.org/wiki/Tesseract

Без понятия, как создателям "овечки" удалось оптимизировать все эти инструменты в своем pdf24 таким образом, что сжимает она намного быстрее, 😈 но ведь, с другой стороны, недостаточно хорошо (это, как говорится, не точно😁) по сравнению с моим "Прошкой" и, тем более, не в таких промышленных масштабах...

#Прошка
#ПрошкаХороший
#ПрошкаУмный
#pdf_compressor_pro
#pdfcompressorpro
#pdfprocessing
#python
#tesseract
#ghostscript
👍2❤1👏1
Привет! За экспертность в данной области не топлю, но решил систематизировать видение и понимание о фуллстек-разработке и текущем проекте в целом ("зачем, что, откуда и куда").

Примечания - в комментах🖌

#проект
#системадокументооборота
#flask
#postgres
#redis
#memcached
#fullstack
👍1🔥1
Железная логика 😁
❤1😁1
🙋 Приветы! Немного картинок из проекта... Система документооборота запущена в тестовом режиме в нашем Центре! Ура! Очень много предстоит доработок и исправлений! А также требует большого количества доработок 1 модуль - "договоры ПЭО". Модули входящие, исходящие документы и экспертные заключения - почти готовы.

Каждый день я выписываю себе по несколько заданий (тасок) и закрываю часть из ранее выданных 😁
🔥1
Привет всем!!!

Запустил свой личный сайт:

https://data-manager-tabakaev.ru
🔥4👍1👏1
Дорогие друзья! 👋
Знаю, что некоторые из вас связаны не только с медициной, но и с научной деятельностью. А кто-то даже с медицинской наукой. Именно для вас я собрал удобную подборку онлайн-инструментов — все бесплатные, работают без регистрации, ничего не отправляют на сервер.
🧪 Медицина
• Диагностическая ценность теста — Se, Sp, PPV, NPV, LR+/−, DOR
• Конвертер медицинских единиц — мг/дл ↔ ммоль/л для 20+ показателей
• Калькулятор СКФ — 4 формулы + стадия ХБП
• ИМТ и метаболический синдром — ВОЗ + критерии IDF 2005
📊 Наука и статистика
• Калькулятор размера выборки — с режимом post-hoc мощности
• Подбор статистического критерия — 5 вопросов → нужный тест
• Проверка статистической гипотезы — t-тест, Mann-Whitney, χ², Фишер
Все инструменты — на одной странице:
🔗 https://data-manager-tabakaev.ru/tools/

С некоторыми из вас мы уже плотно работали по медицинской статистике, с кем-то ещё только предстоит познакомиться 😊 Буду рад сотрудничеству — если есть данные, но нет времени на их обработку, обращайтесь.
На сайте вы найдёте не только инструменты, но и кейсы, статьи, материалы по Excel и статистике. Всё обновляется — заглядывайте.
И помните: кто владеет информацией, тот владеет миром 🌍 Так почему бы не начать более профессионально управлять своей — той, что хранится в наших таблицах?
❤1👍1
Что-то меня понесло по онлайн инструментам. Понимаю, что для разработчиков эти штуки практически бесполезны. Однако, вкладки браузера листают не токма оные)))

Поэтому рискну закинуть новый с пылу с жару инструмент по определению оптимального набора инструментов на пайтоне под конкретную задачу. Интерактивно. Порадуй змейку - покорми ее задачами 😁😉

https://data-manager-tabakaev.ru/tools/python-framework-guide/