load_model.py
1.9 KB
Пример тестового скрипта и минимальная модель для выборки по номеру квартиры из данных адреса
👍3
bach.exe
3.5 MB
Обогащение перед формированием связей и зависимостей.
На моей памяти нет ни одной базы, которая сформировала бы полное заполнение важных для поиска и выдаче столбцов. Например, в госуслугах то отсутствует адрес, то телефон, то ИНН, то СНИЛС итд.
Процедура обогащения довольно проста по сути, но реализация требует больших аппаратных мощностей.
Допустим мы имеем файл одной из баз со следующими строками:
Иванов Иван Иванович, 19.04.1998,
Петров Иван Иванович, 19.04.2005,1@mail.ru
Добавляем к нему следующую базу со строками:
Иванов Иван Иванович,,2@mail.ru
Петров Иван Иванович, 19.04.2005,1@mail.ru
,19.04.1998,2@mail.ru
Задача создать обогащение в целых строках и удалить неполные при наличии полных в базе
Должно получится:
Иванов Иван Иванович,19.04.1998,2@mail.ru
Петров Иван Иванович,19.04.2005,1@mail.ru
Вот exeшник который реализует эту стратегию. Не пытайтесь запустить на нем что-то большое, время обработки увеличивается пропорционально количеству строк и столбцов. На файлах до 50 Мб можно потренироваться. Разделитель вертикальная черта, ограничителей нет.
На моей памяти нет ни одной базы, которая сформировала бы полное заполнение важных для поиска и выдаче столбцов. Например, в госуслугах то отсутствует адрес, то телефон, то ИНН, то СНИЛС итд.
Процедура обогащения довольно проста по сути, но реализация требует больших аппаратных мощностей.
Допустим мы имеем файл одной из баз со следующими строками:
Иванов Иван Иванович, 19.04.1998,
Петров Иван Иванович, 19.04.2005,1@mail.ru
Добавляем к нему следующую базу со строками:
Иванов Иван Иванович,,2@mail.ru
Петров Иван Иванович, 19.04.2005,1@mail.ru
,19.04.1998,2@mail.ru
Задача создать обогащение в целых строках и удалить неполные при наличии полных в базе
Должно получится:
Иванов Иван Иванович,19.04.1998,2@mail.ru
Петров Иван Иванович,19.04.2005,1@mail.ru
Вот exeшник который реализует эту стратегию. Не пытайтесь запустить на нем что-то большое, время обработки увеличивается пропорционально количеству строк и столбцов. На файлах до 50 Мб можно потренироваться. Разделитель вертикальная черта, ограничителей нет.
👍3❤1
Аппаратные мощности. Естественно, весь этот процесс занимает колоссальных ресурсов «суперкомпьютеров» и GPU серверов. Задачи в формировании файлов сильно разняться. Где-то хорошо работает многопоток CPU, где-то GPU. По GPU пока видится это эффективность объема памяти перед «треугольниками» частот. Это дает возможность запускать на чем-то дешевом под ту же CUDA 10.2
👍3
Второй месяц- полет нормальный!
Сожгли две видеокарты.
Остановились на одном ИИ для обогащения, втором для формирования связей.
Несколько сэмплов разбросали по чатам.
Из интересного! Все выпуски Сирены+Кордон (который намного полнее чем был у ЮБ) все равно не покрывают и трети осуществленных перелетов граждан РФ. Связи формировать можно (что и делаем), но пробелов по ним еще много. С поездками РЖД более полная ситуация и с 2014 года существуют полноценные БД без каких-либо пропусков.
Сожгли две видеокарты.
Остановились на одном ИИ для обогащения, втором для формирования связей.
Несколько сэмплов разбросали по чатам.
Из интересного! Все выпуски Сирены+Кордон (который намного полнее чем был у ЮБ) все равно не покрывают и трети осуществленных перелетов граждан РФ. Связи формировать можно (что и делаем), но пробелов по ним еще много. С поездками РЖД более полная ситуация и с 2014 года существуют полноценные БД без каких-либо пропусков.
🏆6👍2
Возникли сложности с правильным расположением ФИО. Например в FSSP порядок ИОФ встречается в более чем 15% случаев. Используем опыт ИИ при отработке фамилий в падежах. Формируем исключения типа: Женская фамилия- Иванович, мужская фамилия – Петрович (довольно распространенная в РФ, имеет Польское происхождение)
👍3
go.txt
3.6 KB
Небольшой код на GO в рамках проекта
Удаляет дубли по столбцам
Удаляет строки если нет совмещенных значений
Переносит значения в замен пустых к первому столбцу
Удаляет пустые столбцы
Пример:
Иванов 1980|||Иванов 1980
Иванов 1980|||Иванов 1981
Иванов 1980||Иванов 1982|Иванов 1983|Иванов 1980
После обработки останется:
Иванов 1980|Иванов 1981
Иванов 1980|Иванов 1982|Иванов 1983
Просит ввести рабочие столбцы, начиная с первого. Все что после них, программа игнорирует
Отображает процесс в терминале
Разделитель |, ограничителей нет
Работает в оперативной памяти. Если выдает ошибку: panic: runtime error-разбивайте файл на части
Удаляет дубли по столбцам
Удаляет строки если нет совмещенных значений
Переносит значения в замен пустых к первому столбцу
Удаляет пустые столбцы
Пример:
Иванов 1980|||Иванов 1980
Иванов 1980|||Иванов 1981
Иванов 1980||Иванов 1982|Иванов 1983|Иванов 1980
После обработки останется:
Иванов 1980|Иванов 1981
Иванов 1980|Иванов 1982|Иванов 1983
Просит ввести рабочие столбцы, начиная с первого. Все что после них, программа игнорирует
Отображает процесс в терминале
Разделитель |, ограничителей нет
Работает в оперативной памяти. Если выдает ошибку: panic: runtime error-разбивайте файл на части
👍6👌2
connecting_people@project_protium.csv
8.3 MB
Пример связей по первому уровню. Без персональных данных, только связанные лица ФИО+ДР
❤2
отчества_на_обработку_имени.txt
69.4 KB
Список отчеств-фамилий для H20 при наличии которых необходимо обязательно включать проверку по имени
👍3
К вопросу о связях аккаунтов в мессенджере телеграм
Такие связи стали появляться на различных ресурсах, но функционально не несут сильной смысловой нагрузки.
Формируются из переписки в чатах, нахождении в некотором количестве совпадений по одним и тем же чатам, телеграм подаркам.
Можно ли создавать более со зависимые связи по аккаунтам телеграм? Да можно.
База геолокации абонентов не удаляется на серверах.
Еали очень грубо. Два абонента с включенным режимом геолокации находились одновременно в принципиально разных местах:
15 августа с 17 до 20 присутствовали в здании Государственной Думы
7 апреля в городе Мале (Мальдивские острова)
23 декабря на Керченском полуострове
Такие абоненты формируют связанную пару
Такие связи стали появляться на различных ресурсах, но функционально не несут сильной смысловой нагрузки.
Формируются из переписки в чатах, нахождении в некотором количестве совпадений по одним и тем же чатам, телеграм подаркам.
Можно ли создавать более со зависимые связи по аккаунтам телеграм? Да можно.
База геолокации абонентов не удаляется на серверах.
Еали очень грубо. Два абонента с включенным режимом геолокации находились одновременно в принципиально разных местах:
15 августа с 17 до 20 присутствовали в здании Государственной Думы
7 апреля в городе Мале (Мальдивские острова)
23 декабря на Керченском полуострове
Такие абоненты формируют связанную пару
👍5🔥2👏2🌚1
Связь через связь...
Допустим гражданин Петров Игорь Иванович 01.09. 1980 вывозил своего сына (Петрова Марата Игоревича 09.07.2005) в Анапу и сформировалась связь по РЖД поездке.
А его супруга Петрова Маргарита Львовна 07.09.1980 вывозила сына уже в Минеральные воды авиасообщением и у них так же сформировалась связь.
До этого супруги не попадали в базу как связанные лица. При наличии дополнительного якоря в виде одинаковой фамилии у супругов Игоря и Маргариты формируется связь через совместную поездку с сыном.
Дополнительным якорем может быть не только фамилия. Любое другое совпадение: оплата парковки одного и того же авто, совместная поездка на самокате и т.д.
Допустим гражданин Петров Игорь Иванович 01.09. 1980 вывозил своего сына (Петрова Марата Игоревича 09.07.2005) в Анапу и сформировалась связь по РЖД поездке.
А его супруга Петрова Маргарита Львовна 07.09.1980 вывозила сына уже в Минеральные воды авиасообщением и у них так же сформировалась связь.
До этого супруги не попадали в базу как связанные лица. При наличии дополнительного якоря в виде одинаковой фамилии у супругов Игоря и Маргариты формируется связь через совместную поездку с сыном.
Дополнительным якорем может быть не только фамилия. Любое другое совпадение: оплата парковки одного и того же авто, совместная поездка на самокате и т.д.
🤯3❤1
Ни для кого не секрет что все различные ведомства с незапамятных времен занимаются приписками. Но масштабы сегодня приобретают просто гигантские размеры.
Доступные данные одинаково проблемные. Находятся массовые «мертвые души» на портале госсуслуг, поездках РЖД, должниках ФССП, в данных ВЭД, ЗАГС, МОРГах и т.д. Собственно, в любой госструктуре эта практика реализуется с нижних эшелонов и увеличивается пропорционально по административной лестнице.
И похоже, что уже давно никто не имеет реальных цифр для формирования более-менее качественной статистики по РФ.
Для примера ниже компилированная программа на GO для расчёта контрольного числа по СНИЛС из файла csv и выгрузка ошибочных данных из ФССП 2023.
По программе: UTF8, разделитель |, ограничителей нет. Нужно выбрать файл и указать столбец со СНИЛС. Программа создаст два новых файла: true.csv и фуфло.csv
Доступные данные одинаково проблемные. Находятся массовые «мертвые души» на портале госсуслуг, поездках РЖД, должниках ФССП, в данных ВЭД, ЗАГС, МОРГах и т.д. Собственно, в любой госструктуре эта практика реализуется с нижних эшелонов и увеличивается пропорционально по административной лестнице.
И похоже, что уже давно никто не имеет реальных цифр для формирования более-менее качественной статистики по РФ.
Для примера ниже компилированная программа на GO для расчёта контрольного числа по СНИЛС из файла csv и выгрузка ошибочных данных из ФССП 2023.
По программе: UTF8, разделитель |, ограничителей нет. Нужно выбрать файл и указать столбец со СНИЛС. Программа создаст два новых файла: true.csv и фуфло.csv
❤2🤣2
Небольшая программа для понимания работы по семейным связям
Алгоритмы и словари естественно сокращённые и упрошенные, но побаловаться хватит.
Для работы:
В исходнике:
Первый столбец- адрес
Второй- ФИО
Третий- дата рождения в формате: 31.12.1997
Разделитель |
Ограничителей нет
Кодировка UTF8
Windows 64
На выходе получаем тип связи + иногда национальный признак
Во вложении для тренировки публичная база адресного бюро Якутска лохматого года
Алгоритмы и словари естественно сокращённые и упрошенные, но побаловаться хватит.
Для работы:
В исходнике:
Первый столбец- адрес
Второй- ФИО
Третий- дата рождения в формате: 31.12.1997
Разделитель |
Ограничителей нет
Кодировка UTF8
Windows 64
На выходе получаем тип связи + иногда национальный признак
Во вложении для тренировки публичная база адресного бюро Якутска лохматого года
👏2❤1