Не так давно я писал про распознавание классов данных в DataCrafter'е и про небольшой движок с открытым кодом metacrafter [1], но не все и не всегда понимают зачем это нужно и для чего вообще используются подобные инструменты и нужно понимание того что содержится в таблицах с данными. Я постараюсь об этом рассказать в подробностях.

То что я ранее упоминал как классы данных, иногда называют метки данных (data labels), но самое распространённое название - это semantic type (семантический тип данных). В отличие от простых типов данных таких как числа, числа с плавающей запятой, строки, даты, бинарные блоки и так далее, семантические типы определяют смысл и предназначение именно этих данных. Смысл и предназначение как в содержании, так и в последующих вариантах применения.

Например, типом поля может быть строка, а семантическим типом может быть: адрес, номер телефона, название организации или ФИО человека. Каждый из этих семантических типов имеет разный смысл и разные модели использования. Где-то это ссылка на справочные значения, где-то данные требующие расшифровки и декомпозиции, а где-то и метрики для последующего анализа и отображения.

Многие инструменты умеют определять семантические типы весьма неплохо. Например, Talend ETL поддерживает несколько десятков семантических типов данных [2] что используется в преобразованиях данных. Некоторые семантические типы понимает и распознает Google DataStudio [3] что позволяет сразу размечать данные в наборе для разных видов визуализации. А в таком инструменте как Dataprep [4] семантические типы данных используются в задачах очистки наборов данных. И таких применений ещё много.

Поэтому отвечая на вопрос: зачем это нужно, перечислю наиболе очевидные области применения:
1. Идентификации персональных данных в целях комплаенса и соответствия требованиям.
2. Автоматизация обработки данных включая (сопоставление схем, обогащение данных, автоматизация преобразований)
3. Обеспечение качества данных: автоматизация проверки на соответствие данных шаблонам и подсказки для инженеров QA.
4. Автоматизация документирования данных автоописанием полей данных на основе их смысла
5. Улучшение визуализации в BI системах за счёт того что система начинает понимать природу данных и предлагать разные способы их визуализации
6. Повышение находимости данных (data discoverability) через доп фильтры для поиска и через дополнительный способ навигации по данным.

Наиболее остроактуальные темы - это повышение качества данных и идентификация персональных данных. Многие онлайн платформы, вроде Snowflake, автоматизируют идентификацию семантических типов.

Ссылки:
[1] https://github.com/apicrafter/metacrafter
[2] https://help.talend.com/r/en-US/Cloud/data-preparation-user-guide/predefined-semantic-types
[3] https://developers.google.com/datastudio/connector/semantics
[4] https://docs.dataprep.ai/user_guide/clean/clean_df.html

#data #datatools #dataconcepts

В рубрике полезных инструментов с открытым кодом для работы с данными Datasette [1]. Незаменим когда надо очень быстро и простым образом опубликовать данные так чтобы можно было их не просто скачать, но и связывать с другими данными, делать SQL запросы и просматривать онлайн.

Инструмент автоматически создаёт интерфейс поверх набора данных и даёт возможности поиска по нему разными способами. Его особенность в том что он работает поверх базы SQLlite, которую также можно скачать.

Примеры публикаций датасетов с помощью datasette:
- global-power-plants.datasettes.com [2] - база электростанций по всему миру
- fara.datasettes.com [3] - реестр инагентов в США (FARA)
- covid-19.datasettes.com [4] - база кейсов по COVID-19
И многие другие.

Интерфейс который создает datasette неидеален и лично мне он не нравится, но для многих он может быть и будет полезен.

Ссылки:
[1] https://datasette.io/
[2] https://global-power-plants.datasettes.com/
[3] https://fara.datasettes.com/
[4] https://covid-19.datasettes.com/

#datatools #opendata #data #opensource

Для тех кто работает с данными и кому нужно регулярно кто-либо архивировать из социальных сетей, продвинутый инструмент для этой задачи - snscrape [1]. Поддерживает Faceboo, VK, Twitter, Instagram, Reddit и ещё много чего. Лучше всего архивирует данные твиттера.

Когда надо сохранить/регулярно сохранять чьи-то социальные сети - вещь незаменимая.

Работает с командной строки, написан на языке Python.

Ссылки:
[1] https://github.com/JustAnotherArchivist/snscrape

#datatools #opensource #digitalpreservation

Для всех кто учится работать с данными и работать с SQL я рекомендую сразу начинать изучать dbt, например, по ссылкам из awesome-dbt [1] и начиная с бесплатного официального курса [2]. Пройдёт год-два максимум и dbt в России начнут повсеместно использовать, а для работы инженера-аналитика (analytics engineer) дистанционно на проект/компанию в любой стране - это будет одна из наиболее востребованных технологий.

Почему dbt? Потому что пока это наиболее развитый инструмент преобразования данных. Если в областях ETL/ELT, data orchestration, data visualization, BI и других есть масштабная конкуренция и авторы и создатели проектов регулярно пишут о том как заменить одно на другое или как отказаться от чего-либо, например, как отказаться от Airflow [3], то про dbt все пишут только о том как они заменили свои механизмы трансформации данных на dbt.

Продукт получился просто таки попаданием в яблочко, в России он мало применяется только по причине малой применимости тут других зарубежных облачных продуктов. Но важная особенность dbt что он, и облачный, и как изначальный open source продукт.

Ссылки:
[1] https://github.com/Hiflylabs/awesome-dbt
[2] https://courses.getdbt.com/collections
[3] https://blog.fal.ai/the-unbundling-of-airflow-2/

#datatools #studies #learning #sql #dbt

Краткое пособие по тому как устроен мир
https://www.youtube.com/playlist?list=PLv-_U8ZFgNLHuXyct_a4ng-HqYpnJ66B-

Краткое пособие по тому, как устроен мир. Фильм...

Его взгляд интересен не только тем, что автор проанализировал всю историю взаимоотношений России и Запада под необычным углом, но и тем, что биографически Ги Меттан никак не был связан с Россией. Наша страна открылась ему после того, как в 1994 году они с женой...

Маркетинг. Как привлечь клиентов в бизнес профессиональных услуг? Обучающий фильм.
▶️ https://m.youtube.com/watch?v=wTqhdT0UXFI
...

Продвижение юридических услуг для граждан
▶️ https://m.youtube.com/watch?v=VG-u9Mc8pfk
...

Фильм: Юридический бизнес и адвокатура. Почему одни юристы в топе, а другие в жопе?
▶️ https://m.youtube.com/watch?v=nYrylUNBJFU
...

Создание юридических сайтов. Как сделать сайт для юристов и адвокатов?
▶️ https://m.youtube.com/watch?v=NIMkAy2kKn0
...

"Как сделать сайт продающим?" Привлекаем клиентов в бизнес услуг с помощью сайта
▶️ https://m.youtube.com/watch?v=XkMImNeXog4
...

Новые приложения Telegram

Telegram запустил две новые веб-версии и apk-версию для Android. Они позволят мессенджеру не зависеть от требований удалить пиратский контент, модерации обновлений и прочих требований Google Play и App Store.

apk для Android

Версия с сайта Telegram будет обновляться чаще, поскольку не придется ждать модерации Google Play. В приложении отключена блокировка пиратского контента, а также встроен механизм обновления в обход магазина приложений.

Скачать apk с официального сайта Telegram

Веб-версии

Новые веб-версии мессенджера одинаково хорошо работают как на компьютерах, так и на мобильных устройствах и содержат большинство привычных функций. Наличие двух разных версий объяснили «внутренней конкуренцией».

Версия K
Версия Z

@tlgblog

В рекламной системе Телеграм появилась массированная рекламная кампания блокчейна TON!

После того, как SEC запретила выпускать токены Gram блокчейн платформы Telegram Open Network, Павел Дуров отказался от реализации проекта и вернул инвесторам деньги.

Но по прошествии полугода команда из бывших сотрудников дуровского ВКонтакте и победителей конкурсов для разработчиков Телеграм решила продолжить разработку проекта.

Дуров официально передал им репозиторий с кодом, доменное имя, а также права на бренд TON.

Новый блокчейн был переименован в The Open Network, чтобы исключить из него Telegram, но оставить аббревиатуру прежней. А монета Gram была переименована в Toncoin. Первичное распределение монет (Toncoin'ов) в нем произошло с помощью майнинга.

Теперь в довесок к той помощи, что Дуров уже оказал проекту, добавилось и продвижение Телеграм-канала The Open Network в новой рекламной системе Телеграм.

Сам блокчейн еще пока не начали активно обсуждать в СМИ, но он уже обзавелся довольно мощным функционалом (мостами с другими популярными блокчейнами, а также сразу несколькими кошельками) и очень быстро развивается.

За последние 4 дня монета выросла в 3 раза (по данным на текущий момент) и с учетом той помощи, которую оказал Павел Дуров, это похоже только начало.

Уже сейчас монеты проекта можно купить сразу несколькими способами.

Информация в посте представлена на основе неофициального сайта и канала, посвященных блокчейнам Telegram Open Network и The Open Network.
Официальный сайт блочейна: ton.org

Ситуация кажется крайне привлекательной с точки зрения инвестиций, но помните, что инвестиции в криптовалюты всегда высокорискованы. Будьте внимательны.

@tlgtechinik

🔀 Интеграция TON с Telegram

Команда The Open Network до конца 2022 года планирует запустить сервисы TON Payments, TON Proxy, TON Storage, TON Sites.

Из публикации Forbes стало известно, что Telegram «было бы интересно» интегрировать функционал этих сервисов в мессенджер.

Разработчики TON создают сервисы таким образом, чтобы их легко можно было интегрировать в Telegram.

На сегодняшний день частичная интеграция уже есть: например, Telegram-бот @TonometerBot позволяет создавать TON-визитки с привязкой Telegram-аккаунта к TON-кошельку — сервис был упомянут в статье Forbes.

При интеграции TON c Telegram мессенджер может стать супераппом с функциями банка, стримингового сервиса и маркетплейса. Однако это несет риски очередных проблем с AppStore и Google Play.

@tlgblog

Инструкция для "беженцев" из Инстаграма

14 марта Роскомнадзор ограничит доступ к Инстаграм, на этой почве огромное количество бизнесов экстренно переезжает в Телеграм. Для многих это незнакомая площадка. Мы решили подготовить краткое руководство по выживанию в Телеграм для новичков.

Первое, что нужно понимать владельцу бизнеса - в Телеграм нет привычных инструментов для продвижения, нет органического трафика, нет таргетированной рекламы.

Возникает вопрос - а как тогда продвигаться?

— Взаимный пиар (ВП). Это то же самое, что привычный для инстаграмщиков SFS. Договаривайтесь с каналами смежных тематик, искать их можно в каталогах, таких как tgstat.ru. Создайте карточку своего канала в каталоге, чтобы другие админы могли найти ваш канал.
— Реклама. Вы можете купить рекламу в любом канале, выбирайте в тех же каталогах. Кроме договоренности о рекламе напрямую с владельцем канала, в Телеграм есть собственная рекламная платформа, но для малого бизнеса это пока что не самый рабочий вариант (слишком высокий порог входа, на текущий момент возможно размещение только через крупные рекламные агентства).
— Репосты. Просите своих подписчиков делиться вашими постами с друзьями, а если вы будете делать ценный уникальный контент, то и просить не придется. Кнопка для быстрого репоста находится в правом нижнем углу под каждым постом. Таким образом можно собирать подписчиков за счет "вирусных" публикаций.

Что дальше? Вот основные функции, которые могут понадобиться новичку:

— Описание. Укажите важную информацию о своей компании в описании канала - чем вы занимаетесь, ссылки на сайт, другие соцсети, Телеграм-чат.
— Привязка группы для комментариев. Чтобы подписчики могли комментировать посты, создайте Телеграм-чат и привяжите его к каналу в настройках. Это нужно сделать один раз, дальше комментарии будут появляться под каждым постом автоматически. Важно: подписчики могут писать комментарии, не вступая в чат. Если хотите собрать подписчиков в чат, предложите им это сделать со ссылкой на чат.
— Закрепленные сообщения. Вы можете закрепить любой пост с важной информацией, подписчики будут видеть его вверху вашего канала.
— Реакции. Включить/отключить реакции под постами и выбрать список доступных реакций можно в настройках канала.
— Статистика. Для любого канала свыше 50 участников в настройках доступна подробная статистика, только в мобильном приложении.
— Мультиаккаунты. Вы можете авторизоваться одновременно в трех аккаунтах с возможностью переключения между ними. Если нужно больше, используйте альтернативные клиенты, например, Telegram X.
— Администраторы. Чтобы добавить помощника-админа, он должен подписаться на ваш канал / вступить в группу. В чатах и в каналах админы добавляются и права настраиваются отдельно. В чате админ может отвечать от лица вашего бизнеса анонимно, если задать ему в настройках разрешение "Анонимность". Вы можете завести и настроить один аккаунт для менеджеров и давать к нему доступ, вместо добавления новых администраторов.
— Лимиты. Описание канала 255 символов, обычный пост 4096 символов, подпись к картинке 1024 символа и другие лимиты.
— Форматирование. В Телеграм гибкое форматирование текста в отличие от Инстаграм. Самое важное - можно использовать ссылки, какие угодно, где угодно.
— Боты. Для многих бизнес-задач есть Телеграм-боты: модерация чатов, конкурсы и т.д. Ищите ботов в каталогах или в чатах, например @botshelper. Боты бывают платные и бесплатные, в бесплатные чаще всего встроена реклама.
— Безопасность. Остерегайтесь мошенников, новые схемы появляются постоянно. Самое популярное: писать от имени других людей, установив похожий никнейм. Установите двухфакторную авторизацию.
— Спам. Будьте аккуратнее, общаясь с незнакомцами, чтобы не получить спам-ограничения. Проверить и обжаловать можно в @spambot. Заниматься спам-рассылками - плохая идея.
— Следите за обновлениями Телеграм и устанавливайте их, чтобы применять нововведения. Установите в приложении русский язык, чтобы проще было разобраться в настройках.

Делитесь этой инструкцией с друзьями, которые переводят свой бизнес в Телеграм.

@tlgblog