Через тернии к Визам
697 subscribers
134 photos
25 videos
61 links
Про DWH, CH, BI и автоматизации рядом
Канал это место для дискуссий =D То есть не стесняемся задавать вопросы, уточнять и говорить свое фи.

Канал ведёт Юра, который любит данные, оптимизации в БД и визуализацию

Большие посты тут
https://датавиз.рф
Download Telegram
Ну как-то так. Создание дашбордов текстом уже в проде. =)
От Тани будет еще один подгон попозже, она научилась через JS геокарты рисовать, фича, которой пока нет в облачной версии DataLens.
🔥4
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥10
Ух ты. Что-то грядет от DataLens, но я пока в отпуск =)

Что это значит
• Любая AIка будет использовать API DL сильно "дешевле" по контексту, вместо разбора JSON и дергания ручек - одна строчка с методом
• В целом, читать такой код приятно и AI и человеку
• Разработка дэшей / внесение правок, дополнение формул, интеграции - чище, проще, меньше ошибок

Коллеги Макс и Виталик (спасибо!) давали неофициальную версию SDK поиграться чуть раньше - нейрослопдэш создался за 1.5 минуты, ни одного косяка с точки зрения механики, то есть вот эти AIшибки обычные: я не так понял контакт API, тут иначе надо было токен - не встретились - все прошло гладко, но сам дэш, конечно, попал примерно на 20% в постановку =)
🔥11❤3
This media is not supported in your browser
VIEW IN TELEGRAM
HTML-Дашбординг
Недавно в DataLens появилась штука - html-страницы, туда можно загружать статическую страничку со встроенными данными и шарить ее для решения своих задач.

Из коробки получаем:
• удобный шаринг
• права/доступы как на коллекции
• все действия (drag'n'drop) мышкой как привыкли на сайтах

Меня, конечно, заинтересовало, сколько туда данных можно залить. с помощью сжатия и словариков к справочникам - 500к строк легко. нарисовал pivot, как это может примерно выглядеть. (в комменте приложу сам файлик, чтобы вы посмотрели).

Конечно, это открывает ящик Пандоры окно возможностей для вайб-кодинга зоопарка и проблем с метриками, но как говорится, если не можешь остановить хаос - возглавь.
Мне нравится, что появилось место для складирования html-поделок вайб-кодеров.
🔥13🙈5
В книжном с сыном выбирали по книге в отпуск, зацепила полка про компьютерную грамотность. Если раньше это был Excel, то теперь вот есть книжка про ChatGPT.
И Супер Марио
😁12👾5🎉1
На Алтае увидел интересную инфографику =) такое вот поле, с башенками.

Я бы назвал это инфографикой веры в чудо. Это поляна желаний, собираешь башенку и загадываешь желание и веришь, что оно сбудется.
😁6❤3💯1
How to. Работать с неизвестными форматами данных в 2026 году
Привет, chatGPT, у меня часы AmazFit, как мне оттуда вытащить треки за N дней и собрать их в весь маршрут и визуализировать понятно трэк + сделать фактоид с общей цифрой КМ и подъема / спуска? и положи ее на картинку из отпуска вот на эту good_pic.jpg

В целом даже не надо разбираться было, что там за формат графовый, все сделала ИИшка почти в OneShot.

Вроде вот и весь промпт, но есть одно НО! задача будет решена, но, когда понадобится собрать похожий трек в следующий раз - ИИ пойдет делать это заново, все скрипты будут в TMP. Опять траты токенов (тут задачка стоила в районе 10$, по мне так до фига).

Добавляем в конце Промта
Оформи решение в виде функции питон, где на вход будет папка с N файлами треками машрутов и jpg картинка.

И всё, в следующий отпуск смогу собрать весь трек уже без ИИ, а только запустив Py скрипт.

В целом, постарайтесь подумать не над решением конкретной задачи сейчас, а реализовывать переиспользуемую библиотеку / функцию, чтобы следовать подходу DRY.

#HGT
👍12🔥4
Учитывайте контекст страны
Думаю, все мои читатели знают основные паттерны европейской визуализации - важное сверху и слева, читаем по букве Z, вот это все. Но если вдруг твой заказчик из арабской страны - там паттерны справа налево - и сразу ломается мозг. А еще надо, чтобы BI инструмент поддерживал UI.

И вот вдвоейне сломал себе голову, прочитав статью от Системного блока, как два брата (14 и 10 лет) придумали для своей страны (40 миллионов человек) письменность и случилось это всего 40 лет назад!

Проблема 0 - письменность была, но не учитывала произношения.
Проблема 1 - неприятие государством новой письменности
Проблема 2 - а потом надо все это было оцифровать, привет Unicode

Впечатляет проделанная работа и желание сохранить страну через культурный код языка

Язык назвали Adlam - акроним из первых букв фразы «Alkule Dandayɗe Leñol Mulugol», что значит «алфавит, оберегающий народы от исчезновения»

Ни разу не задумывался, что алфавит это визуализация звуков.
❤6
Не смог пройти мимо =)
Любимые коллеги будут выступать на Самом важном событии моей предыдушей команды.

В этом году всё глубже вокруг ИИ, но и про фундамент не забываем:
• Саша и Глеб расскажут про ИИ в DataLens, в том числе MCP и внешних агентов
• Кузьма про LakeHouse, тут прикольно, что это все в Trino и вуаля - внутри BI, права доступа, RLS - и готово
• Гибридный поиск YDB (не совсем BI, но интересный кейс) от Андрея
• и куча-куча воркшопов вокруг ИИ =)
❤8👍4🔥2
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
Посмотрел вчера фильм "Код 3". Интересная визуализация, которая считалась быстро, не смотря на много шума =D.

Почему она хорошо считалась?

Свой ответ заблюрю тут
Данные отсортированы, то есть это сортировка от большего к меньшему классическая и мы видим, что главный герой находится в самом низу и даже ожидаем этого по ходу фрагмента.
👍2🙏2
How to. Make it DRY*

Обещанного 3 года** ждут - Готовый шаблон фактоид =D

Название и описание метрики, большое число и маленький график рядом. Но хочется ж один раз написать код, а не поддерживать N версий через JS (Хотя с API в целом можно и так, но зачем?)

• деньги, проценты, секунды pretty формат
• тултипы и определения метрик
• Скролл, если места не хватает
• уже все работает - только подготовьте датасет с метриками и полем даты как на закладке Sources

* В целом, сам код несложный, хочется распространять и рассказывать о DRY паттерн: Do not Repeat Yourself

** у нас тут год за три =)
❤7🔥3👍1
Everybody Lies
Ребенок коллеги в первом классе расстроился, что не нашел на картинке ключ. Мы тоже не нашли. Решили спросить хорошую фронтир модель. И она нашла.. Ну не нашла - а дорисовала и нашла =)

Пояснение:
К сожалению, до сих пор модели заточены на то, чтобы выдавать пользователю в первую очередь ответ, чем признаваться в незнании ответа (интеллектуальная скромность), поэтому, если спросить у модели, когда у тебя день рождения, моделька может ответить любым рандомным днем, так как вероятность правильного ответа будет 1/365, а если ответит не знаю - 0.

Но в данном случае от этой модели я такого не ожидал, газлайтинг в чистом виде.
😁9
Forwarded from Дашбордец
Котятки🐱,
я мало пишу в последнее время, так как готовлюсь, наверное, к самому долгому отпуску в своей жизни.
Но в игре остается моя любимая команда, и она расширяется (просто расширяется, так как задач стало больше).
Помогите, пожалуйста, с репостом вакансии.

Вакансия: Middle разработчик Qlik Sense
Компания: Lactalis (President, Galbani, Parmalat)
Локация оформления: Россия
Тип занятости: Штатная позиция (полная занятость)
Обязанности
• Настройка и сопровождение ролевой модели доступа пользователей.
• Решение инцидентов, обработка запросов и консультация пользователей.
• Разработка и доработка технических приложений и сервисов на платформе
Qlik Sense.
• Участие в развитии и оптимизации BI-решений компании.
• Поддержка и администрирование инфраструктуры Qlik Sense ( от 300
пользователей).

Требования
• Высшее образование, предпочтительно в области информационных
технологий.
• Знание SQL и понимание принципов построения BI-решений.
• Опыт работы от 1 года в сфере аналитики, автоматизации или сопровождения
информационных систем.
• Практический опыт работы с QlikView, Qlik Sense или другими BI-платформами
(Power BI, Tableau, PIX BI) в качестве разработчика или аналитика.
• Опыт администрирования BI-систем будет преимуществом.
• Навыки ведения полного цикла разработки приложений в Qlik Sense (от сбора
требований до вывода в продуктив) будут являться существенным плюсом.
• Ответственность, системное мышление, аналитический подход и ориентация на результат.

Мы предлагаем
• Работу в международной компании Lactalis.
• Официальное трудоустройство в штат компании.
• Возможность профессионального развития в области BI и аналитики данных.
• Участие в проектах по развитию корпоративной аналитической платформы.
Пока писать сюда @Dddv_2705, ссылку на hh добавлю позднее.

От себя добавлю:
-компании скоро 100 лет, у нее много и IT-систем, и контекста, поэтому вакансия строго в штат (без совмещения);
-команда DWH&BI не сильно большая, но слаженная, прошла проверку миграцией;
-бизнес-процессы отлажены (Tracker, списание времени, постановка задач, стандартные шаблоны поставки дашбордов );
-задач по визуализации будет мало: большая часть отчетов -или сложные в разработке метрики в табличной форме, или Hypercube, выведенный в виде стандартных или кастомных таблиц).
❤4👍2🔥2🙈1
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6🙏2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Собрал тут много забавных примеров корреляции, ничего не говорящей о причинности =) Тема забавная, иногда очень смешно. Потом расширил (где смог) ряды и показал, как корреляция в ноль уходила потом.

Получился хороший наглядный инструмент показать
• взаимосвязь там, где ее нет
• манипуляции за счет изменения датасетов

Стоит послать любителям ЗЗ и Таро 😈

Есть что-то подобное любимое?
🔥2😁2
Все приёмчики, чтобы селекторы помогали, а не мешали читать данные с дашборда на больших проектах

#DataLens #ClickHouse #оптимизация
🔥13