​​Міжнарожні конференції по візуалізації даних

▪️IEEE Visualization: Щорічна міжнародна конференція з наукової візуалізації, візуалізації інформації і візуального аналізу. Конференція проводиться в жовтні.
▪️ACM SIGGRAPH: Щорічна міжнародна конференція з комп'ютерної графіки, що проводиться ACM SIGGRAPH. Дата конференції не постійна.
▪️EuroVis: Щорічна загальноєвропейська конференція з візуалізації даних, яку проводить Робоча Група Єврографік по візуалізації Даних (англ. Eurographics Working Group on Data Visualization) і підтримується IEEE Комітетом по візуалізації і Технічної Графіку (англ. IEEE Visualization and Graphics Technical Committee, IEEE VGTC). Конференція зазвичай проводиться в червні.
▪️Конференція по Людським Факторам в обчислювальних системах (англ. Conference on Human Factors in Computing Systems): Щорічна міжнародна конференція по людино-комп'ютерній взаємодії, організована ACM SIGCHI. Конференція зазвичай проводиться в квітні або травні.
▪️Eurographics: Щорічна загальноєвропейська конференція з комп'ютерної графіки, організована Європейською асоціацією з Комп'ютерної Графіку (англ. European Association for Computer Graphics). Конференція зазвичай проводиться в квітні або травні.
▪️PacificVis: Щорічний симпозіум по візуалізації, що проводиться в Азіатсько-тихоокеанському регіоні. Симпозіум спонсорується IEEE Комітетом по візуалізації і Технічної Графіку. Конференція зазвичай проводиться в березні або квітні.

Коронавірус - актуальний дешборд

Сьогодні увага всього світу прикута до теми коронавірусу, котрий шириться з Китаю по всьому світу. Всі ми знаємо, що кількість аналітичної і не тільки інформації з цієї теми зашкалює. Існують такі неймовірні гіпотези, як біологічна зброя, та те, що вірус передається через пакунки чи банани.

Щодо гіпотез, які дійсно розглядаються вченими - зараження відбувається через кажанів чи змій. Тобто, хоча у людства є фотографія вірусу, достеменно не відомі деталі його поширення.

Нагадаємо, що останнім настільки резонансним захворюванням був H1N1, яким в 2009 році захворіли до 200 міліонів людей по всьому світу.

Занепокоєння виклика швидкість зараження - спостерігається закономірна геометрична прогресія кількості заражених.

Хочемо вам порадити актуальну візуальну аналітику по цьому вірусу, яка (переконані) дозволить робити виважені висновки про цей недуг. Посилання на дешборд нижче.

​​Міфи про SQL

Ми зібрали топ міфів про SQL:

◾десь в глибинах серверу є магічний параметр "fast", якому можна задати значення "true"

◾швидкість роботи запиту можна оцінити по тому, як швидко вивелись перші 20 рядків

◾можна взяти і оптимізувати окремий запит (або навіть його частину) не рухаючи більше нічого

◾зрозуміти як працює запит можна лише глянувши на його код

◾швидкість запиту напряму залежить від кількості таблиць, які в ньому фігурують

Віртуальні машини Hadoop

Це дуже короткий пост, але можливо вам варто додати його собі в закладки.

Ось посилання на готову до використання віртуальну машину Hadoop.

Віртуальна машина Bitnami містить операційну систему Linux із встановленим та налаштованим Hadoop. Для використання Bitnami Virtual Machine потрібен гіпервізор, наприклад VMware Player або VirtualBox. Обидва ці гіпервізори доступні безкоштовно.

Міні пост
Як влада Китаю використовує Штучний Інтелект і Big Data для боротьби з вірусом:

https://www.aljazeera.com/news/2020/03/china-ai-big-data-combat-coronavirus-outbreak-200301063901951.html

Аналітка Covid19 по Україні

Використовуючи Tableau Public, Директорат з питань регіональної політики та децентралізації Офісу президента запустив сервіс для відстеження поширення коронавірусу в Україні. У ньому відображаються лабораторно підтверджені випадки захворювання (червоним) та підозри щодо ймовірного інфікування (жовтим). Зеленим позначені основні медичні заклади, які можуть приймати інфікованих, і де немає підозр та підтверджених випадків.

Вебінар Tableau - нові рішення

2 квітня пройде вебінар по BI рішенню Tableau. Будуть розглянуті нові функції платформи.

Долучайтесь! Потрібна попередня реєстрація.

Деталі тут - https://corewin.com.ua/webinar_tableau-new/

Відео уроки по економетриці та R

Якщо ти, так саме ти, на карантині вдома. І тобі нічим себе зайняти. Ось тобі цікаві і корисні ☝🏼 відео про економетрику та R

Тому тисни ось сюди:

➡️ https://www.youtube.com/playlist?list=PLu5flfwrnSD5d02G9YJcDv30Fp5_70-sI ⬅️

Будемо разом підвищувати кваліфікацію.

Вебінари про безпеку

Всіх вітаю! Ми побачили, що минулий вебінар викликав великий інтерес. Тому поділимось ще двома, на цей раз в сфері безпеки.

Перший буде проходити вже сьогодні о 14:00:

✅ Огляд нових функцій Acunetix v13. Реєстрація тут - https://bit.ly/39VyNXr

Другий післязавтра, 9 квітня, теж о 14:00:

✅ Початок роботи в Endpoint Potector DLP. Реєстрація тут - https://bit.ly/39MRxIw

Матеріали по BigQuery ML

BigQuery — це безсерверне сховище даних, для інтерактивного широкомасштабного аналізу великих наборів даних. Може використовуватись через веб інтерфейс, інтерфейс командного рядка та API.

• Інструкція побудови моделі класифікації для прогнозу покупок користувачів.
• Використання можливостей BigQuery ML для аналізу в Tableau (вsдео з прикладами + стаття).
• BigQuery ML + Looker (відео).

Українська аналітика про коронавірус

Вітаю! Хочемо поділитись українськими талановитими авторами, які будують дешборди про актуальне:

1. Pavlo Polikarchuk
2. Denis
3. Mykhailo Koltsov
4. uData

Долучайтесь до розповсюдження та побудови власної аналітики :)

​​Що таке Big Data, пояснення для 6-ти річної

Будучи батьком, я вирішив пофантазувати, що якось моя дитина якось мене запитає: "Тато, що таке Big Data?" 🦸🏻‍♀️

Невинний розум почне цікавитись тим, що робить тато на роботі. Повернувшись додому після довгого дня, мені з часом доведеться розповісти дитині, як виглядає один із моїх типових днів.

І я підготувався до цього моменту! І вирішив поділитись з вами своїм планом.

У дитинстві я часто грався в LEGO. Коли я розбираю дитячий набір дітей LEGO на пазлики, я кажу: "Давай пограємось в Big Data!".

У тебе є 100 шматочків LEGO різних кольорів і форм, i тобі треба зібрати всі червоні. Будучи малою дитиною, вона це зробить за лічені хвилини. Мабуть перевірить кожен шматок і позбирає червоні.

Але я підніму ставки. Другий тур буде 200 штук, потім 400 і зрештою 1000. Думаю що 1000 штук треба буе збирати дуже довго, і зрештою, вона втомиться.

Коли тато на роботі, люди також просять мене знайти шматочки LEGO. Але в них їх значно більше. Розміром з будинок чи навіть гору! 🏔

Якщо я рахував би так як ти зараз, то і мене б зовсім не вистачило часу грати з тобою. Але в мене є секретна зброя. Два друга: ВибіркO та З'єднайкО.

ВибіркO - зменшує розмір купки, щоб я міг швидко, "на око", знайти червоні шматочки. Але коли у мене проямо гори лего - я прошу ВибіркO розібрати шматочки по кольору. А можу ще по кольору, розміру, формі, як завгодно!

З'єднайкО вступає в гру, коли мені кажуть зібрати вибрані раніше червоні шматочку у вежу 🗼, руками з'єднувати їх було б надто довго! Тому їх збирає З'єднайкО. Крім того він вміє з'єднувати різні купки, червоні 🟥, жовті 🟨, зелені 🟩, різних форм - які завгодно!

Мораль:
Набір LEGO являє собою кількість даних із сотнями фрагментів інформації. Пошук і вибір інформації на невеликій вибірці - можливе, але чим більше інформації - тим це важче. Дані ростуть експоненціально 📈, тоді як операції розвиваються лише лінійно. ВибіркO та З'єднайкО - це не що інше, як технічні інструменти у підготовці даних, очищенні даних та зберіганні даних.

Big Data - це не про складні операції, а прості маніпуляції у великих масштабах.

Інтенсивна обробка тексту за допомогою MapReduce

Сьогодні хочу поділитись книгою про MapReduce.

MapReduce — це програмна модель та програмний каркас, що її реалізує, розроблені компанією Google для проведення розподіленої паралельної обробки великих масивів даних з використанням кластерів звичайних недорогих комп'ютерів. Програма MapReduce складається із функції Map(), яка обробляє пари ключ/значення і генерує набір проміжних пар ключ/значення, і функції Reduce(), яка зводить докупи всі проміжні значення пов'язані з одним і тим же проміжним ключем.

Термін «MapReduce» означав спочатку тільки власницьку технологію Google, але зараз став загальновживаним і використовується для означення моделі програмування. Бібліотеки MapReduce були створені для різних мов програмування. Однією із найпопулярніших вільних імплементацій є Apache Hadoop.

Інфографіка. Як український бізнес виходить з карантину.

Вітаю, Україна вже третій тиждень виходить з карантину. Хтось з нас в офісах хтось працює з дому. Нажаль є ті, хто втратив своє робоче місце.

Але яка ситуація по всій країні? На це допоможе відповісти візуалізація. Раніше ми вже ділились з вами Аналітикою від автора Павло Полікарчук:

https://public.tableau.com/profile/ppolikar#!/vizhome/TheRATING-QuarantineEconomy/5

А сьогодні додамо ще цікаву інфографіку.

Як перекладається Big Data?

Друзі, привіт! 🤟🏻

З перших кроків в царині BI та BigData мене мучило питання - як перекладати специфічні терміни з цієї сфери.

Особливо мене вводило в ступор слово dashboard.

Нещодавно я натрапив на ресурс Словотвір. Де українські спеціалісти разом шукають переклад таким от специфічним словам.

Ось вам два приклади - Dashboard та BidData.

Долучайтесь: пропонуйте варіанти та голосуйте :)

​​Вебінар. BigData платформа для HR.

Yva.ai – система HR-аналітики з Кремнієвої долини, яка допомагає організаціям керувати розподіленими командами і підвищувати залученість співробітників, стежити за їх добробутом і рівнем стресу, автоматично виявляти неформальних лідерів.

Спікер: Єгор Ворогушін, експерт по трансформації і організаційному розвитку, побудови ефективних HR-процесів і організаційної діагностики, лектор Вищої Школи Економіки.

Дата: 29 липня 2020 року (середа)

Час: 13:00-14:30

На вебінарі дізнаємось:
1.Що таке Yva і як вона працює.
2.Які бізнес-проблеми Yva.ai допомагає вирішити.
3.Про інструменти Yva: оцінка залученості та вигоряння персоналу.
4.Неформальне лідерство, гнучкий зворотний зв’язок.
5.Управління віддаленими командами.
6.Аналіз взаємодії співробітників / команд.

Реєстрація - тут

Нижче сторінка з повними деталями.

7 способів як злочинці використовують AI

Вбиває не зброя, вбиває людина. Нам всім може спасти на думку така ідея - а що буде якщо хакери використають моделі машинного навчання проти нас? Нажаль це вже сталось.

▪️ Новітні системи допомагають в соціальні інженерії, автоматично збираючи інформації з цифрового сліду співробітників компанії, дозволяючи робити ефективні націлені атаки.

▪️ AI використовують для того, щоб видозмінювати текст спаму і фішингу та обходити системи фільтрів.

▪️ Зловмисники можуть видати себе за когось, наприклад директора вашої компанії, і навіть отримати кредит. Тепер, з deep fake, навіть відео конференція - не перепона.

▪️ Моделі машинного навчання вбудовують в віруси для того щоб обійти антивірусний захист.

▪️ AI використовують для того, щоб автоматично знаходити вразливості у ваших сайтах.

▪️Підбір паролів тепер став набагато швидшим та дешевшим, якщо у вас є натренована модель.

▪️ Деякі ботнети, які в будь-який момент можна використати щоб вплинути на громадську думку чи для DDoS атаки стали майже невидимими, оскільки вдало імітують реальних користувачів.

Тому усвідомте - майбутнє настало вже зараз та не економте на захисті інформації.

В продовження теми - посилання на серію відео історій про вразливості, чого вони коштували компаніям, як вони виглядають та як їх уникнути.

Концепція BI сигналів

Ідея сигналів для співробітників не нова. Ми звикли до нотифікації в звичайному житті. І сучасні технології дозволяють сигналізувати співробітників, якщо щось трапилось з даними. Варто виділити 2 типи сигналів:

1️⃣ Сигнали які приходять по наперед визначеній логіці.
2️⃣ Автоматичні сигнали коли дані ведуть себе не типово.

Важко сказати які з цих сигналів мають більшу ефективність. Але є очевидні відмінності. Сигнали по наперед визначеній логіці (приміром об'єм продаж впав нижче 10 000) мають бути задані людиною. Спеціаліст задає чітке статичне правило. Сигнали ж які базуються на статистичному аналізі і штучному інтелекті працюють самотужки. І окрім оперативного реагування дають також додаткові інсайти.

Цікава реалізація цього підходу виконана в функціоналі YellowFin.

Аналітика даних і команда Formula One Мерседес

Formula One ™ - це один із найбільш конкурентних та інтенсивних видів спорту у світі. Команда Mercedes-AMG Petronas F1 змогла впровадити просунуту цифрову систему, в основі якої - аналітика даних.

У 2010 році, після 55-річного перерви, команда Mercedes-AMG Petronas F1 повернулася до автоспорту та до Формули-1 як офіційного конструктора, тобто проектувала, будувала та змагала свої машини. Протягом наступних 10 років, коли гоночні машини Формули 1 продовжували змагатися у вишуканості та складності, обсяг даних, доступних командам, значно збільшився. Для Mercedes F1 перетворення цих даних у перемоги було справжнім випробуванням.

Щоб вибрати партнера з технологій даних та аналітики, команда провела ретельний огляд ринку аналітики даних, порівнявши можливості кожного постачальника та те, що вони змогли досягти. У 2017 році команда об’єднала зусилля з TIBCO, яка має глибокий технічний досвід у підключенні різнорідних систем, об’єднанні даних, прогнозуванні результатів за допомогою передової аналітики та забезпеченні чітких результатів за допомогою інтуїтивних візуалізацій, які поєднуються з найкращими практиками автомобільної техніки та гонок.

Зараз, маючи в основі дані та аналітику, організація використовує цілісний підхід, що поєднує дизайн, концепцію та вдосконалення. Потрібні чіткі наміри та цілі - а також використання всіх наявних ресурсів для швидких змін, ітерацій, спритності та адаптації. Зараз команда часто вирішує проблеми, яких раніше навіть не робили, і де спочатку рішення навіть не виявляється віддалено. Ця культура експериментів призвела до операційної досконалості.

Детальніше у відео.