Почитайте крутую статью (на английском) про систему Meduza, которую создавали для анализа и расшифровки больших объемов интернет-трафика для слежки за пользователями. Буквально, 40 Гбит/с одной карточкой. Малоизвестная компания Endace из Новой Зеландии даже получила на это два правительственных гранта общей суммой $11.1 млн. Ребята продают свои решения операторам AT&T, AOL, Verizon, Sprint, Cogent Communications, Telstra, Belgacom, Swisscom, Deutsche Telekom, Telena Italy, Vastech South Africa, и France Telecom.
Такой СОРМ для Европы и США, но работающий, в отличие от российского.
https://theintercept.com/2016/10/23/endace-mass-surveillance-gchq-governments/

Интересное мнение о том, как программное обеспечение поглотило мир, и себя вместе с ним: http://spectrum.ieee.org/computing/software/software-the-invisible-technology

Раньше мы шли в магазины и покупали коробочные версии ПО (если не пиратили); каждая такая покупка была сравнима с приобретением какой-то вещи. Теперь же ПО обеспечивает работу каждой сферы нашей жизни. Оно есть в метро, платежных терминалах Макдональдса, часах — и мы так к этому привыкли, что перестали замечать ПО.

Мы перестали платить за патчи и багфиксы (и такое бывало), все обновляется и устанавливается вручную. Компании, разрабатывающие программное обеспечение, выстраивают из него платформы для шоппинга, поиска, работы или социальных связей, чтобы как-то собрать побольше информации и выудить отсюда деньги.

Ушло то время, когда условный Билл Гейтс мог сколотить состояние только потому что он разрабатывал ПО. Теперь это делают все — и зачастую делают бесплатно. Мы не платим деньги Facebook или Google за использование социальных сетей, почты или просмотр видеороликов на YouTube. Конечно, платные опции существуют — но, как правило, это оплата сервиса как такового, а не обновлений непосредственного софта для доступа к этому сервису.

Такое вот незаметное и привычное ПО.

Quartz пишет об интересной проблеме: пользователи голосовых помощников флиртуют с ними, домогаются - в общем, навязывают программе свои сексуальные фантазии. По некоторым оценкам, до 5% всех взаимодействий с голосовыми ассистентами имеют сексуальный подтекст. Кто-то делает это для фана, кто-то просто тестирует возможности программ. Но есть и люди, которые действительно хотят воплощать свои BDSM-фантазии с помощью Siri, пусть и в текстовом формате. Естественно, разработчикам это не нравится - они не хотят создавать сексуально озабоченные программы. Как вариант решения проблемы, программу можно сделать обезличенной. Так сделали разработчики помощника от Google - у него человеческий голос, но нет "личности", которая есть у Siri или Cortana.

http://qz.com/818151

Кстати, тема изнасилования робота поднималась в модном сейчас сериале Westworld.

А у нас на @apparatmag раньше выходил текст о том, как люди влюбляются в роботов - хороший текст со ссылками на психологические исследования, почитайте: http://apparat.cc/human/in-love-with-robot/

Объявление для киевских программистов и ITшников. Сегодня в КПИ будет выступать с лекцией мой товарищ Саша Котлярский, который уже четыре года работает разработчиком в Facebook. Саша - один из самых талантливых программистов, которых я знаю. Когда-то уже делал с ним интервью о Facebook - сейчас он, конечно, расскажет намного больше, но там тоже много интересного, почитайте: http://kpishnik.com/facebook-interview/ (по-русски: https://geektimes.ru/post/179489/)

На лекции Саша расскажет о работе в Кремниевой долине, о Facebook, программировании, и о всём, о чём спросят студенты.

Встреча пройдёт в Большой физической первого корпуса КПИ в 16:00, приходите и берите друзей, будет интересно. Здесь регистрация: goo.gl/za30QV

Backchannel пишет о том, как Snapchat нашёл оптимальный формат рекламы - эффективный для рекламодателя, органичный для пользователя и приносящий деньги компании. Это брендированные фильтры (линзы).

Такая реклама стоит в два раза больше, чем баннеры с тем же охватом в Facebook, но оставляет намного более приятные впечатления. Все фильтры полностью нативны, они не выбиваются из общего UX, но главное - пользователи сами взаимодействуют с брендированным контентом и получают от этого фан.

Несколько цифр. Реклама в Snapchat обходится рекламодателям в 300-750 тысяч долларов в день. На данный момент Snapchat запустил более 100 рекламных кампаний. Рекорд поставил дурацкий фильтр, превращающий лицо пользователей в тако - его посмотрели 224 миллиона раз.

В этой схеме довольны все: и рекламодатели (правда, некоторые сетуют на высокие цены), и платформа, и пользователи. Добавьте к этому таргетирование (пока его почти не используют) и вы получите философский камень рекламы в диджитал-продукте. Какой все-таки удачный продукт сделали ребята из одесского стартапа Looksery.

https://backchannel.com/how-snapchats-sponsored-lenses-became-a-money-printing-machine-a1e45b0a82b

Подробнее о технологии с российско-украинскими корнями, которая стоит за линзами Snapchat: https://telegram.me/brodetsky/436

Вас тоже бесит, когда читаешь нормальный сайт, а внизу или сбоку от текста висит блок с рекламой на внешние сайты с какой-то совершенной дичью?* Хорошие новости: некоторые издания начали отказываться от порочной практики монетизировать каждый пиксель. От блоков внешних рекомендаций уже отказались Slate и New Yorker, другие издания тоже пересматривают свой подход к монетизации.

Такая реклама приносит неплохие деньги. NYT приводит такие суммы: Gannet (издатель USA Today и пачки сайтов поменьше) за три года получил от сети Taboola $55 млн, Time (Time, Fortune и др.) за три года получил от Outbrain $100 млн. Некоторым изданиям такая реклама приносит 30% от общего дохода.

Но такой заработок может вредить репутации издания. Представьте себе: вы читаете Forbes, Time или Guardian, кликаете на зазывающую рекламу - и вот вы уже на мусорном сайте с кликбейтами, фейками, тоннами рекламы и ссылками на другие, ещё более мусорные и мутные сайты. Это очень плохой пользовательский опыт, и это помогает зарабатывать "плохим" сайтам, т.е. сайтам с фейками, кликбейтом, и без регистрационных данных.

В общем, посмотрим, поддержат ли другие издания инициативу Slate. Ну и интересно было бы почитать (а может и написать) про аналогичные сети обмена трафиком в российском сегменте интернета. Если вы работали с таким и можете рассказать, кто, как и сколько на этом зарабатывает, пишите мне (@politehnik) или в чат @techmediachat.

* Если вы не поняли, о чем речь (например, из-за того что у вас AdBlock), посмотрите скриншоты по ссылке.

http://www.nytimes.com/2016/10/31/business/media/publishers-rethink-outbrain-taboola-ads.html

Как вы заметили, я много интересуюсь технологиями, и меньше - наукой. Если вам не хватает новостей науки в Telegram, обратите внимание на канал коллег из журнала Naked Science. Раз в день там публикуют пачку свежих научных новостей одним постом. Такой формат удобно читать, да и контент там неплохой. Кстати, это один из самых крупных русскоязычных каналов в Telegram, что тоже о чём-то говорит.

https://telegram.me/nsmag

Отличная история. Канал @myshli_channel тоже хороший, давно читаю. В нём дизайнер из Украины Данил Криворучко, переехавший в Нью-Йорк, интересно пишет о жизни и работе. Как-то постил в канале его видео, обработанное нейросетями: https://telegram.me/brodetsky/452

Нашла жена его на улице среди хлама выставленного чтобы мусорщики забрали

https://dl.dropboxusercontent.com/u/26815/irobot.jpg

Я провел пару часов с отверткой в борьбе с его общей разболтанностью, потом ни на что особо не надеясь подключил все проводки и батарею (выбросили же, значит сломан) и эта хрень внезапно оживает, спрашивает а не заняться ли нам программированием? На мое нервное "нет" он отвечает: "А ну ок, тогда я буду танцевать брейк!"

Понимаешь, что живешь в победившем пост-индустриальном обществе, когда такое происходит - кто-то выбросил ГОВОРЯЩЕГО РОБОТА.

Мы сейчас еще Westworld смотрим, сразу параллели проводишь.

Впечатляющий проект делают в Исландии: бурят скважину глубиной 5 км, чтобы добраться до магмы и с её помощью получать энергию.

Скважину делают в месте, где над водой выходит Среднеатлантический хребет (это хребет на дне Атлантического океана, по нему проходит граница между тектоническими плитами). На этой глубине магма вырывается из-под дна океана и нагревает воду вокруг. Из-за высокой температуры и давления (200 атмосфер) вода приобретает интересное состояние: “supercritical steam”, which is neither liquid nor gas and holds much more heat energy than either.

Станция, построенная вокруг такой скважины, сможет выдавать мощность в 50 мегаватт - это как 10 обычных геотермальных станций. Организация, которая этим занимается, раньше уже делала подобное - тогда скважину пробурили до 2 км и получали 30 мегаватт энергии, но из-за проблем с коррозией проект пришлось прикрыть.

Кстати, всю электрическую энергию в Исландии уже получают из возобновляемых источников. Правда, геотермальные станции пока на втором месте по объему производимой энергии, на первом - гидроэлектростанции.

В очередной раз исландцы молодцы. Правда, надо отметить, что при всем желании такой метод добычи энергии подойдет далеко не всем странам.

https://www.newscientist.com/article/2109872-iceland-drills-hottest-hole-to-tap-into-energy-of-molten-magma/

Хороший эксперимент Atlantic на тему безопасности IoT. Редактор Эндрю МакГилл смоделировал виртуальный "тостер" - снял на Amazon виртуальный сервер и открыл порт, по которому к интернету обычно подключаются устройства IoT. Идея была в том, что хакеры (вернее, их скрипты) перебором по IP найдут это "устройство" и попробуют взломать его, подобрав пароль перебором.

Уже через 40 минут кто-то попробовал залогиниться с логином-паролем root/root. За 11 часов виртуальный тостер пережил 300 атак - в среднем его пытались взломать каждые две минуты. Многие атаки использовали пароль по умолчанию для старых веб-камер, как и во время недавнего массового взлома. Кстати, данные о времени и логине-пароле последней попытки взлома обновляются при каждом обновлении страницы с текстом.

Вывод простой: если вы не сильно заботитесь о безопасности своих "умных" устройств - например, не меняете заводские пароли - их обязательно взломают, причем сделают это за считанные минуты.

https://www.theatlantic.com/technology/archive/2016/10/we-built-a-fake-web-toaster-and-it-was-hacked-in-an-hour/505571/

Если кто-то хочет поиграть в подобные игры, здесь Эндрю объясняет, как всё сделал, и делится кодом: http://www.andrewmcgill.me/2016/11/02/making-a-honeypot-to-tempt-the-mirai-botnet.html

Милый пост: отец двух близнецов вел строгий учет их сна и кормления, а потом на основании этих данных написал алгоритм, прогнозирующий длительность их сна. Например, если дать младенцам по 800 грамм пищи за день и уложить спать в 7 вечера, скормив перед этим 170 грамм еды, у родителей будет скромных 8 часов на отдых. Алгоритм работает очень неточно - слишком мало данных для обучения, да и процесс слишком случайный для такой аналитики. Но какая прикольная идея!

👶🏻📊🤓

https://medium.com/dad-on-the-run/hacking-my-infant-twins-sleep-with-machine-learning-and-data-science-6c1e38a71677

Очень интересная история о системе наблюдения, которую использует полиция в Балтиморе. Над городом на высоте нескольких километров летают небольшие самолеты с мощными камерами, которые снимают всё внизу и передают в аналитический центр, где все фотографии собирают и при необходимости анализируют по просьбе полиции. Фактически, это такой Google Earth на стероидах с возможностью отмотать время назад и посмотреть, кто и как передвигался по городу в определенное время.

Технологию, изначально созданную для американской армии в Ираке, пробовали внедрить в нескольких городах, но все проекты пришлось свернуть, в основном из-за опасений публики насчет приватности. Балтимор - первый город, где систему внедрили полноценно, там она работает уже год. И реально помогает раскрывать преступления. Люди на этих фото выглядят точками, но для отслеживания их перемещений этого вполне достаточно. Впечатляющая штука, посмотрите: https://www.bloomberg.com/features/2016-baltimore-secret-surveillance/

Перевод: https://theidealist.ru/baltimore/

Если будете читать перевод, посмотрите фото и видео в оригинале, особенно это видео, где создатель системы показывает, как с её помощью можно не только восстанавливать ход преступления, но и делать предположения о структуре преступной группировки: http://www.bloomberg.com/news/articles/2016-08-23/watch-this-surveillance-master-dissect-a-murder-from-the-sky

Помните, я постил интересную статью NYT про экономику "партизанских" страниц в Facebook? Вот отличное продолжение этой темы.

Редактор BuzzFeed Крейг Силверман много пишет о фейковых новостях. Он обнаружил целую сеть партизанских про-Трамповских сайтов с фейками, зарегистрированных в Македонии. Силверман связался с их администраторами - и здесь начинается самое интересное. Во-первых, больше ста таких сайтов зарегистрированы в маленьком городке Велес с населением 45 тысяч. А ведут эти сайты буквально подростки - 16-17-летние парни.

Бизнес-модель простая: они ежедневно воруют контент с других подобных сайтов, в том числе и фейковые новости. Туда добавляют адовые заголовки и потом пушат эти сумасшедшие новости через свои партизанские про-Трамповские страницы в Facebook, откуда получают нехилый трафик. Его монетизируют через тонны дисплей-рекламы на сайте, в том числе Google AdSense. В среднем американский пользователь в рекламных сетях стоит в четыре раза дороже, чем неамериканский.

Сейчас конкуренция в этой нише слишком высока, хорошо зарабатывают только те, кто запустили сайты раньше остальных. Самые успешные владельцы сайтов зарабатывают до $5000 в месяц, а самые хитовые материалы могут приносить им до $3000 в день.

Раньше эти ребята экспериментировали с другими темами: пробовали запускать левые и про-Сандерсовские сайты. Но время показало, что лучше всего пипл хавает про-Трамповский контент, даже откровенные фейки вроде "Папа Римский поддержал Трампа" или "Хиллари Клинтон посадят в тюрьму". Там есть ссылки на сайты и паблики, о которых идёт речь - посмотрите, это отборная дичь.

Забавно получается - подростки из балканской провинции хакнули американскую медийную экосистему и раскрутили на миллионы долларов Google, Facebook и простых американцев. Заодно наполнив эту экосистему тоннами отборной дичи.

После выборов схема сдуется, но ребята говорят, что просто перепрофилируют сайты - будут воровать контент про спорт и здоровье.

https://www.buzzfeed.com/craigsilverman/how-macedonia-became-a-global-hub-for-pro-trump-misinfo

Если не читали текст про экономику партизанских страниц в Facebook, почитайте, там всё круче и масштабнее. И тоже можно читать прямо здесь, не переходя на сайт.
https://telegram.me/brodetsky/544

Программист-затейник через API связал голосовой помощник Alexa с огромным игрушечным говорящим окунем. Выглядит это очень забавно и в то же время крипово, посмотрите.

На Verge хорошо подмечают: это шутка, но в то же время и звоночек из будущего, где с помощью API каждый сможет интегрировать нужные ему сервисы куда угодно - хоть в машину или телефон, хоть в говорящую рыбу.

http://www.theverge.com/2016/11/4/13525172/amazon-alexa-big-mouth-billy-bass-hack-api

Британские разработчики испытали два беспилотных гоночных автомобиля. Посмотрите, это даже смотреть стрёмно, а уж сидеть внутри такой штуки - даже не представляю.

https://youtu.be/sNErAQm7YLg

По ссылке ещё одно видео и немного подробностей о проекте Roborace. Кстати, его CEO - Денис Свердлов, сооснователь компании Yota и бывший замминистра связи.

http://fortune.com/2016/11/05/roborace-episode-2/

Очень трогательное видео: 91-летнему британцу показали снятое специально для него 360°-видео из французского городка, который он в роли капрала британской армии освобождал от оккупации во время Второй мировой. В ролике жители города благодарят ветерана за освобождение, мэр вручает ему почётную медаль, а местные дети поют песенку. Пока смотрел, сам прослезился.

https://youtu.be/PModuWq8hAI

via http://snappa.press.net/#!/assets/af32d0f8-2236-34d7-bc9e-2892fb220d90

Канадские специалисты по кибербезопасности опубликовали доклад о нетипичном ботнете Linux/Moose - он состоит из заражённых устройств интернета вещей и используется для накруток лайков и фолловеров в соцсетях.

Ботнет Moose поражает только встроенные (embedded) системы под Linux - исследователи кибербезопасности уделяют им намного меньше внимания.

Подобные ботнеты часто используются для DDoS-атак, рассылки спама или открутки баннеров. Moose используют для более прибыльных услуг - накрутки лайков и фолловеров в соцсетях, в основном в Instagram (86% трафика).

У ботнета нет явных "пострадавших", кроме людей, которые ведутся на накрученных фолловеров и лайки - например, покупают неэффективную рекламу в аккаунтах с фальшивой аудиторией.

Злоумышленники продают свои услуги открыто - их предложения по накрутке лайков несложно найти в интернете. 10 тысяч лайков стоят в среднем $160, 10 тысяч подписчиков - $113.

При полной загрузке одно зараженное устройство может приносить владельцу ботнета $13,05 в месяц. Соответственно, сеть из 50 тысяч устройств может приносить киберпреступникам до $700 тысяч в месяц.

Берегите свои чайники, не покупайте лайки и не ведитесь на профили с сотнями тысяч подписчиков.

http://gosecure.net/2016/11/02/exposing-the-ego-market-the-cybercrime-performed-by-the-linux-moose-botnet/

Кибервойна. Начало.

Учёные из Калифорнии проанализировали 20 миллионов твитов за сентябрь-октябрь, связаных с выборами, и обнаружили, что 20% твитов сгенерированы ботами. Соавтор исследования Эмилио Феррара пишет об этом подробнее в своей колонке на The Conversation.

15% всех пользователей, обсуждавших выборы в исследуемый период - боты. Это больше, чем в среднем по Twitter - по оценкам компании, боты составляют от 5 до 8,5% от общего числа аккаунтов.

Про-трамповских ботов больше (75%) и они более открыто топили за своего кандидата. Боты за Клинтон пиcали больше нейтральных твитов. Многие боты писали не о своём кандидате, а об оппоненте - например, форсили хештеги #NeverHillary или #NeverTrump.

Эффект от работы ботов нельзя исследовать. Феррара предполагает, что их твиты могут создавать у людей ложное представление о поддержке того или иного кандидата. Но измерить это никак нельзя. Как и определить, кто их ведёт.

https://theconversation.com/how-twitter-bots-affected-the-us-presidential-campaign-68406

Как работает перенос стиля в приложениях вроде Prisma

После того, как Prisma взорвала интернет, вышло немало подобных приложений - технология переноса стиля на самом деле не нова и легко воспроизводится при наличии ресурсов. Теперь фильтры аля Prisma есть даже в ICQ.

Технологии, которые стоят за этими приложениями, очень интересны в том плане, что на них хорошо разбираться, как работают нейросети. Я читал оригинальную работу исследователей, которые первыми придумали использовать нейросети для переноса стиля (Гатис и команда), переписывался с ними, и с российскими исследователями из Яндекса, которые усовершенствовали этот метод, и с разработчиками разных приложений. Писал текст для одного издания, но некоторые авторы слишком долго отвечали, а потом хайп прошёл и черновик пришлось отложить в долгий ящик.

Если вы интересуетесь нейросетями, я советую вам почитать вот это объяснение от Google. Там ребята научили нейросети не просто переносить стили изображений, но и смешивать стили с разных изображений, причём делать это на лету. Ссылки для более подробного изучения - в конце текста.

https://research.googleblog.com/2016/10/supercharging-style-transfer.html

А здесь ещё более простое и понятное объяснение в формате видео: https://youtu.be/WHmp26bh0tI

Если совсем на пальцах, то глубокие нейросети при распознавании картинок пропускают их через много слоёв "нейронов". Самые низкие слои - самые тупые, они видят простые линии и формы. Чем выше слой, тем больше уровень абстракции. Последние слои уже могут распознавать сложные объекты, особенности рисунка (например, мазок художника) и стиль рисунка в целом.

Перенос стиля работает так: программа берёт за основу картинку чёрно-белого шума и начинает модифицировать её так, чтобы нижние слои нейросети начали распознавать в ней контент исходной фотографии, а верхние - стиль заданного рисунка. После каждой итерации программа оценивает ошибку (насколько полученный рисунок отличается от заданного) и корректирует коэффициенты для следующей итерации. После большого количества итераций результатом будет картинка с содержанием заданной фотографии и стилем заданного рисунка.

Если что-то напутал, поправьте.