«Отличное заведение, жаль, что выгнали!»: что пишут в отзывах на общепит на Яндекс Картах
Пользователи Яндекс Карт ежедневно добавляют по 37 тысяч отзывов на кафе, бары и рестораны по всей стране. Всего за 10 лет накопилось уже больше 15 млн откликов на 220 тысяч различных заведений.

Команда сервиса взяла всю эту массу данных и уложила в несколько графиков, чтобы понять за что чаще всего хвалят и ругают рестораны и кафе. Если вы ресторатор, может быть ценно узнать, на что обращают внимание посетители. А если нет, то можно просто сделать несколько занятных выводов!

🔵 В положительных отзывах чаще всего упоминается слово «вкусно» и его производные, а в отрицательных — «невкусно». Логично.
🔵 Если посмотреть на самые частотные слова по категориям заведений (бары, кафе, столовые и так далее), получается, что несчастливые посетители общепита несчастны плюс-минус одинаково. Что рестораны, что фастфуды ругают за долгое ожидание. А вот хвалят по-разному: за кухню, атмосферу, скорость обслуживания и музыку.
🔵 Вопреки мнению, что люди чаще пишут о негативе, пользователи ставят плохие оценки в 5,5 раз реже, чем хорошие. Зато отрицательные отзывы в среднем длиннее. Самый объемный составил аж 13 тысяч знаков.
🔵 «Отстой» — любимая характеристика для общепита от мужчин постарше.

Отдельного внимания заслуживают скрины в начале статьи. Признайтесь, захотелось заглянуть в заведение, про которое кто-то написал: «Красиво. Бывают драки».

Обучение нейросетей — долгий и сложный процесс, требующий терпения и огромных массивов данных… или нет?
Ресурсоемкость — одна из больших проблем в работе с ИИ. Большое количество данных для обучения, множество итераций, огромные вычислительные мощности — принято считать, что все это необходимо для эффективной тренировки нейросетей.

🔵Сотрудники fast.ai — некоммерческой организации, исследующей ИИ, — обнаружили, что иногда нейросети достаточно одного-двух примеров данных, чтобы выявить закономерности и начать давать правильные ответы.

🔵Они готовили нейросеть для соревнования, где участники должны были ответить на сложные научные вопросы, созданные LLM (большой языковой моделью). Для обучения использовали созданный человеком сет из 200 вопросов. Во второй же итерации обнаружили резкое уменьшение числа ошибок, словно нейросети было достаточно пары примеров, чтобы выявить закономерности. Это видно и на графиках — резкое падение числа ошибок отмечает начало каждой новой итерации.

Обычно такой результат — ­следствие бага или переобучения, но не в этот раз
Команда проекта пришла к выводу, что нейросеть и правда смогла очень быстро обучиться, хотя fast.ai готовы рассмотреть альтернативные гипотезы.

🔜 Целиком читайте их исследование в блоге — особенно интересны выводы. Кажется, что быстрое обучение ИИ пойдет всем только на пользу и позволит сэкономить силы, время и деньги. Но долгое обучение = более предсказуемый результат, а слишком быстрый процесс рискует выйти из-под контроля. К тому же нейросетям для тренировки все еще нужно много данных, пусть и только на первых этапах.

P.S. А знаете, что еще не требует терпения или огромных массивов данных? Голосование за сторис LEFT JOIN по ссылке! Будем рады, если отдадите нам свой голос — обещаем не спамить и делиться только полезным.

Есть ли в 2023 спрос на аналитиков? Смотрим на hh.ru
Рома @revealthedata опубликовал статистику по вакансиям для аналитиков. Рынок выглядит как будто здорово: и объявлений стало больше, и зарплаты подросли, правда, не у всех.

🔵 Больше всего работодатели нуждаются в Data/Product-аналитиках — количество вакансий увеличилось на 66%.
🔵 Зарплаты сильнее выросли у бизнес-аналитиков — на 7%. Надо учесть, что данные с hh.ru, где три четверти работодателей не указывают уровень дохода.
🔵 Хорошие новости для молодых специалистов — предложений для младших аналитиков стало на 59% больше, зарплаты у них выросли на 10%, а у сеньоров — всего на 5%, кстати.

🔜 Дашборд с данными за три года — для тех, кто хочет покопаться поподробнее.

Какие выводы можно сделать?
Рынок растет, а спрос на специалистов разных уровней большой — кажется, если ищете работу в этой сфере, проблем быть не должно…
А если проблемы таки есть — завтра расскажу, в чем может быть дело.

Актуальная BI-стратегия за 20 часов
Столько длится курс с емким названием «Разработка BI-Cтратегии». Его ведет Александр Бараков, который больше 10 лет разрабатывает и внедряет BI-системы. Сейчас в Luxoft, а до этого — в Tinkoff Bank, Банке России, X5 Retail Group и не только.

🔵На курсе он отделяет зерна от плевел, а рабочие методики — от модных, но неэффективных, рассказывает про лучшие практики, полезные инструменты и кейсы из своего богатого опыта. Все это поможет участникам упорядочить свои знания и разработать не только BI-стратегию для своего бизнеса, но и план по ее внедрению и развитию.

Как пишут в отзывах: «Почти пошаговая инструкция, как внедрять BI».

🔵Будет полезно, главное, подготовиться, что программа насыщенная: 10 двухчасовых занятий с практическими заданиями три недели подряд — с 30 октября по 22 ноября. Надо заранее выделить время, чтобы погрузиться в учебу.

И да, содержание курса подробно описано на его странице, никаких котов в мешке! Сразу можете оценить, надо ли это вам. Знакомьтесь с программой и записывайтесь по ссылке.

Сентябрьский нейродайджест
Сентябрь выдался богатым на инфоповоды, связанные с ИИ. Были и громкие анонсы, и полезные инструменты, и просто баловство с мемами и эмодзи. Вспоминаем, что интересного мы писали про нейросети и искусственный интеллект.

🔵 В начале месяца все обсуждали HeyGen — нейросеть, которая перевела на английский и переозвучила мемы нулевых. Наконец-то весь мир может проникнуться речью идущего к реке и преисполниться в своем познании.
🔵 Когда не хватает слов, на помощь приходят эмодзи. Когда не хватает эмодзи из стандартного набора, можно нагенерировать своих с помощью EmojiGen.
🔵 LlamaIndex — отличный инструмент для тех, кто много работает с нейросетями и большим количеством данных в разных форматах. Помогает сильно упростить и ускорить работу.
🔵 Google представила ИИ-помощника Bard. Это пока только эксперимент, но он уже много чего умеет — как минимум заголовки к постам писать.
🔵 Stability AI выпустила Stable Audio — нейросеть для генерации музыки и звуковых эффектов. Ее обучали на библиотеке стоковых аудио, поэтому результаты ее работы можно спокойно использовать в коммерческих видео, не боясь проблем с авторскими правами.

Ставьте любимые реакции, если такие посты-дайджесты полезны, и мы будем публиковать их чаще! 🔥

Spotify переводит подкасты с помощью ИИ
Помните, недавно писали про нейросеть HeyGen, которая перевела на английский и переозвучила несколько классических мемов из нулевых?

🔵 Spotify хочет то же самое сделать со своими подкастами. Сервис использует ИИ, чтобы перевести и переозвучить речь участников, сохраняя их голоса и интонации. Пока новая функция доступна для ограниченного числа подкастов и языков: уже доступен испанский, скоро присоединятся французский и немецкий.

🔜 На сайте сервиса выложили видео, по которому можно оценить первые результаты. По-испански мы тут не говорим, поэтому не можем определить, насколько качественным получился сам перевод, но голоса действительно похожи. Тонкости работы ИИ Spotify не раскрывает, только указывает, что использовали технологии OpenAI.

🔵 И список шоу, и перечень языков планируют со временем расширять. И неудивительно: это способ охватить большую международную аудиторию без затрат на перевод и дубляж.

Интересно, начнут ли таким образом переозвучивать фильмы и сериалы? Может быть, через пару лет, когда будем смотреть сиквел «Барби», Марго Робби в нем будет говорить своим родным голосом.🔥

Пользователь интернета нажимает на кнопку «Принять все куки» в среднем 115 раз в день

Пруфов не будет — мы выдумали эту цифру. Но принимать куки и отказываться от уведомлений приходится так часто, что, возможно, мы недалеки от правды.

Если вы владелец iPhone или Mac, спасение есть — приложение Hush для браузера Safari.

🔵Hush скрывает надоедливые окошки, которыми сайты заваливают посетителей, и делает это быстро, бесплатно и не собирая данные о пользователе. Оно не принимает и не отказывается от куки за пользователя, а блокирует скрипты, выводящие уведомление на экран.
🔵Рекламу Hush не трогает — разработчик сказал, что не хочет лишать владельцев сайтов заработка.

Чтобы попасть в прекрасный интернет здорового человека без куков и навязчивых уведомлений, надо просто скачать небольшой файл с сайта разработчика или с GitHub.

А вы уже перешли на Polars?
Pandas долго была незаменимым инструментом для аналитиков и дата-сайентистов, но скорости работы ей не хватает, а памяти она требует достаточно. Даже выход Pandas 2.0 не смог решить эти проблемы, зато смогла Polars. Или нет?

Коротко про Polars
🔵 Это open source библиотека для обработки больших массивов данных на Python и Rust. Написана на Rust и основана на Apache Arrow.
🔵 Polars задействует все ядра компьютера для параллельных вычислений. Благодаря этому она более эффективно использует ресурсы компьютера, чем Pandas, и работает быстрее. На этом еще остановимся подробнее.
🔵 Два API: eager и lazy. Первый выполняет операции в том порядке, в котором они написаны в коде. Второй оптимизирует последовательность выполнения так, чтобы она была максимально эффективной и не перегруженной лишними вычислениями.

Polars вышла в 2020 году. За это время она успела завоевать популярность, но до сих пор не перестала попадать в статьи «топ новых инструментов для аналитиков». Создатель Polars хотел разработать инструмент, соответствующий современным требованиям и подходам к работе с данными. Библиотека писалась с нуля так, чтобы добиться максимальной производительности на одной машине.

🔵 Polars требует в разы меньше памяти, чем Pandas. Последней нужно, чтобы объем RAM был в 5-10 раз больше датасета, а первой — только в 2-4 раза.
🔵 Polars действительно «blazingly fast», как и обещает на сайте. Она быстрее Pandas и в сравнении с остальными подобными инструментами устойчиво держится в топе по скорости.
🔵 Субъективно, но есть мнение, что Polars достаточно похожа Pandas, чтобы перейти на нее было легко, но достаточно отличается, чтобы быть удобнее. Вот еще статья на русском, в которой можно посмотреть, как Polars выглядит на практике.

В общем, мы считаем, что Polars мировую любовь заслужила не зря. А что думаете вы? 👀

Нейросети не только улучшают работу и учебу, но и помогают тем, кому это гораздо нужнее
Недавно мы рассказывали про новые возможности ChatGPT, которая теперь умеет распознавать изображения. Эта функция нашла применение в приложении Be My Eyes — приложении для слабовидящих людей, которое помогает им справляться с трудностями в повседневной жизни.

Как оно работает?
Например, пользователь не может разобрать текст на уличной вывеске. Он фотографирует ее или снимает на видео, и этот материал попадет к волонтеру, который живет в том же часовом поясе и говорит на одном языке с отправителем. Он описывает, что видит на изображении, текстом или голосом — то есть на самом деле становится «глазами» для человека с плохим зрением (а в этом видео есть еще несколько примеров).

Теперь в приложение добавляют ИИ-помощника на ChatGPT 4. Пока только на iOS, на Android обновление доберется позже.
🔵 Be My Eyes AI будет делать то же, что и человек-волонтер. Пользователь фотографирует что-то, что вызывает у него вопросы, приложение распознает объекты на картинке и описывает их. Это не замена, а альтернатива связи с волонтером. Вариант для тех, кому нужен моментальный ответ или просто не хочется сейчас ни с кем общаться. Возможность попросить помощь человека при этом остается.
🔵 ИИ-помощник находится в стадии открытой беты. Разработчики предупреждают, что на первых этапах возможны проблемы, «галлюцинации» нейросети и неверные ответы.

🔜 Разговоры о ИИ часто уходят в обсуждение рисков, этических вопросов и мрачных прогнозов Элиезера Юдковского. И хотя это важные темы, мы считаем, что надо не забывать и позитивных сторонах использования нейросетей. Они уже стали частью нашей жизни и начали приносить ощутимую пользу множеству людей.

Данные 7 млн клиентов биотехнологической компании 23andme попали в интернет
23andme — компания из США, больше всего известная тем, что делает ДНК-тесты по образцам слюны. Клиент отправляет материал и получает полный генетический анализ о предрасположенности к заболеваниям и отчет о своем происхождении. То есть он сможет узнать на сколько процентов он итальянец, англичанин или китаец.

Теперь узнать это могут еще и посетители сомнительных сайтов в даркнете 👀
Несколько дней назад базы данных 23andme попали в сеть. Продают информацию о происхождении, фенотипе, состоянии здоровья и возможных родственниках.

Первыми под удар попали около 300 000 клиентов китайского происхождения и 1,3 млн — еврейского. Сейчас сообщают о том, что доступны данные 7 млн человек — это половина всех, кто пользовался услугами 23andme.

А что говорят представители компании?
1️⃣ С их стороны утечек не было.
2️⃣ Злоумышленники собрали информацию с помощью подстановки учетных данных и скрапинга. То есть взяли слитые логины и пароли с других сайтов, а они подошли к учеткам 23andme. Дальше через взломанные профили пользователей собирали информацию о членах семьи.
3️⃣ Не ставьте одинаковые пароли на разных сайтах и вообще меняйте их почаще.

The Record отмечает, что, зная ID клиента, можно открыть его профиль даже без учетных данных. Результатов генетических тестов там не будет, но будет фотография, дата рождения и место жительства.

Сколько точно аккаунтов взломали, пока неизвестно. Но если доступ к миллионам аккаунтов действительно получили через подбор паролей и скрапинг, то история получается поучительная и довольно мрачная. Даже не проникая глубоко в базу данных, хакер может собрать огромный массив очень важных данных. И все потому что главной уязвимостью любой системы, даже самой защищенной, остается человек.

ClickHouse Keeper: как ZooKeeper, только быстрее, выше, сильнее
Keeper — сервис координации данных на C++, который в ClickHouse разработали, когда им стало не хватать производительности ZooKeeper. Про особенности проекта и предпосылки для его создания они подробно рассказали в своем блоге. На самом деле подробно — с графиками, схемами и бенчмарками, не пресс-релиз на страничку.

Рекомендуем почитать, потому что материал крутой и наглядный. Для затравки расскажем несколько интересных фактов.
🔵 Keeper написан на C++ и использует RAFT, один из самых эффективных и надежных алгоритмов консенсуса.
🔵 ClickHouse преодолели ограничения ZooKeeper. Keeper дает гарантию линеаризуемости чтения и записи, требует в 46 раз меньше памяти для обработки такого же объема данных и не страдает от ошибок из-за ZXID.
🔵 Keeper можно использовать точно так же, как ZooKeeper, в том числе — отдельно от ClickHouse. Разработчики позаботились о том, чтобы переход на их сервис был безболезненным и простым.

Будем следить за проектом — ClickHouse планируют и дальше его развивать, увеличивать производительность и возможности для масштабирования. 🔥

5%, 5% — это много или мало?
В начале октября вышло большое обновление Python — версия 3.12.0.

🔜 Из нововведений больше всего обсуждали f-строки, которым добавили гибкости, и сообщения об ошибках: Python теперь не только указывает на опечатки, но и предлагает исправления. Также не забыли про поддержку подсистемы ядра perf на Linux, удаление устаревших модулей и усовершенствования синтаксиса.

🔜 В целом, за счет множества улучшений и оптимизаций производительность подросла на 5%.

Хотим пошутить что-нибудь про то, что Python сбросил кожу, но не будем этого делать. Вместо этого интересуемся вашим мнением о 3.12.0 — времени, чтобы оценить изменения, наверняка было достаточно!

Evidence — гибкий BI-инструмент на Markdown и SQL
Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит!

Коротко о главном
🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации.

🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются.

🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно.

Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.

Беспилотные такси: за и против
Вряд ли какая-то новая технология может сравниться с ИИ по количеству споров, которые она вызывает в обществе. Чем глубже нейросети и искусственный интеллект проникают в повседневную жизнь, тем жарче дискуссия, чего от них больше — вреда или пользы.

Классный пример — статья на Bloomberg про беспилотные такси.

В августе California Public Utilities Commission разрешила двум компаниям, Waymo и Cruise, выпустить на улицы Сан-Франциско такси без водителей, под управлением ИИ. Мнения по этому поводу разделились.

🔵 Беспилотные такси в разы реже попадают в аварии, особенно с риском для здоровья людей, но у нас пока слишком мало данных, чтобы делать долгосрочные выводы. Они «накатали» недостаточно километров, чтобы их можно было адекватно сравнивать с водителями-людьми.
🔵 Распространение сервисов такси дало людям дешевую альтернативу покупке собственной машины. Робо-такси поддержат эту тенденцию, и все больше водителей начнут переквалифицироваться в пешеходов и пассажиров. Но это все равно не помогает уменьшить число автомобилей в городах и «ворует» трафик у автобусов и поездов. Некоторые политики используют это как повод урезать финансирование общественному транспорту.

🔜 Легко назвать противников ИИ луддитами, а сторонников обвинить в недальновидности. Сложнее прислушаться к противоположной точке зрения и попробовать найти в ней рациональное зерно. Возможно, эта статья поможет кому-нибудь посмотреть на тему беспилотных автомобилей с новой для себя стороны.

А вы за или против беспилотных такси в городе? Ставьте ⚡, если за, и 🙈, если против!

От перевозки кокаина до выслеживания террористов: история Хэнка Ашера
Почти все о нас можно найти в интернете: что-то проще, что-то сложнее, что-то только за деньги и нелегально, но так или иначе сохранить конфиденциальность сегодня практически невозможно.

Еще недавно это было совсем не так
New York Times выложили материал о Хэнке Ашере, которого называют отцом data fusion. Хэнк был человеком предприимчивым. Какое-то время он горячо увлекался перевозкой кокаина из Южной Америки в Северную, но решил завязать и даже смог избежать наказания, благодаря сотрудничеству с органами правопорядка США.

🔵 В 1986 году он купил свой первый компьютер, Toshiba T1100, вскоре научился программированию и начал браться за коммерческие заказы. Одним из них стало создание базы данных автовладельцев.

🔵 Сейчас кажется очевидным, что страховые компании собирают всю доступную информацию о клиентах: пол, возраст, доход, состав семьи и так далее. Но в 80-х в США страховщики смотрели в основном на историю вождения, количество аварий и штрафов. Ашер был одним из тех, кто смог объединить несколько открытых баз данных так, чтобы компания могла узнать о человеке все, что ей может понадобится, и просчитать риски.

🔵 После этого он основал несколько фирм, собирающих данные о людях и предприятиях, и заработал не только огромные деньги, но и влияние. В начале нулевых он даже принял участие в поиске пилотов, обрушивших башни-близнецы, и в создании Matrix — спорного проекта по обнаружению террористов.

🔜 Хэнк Ашер умер 10 лет назад, но результаты его работы все еще живы. Автор статьи в New York Times назвал его «призраком в наших компьютерах». Ашер — один из создателей того мира, в котором мы живем сейчас, со всеми его плюсами, минусами и следящими за нами алгоритмами.

Кстати, узнали, чьи атрибуты на иллюстрации? Подсказка: это вымышленный изобретатель ИИ, способного предсказывать преступления в городе.
Ставьте 👀, если поняли отсылочку!

Bing и DALL-E 3 превратят вашего питомца в звезду фильма Pixar
В начале октября в Bing добавили DALL-E 3, и через месяц пользователи нашли нейросети действительно достойное применение. Они генерируют «постеры фильмов Pixar» со своими животными!

Уже появились инструкции, как присоединиться к тренду и правильно написать промпт:

1️⃣ Стандартная формулировка начинается с «A Disney Pixar inspired movie poster with the title «Название фильма» (например, кличка животного)».

2️⃣ Описывать животных надо подробно, с указанием внешности, породы, цвета шерсти и глаз и даже выражения морды. Можно добавить пожелания к фону.

3️⃣ В конце промпта рекомендуют еще раз напомнить про стиль Pixar: «The image should be set in the distinct digital art style of Pixar, with a focus on character expressions, vibrant colors, and detailed textures that are characteristic of their animation».
Хотя иногда это уточнение может приводить к странным результатам, так что предлагаем погенерировать картинки с ним и без него.

4️⃣ Не получилось с первого раза — продолжайте пробовать, можно даже с тем же промптом. Количество попыток не ограничено, но после 15-й придется 5 минут подождать. Если все равно получается что-то странное, поправьте промпт.

В России DALL-E 3 в Bing, пока недоступна, но если для вас это не проблема, то попробуйте сгенерировать такой постер и скрасить понедельник. Ну, или посмотрите, что получается у пользователей в запрещенной соцсети: шотландский терьер Мия, такса Скай и кавапу (да, такая порода тоже есть) Поппи. Даже жалко, что постеры ненастоящие!

🔜 Кстати, герой сегодняшней обложки нового фильма Pixar — пес редактора канала @leftjoin!