👀 AI-видео от Алексея Лоткова

ИИ-картинками уже никого не удивишь — наступило время ИИ-видео. К тому же, мощных нейросетей, которые умеют генерировать ролики, скоро станет больше. Зимой всех уже впечатлила Sora, готовимся встречать Veo от Google и записываемся в лист ожидания китайской Kling.

🔥 А пока ждем, можем позалипать в работы художника и моушен-дизайнера Алексея Лоткова. С помощью After Effects, Stable Diffusion, ComfyUI и Photoshop он создает крутые сюрреалистичные видео.

🫡 Всё пиз-Data Science

➡️ Мы теряем интернет

«Все, что попадает в интернет, остается там навсегда» — слышали такую фразу? Ее еще любят припоминать, когда заходит речь об эффекте Стрейзанд или той самой фотографии Бейонсе, которую ее адвокат удалил из интернета.

Оказывается, это неправда.

🔥 38% веб-страниц, существовавших в 2013, сегодня уже недоступны — это обнаружила команда дата саентистов из Pew Research Center. Они изучили ссылки на новостных и правительственных сайтах, в примечаниях в «Википедии» и твиты. Последние — чтобы разобраться, как «цифровой распад» сказывается на соцсетях.

Для того, чтобы отследить появление и исчезновение страниц за 10 лет, с 2013 по 2023 годы, они использовали Common Crawl. Это бесплатный архив, который каждый месяц собирает данные об доступных сайтах в интернете. В выборку исследователей попало чуть меньше миллиона разных страниц.

⏺️23% новостных страниц и 21% страниц на правительственных сайтах содержат как минимум одну битую ссылку.
⏺️ 50 000 статей из «Википедии» в сумме содержали больше миллиона ссылок в разделе «Примечания» — то есть они вели на внешние сайты. Из них 11% оказались нерабочими.
⏺️ За 10 лет почему-то исчезла половина твитов, написанных на турецком и арабском языках.
⏺️ 1/5 опубликованных твитов исчезают в течение нескольких месяцев.

Даже немного грустно от мысли, сколько информации — полезной и не очень — потеряно и сколько еще мы потеряем. Может, когда-нибудь и знаменитая фотография Бейонсе исчезнет.

🫡 Всё пиз-Data Science

👀 Что получится, если заставить ChatGPT заполнить налоговую декларацию?

Программист Майк Макферсон решил это выяснить, а заодно — взглянуть на нейросети под довольно любопытным ракурсом. Их часто рассматривают как самостоятельный инструмент, который генерирует тексты, картинки, видео, код и так далее. Но что, если воспринимать ИИ как операционную систему, которая связывает несколько элементов вместе и помогает взаимодействовать с ними?

➡️ Возможности нейросетей сегодня впечатляют — и все же они до сих пор ограничены. Но их можно расширить, если «подружить» ИИ с другими приложениями, библиотеками или базами данных.

В 2022 Майк создал библиотеку Python tenforty — она помогает юзерам посчитать, сколько налогов они должны государству в зависимости от доходов, расходов, семейного положения и прочих факторов. Сразу оговоримся — эта штука знакома только с законодательством США.

Он планировал когда-нибудь сделать на ее основе приложение, но вместо этого сделал кастомную GPT Tax Driver. Ее функция та же — считать налоги и вычеты, только при этом она еще понимает запросы на естественном языке, пишет подробные ответы и даже может нарисовать график.

⏺️ В целом, она с этими задачами отлично справляется, хотя иногда неправильно понимает суть вопроса или игнорирует некоторые требования пользователя.
⏺️ Это теоретически удобный инструмент, но он предъявляет высокие требования к пользователю — надо тщательно подходить к написанию промптов и внимательно перепроверять ответы.
⏺️ Несмотря на эти недостатки, у подхода «ИИ как ОС» точно есть потенциал — он делает разработку приложений намного проще и быстрее.

🫡 Всё пиз-Data Science

👀 ИИ-поисковик по мемам и не только

У предпринимателя Харпера Рида было 12 000 картинок с мемами, желание разобраться, что такое «векторные представления», и некоторое количество свободного времени.  Все это привело к тому, что он создал простое приложение на основе мультимодальных моделей CLIP и siglip, которое умеет искать по картинкам.

Оно принимает как текстовые запросы, так и изображения. В первом случае оно подберет картинки, соответствующие запросу, во втором — найдет похожие в своей базе.

➡️ Работает с любыми изображениями. То есть его можно использовать не только поиска мемов для важных переговоров в интернете, но и, например, чтобы искать по фотографиям в галерее. Вдруг вам нужно оперативно собрать в кучу все фотки любимого кота.

➡️ Проверьте сами — приложение бесплатное и лежит на GitHub.

➡️ Заодно рекомендуем почитать пост про разработку. Он доказывает, что в любой теме можно разобраться — было бы желание. Харпер признался, что никогда не делал ничего похожего и вообще до сих пор плохо понимает, что такое «вектор». Но ему захотелось разработать приложение, и он это сделал вполне успешно.

И главное — показал, как это делал по этапам. Так что если тоже хотите попробовать сделать что-то подобное, вот отличный повод погрузиться в тему.

🫡 Всё пиз-Data Science

🔥 Microsoft выложила GraphRAG на GitHub

GraphRAG — это технология от Microsoft, которая строит графы с помощью LLM на основе данных, с которыми раньше не работала. То есть тех, которые не использовались для обучения модели.

Она обрабатывает весь набор данных, выявляет упоминающиеся в нем сущности и находит связи между ними. А затем создает сложный граф, где каждый кружок — это отдельная сущность. Размер зависит от количества связей с кружками, а одинаковыми цветами раскрашиваются близкие по смыслу объекты.

➡️ Таким образом можно обработать большие массивы текстовых данных — например, архивы переписок, документы или исследования. А затем искать среди них нужную информацию.

Особенность технологи в том, что когда она ищет ответ на запрос пользователя, она ищет по всему датасету с учетом контекста. Это помогает ей отвечать на вопросы, где требуется полное понимание смысла материала, чтобы объединить разрозненные куски информации или ответить на общие вопросы в духе «Опиши 5 главных тем этого документа».

➡️ И вот недавно эта технология стала доступна общественности: ее выложили на GitHub и даже сопроводили FAQ’ом и инструкцией по написанию промптов.

🫡 Всё пиз-Data Science

🔥Овечкин: 895 шайб и откуда они летели

Последние два дня много обсуждают, как и кто показал рекорд Овечкина в виде инфографики. Мне скинули вот такой видосик из инсты, где показывали каждую шайбу и откуда она была забита. Идея очень классная — но реализация полный отстой: такие крутые данные, а увидеть картинку целиком нельзя. Как мне кажется, оно ещё и сделано не на реальных данных. По крайней мере, последняя шайба точно не из этой позиции.

Использовали Gemini для сборки данных и работы с API, а Cursor — чтобы это всё накодить. Вообще, для вот такого рода проектов это какая-то чума. Я за пару вечеров собрал эту штуку — и она работает! Чудный новый мир.

Потыкать самому — https://revealthedata.com/examples/ovechkin/

🫡 Всё пиз-Data Science

👀 Пятница — не время для перегруза, поэтому просто держите мем

🫡 Всё пиз-Data Science

🔥Да, это тетрис на SQL

Про GPT на SQL мы уже как-то рассказывали, а теперь вот нашли тетрис.

Для запуска нужен Postgres — чтобы обойти некоторые ограничения языка, автор воспользовался возможностями именно этой СУБД.

Скачать игру можно на гитхабе автора и там же почитать, с какими проблемами он столкнулся во время работы над проектом и как искал решения. Материал впечатляющий, как и результат работы. Единственный минус в том, что автор почему-то не назвал свой проект TetriSQL.

А какие впечатляющие проекты на SQL попадались вам? 👀

🫡 Всё пиз-Data Science

🔥Self-service BI: за или против?

Self-service BI — это подход к аналитике, который состоит в том, что бизнес-клиент сам, без помощи дата-команды, может формулировать запросы к данным и создавать отчеты.

Учить SQL никого не заставляют. Пользователь с помощью кнопок и менюшек в интерфейсе выбирает, какие данные и в каком виде ему нужны, а BI-система превращает это в SQL-запрос. И, конечно, не забываем про ИИ: уже есть достаточно self-service-инструментов с прикрученными к ним LLM. Они «переводят» на SQL запросы пользователей на естественном языке.

➡️ В итоге это всем экономит время: аналитики не отвлекаются на текучку от более крупных и важных проектов, а заказчики не ждут, пока дата-команда возьмется за задачу.

В теории круто. Да и на практике работает — мы рассматривали такой кейс в одном из выпусков Data Heroes (YouTube, VK).

Но есть и минусы или, скорее, опасения.
1️⃣ Широкий доступ к данным — так себе идея. А вдруг пользователи сервера уронят своими самодельными дашбордами, если их станет слишком много?
2️⃣ Аналитика — это не просто сделать выгрузку и нарисовать какой-то график. Чтобы эффективно работать с данными, надо понимать, как они хранятся в базе и как взаимосвязаны друг с другом, как правильно представить их на графиках, чтобы действительно найти в них инсайты. Да и в конце концов, какой бы ни был дружелюбный и понятный интерфейс у инструмента, все рано надо учиться им пользоваться. Не факт, что пользователи действительно захотят учиться, а дата-команда — захочет и сможет их обучить.
3️⃣ Self-service BI все равно надо настраивать и поддерживать, и нет гарантий, что это будет намного проще, чем работать с пользователями и бизнес-заказчиками напрямую, «по старинке».

🫡 Всё пиз-Data Science

🔥 От 1234 до 8068

Несложно посчитать, что существует 10 000 возможных вариаций ПИН-кодов из 4 цифр.

Также довольно легко догадаться, какие из них будут самыми популярными. Наверняка, почти все, кто читает этот пост, подумали про 1234, 1111 или 0000.

Но вот какая комбинация цифр будет самой непопулярной? Да, у нас спойлер в заголовке. Какие еще ПИН-коды пользуются популярностью? Есть ли тут какая-то закономерность или это чистый рандом?

➡️ На графике выше вы можете видеть, что закономерности таки есть
График составил аналитик Ник Берри в 2012 году на основе 3,4 миллионов слитых в интернет ПИН-кодов. Да, данные не самые новые, но что-то нам подсказывает, что вряд ли за эти 10 лет что-то сильно изменилось.

⏺️Чем светлее точка, тем популярнее код. Рандомно раскиданные черные точки — самые редкие коды. Среди них и 8068, комбинация, которая встретилась всего 25 раз.
⏺️Светлая линия в центре — ПИНы из повторяющихся пар цифр (1212, 1313 и так далее).
⏺️Светлая линия в нижней части — ПИНы, начинающиеся на 19. Вероятно, многие из них — год рождения.
⏺️В левом нижнем углу — большой светлый блок, обрывающийся по обеим осям после 30. Можно предположить, что среди них много пинов, в которых зашифрованы даты рождения. Также люди любят коды, которые начинаются с 0 или 1.

Рассмотреть график поближе можно здесь, а почитать про исследование Ника и его выводы — в его статье. Там же есть топ-20 кодов, на которые приходится аж 26% всех ПИНов из его датасета.

🫡 Всё пиз-Data Science

🔥AlphaFold 3: как ИИ двигает науку вперед

Давно не рассказывали про то, как ИИ трудится на благо науки. Исправляемся — сегодня на повестке модель для предсказания структуры белков AlphaFold 3.

➡️ AlphaFold 3 разработали Google DeepMind and Isomorphic Labs. Как можно догадаться по названию, это уже третья версия: первую представили в 2018 году, вторую — в 2020. Она нужна для того, чтобы предсказывать структуру белков, их функции и взаимодействия друг с другом и иными веществами.

➡️ Почему это важно?
У белков безумно сложная структура, которую очень тяжело «расшифровать» и описать. А нужно это делать для того, чтобы лучше понять, как они воздействует на другие молекулы. Эта информация полезна при разработке лекарств или при изучении того, как функционирует живой организм — человеческий и не только.

До того, как для этих целей начали использовать ИИ, описание структуры белков было очень долгой и тяжелой задачей. Поэтому AlphaFold оказала огромное влияние на биологию, биохимию и фармацевтку — модель описала больше 200 миллионов белковых структур и значительно упростила работу исследователей. Новая версия стала еще мощнее и теперь способна предсказывать еще более сложные структуры, чем раньше, — целые белковые комплексы.

➡️ Ну и когда ждать лекарство от всех болезней?
А вот тут пока непонятно. Во-первых, надо понимать, что ИИ, при всех свои возможностях, все еще не творит чудеса и даже не гарантирует 100%-ную точность своих предсказаний.

А еще разработчики не стали делиться исходным кодом третьей версии, как сделали с предыдущими. Вместо этого они запустили AlphaFold Server. Он бесплатный, быстрее AlphaFold 2, но предназначен только для некоммерческих исследований и не позволяет предсказывать структуры веществ, которые могут быть использованы как лекарства.

Вот такие новости науки. 👀

🫡 Всё пиз-Data Science

👀 ChartDB — бесплатный редактор диаграмм БД

Мало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.

ChartDB — как раз такой. Это open source тул, который создает схемы БД за один запрос и 15 секунд.

⏺️ Можно запустить локально (за инструкциями идем на гитхаб), также есть веб-версия.
⏺️ Работает с PostgreSQL, MySQL, SQL Server, MariaDB, SQLite и
⏺️ Получившиеся схемы можно редактировать, дополнять комментариями или экспортировать в виде картинок, если вы захотите добавить их в отчет или документ.

Все это бесплатно, однако есть но. ChartDB пока находится в публичной бете, так что со временем разработчики могут добавить какую-нибудь монетизацию. И скорее всего, это и сделают. Так что поспешите потестить инструмент, пока это не случилось. 👀

🫡 Всё пиз-Data Science

👀 Полнотекстовый поиск в PostgreSQL: какое решение лучше?

Нашли описание маленького, но интересного исследования на 50+ респондентов, которые рассказали, какие инструменты они используют для полнотекстового поиска (или full text search/FTS) в Postgres.

➡️ Большинство голосов получили Elasticsearch и нативный FTS-функционал в Postgres, хотя у каждого есть как минусы, так и плюсы.

⏺️ FTS в Postgres простой (то есть не требует дополнительной инфраструктуры) и надежный, но плохо справляется большим датасетами, а его возможности ограничены — например, нет поддержки BM
⏺️Elasticsearch — поисковый движок без ограничений «родного» поиска Postgres. Он быстро обрабатывает огромные массивы информации и «переваривает» почти любые запросы. При этом не обеспечивает такую же надежность и точность результатов, а еще требует больше ресурсов для внедрения и поддержки. Некоторые участники опроса рассказали, что Elasticsearch обходится им дороже всего остального софта, который они используют в работе.

Есть и другие альтернативы, в том числе и ParadeDB — инструмент, разработанный авторами исследования (да, опрос они проводили не просто так, а чтобы рассказать про свой проект).

Свое главное преимущество они видят в том, что их решение изначально заточено на работу именно с Postgres, а потому просто в использовании и при этом позволяет расширить его возможности, почти как Elasticsearch. В общем, берет лучшее от обоих.

А что выбираете вы? Ждем ваших вариантов! 👀

🫡 Всё пиз-Data Science

👀 Скоро этот мем потеряет актуальность

СЕО Google Сундар Пичаи рассказал, что больше четверти всего кода в компании пишется с помощью ИИ, и это помогает серьезно ускорить и упростить работу инженеров.

Уверены, что скоро больше компаний последуют примеру Google. Такими темпами уйдет эпоха Stack Overflow и копирования поисков вдохновения в коде коллег — потому что зачем это все делать, если ChatGPT сама все напишет, а человеку надо будет только проверить?

И наверняка это случится не только в IT.

🫡 Всё пиз-Data Science

🔥 Нейроконтент для алгоритмов

Бывает у вас такое, что заходите на сайт, смотрите, что там написано, и не можешь понять, для кого вообще это все? Неужели кому-то может быть интересно читать или смотреть это?

🔄 Мы нашли ответ — это все делается для алгоритмов Google.

Автор сайта The Luddite решил монетизировать какой-нибудь из своих проектов одним из простейших доступных ему способов — прикрутив к нему рекламу. Выбор пал на сайт Apportionment Calculator с алгоритмом, который рассчитывает, сколько мест в конгрессе получит каждый штат получит на основе переписи населения.

В общем, что-то на американском, но это и не так важно. Главное, что это был простой маленький сайт с одной-единственной задачей.

Google это не понравилось
Когда автор подал заявку в AdSense, ему почти сразу пришел отказ с формулировкой «сайт не отвечает требованиям платформы».  Он навел справки и выяснил, что Google любит, когда на странице много оригинального, но необязательно качественного контента. А кто справляется с созданием такого контента лучше нейросети?

С помощью друзей и ChatGPT автор сайта добавил на него:
⏺️ историческую справку,
⏺️ страничку с рецептами (там есть, кстати, рецепт десерта «алгоритмический восторг»),
⏺️ поэтический уголок,
⏺️ загадки,
⏺️ и, конечно же, блог.

Весь контент, кроме иллюстраций, был сгенерирован ChatGPT. Особенно хорошо получились загадки. Вот одна из них — чтобы сохранить дух оригинала, перевели ее тоже нейросетью.

В загадках о власти я ключом становлюсь,
Ты в сделках найдёшь меня наяву.
Соглашение – цель, что нам всем по пути,
Встретиться в середине, где интересы нашли.
Что я?

Ответ: Найти компромисс

Как вам? Google тоже понравилось, и заявку автора на размещение рекламы на этот раз одобрили. История получилась смешная, но при этом немного грустная. Роботы и алгоритмы все больше вытесняют людей из интернета. 🤖

🫡 Всё пиз-Data Science

👀 Экономика open source: сколько денег приносит бесплатный проект

Spliit — приложение для совместного ведения расходов. С его помощью можно вести совместный семейный бюджет или планировать траты в поездке с друзьями. Приложение бесплатное, без премимум-фич и рекламы, а еще требует от создателя небольших, но регулярных затрат ~100 долларов в месяц — в основном на хостинг.

🔄 Можно ли при таком сценарии заработать на своем проекте? Давайте разбираться.
Приложению уже несколько лет, но версия, о которой пойдет речь ниже, появилась всего год назад.

⏺️ За это время в приложение зашли 152к раз, из них 29к — по ссылке. То есть кто-то создал группу и пригласил в нее друзей или родных. В неделю в Spliit заходят 5000-6000 раз.
⏺️ Пользователи создали 15к групп и 162к записей о расходах. В неделю создают в среднем по 300 групп и 2000 записей.

Получается, что пользуются им довольно активно. Так как оно бесплатное, поддержать автора можно донатами — либо через сервис Stripe, либо через GitHub.

Суммы донатов разные — от 6 долларов в месяц до 107, но большинство в пределах от 20 до 40.

Вот такая экономика — кажется, что заработать на бесплатном проекте, исключительно на людской доброте и благодарности, будет сложновато.

🫡 Всё пиз-Data Science

🔥Как Discord хранит данные

У мессенджера Discord больше 150 млн активных пользователей и 19 млн серверов, где эти люди общаются и генерируют миллиарды сообщений.

🔄 Как компания хранит такой огромный массив данных?

Об этом команда Discord рассказала в блоге проекта. Приводим оттуда самое любопытное.
⏺️ Сообщения пользователей хранились в БД Cassandra. В 2017 году было 12 нодов с миллиардами сообщений. В 2022 — 177 с триллионами.
⏺️ Сообщения из одного канала хранились в одной партиции и реплицировались на три нода. Такой подход не вызывал проблем с небольшими каналами, зато активные сообщества на сотни юзеров создавали большую нагрузку. В Dicsord это называли «hot partition» — не оригинально, но понятно.
⏺️ Ситуацию усугубляло то, что в Cassandra чтение файлов «дороже» для системы, чем запись. Из-за этого «hot partition» могло спровоцировать сообщение, отправленное на всех юзеров в большом канале. Когда они все разом открывали приложение, начинали оставлять ответы и реакции, это приводило к серьезным лагам.

🔄 Проблемы из-за «горящих партиций» возникали слишком часто, и команда решила переехать на другую базу — ScyllaDB. Но очевидно, что простая смена базы не решила бы проблему.

⏺️ В Discord разработали сервисы, через которые данные просеивались прежде, чем попасть в базу. Если поступало одновременно много запросов к одной и той же строке в базе, сервис аккумулировал и только после этого отправлял в ScyllaDB.
⏺️ В итоге она оказалась намного более стабильной и эффективной базой. Данные, которые в Cassandra хранились в 177 нодах, в ScyllaDB уместились на 72.
⏺️ ScyllaDB с поддержкой дата-сервисов не уронил даже Чемпионат Мира по футболу. Забавно, что на графиках Discord было хорошо видно ключевые моменты матчей — нагрузка резко возрастала в ответ на каждый гол Месси.

У Discord ситуация не уникальная, но не частая — не так много компаний, которые ворочают такими массивами данных. И все же надеемся, что вы почерпнули из их опыта что-то полезное для себя.

p.s. Обратите внимание на наших партнеров выше👆

🫡 Всё пиз-Data Science

🔥Все, что вы хотели знать о дата-инжиниринге

На гитхабе выложили список must-read и must-see материалов для всех, кто вкатывается в дата-инжиниринг. Или уже вкатился, но хочет прокачать скиллы.

⏺️Роадмап, с чего начать знакомство с профессией.
⏺️Курсы и книги.
⏺️Профессиональные коммьюнити, блоги и подкасты.
⏺️Инструменты для оркестрации, хранения и визуализации данных.

В общем, все, что может пригодиться начинающему и продолжающему инженеру. Знаете таких? Тогда покажите им этот пост, и себе его сохранить не забудьте. ❤️

🫡 Всё пиз-Data Science

👀 Оценка компетенций разработчика с помощью ИИ: за и против

Звучит, как сюжет из «Черного зеркала»: робот, который оценивает, подходит ли соискатель на должность или хватает ли сотруднику знаний для повышения. Но это не фантастика, а вполне реальная практика.

Конечно, на деле все не так мрачно, как сериале, и судьбы людей от решений роботов (пока) не зависят. ИИ лишь помогает ускорить процесс скрининга.

➡️ Технологию предложила компания Jumse. Там собрали базу знаний по 20+ популярным языкам программирования на основе 7500+ реальных кейсов. Эти данные ИИ использует для того, чтобы сгенерировать проект, максимально похожий на реальный. Разработчик должен провести ревью этого проекта и найти ошибки в коде.

Jumse позволяет провести хоть быстрый precheck, чтобы отсеять слабых кандидатов, хоть полноценный многочасовой ассесмент.

В итоге:
⏺️ HR могут проверить технические скиллы, не дергая техлидов на собеседования.
⏺️ СТО и руководители направлений смогут оценить навыки своих сотрудников и найти их сильные и слабые стороны.
⏺️ Сами разработчики смогут проверить свои знания на почти реальных кейсах и найти точки роста.

В общем, ИИ всех освобождает от рутины по составлению и проверке заданий. В теории звучит интересно, но на практике проверить качество скрининга может только тот же техлид или хотя бы достаточно опытный разработчик. Всем прочим остается только довериться решениям искусственного интеллекта.

🫡 Всё пиз-Data Science