🥳 🎉 Представляю Unovis — новую библиотеку визуализации данных для React, Angular, Svelte, а также «голого» TypeScript и JavaScript.

У меня второй большой (после Космографа) open source анонс в этом году, который будет интересен в первую очередь веб-разработчикам. Сегодня мы выложили в открытый доступ дитавиз библиотеку, над которой я работаю уже на протяжении последних трех лет (разработка началась в стартапе Volterra, и продолжилать в купившей его компании F5).

Немного об отличительных особенностях Unovis:
• 🏗 Удобно интегрируется в React, Angular и Svelte, что дает возможность использовать одну библиотеку в совсем разных проектах;
• 🗺 Помимо классических графиков умеет рисовать детальные карты и графы;
• 💇 Легко кастомизируется под ваш стиль (спасибо CSS переменным);
• 📖 Детальная документация и галерея примеров с кодом для разных фреймворков.

Если заинтерисовались, добро пожаловать на сайт библиотеки unovis.dev, и не забудьте лайкнуть наш репозиторий на GitHub!

Запись Q&A-сессии с Yandex DataLens Festival. Роман Бунин и Роман Колеченков ответили на вопросы участников Yandex DataLens Festival о работе с чартами, дашбордами, расчётными полями. На фоне роста популярности альтернативных BI-систем будет полезно

А ещё оказывается существует коммюнити DataLens в телеграме и там довольно-таки живо и можно найти ответы на интересующие вопросы

Уже больше 70 лет биологи исследуют состояние Байкала: берут пробы воды в одной и той же точке и вручную ведут подсчет микроорганизмов. Этот метод не менялся с 1945 года. Теперь учёным помогают алгоритмы машинного обучения — они анализируют виды и формы планктона и экономят время специалистов.

Нейросеть Yandex Cloud стала доступна в опенсорсе — то есть и сам алгоритм, и датасет можно использовать в исследованиях других водоемов по всему миру. Читайте подробнее в блоге.

Посмотрите короткометражку о том, как нейросети учились различать байкальских рачков, а специалисты из разных областей — понимать друг друга

Немного не по теме моего канала, но нет сил молчать. Недавно я поняла, что некоторые сервисы строят пузырьковые диаграммы, как бог на душу положит. И провела маленькое исследование, в котором сравнила результаты наиболее популярных датавиз сервисов и программ. Хочу его попозже дополнить еще QGIS и Gephi, если будет интерес. Если есть еще идеи — ю а вери велкам.

Опубликовала у себя на тильде

A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкам

Ребята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестирования может давать неверные выводы. Узнайте, что нужно учитывать, чтобы ваши эксперименты работали и, таким образом, приносили пользу бизнесу. Мы рассмотрим методологию и процесс A/B-тестирования, а также проблемы и заблуждения, которые могут привести к провалу. Если вам кажется, что вы не обладаете достаточными знаниями о том, как проводить и правильно оценивать эксперименты, то вам будет полезна эта статья

https://habr.com/ru/company/ozontech/blog/712306/

Pandas на самом деле предельно прост

Но как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачу

У только что освоивших import pandas as pd бывает, что они знают какого вида табличку хотят получить на выходе, а как её получить — не знают и в итоге впадают в ступор, потому что знают синтаксис, но не знают внутрянки

Для того, чтобы эффективно использовать Pandas и максимально пользоваться его потенциалом, важно понимать основные структуры данных Series и DataFrame, так как они являются строительными блоками работы с данными в Pandas

Написал про это целую статью с кучей примеров

http://datalytics.ru/all/uglublennoe-izuchenie-pandas-struktury-dannyh/

Яндекс выкладывает в опенсорс код счётчика — ключевого компонента Метрики. Это JS-бандл, который загружается вместе со страницей сайта и фиксирует различные события.
 
Вот ссылка на репозиторий в Гитхаб. Теперь вы можете подробно изучить код счётчика и пересобрать его в той конфигурации, которая необходима для вашего проекта.  

Разработчик Метрики Евгений Новиков поделился краткой историей счётчика и тем, как с ним работать в небольшой статье на Хабре.

ChatGPT в массы!

OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).

Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.

Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.

Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.

И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in

Теперь данные клиентов не будут использоваться для дообучения в будущем!

Быстрый тест: если думаете, что знаете в продакт-аналитике все — вы точно еще мидл

Если серьезно, определить, что пора идти на позицию повыше, сложно. А эйчары в процессе найма вряд ли намекнут, что готовы вам дать оффер побольше.

Но тут Авито на Хабре рассказали, как они отличают аналитиков-мидлов от сеньоров и что стоит подтянуть перед собесом (спойлер: не только штаны).

А еще держите ссылку на матрицу скиллов по грейдам.

В дополнение к предыдущему посту, поделюсь ещё одним способом использовать ChatGPT в обход официального интерфейса от OpenAI

Антон Жиянов (@dangry) сделал замечательную библиотеку Pokitoki, которая позволяет поднять своего бота с ChatGPT в Телеграме. Её к тому же можно подключать к групповым чатам в Телеге, чтобы можно было обращаться к боту сразу из группового чатика

Всё, что требуется:
- Ключ OpenAI API (можно взять свой или купить, пользуясь инструкцией из предыдущего поста)
- Сервер
- Сделать клон репозитория на сервер
- Запустить бота из докера

Кстати, если вы не знаете как создать сервер, клонировать репозиторий на сервер или поднять на сервере сборку из докера, то спросите у ChatGPT. Он с подобного рода вопросами справляется «на ура» 🙃

Наткунлся на статью про экономику больших языковых моделей (LLMs)

Что интересного:

💰 LLM-поиск уже экономически целесообразен: ориентировочно, стоимость LLM-поиска составляет всего ~15% от оценочной рекламной выручки с одного запроса сегодня, сверх существующих затрат на поиск

🤔 Однако экономическая целесообразность не означает экономическую разумность: для крупных поисковиков с $100 млрд выручкой от поиска добавление такого функционала может обойтись в $10 млрд дополнительных издержек

📈 Другие LLM-проекты высокоприбыльны: например, Jasper.ai , который недавно был оценен в 1,5 миллиарда долларов и использует LLM для генерации текстов, берет с пользователя примерно 82 доллара за 100 тысяч слов (эквивалент ~ 1,09 доллара за 1000 токенов). При использовании API от OpenAI по цене 0,02 доллара за 1000 токенов прибыль значительно превысит 75%

🏭 Обучение LLM (даже с нуля) не требует колоссального бюджета для крупных компаний: обучение GPT-3 обойдется в ~$1.4 млн в публичном облаке, а даже самые передовые модели, вроде PaLM, стоят ~$11.2 млн

⬇️ Стоимость LLM скорее всего значительно снизится: затраты на обучение и вывод модели с производительностью, сравнимой с GPT-3, упали на ~80% с момента выхода GPT-3 2,5 года назад

🔐 Ограничивающим фактором для LLM становятся данные: увеличение количества параметров модели может дать меньший эффект по сравнению с увеличением размера высококачественного набора обучающих данных

Текст статьи: https://sunyan.substack.com/p/the-economics-of-large-language-models