🔄🔄🔄Читаем статьи за Вас №3:

🗣Проблема нормализации данных

Нормализация данных необходима для сравнения признаков с разными диапазонами значений.
Стандартизация и робастная нормализация часто используются, но имеют недостатки.

🗣Стандартизация

Среднее арифметическое значение используется для центрирования данных.
Медиана предпочтительнее среднего арифметического для разных распределений.
Стандартное отклонение не всегда подходит для равномерного влияния признаков.

🗣Межквартильный интервал

Интервал между 75-м и 25-м процентилями используется для нормализации.
Проблема "хвостов" распределений может привести к искажению результатов.

🗣Размах значений

Размах значений признака используется для нормализации, но может быть искажен выбросами.
Проблема выбросов требует их удаления или учета в новом диапазоне.

🗣Автоматическое определение выбросов

Межквартильный метод используется для автоматического определения выбросов.
Проблема длинных "хвостов" может потребовать индивидуального подхода.

🗣Скорректированный интервал

Метод скорректированного интервала учитывает асимметрию распределения и обеспечивает равномерное влияние признаков.
Метод эффективен для центрирования и вписывания данных в заданный диапазон.

🗣Сравнение методов

Метод скорректированного интервала превосходит другие методы по универсальности и эффективности.
Демонстрационный класс AdjustedScaler доступен для экспериментов.

https://github.com/newchronik/adjdatatools - прикольный инструмент для корректировки данных, в целом не такая замысловатая формула, но очень хорошее объяснение, как правильно проводить анализ смещений в данных при нормализации и стандартизации.
вот тут еще есть статейка: https://habr.com/ru/articles/527334/

#articles #tools #analysis #math

🔄🔄🔄Читаем статьи за Вас №4:

🗣Отравление данных

Отравление данных — это метод атаки, при котором в модель вводятся паттерны, приводящие к неправильной классификации данных.
Отравление данных может использоваться для создания бэкдоров в моделях машинного обучения.

🗣Примеры и последствия отравления данных

Отравление данных может привести к неправильной классификации изображений, например, собак и торговых марок.
Отравление данных может быть использовано для управления системами, такими как беспилотные автомобили, через триггеры.

🗣Методы и проблемы отравления данных

Исследователи разрабатывают новые методы отравления данных, такие как TrojanNet, которые позволяют создавать бэкдоры без изменения исходной модели.
Методы отравления данных могут быть эффективными, но требуют доступа к исходным данным и могут снижать точность модели.

🗣Обеспечение безопасности моделей машинного обучения

Обеспечение безопасности моделей ИИ сложнее, чем традиционных программ, и требует разработки специализированных инструментов.
Важно проверять источники моделей и внедрять их только из надежных источников.

https://habr.com/ru/companies/piter/articles/661083/
https://github.com/trx14/TrojanNet

#articles #tools #analysis #math

🔄🔄🔄Читаем статьи за Вас №5:

Применение факторного анализа

🗣Факторный анализ позволяет увидеть степень влияния различных аспектов и сформировать группы тесно связанных параметров.

Исходный набор данных анализируется на аномальные ответы и корреляции между вопросами.
Проводится проверка данных на возможность проведения факторного анализа с использованием критериев Бартлетта и Кайзера-Мейера-Олкина.

🗣Определение количества факторов

Определяется количество групп вопросов, результаты которых схожи между собой.
Вычисляется корреляционная матрица между вопросами и полученными факторами.
Выделяются 6 факторов с собственным значением больше 1.

🗣Интерпретация и анализ результатов

Результаты переносятся в Excel для удобства расчетов.
Средний балл для каждого вопроса и фактора рассчитывается с учетом корреляций выше 0.5.
Проводится сравнение среднего балла по всем вопросам и факторам для подтверждения корректности анализа.
На основе полученных данных строятся гипотезы, которые могут быть проверены на качественных исследованиях.

https://habr.com/ru/articles/687338/

#articles #tools #analysis #math

🔄🔄🔄Читаем статьи за Вас №6:

🗣Анализ продуктовых фичей

Продуктовый аналитик занимается анализом пользовательского поведения и интерфейса продукта.
Исследования фичей включают новые релизы и старые функции, которые ранее не были затронуты.
Основная задача — определить, нравится ли пользователям новая функция и приносит ли она прибыль.

🗣Структура анализа
Продукт состоит из множества механик и фичей, управление которыми осуществляется через микро-показатели.
Улучшение каждой части системы приводит к улучшению всего продукта.
Для оценки эффективности фичей используются 5 метрик, которые описывают результаты взаимодействия пользователя с функцией.

🗣Базовые метрики
Adoption Rate (заметность) измеряет количество взаимодействий с функцией за день по отношению к общему количеству активных пользователей.
Engagement Rate (выполнение задачи) оценивает количество пользователей, выполнивших ключевую задачу функции за день.
Stickiness (закрепление функции) показывает, насколько часто пользователи возвращаются к функции в течение дня.
Conversion Rate (конверсия) оценивает долю конвертировавшихся пользователей функции в общем объеме пользователей.
Monetization Impact (влияние на доходы) оценивает влияние функции на доходы от приложения.

🗣Применение метрик
Все метрики в совокупности дают представление о характере функции и её влиянии на бизнес-цели.
Для анализа используется график Spider/Radar, который позволяет визуализировать сильные и слабые стороны продукта.
На основе графика можно наметить план детального исследования функций.

🗣Практическое применение
Метрики помогают определить, какие функции популярны среди пользователей и как они влияют на доходы.
Анализ метрик позволяет выявить проблемы с дизайном функций и определить направления для улучшения.
Система метрик может быть адаптирована для разных типов продуктов и использоваться для ранжирования функций.

https://habr.com/ru/articles/807585/

#articles #tools #analysis #math

🔄🔄🔄Читаем статьи за Вас №7:

🗣Основы продуктовой аналитики

Продуктовая аналитика включает в себя сбор и анализ данных о продукте для улучшения его качества.
Аналитики используют данные для выявления проблем и возможностей продукта.

🗣Процесс исследования

Исследование начинается с определения проблемы и постановки целей.
Необходимо сформулировать вопросы для исследования и определить ограничения.
После сбора данных следует их анализ и подготовка плана исследования.

🗣Анализ данных

Перед анализом данных необходимо их очистить и обработать.
В процессе анализа следует искать закономерности и зависимости.
Визуализация данных является важным этапом для создания понятного отчета.

🗣Выводы и рекомендации

В конце исследования необходимо подвести итоги и сформулировать рекомендации.
Отчет должен быть оформлен в удобном для всех участников формате.

🗣Оформление отчета

Существуют различные форматы отчетов, но важно, чтобы они были понятны для читателей.
Рекомендуется использовать R для написания отчетов и R Quarto для рендеринга в PDF.

https://habr.com/ru/articles/781466/

#articles #tools #analysis #math

🔄🔄🔄Читаем статьи за Вас №8:

🗣Основы продуктовой аналитики

Цифры играют ключевую роль в развитии бизнеса, но их одного недостаточно.
Продуктовый аналитик является связующим звеном между бизнесом и данными.
Аналитик решает множество задач, включая анализ поведения пользователей и генерацию гипотез.

🗣Преобразование данных в инсайты

Продуктовый аналитик должен уметь превращать данные в полезные для бизнеса выводы.
Пример: анализ воронки продаж цветочного магазина для улучшения конверсии.

🗣Процесс продуктовой аналитики

Постановка задачи: определение проблемы, например, низкая конверсия на этапе оплаты.
Поиск информации: изучение исторических данных и уточнение у продакт-менеджера.
Анализ данных: критическое мышление и визуализация данных для выявления проблем.
Формулирование гипотез: выявление причин проблем и разработка решений.
Валидация гипотез: проверка идей с помощью здравого смысла и данных.
Решение проблемы: разработка и внедрение решений совместно с другими специалистами.

🗣Заключительный этап

Преобразование данных в практические инсайты: умение видеть связи и генерировать гипотезы.
Важность продуктовой аналитики: значительный вклад в развитие бизнеса и стоимость компании.

https://habr.com/ru/articles/794670/

#articles #analysis

🔄🔄🔄Читаем статьи за Вас №9:

🗣Основы дистилляции моделей

Дистилляция - процесс передачи знаний от одной модели к другой.
Дистилляция используется для уменьшения размера и сложности модели, сохраняя при этом её точность.

🗣Применение дистилляции в генеративных моделях

Дистилляция применяется для улучшения генеративных моделей, таких как Stable Diffusion.
Дистилляция позволяет создавать более компактные и эффективные модели, сохраняя при этом качество генерации.

🗣Методы дистилляции

Дистилляция может быть выполнена через обучение на наборе переноса или через использование средневзвешенного значения целевых функций.
В байесовском выводе дистилляция основана на оптимизации параметров модели ученика с использованием вариационного вывода.

🗣Дистилляция в генеративных моделях изображений

Дистилляция в генеративных моделях изображений направлена на оптимизацию моделей для конкретных задач и снижение сложности.
Stable Diffusion использует ансамбль моделей для генерации изображений, что требует дистилляции для улучшения производительности.

🗣Оптимизация сетей для промышленного использования

Дистилляция может оптимизировать нагрузку на ресурсы и уменьшить время генерации.
Использование токенизации запросов и детектора бинарных векторов признаков может улучшить производительность.

🗣Результаты дистилляции

Дистилляция позволила уменьшить размер модели и время генерации, сохранив качество генерации.

https://habr.com/ru/articles/755644/

#articles #analysis #model #distilation

🔄🔄🔄Читаем статьи за Вас №10:

🗣Эксперимент с БЯМ

БЯМ (Big Language Model) продемонстрировали способность писать в стиле известных авторов.
Эксперимент New York Times показал, что БЯМ может создавать тексты, имитирующие стиль Кертис Ситтенфелд.

🗣Сравнение стилей

Первый фрагмент написан в стиле Кертис Ситтенфелд, второй - в стиле БЯМ.
БЯМ не всегда справляется с управлением речевыми оборотами и грамматикой.
В конце второго фрагмента БЯМ демонстрирует грамматические ошибки и отсутствие завершения.

🗣Структура и черты ответов БЯМ

БЯМ часто использует списки и маркированные списки, что является их характерной чертой.
ИИ склонен к стереотипам и расплывчатым высказываниям, а также к использованию типичных имен и эпитетов.
Предложения БЯМ часто бывают длинными и грамматически правильными, но предсказуемыми.

🗣Советы по редактированию

Чтобы скрыть использование БЯМ, необходимо удалить характерные слова и словосочетания.
Необходимо редактировать текст, чтобы удалить "воду" и оставить только удачные фрагменты.
В результате получится текст, неотличимый от написанного человеком, но требующий значительных усилий.

🗣Использование БЯМ

БЯМ подходят для выполнения простых задач, таких как перевод терминов или ответы на вопросы, которые не требуют глубокого понимания.
Однако не следует доверять им написание длинных текстов или статей.
Рекомендуется использовать БЯМ для получения ответов на конкретные вопросы, требующие специальных знаний.

https://habr.com/ru/articles/840066/

#articles #analysis #model #nlp #redactor