Please open Telegram to view this post
VIEW IN TELEGRAM
Что такое функции активации и как они различаются по вычислительной сложности, разреженности и поведению градиента
Функция активации нейрона определяетвыходной сигнал, который определяется входным сигналом или набором входных сигналов.
▪️ Sigmoid
Преобразует входы в диапазон 0-1 (бинарная классификация).
Проблемы:исчезающие градиенты при экстремальных значениях.
Разреженность:низкая.
▪️ Tanh
Преобразует входы в диапазон -1 до 1.
Проблемы:исчезающие градиенты, но менее выраженные, чем у сигмоиды.
Разреженность:средняя.
▪️ ReLU (Rectified Linear Unit)
Устанавливает отрицательные значения в 0, оставляя положительные.
Проблемы:«умирающий ReLU» — нейроны становятся неактивными.
Разреженность:высокая.
▪️ Leaky ReLU
Модификация ReLU с малым наклоном для отрицательных значений.
Проблемы: «умирающий ReLU» минимизируется.
Разреженность:ниже, чем у ReLU.
Библиотека собеса по Data Science
Функция активации нейрона определяет
▪️ Sigmoid
Преобразует входы в диапазон 0-1 (бинарная классификация).
Проблемы:
Разреженность:
▪️ Tanh
Преобразует входы в диапазон -1 до 1.
Проблемы:
Разреженность:
▪️ ReLU (Rectified Linear Unit)
Устанавливает отрицательные значения в 0, оставляя положительные.
Проблемы:
Разреженность:
▪️ Leaky ReLU
Модификация ReLU с малым наклоном для отрицательных значений.
Проблемы:
Разреженность:
Библиотека собеса по Data Science
Отобрали для вас полезные и проверенные каналы для программистов — в них вы найдете все самое интересное, от технических новостей до практических гайдов.
IT Job Hub | Работа и вакансии в IT — избранные IT-вакансии
Библиотека программиста — новости из мира IT и технологий
Книги для программистов — самые годные книги по любым языкам и стекам
IT-мемы — мемы про жизу айтишника
Proglib Academy — обучение и курсы, чтобы стать топовым специалистом
Азбука айтишника — азы из мира разработки
Библиотека нейросетей — лайфхаки и промпты для разных задач, баттлы нейронок и новости из мира ИИ
Библиотека фронтендера — все о JS, React, Angular и не только
Библиотека мобильного разработчика — лайфхаки и новости из мира Swift и Kotlin
Библиотека хакера — уязвимости, атаки, бэкдоры и как от них защититься
Библиотека тестировщика — самое интересное о том, как крашить код
🦫 Go
Библиотека Go-разработчика
Библиотека задач по Go
Библиотека Go для собеса
Вакансии по Go
#️⃣ C#
Библиотека шарписта
Библиотека задач по C#
Библиотека собеса по C#
Вакансии по C#
🔧 DevOps
Библиотека devops’а
Библиотека задач по DevOps
Библиотека собеса по DevOps
Вакансии по DevOps & SRE
🐘 PHP
Библиотека пхпшника
Библиотека задач по PHP
Библиотека PHP для собеса
Вакансии по PHP, Symfony, Laravel
🐍 Python
Библиотека питониста
Библиотека Python для собеса
Библиотека задач по Python
Вакансии по питону, Django, Flask
☕️ Java
Библиотека джависта
Библиотека задач по Java
Библиотека Java для собеса
Вакансии по Java
📊 Data Science
Библиотека дата-сайентиста
Библиотека задач по Data Science
Библиотека Data Science для собеса
Вакансии по Data Science
🎮 C++
Библиотека C/C++ разработчика
Библиотека задач по C++
Библиотека C++ для собеса
Вакансии по C++
Подписывайтесь на интересные вам каналы и сохраняйте пост в закладки, чтобы не потерять 🔑
Please open Telegram to view this post
VIEW IN TELEGRAM
Применение различных конфигураций слоев ввода и вывода в Рекуррентных Нейронных Сетях (RNN)
✔️ One-to-One:
• Описание: один вход — один выход.
• Пример: классификация изображений. В этой задаче, нейронная сеть получает изображение как вход, а затем генерирует один результат (класс изображения) на выходе.
✔️ One-to-Many:
• Описание: один вход — несколько выходов.
• Пример: преобразование изображений в текст (image-to-text). Здесь сеть принимает одно изображение как вход и генерирует последовательность выходных данных, например, описание изображения в виде текста.
✔️ Many-to-Many:
• Описание: несколько входов — несколько выходов.
• Пример: перевод текста (например, машинный перевод). Модель принимает последовательность слов (вход) и генерирует соответствующую последовательность слов на другом языке (выход).
Библиотека собеса по Data Science
✔️ One-to-One:
✔️ One-to-Many:
✔️ Many-to-Many:
Библиотека собеса по Data Science
Почему трансформеры справляются с большими объемами данных лучше, чем рекуррентные нейронные сети
Это связано с их возможностямипараллельной обработки , лучшим моделированием дальнодействующих зависимостей и устойчивостью к исчезающим и взрывающимся градиентам.
Дополнительно, слойнормализации в трансформерах помогает справляться с проблемой взрыва градиента , что делает их еще более надежными для работы с крупными наборами данных.
Библиотека собеса по Data Science
Это связано с их возможностями
Дополнительно, слой
Библиотека собеса по Data Science
Как можно разбить непрерывные признаки на интервалы на основе распределения данных, и каковы плюсы и минусы такого подхода
Один из распространенных методов — разбиениена интервалы по квантилям . Такой способ обеспечивает равномерное распределение наблюдений по группам , но при этом границы интервалов могут быть нецелыми числами, а также метод чувствителен к изменению распределения данных со временем .
Библиотека собеса по Data Science
Один из распространенных методов — разбиение
Библиотека собеса по Data Science
Какие методы сбора данных вам приходилось использовать в работе
Некоторые распространенные методы:
🔹 Транзакционные данные — сбор информации с терминалов и платежных систем.
🔹 Веб-скрейпинг — извлечение данных из открытых интернет-источников.
🔹 Логирование пользовательских действий — анализ поведения в приложениях и на сайтах.
🔹 Данные с датчиков — отслеживание параметров работы устройств, автомобилей, IoT-систем.
Библиотека собеса по Data Science
Некоторые распространенные методы:
Библиотека собеса по Data Science
Какие методы выборки чаще всего используются для отбора подмножества из конечной популяции
🔹Выборка с возвращением — каждый элемент может быть выбран несколько раз.
🔹Выборка без возвращения — элемент может быть выбран только один раз.
🔹Стратифицированная выборка — данные делятся на группы (страты), из которых берутся случайные образцы.
🔹Многоступенчатая выборка — отбор проводится в несколько этапов, последовательно уменьшая выборку.
🔹Систематическая выборка — отбор элементов через равные интервалы в отсортированном списке.
Библиотека собеса по Data Science
🔹
🔹
🔹
🔹
🔹
Библиотека собеса по Data Science
Forwarded from Proglib.academy | IT-курсы
Можно ли стать разработчиком, если в школе ненавидел математику? А если наоборот — тащился от алгебры и геометрии, но кодить не умеешь? Эта статья раскладывает всё по полочкам: где без математики никуда, а где можно и без неё.
✓ Почему все считают, что программисты — математики
✓ В каких сферах разработки можно вообще не знать математику
✓ Где хватит готовых библиотек, а где придётся разбираться в формулах
✓ Какие области программирования требуют мощного математического бэкграунда
✓ Что делать, если математика — это боль, но хочется освоить ML или Data Science
✓ Топ книг, которые помогут понять и даже полюбить математику
Proglib Academy
Please open Telegram to view this post
VIEW IN TELEGRAM
Какие существуют методы обнаружения выбросов
Методы делятся настатистические и плотностные .
📊Статистические методы:
✓Правило 3σ — предполагает нормальное распределение, выбросы находятся за границами ±3 стандартных отклонений.
✓Метод box-plot — выбросы определяются на основе квартилей и 1.5 межквартильного размаха.
✓Z-оценка — стандартизация данных, точки с высоким Z-score считаются выбросами.
📈Плотностные методы:
✓DBSCAN — алгоритм кластеризации, который помечает шумовые точки как выбросы.
✓LOF (Local Outlier Factor) — анализирует локальную плотность точки и её отличие от соседей.
Библиотека собеса по Data Science
Методы делятся на
📊
✓
✓
✓
📈
✓
✓
Библиотека собеса по Data Science
Как выбрать между ручным и автоматизированным созданием признаков
Выбор зависит от количества признаков и уровня знания предметной области.
🔹 Когда лучше использовать ручное создание признаков?
✔ Понимание области исследований и данных.
✔ Количество признаков управляемо.
✔ Важна интерпретируемость модели.
🔹 Когда предпочтительнее автоматизированное создание признаков?
✔️ Ограниченные знания о данных.
✔️ Большие наборы данных с высокой размерностью.
✔️ Дорого разрабатывать признаки вручную.
✔️ Интерпретируемость модели не является ключевым фактором.
Библиотека собеса по Data Science
Выбор зависит от количества признаков и уровня знания предметной области.
🔹 Когда лучше использовать ручное создание признаков?
🔹 Когда предпочтительнее автоматизированное создание признаков?
Библиотека собеса по Data Science
Forwarded from Библиотека питониста | Python, Django, Flask
🐍 Твой Python-код жрёт память? 11 способов это исправить!
Высокая производительность и масштабируемость невозможны, если приложение неэффективно расходует RAM. Разберём лучшие техники оптимизации памяти в Python, которые помогут сократить потребление ресурсов и ускорить работу кода.
👉 Читать статью
Библиотека питониста
Высокая производительность и масштабируемость невозможны, если приложение неэффективно расходует RAM. Разберём лучшие техники оптимизации памяти в Python, которые помогут сократить потребление ресурсов и ускорить работу кода.
👉 Читать статью
Библиотека питониста
Зачем использовать векторную базу данных, если есть пакеты для векторного поиска
Векторные пакеты и базы данных решают похожие задачи, но ориентированы на разные сценарии использования.
📌 Ключевые различия:
🔹 Векторные пакеты —подходят для локального поиска на небольших объемах данных, но не обеспечивают долговременное хранение и масштабируемость.
🔹 Векторные базы данных — разработаны для работы с большими объемами данных, поддерживают хранение, быстрый поиск и обработку в распределенной среде.
⚡ Когда что использовать:
🔹 Если данных мало и важна простота —подойдет векторный пакет .
🔹 Если требуется хранение, высокая скорость поиска и масштабируемость —нужна векторная база .
Библиотека собеса по Data Science
Векторные пакеты и базы данных решают похожие задачи, но ориентированы на разные сценарии использования.
📌 Ключевые различия:
🔹 Векторные пакеты —
🔹 Векторные базы данных — разработаны для работы с большими объемами данных, поддерживают хранение, быстрый поиск и обработку в распределенной среде.
⚡ Когда что использовать:
🔹 Если данных мало и важна простота —
🔹 Если требуется хранение, высокая скорость поиска и масштабируемость —
Библиотека собеса по Data Science
Как развернуть модель XGBoost в продакшн
1.Сериализация модели — сохранение модели с помощью XGBoost, Pickle или Joblib.
2.Загрузка модели — использование соответствующей библиотеки для загрузки модели в продакшн-среду.
3.Выбор платформы — развертывание модели локально, в облаке или в контейнере.
4.Обслуживание модели — настройка API (REST, gRPC) для предоставления предсказаний.
Библиотека собеса по Data Science
1.
2.
3.
4.
Библиотека собеса по Data Science
Какие типы галлюцинаций бывают в LLM и как их можно минимизировать
Существует два основных типа галлюцинаций в больших языковых моделях (LLM):
1. Intrinsic Hallucinations:
Модель генерирует текст, который противоречит предоставленному вводу. Это может происходить, когда модель «выдумывает» факты или не следуют контексту.
2. Extrinsic Hallucinations:
Модель генерирует текст, который фактически неверен или не подтверждается входными данными. Например, создание неверных статистических данных или ссылок на несуществующие источники.
Как уменьшить галлюцинации?
1. Оптимизация стратегии декодирования:
Использование таких методов, как beam search или top-k sampling, может помочь улучшить качество вывода, избегая нелогичных или противоречивых утверждений.
2. Генерация с дополнительным поисковым механизмом (retrieval-augmented generation):
Этот подход использует внешние базы данных или поисковые системы для получения точной и релевантной информации перед тем, как сгенерировать окончательный ответ, что помогает избежать фактических ошибок.
Библиотека собеса по Data Science
Существует два основных типа галлюцинаций в больших языковых моделях (LLM):
1. Intrinsic Hallucinations:
2. Extrinsic Hallucinations:
Как уменьшить галлюцинации?
1. Оптимизация стратегии декодирования:
2. Генерация с дополнительным поисковым механизмом (retrieval-augmented generation):
Библиотека собеса по Data Science
Как работает Retrieval-Augmented Generation (RAG)
Процесс RAG включает в себя следующие этапы:
1. Создание индекса:
На первом этапе данные обрабатываются: текст делится на токены, создаются эмбеддинги для эффективного поиска.
2. Извлечение информации (Retrieval):
Релевантная информация извлекается из базы знаний с помощью таких техник, как поиск по ключевым словам, семантический поиск или поиск на основе графа знаний.
3. Генерация (Generation):
На основе извлеченной информации и входного запроса используется языковая модель для генерации текста.
Библиотека собеса по Data Science
Процесс RAG включает в себя следующие этапы:
1. Создание индекса:
2. Извлечение информации (Retrieval):
3. Генерация (Generation):
Библиотека собеса по Data Science
❗ В чем недостатки методов обнаружения аномалий на основе плотности
Методы, такие как Local Outlier Factor (LOF), определяют аномалии по плотности данных, но сталкиваются с рядом проблем:
🔹 Проклятие размерности — в многомерных данных плотность теряет смысл.
🔹 Чувствительность к параметрам — требуется точная настройка гиперпараметров.
🔹 Сложности с разными кластерами — могут ошибаться при разной плотности данных.
🔹 Высокая вычислительная сложность — плохо масштабируются на больших данных.
🔹 Ограниченная интерпретируемость — трудно объяснить, почему точка считается выбросом.
Библиотека собеса по Data Science
Методы, такие как Local Outlier Factor (LOF), определяют аномалии по плотности данных, но сталкиваются с рядом проблем:
Библиотека собеса по Data Science
Как получить эмбеддинги предложений из эмбеддингов слов
Для формирования эмбеддингов предложений используются следующие методы:
▪️ Среднее по словам — усреднение эмбеддингов всех слов в предложении.
▪️ Взвешенное усреднение — учет значимости слов с помощью весов (например, TF-IDF).
▪️ Модели для предложений — использование специализированных нейросетей, таких как Sentence-BERT или Sentence Transformers.
💡 Лучший подход зависит от задачи — простые методы подходят для базовых приложений, а нейросетевые модели обеспечивают более точное представление смысла.
Библиотека собеса по Data Science
Для формирования эмбеддингов предложений используются следующие методы:
💡 Лучший подход зависит от задачи — простые методы подходят для базовых приложений, а нейросетевые модели обеспечивают более точное представление смысла.
Библиотека собеса по Data Science
Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
🤖 IT-выживание 2025: как не вылететь с рынка труда в эпоху LLM
В 2025-м айтишникам приходится несладко: старые скиллы уже не в цене, LLM наступают на пятки, а работодатели хотят все и сразу.
👍 Делимся инсайдами, как выжить в новой реальности и не потерять работу в эпоху тотальной оптимизации.
👉 Ссылка на статью: https://proglib.io/sh/zEruLHxYno
Библиотека дата-сайентиста
В 2025-м айтишникам приходится несладко: старые скиллы уже не в цене, LLM наступают на пятки, а работодатели хотят все и сразу.
👍 Делимся инсайдами, как выжить в новой реальности и не потерять работу в эпоху тотальной оптимизации.
👉 Ссылка на статью: https://proglib.io/sh/zEruLHxYno
Библиотека дата-сайентиста
Что такое токен в NLP и какие существуют методы токенизации
🔹 Токен —это наименьшая единица текста, которая может быть словом, подсловом (например, «un-», «friend») или знаком препинания.
🔹 Популярные методы токенизации:
1. Токенизация на уровне слов — делит текст на отдельные слова.
2. Токенизация на уровне подслов — разбивает слова на более мелкие единицы (например, BPE, WordPiece).
3. Токенизация на уровне символов — превращает текст в последовательность отдельных символов.
⚡ Выбор метода зависит от задачи:для морфологически сложных языков часто используют подсловную токенизацию, а для обработки именованных сущностей — посимвольную.
Библиотека собеса по Data Science
🔹 Токен —
🔹 Популярные методы токенизации:
⚡ Выбор метода зависит от задачи:
Библиотека собеса по Data Science
В нашем чате работает бот Shieldy — он защищает от спама, запрашивая у новых участников решение простой капчи.
⚠️ Проблема, с которой сталкиваются многие: вы нажимаете под постом «Прокомментировать», пишете что-то, а потом получаете бан и не можете писать комментарии.
❓Почему так: Shieldy отправляет капчу в сам чат, а не в комментарии под конкретный пост. Из-за этого капчу можно не увидеть, не отправить ответ на нее, и бот автоматически заблокирует вас.
— Зайдите в описание канала с телефона и нажмите кнопку Discuss / Чат
— Нажмите Join / Присоединиться
— Сразу обратите внимание на сообщение от бота Shieldy
— Решите простой пример и отправьте ответ в чат
После этого бот отправит приветственное сообщение и вы сможете оставлять комментарии. Эту проверку нужно пройти только один раз при вступлении в чат.
❗️ Если вас все-таки забанили
— Это временная блокировка на несколько минут
— Подождите и попробуйте зайти позже, бот снова отправит вам капчу
Админы канала никак не могут ускорить процесс, бот автоматически снимает с вас блокировку через пару минут. Мы понимаем, что эта система неидеальна, и ищем более удобное решение.
👾 Спасибо, что активно участвуете в обсуждении наших постов!
Please open Telegram to view this post
VIEW IN TELEGRAM