🖥 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали новый выпуск на 📰.

Ниже — небольшая часть выпуска, а целиком читайте здесь 👈

💬 Как автоматически создавать субтитры

В статье рассматривается простейший способ транскрипции видео и создания субтитров — с помощью Python, Whisper и FFmpeg.

▶️ Видеотуториалы

🔘Основные приёмы работы с SQLAlchemy
SQLAlchemy — это библиотека, предназначенная для работы с реляционными базами данных. Умеет выполнять все запросы, доступные в SQL.
🔘Клон ChatGPT на Django
Автор видео показывает, как сделать аналог знаменитого чат-бота с помощью Django, вебсокетов (Channels) и HTMX.

🛠 Инструменты

🔘Tkinter Designer — автоматически конвертирует дизайны Figma в код Tkinter GUI.
🔘drawpyo — библиотека для визуализации диаграмм, карт и схем Draw.io.
🔘Great Tables — создаёт привлекательные таблицы для визуализации данных из датафреймов Pandas и Polars.

➡ Вы можете подписаться на email-рассылку здесь

🦙 Вышла Llama 3

Это самая крупная открытая языковая модель от Meta*. Ключевые особенности:

🔘Доступна сейчас в двух версиях: предобученная модель с 8 млрд параметров и дообученная на инструкциях модель на 70 млрд.
🔘Должна хорошо справляться со сложными, многоступенчатыми задачами и генерацией кода.
🔘Размер контекстного окна составляет 8 тысяч токенов.
🔘По бенчмаркам превосходит другие открытые LLM.
🔘Дообучение Llama 3 после этапа предтренировки производилось на 10 миллионах примерах, вручную размеченных людьми.

Известно также, что в процессе обучения находится модель с 400+ млрд параметров.

🔗 Репозиторий Llama 3
🔗 Страница моделей на Hugging Face
🔗 Ссылка на тестового чат-бота

*организация, деятельность которой запрещена на территории РФ

✅Ответы на вопросы с собеседований

А вот и ответы на три вопроса с собеседований, которые мы недавно вам задавали!

1️⃣ Как оценить статистическую значимость анализа?

Для оценки статистической значимости нужно провести проверку гипотезы. Сначала определяют нулевую и альтернативную гипотезы. Затем рассчитывают p – вероятность получения наблюдаемых результатов, если нулевая гипотеза верна. Наконец, устанавливают уровень значимости alpha. Если p < alpha, нулевая гипотеза отвергается – иными словами, анализ является статистически значимым.

2️⃣ Приведите три примера распределений с длинным хвостом. Почему они важны в задачах классификации и регрессии?

Три практических примера: степенной закон, закон Парето и продажи продуктов (например, продукты-бестселлеры против обычных).

При решении задач классификации и регрессии важно не забывать о распределении с длинным хвостом, поскольку редко встречающиеся значения составляют существенную часть выборки. Это влияет на выбор метода обработки выбросов. Кроме того, некоторые методики машинного обучения предполагают, что данные распределены нормально.

3️⃣ Что такое центральная предельная теорема, и почему она важна?

Центральная предельная теорема (ЦПТ) говорит о том, что сумма достаточно большого количества слабо зависимых случайных величин с примерно одинаковыми масштабами имеет распределение, близкое к нормальному.

Центральная предельная теорема важна, поскольку она используется при проверке гипотез и расчете доверительных интервалов.

👉Хотите больше вопросов и ответы на них? Читайте нашу статью:
🎲 40 вопросов по статистике с собеседований на должность Data Scientist