Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
👨‍💻🗺️ Кому в IT жить хорошо: Indeed опубликовал список из 19 наиболее востребованных спецов за рубежом в 2023 году

Рассказываем, кем нужно быть и какой стек начать изучать, чтобы жить в Кремниевой долине и зарабатывать от $150 000.

🔗 Основной сайт
🔗 Зеркало
4👍1
Почему профессора так плохо дают советы

Недавно я был на докладе с несколькими другими профессорами, и нас попросили дать несколько советов аспирантам по машинному обучению. Это заставило меня задуматься о том, почему профессора так плохо дают советы. Итак, вот несколько причин, по которым вам не следует слушать советы профессоров…

Читать тред
👍4🤔1
#вопросы_с_собеседований
Что такое Random Forest?

Random Forest, или случайный лес, — это один из немногих универсальных алгоритмов обучения, который способен выполнять задачи классификации, регрессии и кластеризации.

Случайный лес состоит из большого количества отдельных деревьев решений, которые по сути являются ансамблем методов. Каждое дерево в случайном лесу возвращает прогноз класса, и класс с наибольшим количеством голосов становится прогнозом леса.
👍10🔥21
Трансформеры ручной работы

Трансформер — это своего рода виртуальная машина, у которой выбирают веса, чтобы заставить ее выполнять сложение форм так, как это делают люди.

Открыть ноутбук
👍3
Иммерсивный 3D-рендеринг из обычных видео

В статье представлен алгоритм восстановления поля яркости крупномасштабной сцены из одного случайно снятого видео.

Читать статью
Scikit-learn

Scikit-learn — это библиотека для машинного обучения. Scikit-learn может быть использована для решения различных задач машинного обучения, включая классификацию, регрессию, кластеризацию, а также для обработки данных и выбора наилучших признаков. Она также может использоваться для предобработки данных, визуализации и выбора модели.

В этом примере мы загружаем данные Iris и разделяем их на обучающую и тестовую выборки. Набор данных Iris - это классический набор данных в машинном обучении и статистике. Объект Iris, возвращаемый load_iris, является объектом Bunch, который очень похож на словарь (подробнее о данных здесь). Затем мы создаем классификатор K ближайших соседей и обучаем его на обучающей выборке. Наконец, мы оцениваем точность модели на тестовой выборке.
#код
3
Какие подкасты вы слушаете?
Расскажите в комментариях ⬇️
#интерактив
✍️ «Библиотека программиста» находится в поиске переводчика технических статей

Обязанности
• Перевод технических статей, документации и руководств с английского на русский язык.
• Редактирование и корректура переведенных текстов для обеспечения высокого качества и своевременной доставки переводов.

Что значит редактирование? Просто так взять DeepL и слово в слово перевести статью не получится?
• Не получится. Как правило, 10–40% текста — «вода». Переводчик должен убрать все лишнее и оставить главное, чтобы читатель не тратил время на чтение «забавной истории из жизни моего питомца, который внес неоценимый вклад в написание данного материала».

Мы предлагаем
• Удаленку.
• Официальное трудоустройство.
• Своевременную оплату за выполненную работу.

➡️ Заполнить анкету ⬅️

Я хорошо программирую, но пишу «так себе». Что делать?
Если вы хорошо программируете, но навыки письма немного отстают, пройдите наш бесплатный курс на Степике «Статьи для IT: как объяснять и распространять значимые идеи».
👍6
Seaborn

Seaborn — это библиотека визуализации данных для языка программирования Python, основанная на библиотеке Matplotlib. Она предоставляет высокоуровневые интерфейсы для создания красивых и информативных статистических графиков.

С помощью функции barplot создается столбчатая диаграмма, которая показывает связь между оценками и количеством часов учебы, основанная на данных из словаря data. Порядок отображения оценок задается с помощью параметра order, а отображение графика осуществляется благодаря plt.show().

Результат работы программы представлен на втором изображении.
#код
👍4🔥1👏1
Что произойдет, если learning rate установлен неточно (слишком низкий или слишком высокий)?

Когда LR слишком маленький, обучение модели будет продвигаться очень медленно, поскольку на каждом шаге мы минимально обновляем веса. До достижения точки минимума потребуется много обновлений.

Если LR установлен слишком большим, это вызывает нежелательное отклоняющееся поведение по отношению к функции потерь из-за резких обновлений весов. Алгоритм может не найти точку минимума.
#вопросы_с_собеседований
👍6
🐍 Самоучитель по Python для начинающих. Часть 23: Основы веб-разработки на Flask

Покажем, как писать маршруты и функции представления, использовать шаблоны и работать с базами данных. В конце статьи – 10 мини-проектов, от модулей инвентаризации и учета товаров до приложения для хранения заметок и блога.

🔗 Основной сайт
🔗 Зеркало
3🔥1
Какой формат обучающих материалов предпочитаете? Статьи, видео, гайды, задачи, или личное наставничество?
#интерактив
🧑‍🎓 ТОП-8 стажировок для программиста в 2023 году

Восемь популярных вариантов стажировок для студентов в топовых зарубежных и российских IT-компаниях.

🔗 Основной сайт
🔗 Зеркало
3
Люди, которые используют Python для науки о данных — каковы варианты использования для создания собственных классов? [Обсуждение на Реддите]

Читать форум
Почему ChatGPT и Copilot вредны для разработчиков [видео]

Непопулярное мнение по поводу нашумевших нейросетей, с которым соглашаются многие зрители.

Смотреть видео
7
Повысьте свою эффективность с помощью базовых ковариат

Это первая статья из серии о причинно-следственных связях. Конечная цель — научиться анализировать данные реальных экспериментов, таких как RCT, с различной вероятностью из обобщенной линейной модели (GLM) и методами из современной литературы по причинно-следственным выводам.

Читать статью
Перечислите этапы построения дерева решений

Взять весь набор входных данных.

Вычислить энтропию целевой переменной, а также прогнозные атрибуты.

Рассчитать прирост информации по всем атрибутам (информацию о том, как отсортировать разные объекты друг от друга).

Выбрать атрибут с наибольшим объёмом информации в качестве корневого узла.

Повторить ту же процедуру для каждой ветви, пока узел решения каждой ветви не будет завершён.
#вопросы_с_собеседований
👍11
Автономные агенты на базе LLM

Создание агентов с LLM (большая языковая модель) в качестве основного контроллера — классная концепция. Несколько демонстраций для проверки концепции, таких как AutoGPT, GPT-Engineer и BabyAGI, служат вдохновляющими примерами. Возможности LLM не ограничиваются созданием хорошо написанных копий, рассказов, эссе и программ; его можно сделать средством для решения общих проблем.

Читать статью