Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
19K subscribers
2.08K photos
109 videos
64 files
4.5K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Учиться у нас: https://proglib.io/w/f83f07f1

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🤩Ловите подборку за неделю:

🔍Чат-бот Bard теперь может подключаться к вашим приложениям и сервисам Google.

🏁OpenAI спешит опередить Google и запустить «мультимодальную» LLM.

👾Также компания представила DALL·E 3. Новая версия системы генерации изображений на основе текста позволяет использовать ChatGPT как партнера для обдумывания идей и уточнения запросов.

🦮Компания Microsoft представила повседневного ИИ-помощника Copilot. Он будет доступен в Windows 11, Microsoft 365 и веб-браузере с Edge и Bing.

📹YouTube анонсировала новые инструменты для создателей контента: от нового мобильного редактора до AI-фонов. Тестирование инструмента начнется уже в этом году.

🦠Специалисты из Google DeepMind представили новую ИИ-систему AlphaMissense. Она может помочь классифицировать, являются ли генетические мутации доброкачественными или нет. Это важный шаг на пути к раскрытию причин многих заболеваний.

🥳Мы тоже не отстаем от трендов — и запустили новую еженедельную email-рассылки, посвященной последним новостям и тенденциям в мире искусственного интеллекта.

#чтопроисходит
Please open Telegram to view this post
VIEW IN TELEGRAM
👾Подборка новых классных моделей и инструментов, которые стоит протестировать

DEVA — новая модель сегментации видео для отслеживания объектов
🖥 Github
🖥 Colab

DevGPT — кодинг с ИИ-ассистентом на модели gpt-4-32k
🖥 Github
🌐Сайт

Bard Extensions — ассистента Google внедрили во все продукты компании, и теперь он может помогать разбирать почту в Gmail, писать документы в Docs и так далее
🌐Сайт

LTU-AS — модель восприятия звука, которая способна к рассуждению с помощью LLaMA
🖥 Github
🌐Демо

Пробовали что-то новое и хотите поделиться отзывом? Пишите в комментарии👇

#дайджест #инструменты
Please open Telegram to view this post
VIEW IN TELEGRAM
Базовые модели ML и приложения

Это наш новый курс для начинающих в теме машинного обучения🎉

🔹 Познакомитесь с основными моделями машинного обучения

🔹 Научитесь выбирать и применять подходящие tree-based модели

🔹 Получите основу для дальнейшего изучения более сложных нейронных сетей

Подробности – https://proglib.io/w/67c59870

Кому будет полезен курс?

Начинающим в IT
. Тем, кто выбирает направление и хочет попробовать себя в ML

Математикам. Увлекаетесь математикой и хотите перейти от теории к практике, а также научиться решать реальные бизнес-задачи

Ну и главное, до конца сентября вы сможете получить этот курс бесплатно🤯

Пока ссылки нет на основном сайте, мы открываем продажи супер-акцией для своих 🙌https://proglib.io/w/67c59870

Переходите на сайт, читайте подробности и заходите на обучение по самым выгодным условиям!
🗣OpenAI научила ChatGPT слушать аудио и работать с изображениями

Как пишет компания в своем блоге, теперь ИИ может слышать, видеть и даже говорить. Так что теперь ей можно давать голосовые команды, спрашивать про что-то на фото и просить рассказать сказку.

Точнее, это можно будет сделать в ближайшее время: пользователи премиума смогут протестировать новые функции через две недели.

#новости
Please open Telegram to view this post
VIEW IN TELEGRAM
📰Главные новости с прошедшего на днях Meta Connect 2023

Помимо анонсов новых VR-очков и обсуждений Llama, Meta анонсировала несколько новых ИИ-продуктов. Вот список👇

➡️Новая технология искусственного интеллекта под названием Emu — она позволит бесплатно создавать высококачественные фотореалистичные стикеры. Ее будут использовать Facebook, Messenger, WhatsApp и Instagram.

➡️Новые ИИ-продукты под названием Restyle и Backdrop, которые позволят преобразовывать фотографии. Такие изображения будут помечены специальной меткой.

➡️ИИ-помощник под названием Meta AI, который появится в VR-гарнитуре Quest 3.

➡️AI Studio — платформа, которая позволит предприятиям создавать чат-ботов с искусственным интеллектом для служб обмена сообщениями компании, включая Facebook, Instagram и Messenger.

#новости
Please open Telegram to view this post
VIEW IN TELEGRAM
Руководство по языковым моделям

Начиная с основополагающих концепций, Джереми Ховард представляет архитектуру и механику, которые обеспечивают работу этих систем искусственного интеллекта. Затем он углубляется в критические оценки GPT-4, освещает практическое использование языковых моделей при написании кода и анализе данных, а также предлагает практические советы по работе с OpenAI API.

Смотреть видео
Очередной #дайджест по Python:

🐍 Hadoop в любой непонятной ситуации. Как выжить кластеру в большой ML команде
Какие сложности могут возникать при работе с кластером Hadoop и какие есть методы для их решения (конфигурация, мониторинг, склеивание мелких файлов, память кластера)

🐍 Многопоточность в Python: очевидное и невероятное
Как устроена многопоточность в Python, потоки, примитивы синхронизации и зачем они нужны.

🐍 Проектирование веб-приложений с помощью Python и Flask
Для каких проектов лучше всего подходит Flask, а для каких — Django?

🐍 Как настроить сбор статистики и автоматическое отключение пользователей WireGuard в ispmanager с помощью Python и API
В статье автор рассказывает о том, как он, будучи ламером, смог достигнуть нужных себе целей и изучить пару вариантов взаимодействия с ispmamager.
Оптимизация вашего LLM в производстве

В этом сообщении блога рассмотрены наиболее эффективные на момент написания этого сообщения методы решения этих проблем для эффективного развертывания LLM.

Читать статью
Люди больше не используют научные наборы для обучения/другие традиционные библиотеки? [Обсуждение на Реддите]

Недавно увидел твит, который получил довольно большую популярность, в котором говорилось о том, как много людей не использовали научные наборы для обучения в течение нескольких месяцев в качестве специалистов по обработке данных…

Читать обсуждение
Что такое learning rate?

Скорость обучения — важный гиперпараметр, который контролирует, насколько быстро модель адаптируется к проблеме во время обучения. Его можно рассматривать как «ширину шага» во время обновления параметров, т. е. насколько далеко веса перемещаются в направлении минимума нашей задачи оптимизации.
#вопросы_с_собеседований
Точность MNIST 78% при использовании GZIP менее чем в 10 строках кода

MNIST — это набор рукописных цифр, который обычно используется для работы с алгоритмами классификации. Оказывается, некоторые механизмы сжатия могут служить и инструментами классификации.

Читать статью
Почему существует так много фреймов данных Python?

Вы когда-нибудь задумывались, почему существует так много библиотек, в которых есть Dataframes в Python? В этой статье рассказывается о различных точках зрения на популярные наборы инструментов и о том, почему они такие, какие они есть.

Читать статью
«Библиотека программиста» запустила два новых канала для Python-разработчиков и тех, кто хочет ими стать👨‍🏫

В них мы:
🔸тренируемся на практических задачах
🔸отвечаем на популярные вопросы с собеседований
🔸проверяем свои знания

Подписывайтесь:
👉Библиотека собеса по Python — тут мы готовимся к интервью
👉Библиотека задач по Python — тут решаем задачи, проходим тесты и изучаем код
Обход GIL для параллельной обработки в Python

В статье описаны несколько традиционных и новых способов обхода глобальной блокировки интерпретатора (GIL) для достижения параллелизма с общей памятью при выполнении задач, связанных с ЦП.

Читать статью
Очередной #дайджест по Python:

🐍 Создание рекомендательных систем с использованием библиотеки Surprise
Рекомендательные не только помогают нам экономить время, предоставляя персонализированные рекомендации, но и оказывают влияние на наш выбор и потребительское поведение.

🐍 Объединение открытых данных Open Street Map и Landsat для уточнения площадей зеленых зон
О том какие преимущества привносит в нашу жизнь объединение пространственных данных из различных открытых источников.

🐍 Создание консольной игры Супер Ним на Python
В этом уроке автор пишет несложную консольную игру.

🐍 Решаем числовые ребусы с помощью Python
Или просто задачки.

🐍 Вы кто такие, я вас не знаю, или Как мы делаем JWT-аутентификацию
Обширный гайд для новичков и не только.
Есть ли отличная книга по шаблонам проектирования в области обработки данных? [Реддит]

Существует множество книг по шаблонам проектирования программного обеспечения в целом. Насколько мне известно, не для обработки данных. Я ищу отличную книгу, в которой подробно рассматриваются популярные шаблоны архитектуры данных. С примерами кода. Погуглил, но ничего особенно интересного не нашел. Всего несколько сообщений в блоге. Какие книги вы рекомендуете прочитать инженеру по обработке данных?

Читать обсуждение
Что нам делать с категориальными переменными?

Категориальные переменные должны быть закодированы, прежде чем их можно будет использовать в качестве функций для обучения модели машинного обучения. Существуют различные методы кодирования, в том числе:
✍️ One-hot encoding
✍️ Label encoding
✍️ Ordinal encoding
✍️ Target encoding
#вопросы_с_собеседований