Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🙌 Хардкорный вышмат для тех, кто интересуется ML, AI, DS

Начать с вводных занятий, чтобы познакомиться с преподавателями и форматом обучения можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/100f1763

Что будет на демо?

– Вводный урок от CPO курса

– Лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

– Практические задания и дополнительные материалы!

⚡️Переходите и начинайте учиться уже сегодня– https://proglib.io/w/100f1763
👍1
🔥 Прогресс text-to-image моделей за 20 месяцев в одной картинке

Для генерации этих изображений использовался один и тот же промпт.

👉А тем временем началось альфа-тестирование Midjourney v6. Чтобы опробовать новую версию модели в Дискорде, нужно выбрать V6 в выпадающем меню под /settings или набрать «--v 6» в конце промпта.

Теперь Midjourney v6 можно попросить сгенерировать более конкретное изображение, например, указать в кавычках желаемый текст, который должен присутствовать на картинке.
Пример: /imagine a photo of the text "Hello World!" written with a marker on a sticky note --ar 16:9 --v 6

Источник картинки
🤯17🔥3
🚀 Вторые после SpaceX: OpenAI намерена стать одним из самых дорогих стартапов

Издание Bloomberg узнало о том, что компания-создатель ChatGPT планирует провести новый раунд финансирования при оценке не менее $100 млрд. Если всё получится, OpenAI будет уступать только SpaceX, которая оценивается в $150 млрд.

Напомним, что на сегодняшний день крупнейшим инвестором OpenAI является Microsoft. Компания вложила в стартап $13 млрд. Также, по информации Bloomberg, OpenAI ведёт переговоры о производстве собственных чипов с холдингом из Абу-Даби.
👍82🤔1
В чём суть логистической регрессии

Логистическую регрессию относят к линейным моделям и применяют для задачи классификации. Регрессией она называется потому, что предсказываются тут не сами классы, а вещественные числа — логиты.

👉 Логистическая регрессия позволяет создать такую линейную модель, которая предсказывает число, связанное с вероятностью принадлежности к определённому классу, но с диапазоном значений от минус бесконечности до плюс бесконечности. Это число и есть логит, или логарифм отношения вероятности положительного события к отрицательному. Из него нетрудно через сигмоидную функцию вывести саму вероятность — число в диапазоне от нуля до единицы.

✍️ Пример: допустим, для некоторого объекта мы получили предсказание 0.8. В зависимости от выбранного порога мы принимаем решение о том, отнести этот объект к положительному классу или нет. Если порог был равен 0.6, то мы относим объект к положительному классу.

👉 Для оптимизации используется метод максимального правдоподобия.
👍12😁111
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
2👾2👍1
🔢 Бесплатные материалы по математике для глубокого обучения (Deep Learning)

Авторы из Amazon написали целый раздел по математике для сайта d2l.ai. Там есть про:
▪️векторы и линейные преобразования;
▪️спектральное разложение матрицы;
▪️дифференциальное исчисление;
▪️анализ функций многих переменных;
▪️интегральное исчисление;
▪️метод максимального правдоподобия;
▪️распределения;
▪️статистику;
▪️теорию информации.

Материал изложен на английском, но зато хорошо структурирован и сопровождается всеми необходимыми формулами и примерами кода.

🔗Изучить всё можно по этой ссылке
17🤔4👍1👏1
🤖 Наиболее заметные ИИ-релизы 2023 года

На Reddit поделились картинкой, которая наглядно показывает, как много всего случилось в ИИ-отрасли за прошедший год.

🌷 Март был месяцем продвинутых чат-ботов: вышли GPT-4 и Google Bard.
🐇 В апреле Илон Маск объявил о создании нового ИИ-стартапа X.AI, который в результате релизнул чат-бота Grok.
🌿 В мае стало известно о французском стартапе Mistral AI, который затем представил опенсорсные большие языковые модели.
🌤️ Июнь запомнился выходом мультимодальной Runway Gen-2, которая генерирует видео по текстовому промпту.
☀️ В июле вышла LLaMa-2 — одна из самых мощных языковых моделей в открытом доступе.
🍂 В сентябре представили третью версию DALL-E и интегрировали её с ChatGPT.
🍁 В ноябре был большой анонс OpenAI, на котором Сэм Альтман рассказал про кастомные GPT.
❄️ В декабре Google представила свою главную ИИ-модель Gemini.

С интересом ждём, что же нам покажет наступающий 2024 год
11👍4
🔍Насколько легко «войти в айти»?

Мы продолжаем собирать ваши истории о смене профессии и трудоустройстве в IT, чтобы написать большую аналитическую статью.

👉Если вы еще не рассказывали о своем опыте, пройдите короткий опрос по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🌌 Можно ли предсказать хаос с помощью машинного обучения?

Этот вопрос рассматривается в новой любопытной статье. Автор провёл крупномасштабное сравнение современных методов прогнозирования на гигантском наборе данных из 135 хаотических систем.

👉Он обнаружил, что большие универсальные модели (Transformers, LSTM) могут прогнозировать хаос очень далеко в будущем (больше десятикратного времени Ляпунова системы). При достаточном обучении они превосходят другие методы.

📖Прочесть статью можно по этой ссылке
👩‍💻Репозиторий с кодом к статье и датасетом
👍10🔥4
🎄 До Нового года осталось меньше недели, поэтому мы подводим итоги

🧑‍🎄 За год наше комьюнити стало больше на 2000 человек

❤️ Особенно вам понравились вот эти посты:

S4 лучше трансформеров?
Почему Swift может заменить Python в мл?
Гайд по обучению модели на PyTorch и MLlib
Когда какие базы данных лучше использовать?
Чего ждать от языка Mojo?

💜 Также вы с интересом читали эти статьи:

25 бесплатных AI-инструментов для разработчиков
Машинное обучение: что это такое и как оно работает
Как научиться решать сложные задачи
LlamaIndex: создаем чат-бота без боли и страданий. Часть 2
16+ лучших нейронок для синтеза речи

🧑‍💻 В 2023 году мы усердно работали и запустили несколько новых каналов:

Библиотека собеса по Data Science | вопросы с собеседований
Библиотека задач по Data Science | тесты, код, задания
Книги для дата сайентистов | Data Science

Кстати, в канале с книгами прямо сейчас проходит новогодний розыгрыш 👈

🎁 И последнее, но не менее важное: мы сделали скидку -35% на все курсы нашей академии proglib.academy

С наступающим!🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍1🔥1🎉1🤩1
💬 Чему бы вы хотели научиться?

Поделитесь мыслями в комментариях👇

#интерактив
👾3
🦙 Создаём веб-интерфейс как у ChatGPT для Ollama

Ollama позволяет запускать большие языковые модели, такие как Llama 2, локально. Список поддерживаемых моделей можно посмотреть по этой ссылке. Веб-интерфейс же сделает работу с этими моделями более удобной.

Его создание состоит из следующих шагов:
🦶Клонировать этот репозиторий.
🦶Установить Ollama. Этот этап можно объединить с установкой самого Web UI через Docker Compose. Нужно выполнить команду: docker compose up -d --build
🦶Затем следует активировать поддержку GPU. Это можно сделать через дополнительный файл Docker Compose следующей командой: docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d --build
🦶После установки нужно проверить, что Ollama запустилась. Для этого в адресной строке браузера следует написать: http://127.0.0.1:11434/ (стоит отметить, что порт может различаться).
🦶Если всё прошло успешно, нужно выполнить команду: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
🦶Ollama Web UI должен стать доступен по адресу: http://localhost:3000
👍43
📊 Разные типы графиков и код для их отрисовки из Matplotlib, Seaborn и Plotly

1️⃣ Линейный график
Самый простой тип графика, последовательность точек данных на линии.

🔵 Matplotlib:
import matplotlib.pyplot as plt
x = [1, 2, 3, 4]
y = [10, 20, 25, 30]
plt.plot(x, y)
plt.show()


🟡 Seaborn:
import seaborn as sns
import pandas as pd
data = pd.DataFrame({'X': [1, 2, 3, 4], 'Y': [10, 20, 25, 30]})
sns.lineplot(x='X', y='Y', data=data)
plt.show()


🟣 Plotly:
import plotly.express as px
fig = px.line(data, x='X', y='Y')
fig.show()


2️⃣ Диаграмма рассеяния (Scatter plot)
Изображает значения двух переменных в виде точек на декартовой плоскости.

🔵 Matplotlib:
import numpy as np
x = np.random.rand(50)
y = np.random.rand(50)
plt.scatter(x, y)
plt.show()


🟡 Seaborn:
sns.scatterplot(x=x, y=y)
plt.show()


🟣 Plotly:
fig = px.scatter(x=x, y=y)
fig.show()


3️⃣ Гистограмма
Показывает частоту появления различных значений случайных величин в выборке.

🔵 Matplotlib:
data = np.random.randn(1000)
plt.hist(data, bins=30)
plt.show()


🟡 Seaborn:
sns.histplot(data, bins=30)
plt.show()


🟣 Plotly:

fig = px.histogram(data, nbins=30)
fig.show()


4️⃣ Ящик с усами (Box plot)
Диаграмма размаха, показывает медиану (или, если нужно, среднее), нижний и верхний квартили, минимальное и максимальное значение выборки и выбросы.

🔵 Matplotlib:
data = np.random.normal(0, 1, 100)
plt.boxplot(data)
plt.show()


🟡 Seaborn:
sns.boxplot(data)
plt.show()


🟣 Plotly:
fig = px.box(y=data)
fig.show()
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥164👍2👏2🤩2🤔1
-35% на самый хардкорный курс по вышмату

🎄 Новый год начинается с подарков, а хороший подарок для себя — новые знания со скидкой 35%!

🌟«Математика для Data Science» — 19 490 ₽ (вместо 29 990 ₽)

Полугодовая программа от преподавателей МГУ, которая включает в себя все необходимые знания по математике для работы в Data Science.

Вас ждет развернутая обратная связь по всем домашним заданиям, а также ссылки на полезные дополнительные материалы.

У вас не будет шансов не усвоить какие-то темы курса👌

🔥 Переходите и активируйте вводные занятия курсаhttps://proglib.io/w/4468ec03
🥱4
This media is not supported in your browser
VIEW IN TELEGRAM
📹 Ego-Exo4D — крупнейший датасет для обучения на видеороликах

Это результат двухлетней работы команды Meta*. Содержит ролики с видом как от первого лица, так и со стороны. Видео дополняют друг друга и позволяют модели обучаться сложным задачам.

Открытые данные включают в себя более 1400 часов видео, а также аннотации для бенчмарков.

🔗 Скачать датасет можно по этой ссылке

*организация, деятельность которой запрещена на территории РФ
👍7🔥31
🐍🧫 Создаём игру «Жизнь» Джона Конвея на Python

Напишем алгоритм эволюции клеточных автоматов и разработаем интерфейс командной строки (CLI) для взаимодействия с игрой.

👉Читать статью
😁4👍3👾1
This media is not supported in your browser
VIEW IN TELEGRAM
🎄💬 Расскажите, каким был ваш 2023-й год

Достигли ли вы успехов в карьере, добились ли целей, хорошо ли себя чувствовали?

❤️ — хороший был год, выросла зп/сменил работу/стал чувствовать себя лучше
👍 — год как год, почти ничего не изменилось или изменилось незначительно
👾 — год был плохой, снизилась зп/сменил работу/остался без работы/устал

В комментариях можно поделиться радостью или пожаловаться на жизнь👇

#интерактив
30👍19👾11🔥1
🏦⚠️ Борьба с ошибками разработки ПО в финтехе

Рассказываем, как избежать неловких, а то и непоправимых ситуаций при разработке программного обеспечения для финтеха.

Читать статью
👏5🔥2👍1💯1
🎁Что бы вы хотели получить в подарок на Новый год?

Расскажите в комментариях👇
Please open Telegram to view this post
VIEW IN TELEGRAM
👾2