Кибербез (Похек) Сергей, реально крут.

Очень круто, прям топчик, "запили" в одном из музеев. Надо бы и нам такое заделать, картин-то у нас много.

https://opengovasia.com/indonesias-approach-to-artificial-intelligence-governance/ - вот это конечно мега-кейс.

https://www.networkworld.com/article/1310662/ai-server-market-cloud-giants-to-command-60-demand-in-2024.html - как говорится не софтом единым, мощности растут, надо где-то все считать и обрабатывать.

Ребят, все посты возобновятся, с выходных, в стандартной форме, был крайне занят по рабочим задачам и подготовке новых материалов.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_217

🔠Какие типы GPU поддерживает CUDA Toolkit? (Часть_1)

CUDA Toolkit поддерживает широкий спектр графических процессоров (GPU) от NVIDIA, начиная с серии G8x. Это включает в себя как модели GeForce, так и Quadro, а также линейку Tesla. Поддержка распространяется на все стандартные операционные системы, такие как Windows, Linux и macOS.

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits(GPU) #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_217

🔠Какие типы GPU поддерживает CUDA Toolkit? (Часть_2)

- Tesla K10 с версией CUDA 3.0
- CUDA-Enabled NVIDIA Quadro и NVIDIA RTX
- NVS 4200M с версией CUDA 2.1
- CUDA-Enabled GeForce и TITAN продукты
- GeForce 410M с версией CUDA 2.1
- CUDA-Enabled Jetson продукты
- NVIDIA Quadro и NVIDIA RTX Desktop GPUs

#CUDA #ComputeUnifiedDeviceArchitecture #NVIDIA #highperformancecomputing #graphicsprocessingunits #softwareplatform #developers #computationalcapabilities #imageprocessing #dataanalysis #machinelearning

https://www.securitylab.ru/news/545708.php - неожиданное поведение для LLM, но в целом, предсказуемое.

https://crucible.dreadnode.io/register?plan_id=1 - недавно обнаружил вот такую платформу, так что если кто хочет поломать современные модели залетайте.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_218

🔠Какие конкретные метрики используются для анализа данных и обнаружения аномалий в блокчейне? (Часть_1)

- Денежные потоки между блокчейн-адресами: Отслеживание и визуализация денежных потоков помогают в обнаружении украденных средств, раскрытии ценовых манипуляций и предотвращении отмывания денег;

- Присвоение меток блокчейн-адресам: Привязка блокчейн-адресов к реальным персонам и организациям (например, "даркнет-рынок", "вымогательство", "мошенничество", "майнинг-пул", "азартная игра", "криптовалютная биржа" и т.д.) позволяет лучше понимать активность и цели адресов;

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_218

🔠Какие конкретные метрики используются для анализа данных и обнаружения аномалий в блокчейне? (Часть_2)

- Уведомления о важных событиях: В реальном времени отслеживаются подозрительные транзакции, переводы больших денежных сумм, активность адресов, находящихся под санкциями, и другие важные события в блокчейн-системе.

- Одновременный поиск по нескольким блокчейн-платформам: Использование унифицированной схемы данных для одновременного поиска по нескольким блокчейн-платформам упрощает анализ и обнаружение аномалий.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

Очень частый вопрос, как построить гистограмму важности признаков для линейной модели ?

При построении гистограммы важности признаков в линейной модели можно использовать коэффициенты, полученные при обучении модели. Коэффициенты коэффициентов в линейной регрессии указывают на важность каждого признака в предсказании целевой переменной.

1. Обучите линейную регрессионную модель на вашем наборе данных.
2. Извлеките коэффициенты модели, используя свойство coef_.
3. Визуализируйте важность признаков с помощью гистограммы, где каждый признак представлен в виде столбца, а высота столбца соответствует абсолютному значению коэффициента.

Пример кода:

from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from matplotlib import pyplot

# Определение набора данных
X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)

# Определение модели
model = LinearRegression()

# Обучение модели
model.fit(X, y)

# Получение коэффициентов
importance = model.coef_

# Визуализация важности признаков
pyplot.bar([x for x in range(len(importance))], importance)
pyplot.show()

Этот код создает гистограмму, где каждый столбец соответствует признаку, а высота столбца показывает важность этого признака в модели. Важно отметить, что коэффициенты коэффициентов могут быть положительными или отрицательными, что указывает на направление влияния признака на целевую переменную. Также стоит учитывать, что этот метод предполагает, что все признаки имеют одинаковый масштаб или были предварительно масштабированы.

https://techtrain.ru/schedule/days/?mindbox-message-key=-838795422439309312&mindbox-click-id=18840af7-75d5-4ed6-9792-5618f71c3bd8&utm_source=email&utm_medium=newsletter&utm_campaign=TechTrain_2024_Spring_LastCall - буду на конфе, кто хочет залетайте пока не поздно

В МФТИ прошла встреча студентов с выпускником Физтеха — советником Министра обороны Российской Федерации, действительным государственным советником 3-го класса, кандидатом технических наук Андреем Ильницким.

Итогом встречи стал запуск нового курса «Актуальные стратегии», который был разработан Ильницким специально для МФТИ. Подробности на сайте.

Основная идея проекта заключается в системном знакомстве участников проекта с предлагаемой точкой зрения на различные процессы, имеющие место в международном сообществе, где всё более активную роль начинает играть наша страна и её национальные интересы.

Открытие семинара состоится 3 апреля в 17:00 в корпусе «Цифра» 4.18-5.17

Приглашаются все желающие!

Планирую быть здесь 3 числа, кто хочет приходите. Пообщаемся.

Featuretools для генерации фичей. Очень частый вопрос, вот как примерно можно сделать это:

1. Установка и импорт Featuretools:
Сначала убедитесь, что у вас установлен Featuretools. Если нет, установите его с помощью pip:

   pip install featuretools
   

Затем импортируйте Featuretools в ваш скрипт:

   import featuretools as ft
   

2. Определение сущностей и отношений:
Featuretools работает с концепцией сущностей и отношений между ними. Сущность - это таблица в вашем наборе данных, а отношения определяют, как эти сущности связаны друг с другом. Например, если у вас есть таблица "Клиенты" и таблица "Заказы", вы можете определить отношение "один ко многим", где один клиент может сделать несколько заказов.

3. Создание EntitySet:
EntitySet - это контейнер, который содержит все ваши сущности и их отношения. Вы создаете EntitySet, используя метод ft.EntitySet(), и добавляете в него сущности с помощью метода add_relationship().

4. Генерация фичей:
После того как вы определили сущности и их отношения, вы можете использовать метод ft.dfs() для автоматической генерации фичей. Этот метод принимает параметры, такие как dataframes, target_dataframe_name, max_depth, и agg_primitives, чтобы определить, какие фичи генерировать.

Вот пример кода, который демонстрирует эти шаги:

import pandas as pd
import featuretools as ft

# Создание примера DataFrame
train = pd.DataFrame({
    'Id': [1, 2, 3, 4, 5],
    'MSSubClass': [60, 20, 60, 70, 60],
    'MSZoning': ['RL', 'RL', 'RL', 'RL', 'RL'],
    'LotFrontage': [65.0, 80.0, 68.0, 60.0, 84.0],
    'LotArea': [8450, 9600, 11250, 9550, 14260]
})

# Создание EntitySet
es = ft.EntitySet(id="housing")

# Добавление DataFrame в EntitySet как сущность
es = es.entity_from_dataframe(entity_id="train", dataframe=train, index="Id")

# Генерация фичей
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="train", max_depth=2)

# Вывод фичей
print(feature_matrix.head())

Этот код создает EntitySet с одной сущностью, основанной на DataFrame train, и затем генерирует фичи с помощью метода ft.dfs(). Параметр max_depth определяет глубину поиска для генерации фичей, а agg_primitives может быть использован для указания агрегатных функций, которые следует использовать при генерации фичей.

https://www.decanter.com/wine/ai-and-wine-a-taste-of-the-future-523210/ - очень крутой кейс, сейчас участились случаи все улучшать. Так на прошлой неделе улучшили вкус пива, сейчас добрались и до вина.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_218

🔠Какие конкретные метрики используются для анализа данных и обнаружения аномалий в блокчейне? (Часть_3)

- Вычисление и визуализация метрик: Различные метрики, описывающие состояние блокчейн-системы, используются для анализа и обнаружения аномалий. Это может включать в себя анализ паттернов в транзакциях, использование алгоритмов обучения без учителя, таких как кластеризация по методу k-средних, одноклассовый метод опорных векторов, классификация на основе расстояния Махаланобиса и случайный лес с изоляцией.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem