https://techtrain.ru/schedule/days/?mindbox-message-key=-838795422439309312&mindbox-click-id=18840af7-75d5-4ed6-9792-5618f71c3bd8&utm_source=email&utm_medium=newsletter&utm_campaign=TechTrain_2024_Spring_LastCall - буду на конфе, кто хочет залетайте пока не поздно

В МФТИ прошла встреча студентов с выпускником Физтеха — советником Министра обороны Российской Федерации, действительным государственным советником 3-го класса, кандидатом технических наук Андреем Ильницким.

Итогом встречи стал запуск нового курса «Актуальные стратегии», который был разработан Ильницким специально для МФТИ. Подробности на сайте.

Основная идея проекта заключается в системном знакомстве участников проекта с предлагаемой точкой зрения на различные процессы, имеющие место в международном сообществе, где всё более активную роль начинает играть наша страна и её национальные интересы.

Открытие семинара состоится 3 апреля в 17:00 в корпусе «Цифра» 4.18-5.17

Приглашаются все желающие!

Планирую быть здесь 3 числа, кто хочет приходите. Пообщаемся.

Featuretools для генерации фичей. Очень частый вопрос, вот как примерно можно сделать это:

1. Установка и импорт Featuretools:
Сначала убедитесь, что у вас установлен Featuretools. Если нет, установите его с помощью pip:

   pip install featuretools
   

Затем импортируйте Featuretools в ваш скрипт:

   import featuretools as ft
   

2. Определение сущностей и отношений:
Featuretools работает с концепцией сущностей и отношений между ними. Сущность - это таблица в вашем наборе данных, а отношения определяют, как эти сущности связаны друг с другом. Например, если у вас есть таблица "Клиенты" и таблица "Заказы", вы можете определить отношение "один ко многим", где один клиент может сделать несколько заказов.

3. Создание EntitySet:
EntitySet - это контейнер, который содержит все ваши сущности и их отношения. Вы создаете EntitySet, используя метод ft.EntitySet(), и добавляете в него сущности с помощью метода add_relationship().

4. Генерация фичей:
После того как вы определили сущности и их отношения, вы можете использовать метод ft.dfs() для автоматической генерации фичей. Этот метод принимает параметры, такие как dataframes, target_dataframe_name, max_depth, и agg_primitives, чтобы определить, какие фичи генерировать.

Вот пример кода, который демонстрирует эти шаги:

import pandas as pd
import featuretools as ft

# Создание примера DataFrame
train = pd.DataFrame({
    'Id': [1, 2, 3, 4, 5],
    'MSSubClass': [60, 20, 60, 70, 60],
    'MSZoning': ['RL', 'RL', 'RL', 'RL', 'RL'],
    'LotFrontage': [65.0, 80.0, 68.0, 60.0, 84.0],
    'LotArea': [8450, 9600, 11250, 9550, 14260]
})

# Создание EntitySet
es = ft.EntitySet(id="housing")

# Добавление DataFrame в EntitySet как сущность
es = es.entity_from_dataframe(entity_id="train", dataframe=train, index="Id")

# Генерация фичей
feature_matrix, feature_defs = ft.dfs(entityset=es, target_dataframe_name="train", max_depth=2)

# Вывод фичей
print(feature_matrix.head())

Этот код создает EntitySet с одной сущностью, основанной на DataFrame train, и затем генерирует фичи с помощью метода ft.dfs(). Параметр max_depth определяет глубину поиска для генерации фичей, а agg_primitives может быть использован для указания агрегатных функций, которые следует использовать при генерации фичей.

https://www.decanter.com/wine/ai-and-wine-a-taste-of-the-future-523210/ - очень крутой кейс, сейчас участились случаи все улучшать. Так на прошлой неделе улучшили вкус пива, сейчас добрались и до вина.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_218

🔠Какие конкретные метрики используются для анализа данных и обнаружения аномалий в блокчейне? (Часть_3)

- Вычисление и визуализация метрик: Различные метрики, описывающие состояние блокчейн-системы, используются для анализа и обнаружения аномалий. Это может включать в себя анализ паттернов в транзакциях, использование алгоритмов обучения без учителя, таких как кластеризация по методу k-средних, одноклассовый метод опорных векторов, классификация на основе расстояния Махаланобиса и случайный лес с изоляцией.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_219

Какие методы анализа данных используются для обнаружения мошенничества в блокчейне?

- XGBoost — это алгоритм машинного обучения, который может быть использован для анализа данных блокчейна и обнаружения аномалий. XGBoost эффективен в задачах классификации и регрессии, что делает его подходящим для обнаружения мошеннических транзакций;

- Анализ паттернов транзакций: Использование AI для анализа паттернов транзакций позволяет обнаруживать аномалии в реальном времени. Это включает в себя анализ статистических и контекстуальных аномалий, что помогает в обнаружении потенциальных попыток мошенничества;

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_219

🔠Какие методы анализа данных используются для обнаружения мошенничества в блокчейне? (Часть_2)

- LLM могут быть использованы для связывания паттернов поведения пользователей с их профилями и более точного фильтрации аномалий, которые могут указывать на мошенничество. Это может включать в себя идентификацию, а также решение, путем контакта с пользователями и модерации случаев с минимальным участием надзора.

- Использование AI для анализа активности пользователей в социальных сетях и связывания этой информации с их блокчейн-адресами может помочь в обнаружении мошеннических действий. Это может быть особенно полезно для идентификации пользователей, которые могут использовать мошеннические методы для обмана или введения в заблуждение

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие данные блокчейна используются для анализа обнаружения мошенничества в блокчейне?

- Транзакционные данные: Это основные данные, используемые для анализа, включая информацию о транзакциях, такую как адреса отправителя и получателя, объемы транзакций, временные метки и другие атрибуты транзакций.

- Метрики сети: Данные о производительности сети, такие как объем транзакций, время подтверждения транзакций, размер блоков и другие метрики, которые могут указывать на аномалии в сети.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

https://github.com/srush/LLM-Training-Puzzles?tab=readme-ov-file - наткнулся тут на такую забавную вещицу, пазлы для LLM. Наглядная иллюстрация как идет работа с памятью.

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие данные блокчейна используются для анализа обнаружения мошенничества в блокчейне? (Часть_2)

- Данные о блоках: Информация о блоках, включая их размер, количество транзакций, временные метки и другие атрибуты, которые могут быть использованы для анализа и обнаружения аномалий.

- Анализ поведения пользователей: Данные о поведении пользователей, такие как частота транзакций, объемы переводов, а также анализ паттернов поведения, которые могут указывать на мошеннические действия.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие данные блокчейна используются для анализа обнаружения мошенничества в блокчейне? (Часть_3)

Связанные данные: Данные, полученные из внешних источников, такие как информация о блокчейн-адресах, связанных с финансовыми санкциями, информация о пользователях из социальных сетей или другие данные, которые могут быть использованы для улучшения анализа и обнаружения мошенничества.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

Недавно увидел такой код, заинтересовало именно примение hexbin к матрице корреляции, в целом почему бы и нет, но hexbin лучше подходит для данных пара-значение. Просто необычно ))

import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# Создаем пример данных
np.random.seed(0)
data = np.random.rand(100, 2)

# Вычисляем матрицу корреляции
correlation_matrix = np.corrcoef(data.T)

# Построение hexbin графика
sns.hexbin(data[:, 0], data[:, 1], cmap="Blues")

# Добавление заголовка и меток осей
plt.title("Hexbin Plot of Correlation Matrix")
plt.xlabel("Variable 1")
plt.ylabel("Variable 2")

# Отображение графика
plt.show()

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие аномалии в сети могут указывать на мошенничество в блокчейне? (Часть_1)

- Неожиданные объемы транзакций: Субъекты, которые внезапно начинают совершать большое количество транзакций, могут указывать на попытки мошенничества, такие как атаки 51% или попытки перевода средств из одной сети в другую.

- Аномалии в паттернах поведения: Необычные паттерны поведения, такие как множественные попытки доступа к одному и тому же аккаунту или неожиданные переводы между аккаунтами, могут указывать на попытки взлома или мошенничества.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие аномалии в сети могут указывать на мошенничество в блокчейне? (Часть_2)

- Использование "призрачных брокеров": Мошенники могут использовать данные зарегистрированных брокеров для создания фейковых аккаунтов, привлекая инвесторов и переводя на свои счета средства для инвестирования. Это может быть особенно заметно в схемах, где мошенник использует аферы для влияния на жертв.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem

https://taplink.cc/denoiselab - обновили визитку, занимаюсь наполнением, освежили так сказать

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_220

🔠Какие аномалии в сети могут указывать на мошенничество в блокчейне? (Часть_2)

- Использование "призрачных брокеров": Мошенники могут использовать данные зарегистрированных брокеров для создания фейковых аккаунтов, привлекая инвесторов и переводя на свои счета средства для инвестирования. Это может быть особенно заметно в схемах, где мошенник использует аферы для влияния на жертв.

#financialflows #blockchainaddresses #tracking #visualization #stolenfunds #pricemanipulation #moneylaundering #realtimemonitoring #suspicioustransactions #largetransfers #sanctionedaddresses #blockchainsystem