import pandas as pd
from utils import sql_query #Представим, что это функция, которая берет на вход sql запрос и возвращает результат в Pandas DataFrame

user_id_df = pd.read_excel('user_id.xlsx') #Загружаем файл с user_id в Pandas DataFrame
user_id_tuple = tuple(user_id_df['user_id']) #Преобразуем в формат кортежа, чтобы можно было подставить удобно в sql запрос через f строку Python

sql_query("""select 
    user_id,
    count(*)
from events
where
    user_id in {user_id_tuple}  #подставляем через f строку наши user_id
    and event_date between '2025-08-01' and '2025-08-31'  #рассматриваем август
    and event_name = 'purchase' #смотрим события покупки
group by
     1
""")

def split_into_n_parts(lst, n=10):
    k = len(lst) // n  #Целочисленное деление (Например, 23//10 = 2)
    m = len(lst) % n   #Остаток от деления (Например, 23//10 = 3)
    parts = []         #Результат
    start = 0
    for i in range(n):
        size = k + (1 if i < m else 0)
        end = start + size
        parts.append(lst[start:end])
        start = end
    return parts

user_id_list = list(user_id_df['user_id']) #Преобразуем в формат списка, чтобы можно было подставить в нашу функцию для батчинга
iters = split_into_n_parts(user_id_list, 10) #Получили список у которого в качестве элементов другие списки, например [[1,2,3] , [4,5,6]] и т.д.
df_list = [] #Сюда будем запихивать промежуточные результаты, чтобы в конце их объединить

for batch_user_id_list in iters:
     df_add = sql_query("""select 
               user_id,
               count(*)
               from events
           where
               user_id in {tuple(batch_user_id_list)}  #подставляем через f строку наши user_id
               and event_date between '2025-08-01' and '2025-08-31'  #рассматриваем август
               and event_name = 'purchase' #смотрим события покупки
           group by
               1)

      df_list.append(df_add)

# Объединяем все DataFrame в один  
df_buy = pd.concat(df_list, ignore_index=True)

Таблица: employees

id | name | department | salary
1    Ваня    IT          50000
2    Таня    IT          60000
3    Петя   Sales        40000
4    Саша   Sales        55000
5    Маша    HR          45000
6    Коля    IT          70000

SELECT
    id,
    name,
    department,
    salary
FROM
    employees as e
WHERE
    salary > (SELECT AVG(salary) FROM employees WHERE department = e.department);

id | user_id     | product   |  amount  |     date
1  |  101        |  Кофе     |   500    |  2025-01-15
2  |  102        |  Чай      |   300    |  2025-01-16
3  |  101        |  Печенье  |   200    |  2025-01-17
4  |  103        |  Кофе     |   500    |  2025-01-18

-- Создаём постоянное VIEW
CREATE VIEW user_summary AS
SELECT user_id, COUNT(*) as order_count, SUM(amount) as total_spent
FROM sales GROUP BY user_id;

-- Используем как таблицу
SELECT * FROM user_summary WHERE total_spent > 400; -- ✅ Работает даже через неделю

-- Создаём временное VIEW
CREATE TEMP VIEW temp_summary AS
SELECT user_id, COUNT(*) as order_count, SUM(amount) as total_spent
FROM sales GROUP BY user_id;

-- Работает в текущем сеансе
SELECT * FROM temp_summary; -- ✅

-- Новый сеанс (закрыли/открыли клиент) — исчезло
SELECT * FROM temp_summary; -- ❌ Ошибка!

-- CTE для расчёта сумм по пользователям
WITH user_totals AS (
    SELECT user_id, SUM(amount) as total_spent
    FROM sales GROUP BY user_id
)
SELECT * FROM user_totals WHERE total_spent > 500; -- ✅ Работает в этом запросе

-- В следующем запросе CTE уже нет
SELECT * FROM user_totals; -- ❌ Ошибка!

id | user_id     | product   |  amount  |     date
1  |  101        |  Кофе     |   500    |  2025-01-15
2  |  102        |  Чай      |   300    |  2025-01-16
3  |  101        |  Печенье  |   200    |  2025-01-17
4  |  103        |  Кофе     |   500    |  2025-01-18

-- Создаём временную таблицу
CREATE TEMP TABLE temp_sales AS
SELECT * FROM sales WHERE amount > 300;

-- Используем в сеансе
SELECT user_id, SUM(amount) FROM temp_sales GROUP BY user_id; -- ✅ Работает

-- Новый сеанс — исчезла
SELECT * FROM temp_sales; -- ❌ Ошибка!

-- Создаём материализованное VIEW
CREATE MATERIALIZED VIEW mat_user_summary AS
SELECT user_id, COUNT(*) as order_count, SUM(amount) as total_spent
FROM sales GROUP BY user_id;

-- Используем как таблицу
SELECT * FROM mat_user_summary WHERE total_spent > 400; -- ✅ Быстро, данные из кэша

-- Обновляем данные
REFRESH MATERIALIZED VIEW mat_user_summary; -- Пересчитывает

import time  # Для имитации задержки

items = range(100)  # 100 элементов

for i in items:
    print(f"Обработка элемента {i}")  # Выводит номер каждый раз
    time.sleep(0.1)  # Имитация работы

import time  # Для имитации задержки
from tqdm import tqdm  # Импортируем tqdm

items = range(100)  # 100 элементов

for item in tqdm(items, desc="Обработка элементов"):
    time.sleep(0.1)  # Имитация работы (0.1 секунды на итерацию)

print("Цикл завершён!")

pip install tqdm

Обработка элементов:  42%|████▏     | 42/100 [00:04<00:06,  9.50it/s]

df = pd.read_clipboard()  # создаем DataFrame из скопированных данных

df.to_clipboard()  # копируем DataFrame в буфер обмена

Pyperclip could not find a copy/paste mechanism for your system.....

pip install copydf

from copydf import copyDF

copyDF(df)

pip install clickhouse-connect pandas

import clickhouse_connect
import pandas as pd
from clickhouse_connect.driver.external import ExternalData

def get_click_dl_client():
    client = clickhouse_connect.get_client(
        host='host',
        port=8443,
        username='your_login',
        password='your_password',
        secure=True,
        verify=False,
        send_receive_timeout=6000000
    )
    return client

client = get_click_dl_client()

ext_data = ExternalData()

ext_data.add_file(
    file_name='user_table_tmp',          # имя таблицы в SQL-запросе
    fmt='CSVWithNames',                  # Формат с именами столбцов в первой строке (если без имён — используйте 'CSV')
    structure=['user_id Int32', 'actual String'],  # Структура - типы полей
    data=open('users.csv', 'rb').read()                     # путь к файлу (строка!)
)

city_df = pd.read_excel('city.xlsx')  # Читаем Excel в DataFrame

ext_data.add_file(
    file_name='city_table_tmp',  # имя таблицы в SQL-запросе
    fmt='CSVWithNames',  # С именами столбцов
    structure=['city String'],  # Структура - типы полей
    data=city_df.to_csv(index=False).encode('utf-8')  # Конвертируем DF в CSV-строку и в байты для передачи
)

q = '''
SELECT
    user_id,
    SUM(money_spend) AS total_spend
FROM events
WHERE
    1=1
    AND user_id IN (SELECT user_id FROM user_table_tmp WHERE actual='да')
    AND city IN (SELECT city FROM city_table_tmp)
GROUP BY 1
'''

df_total_spend = client.query_df(q, external_data=ext_data)  # Выполняем с внешними данными

Таблица orders:

| id (INT) | customer_id (VARCHAR) | amount (DECIMAL) | order_date (DATE) |
|----------|-----------------------|------------------|-------------------|
| 1        | '101'                 | 500.00           | 2025-10-01        |
| 2        | '102'                 | 300.00           | 2025-10-02        |
| 3        | '101'                 | 200.00           | 2025-10-03        |

Таблица customers:

| id (INT) | name (VARCHAR) | join_date (VARCHAR) |
|----------|----------------|---------------------|
| 101      | Ваня           | '2025-09-01'        |
| 102      | Таня           | '2025-09-15'        |

SELECT o.id, c.name, o.amount
FROM orders o
JOIN customers c ON o.customer_id = c.id;  -- Нет совпадений! Результат пустой

SELECT o.id, c.name, o.amount
FROM orders o
JOIN customers c ON CAST(o.customer_id AS INT) = c.id;  -- Теперь джойнится: Ваня с заказами 1 и 3

| amount (VARCHAR) |
|------------------|
| '10'             |
| '2'              |
| '100'            |

SELECT MAX(amount) FROM test_amounts;  -- Возвращает '2', потому что лексикографически '2' > '10' > '100' (сравнивает по символам)

SELECT MAX(CAST(amount AS DECIMAL)) FROM test_amounts;  -- Возвращает 100, как ожидается