🌟 TextGrad — open-source фреймворк для реализации обратного распространения, опирающегося на текстовую обратную связь

— pip install textgrad

TextGrad может оптимизировать неструктурированные переменные, такие как текст. Пусть у нас есть исходное решение математической задачи, мы хотим, чтобы это решение выглядело лучше. Вот как можно реализовать это в коде с помощью TextGrad и GPT-4o:

tg.set_backward_engine("gpt-4o")

initial_solution = """To solve the equation 3x^2 - 7x + 2 = 0, we use the quadratic formula:
x = (-b ± √(b^2 - 4ac)) / 2a
a = 3, b = -7, c = 2
x = (7 ± √((-7)^2 - 4 * 3(2))) / 6
x = (7 ± √(7^3) / 6
The solutions are:
x1 = (7 + √73)
x2 = (7 - √73)"""

# Define the variable to optimize, let requires_grad=True to enable gradient computation
solution = tg.Variable(initial_solution,
                       requires_grad=True,
                       role_description="solution to the math question")

# Define the optimizer, let the optimizer know which variables to optimize, and run the loss function

loss_fn = tg.TextLoss("You will evaluate a solution to a math question. Do not attempt to solve it yourself, do not give a solution, only identify errors. Be super concise.")

optimizer = tg.TGD(parameters=[solution])
loss = loss_fn(solution)

🖥 GitHub
🟡 Colab с примерами примитивов TextGrad
🟡 Arxiv

@data_analysis_ml

🖥 Daft — фреймворк для ETL, аналитики и ML/AI в нагруженных системах

— pip install getdaft

Daft — это распределенный движок запросов для обработки больших данных на Python; реализован на Rust.
Многие идеи Daft позаимствовал из Apache Arrow In-Memory

Особенности Daft
— встроенный мощный оптимизатор переписывает запросы, чтобы сделать их максимально эффективными

— есть полная интеграция с такими системами как Apache Iceberg

— имеется поддержка изображений, URL, тензоров и других самых разных объектов

— рекордная производительность ввода-вывода для интеграции с облачным хранилищем S3

🖥 GitHub
🟡 Доки

@data_analysis_ml

🌟 TabuLa-8B — LLM, созданная на основе Llama 3-8B для генерации табличных данных

TabuLa-8B обучена на корпусе TabLib.
Модель подробно описана в статье "Large Scale Transfer Learning for Tabular Data through Language Modeling".

🤗 Hugging Face
🟡 Arxiv

@data_analysis_ml

🌟 Lux.jl — фреймворк Julia для Deep Learning

— import Pkg; Pkg.add("Lux")

Lux бесшовно интегрируется с CUDA и AMDGPU, также поддерживается экспериментальная поддержка Metal Hardware.
Фреймворк используется по умолчанию во многих пакетов SciML, включая DiffEqFlux.jl, NeuralPDE.jl и другие.
Lux изначально поддерживает произвольные типы параметров, что делает его совместимым с другими пакетами Julia (и даже с пакетами, не относящимися к Julia).

🖥 GitHub
🟡 Примеры использования
🟡 Доки

@data_analysis_ml

🌟 Hamilton — библиотека Python для создания направленных ациклических графов (DAG), визуализирующих потоки данных

— pip install sf-hamilton

Чтобы создать граф при помощи Hamilton, ничего особенного не требуется: нужно просто писать обычные функции Python, которые указывают свои зависимости с помощью параметров.
Как раз по этим параметрам Hamilton и построит граф, по которому можно легко увидеть, как преобразуются данные и передаются из одной функции в другую

Hamilton может быть очень полезным инструментом при работе с большими конвейерами данных и в ML-системах

🖥 GitHub
🟡 Доки
🟡 Затестить Hamilton онлайн

@data_analysis_ml

🌟 BM25S — очень быстрая реализация алгоритма BM25 на чистом Python

— pip install bm25s[full]

Это сверхбыстрая библиотека лексического поиска, реализующая BM25 с помощью Scipy (ускорение до 500 раз).
BM25S построена исключительно на Numpy и Scipy, с дополнительными зависимостями для stemming и selection, а также интеграцией с Huggingface Hub, позволяющей вам легко делиться и использовать другие индексы BM25.

Благодаря минимальному количеству зависимостей bm25s позволяет сделать все внутри Python всего за несколько строк.
BM25S позволяет достичь скорости, сравнимой или превышающей скорость ElasticSearch, при этом отпадает необходимость в настройке веб-серверов, установке и запуске Java и использовании абстрактных API.

На графике — относительное ускорение BM25S и Elastic по отношению к rank-bm25, самой популярной реализации BM25 на Python. Скорость рассчитывается как отношение количества запросов в секунду по отношению к rank-bm25.

🖥 GitHub
🤗 Hugging Face

@data_analysis_ml