Технологии искусственного интеллекта будут управлять 99% всех инвестиций
Через 20 лет технологии искусственного интеллекта будут управлять 99% всех инвестиций. Об этом сообщает издание Bloomberg.
Главный исполнительный директор Man Group Plc Люк Эллис отмечает постепенный переход на ИИ. Лондонская компания, стоимостью 103,5 млрд долларов, уже выделяет около 13 млрд долларов на несколько хедж-фондов, которые работают с машинным обучением. Эллис считает, что через 10 лет ИИ будет использоваться во всех «человеческих сферах» - от проведения торгов до помощи в выборе ценных бумаг.
«Если вычислительная мощность и генерация данных будут расти с такими темпами, то через 25 лет машинное обучение будет управлять 99% инвестиций. Оно станет частью нашей жизни. Оно поможет сделать нашу жизнь намного лучше», - считает Эллис.
Но негативный фактор от ИИ все же остается. По оценкам консалтинговой компании Opimas, к 2025 году порядка 90 тысяч рабочих мест под угрозой. В частности, это сфера управления активами, включая фондовых менеджеров, аналитиков и сотрудников бэк-офиса.
Кроме того, многие разработчики игнорируют реальный потенциал машинного обучения. Потенциал, который не светит человеческому разуму. Но зачастую компании используют ИИ всего лишь для анализа социальных сетей и данных смартфонов, прогнозов прибыли и продаж, создания стратегий.
«Именно машины будут прикладывать усилия для развития своих возможностей. Они смогут генерировать гипотезы, проверять их, а затем сообщать людям», - заявил Васан Дхар, который 20 лет назад основал один из первых хедж-фондов, использующих ИИ - Adaptive Quant Trading стоимостью 350 млн долларов в SCT Capital Management.
Источник: internetua.com #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Через 20 лет технологии искусственного интеллекта будут управлять 99% всех инвестиций. Об этом сообщает издание Bloomberg.
Главный исполнительный директор Man Group Plc Люк Эллис отмечает постепенный переход на ИИ. Лондонская компания, стоимостью 103,5 млрд долларов, уже выделяет около 13 млрд долларов на несколько хедж-фондов, которые работают с машинным обучением. Эллис считает, что через 10 лет ИИ будет использоваться во всех «человеческих сферах» - от проведения торгов до помощи в выборе ценных бумаг.
«Если вычислительная мощность и генерация данных будут расти с такими темпами, то через 25 лет машинное обучение будет управлять 99% инвестиций. Оно станет частью нашей жизни. Оно поможет сделать нашу жизнь намного лучше», - считает Эллис.
Но негативный фактор от ИИ все же остается. По оценкам консалтинговой компании Opimas, к 2025 году порядка 90 тысяч рабочих мест под угрозой. В частности, это сфера управления активами, включая фондовых менеджеров, аналитиков и сотрудников бэк-офиса.
Кроме того, многие разработчики игнорируют реальный потенциал машинного обучения. Потенциал, который не светит человеческому разуму. Но зачастую компании используют ИИ всего лишь для анализа социальных сетей и данных смартфонов, прогнозов прибыли и продаж, создания стратегий.
«Именно машины будут прикладывать усилия для развития своих возможностей. Они смогут генерировать гипотезы, проверять их, а затем сообщать людям», - заявил Васан Дхар, который 20 лет назад основал один из первых хедж-фондов, использующих ИИ - Adaptive Quant Trading стоимостью 350 млн долларов в SCT Capital Management.
Источник: internetua.com #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Появился революционный алгоритм для спасения плохих фотографий
Создан новый алгоритм восстановления поврежденных цифровых изображений, использующий методику искусственных нейронных сетей. Об этом пишет EurekAlert!.
Программа инженеров из университета Берна и университета штата Мэриленд корректирует резкость изображения, убирает шум, а также выполняет ряд других задач. Создатели алгоритма обучили его на большом наборе фотографий высокого качества. В результате алгоритм научился предсказывать, как должно выглядеть исходное изображение, на основе данных о текстуре, цвете, свете и границах.
«Традиционно, существовали инструменты, которые решали каждую проблему с изображением в отдельности. Каждый из них использовал интуитивные предположения о том, как выглядит хорошее изображение. В последнее время, искусственные нейронные сети были применены для решения проблем с изображением, но последовательно. Наш алгоритм идет на шаг дальше. Он может решать широкий спектр проблем одновременно», — рассказал Маттиас Цвикер из Бернского университета.
Программисты предложили использовать байесовкую систему глубокого обучения для восстановления резкости размытого изображения, увеличения разрешения и демозаики. Выяснилось, что алгоритм может определять и устранять отклонения от идеальных параметров на загруженных снимках. Иными словами, исправляя, например, зернистость изображения, он одновременно убирает и другие дефекты. Правда, воссоздавать сложные элементы снимка алгоритм пока не умеет.
«Чтобы распознавать черты высокого уровня, алгоритму нужен контекст. Например, если на снимке показано лицо, то вероятнее всего, пиксели сверху — это волосы. Это похоже на решение головоломки. Как только вы определите, где находится этот кусок, сразу станет понятно, что представляют собой пиксели», — подчеркнул Цвикер.
По словам разработчиков, система пока хорошо справляется с простыми недостатками, например размытыми краями объектов. Исследователи представили свои выводы 5 декабря 2017 года, на 31-й конференции по системам обработки информации Neural в Лонг-Бич, штат Калифорния.
Источник: inforesist.org #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Создан новый алгоритм восстановления поврежденных цифровых изображений, использующий методику искусственных нейронных сетей. Об этом пишет EurekAlert!.
Программа инженеров из университета Берна и университета штата Мэриленд корректирует резкость изображения, убирает шум, а также выполняет ряд других задач. Создатели алгоритма обучили его на большом наборе фотографий высокого качества. В результате алгоритм научился предсказывать, как должно выглядеть исходное изображение, на основе данных о текстуре, цвете, свете и границах.
«Традиционно, существовали инструменты, которые решали каждую проблему с изображением в отдельности. Каждый из них использовал интуитивные предположения о том, как выглядит хорошее изображение. В последнее время, искусственные нейронные сети были применены для решения проблем с изображением, но последовательно. Наш алгоритм идет на шаг дальше. Он может решать широкий спектр проблем одновременно», — рассказал Маттиас Цвикер из Бернского университета.
Программисты предложили использовать байесовкую систему глубокого обучения для восстановления резкости размытого изображения, увеличения разрешения и демозаики. Выяснилось, что алгоритм может определять и устранять отклонения от идеальных параметров на загруженных снимках. Иными словами, исправляя, например, зернистость изображения, он одновременно убирает и другие дефекты. Правда, воссоздавать сложные элементы снимка алгоритм пока не умеет.
«Чтобы распознавать черты высокого уровня, алгоритму нужен контекст. Например, если на снимке показано лицо, то вероятнее всего, пиксели сверху — это волосы. Это похоже на решение головоломки. Как только вы определите, где находится этот кусок, сразу станет понятно, что представляют собой пиксели», — подчеркнул Цвикер.
По словам разработчиков, система пока хорошо справляется с простыми недостатками, например размытыми краями объектов. Исследователи представили свои выводы 5 декабря 2017 года, на 31-й конференции по системам обработки информации Neural в Лонг-Бич, штат Калифорния.
Источник: inforesist.org #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Ученые перестали понимать, как работает ИИ
Ученые и программисты перестали понимать, как именно принимает решения искусственный интеллект. Об этой проблеме заявили сразу несколько специалистов на главной ИИ-конференции — Neural Information Processing Systems, — прошедшей в Лонг-Бич (Калифорния), пишет Quartz.
Эксперты, с которыми пообщались в Quartz, говорят, что нужно действовать, пока система не стала слишком сложной. «Мы не хотим принимать за должное решения ИИ, без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ принимает решения».
Проблема, которую многие эксперты называют «черной коробочкой», действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Ошибка ИИ может обойтись очень дорого, например, во время таких операций, как космическая миссия на Марс. Аппараты находятся в 200 млн миль от Земли и стоят сотни миллионов долларов, говорит Кири Вагстафф ИИ-эксперт в Jet Propolusion Lab (NASA).
Ученые к счастью, пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных «нейронов» концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, — не такая уж невозможная задача. «Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.
Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Ученые и программисты перестали понимать, как именно принимает решения искусственный интеллект. Об этой проблеме заявили сразу несколько специалистов на главной ИИ-конференции — Neural Information Processing Systems, — прошедшей в Лонг-Бич (Калифорния), пишет Quartz.
Эксперты, с которыми пообщались в Quartz, говорят, что нужно действовать, пока система не стала слишком сложной. «Мы не хотим принимать за должное решения ИИ, без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ принимает решения».
Проблема, которую многие эксперты называют «черной коробочкой», действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Ошибка ИИ может обойтись очень дорого, например, во время таких операций, как космическая миссия на Марс. Аппараты находятся в 200 млн миль от Земли и стоят сотни миллионов долларов, говорит Кири Вагстафф ИИ-эксперт в Jet Propolusion Lab (NASA).
Ученые к счастью, пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных «нейронов» концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, — не такая уж невозможная задача. «Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.
Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
ИИ помог найти природные аналоги лекарств против рака и старения
Ученые британского Исследовательского фонда биогеронтологии, компаний Insilico Medicine и Life Extension при помощи методов глубокого обучения нашли натуральные миметики препаратов метформин и рапамицин, препятствующих старению и развитию рака.
Согласно исследованиям, и метформин, лекарство против диабета 2-го типа, и иммунодепрессант рапамицин обладают значительным эффектом при лечении рака и старческих заболеваний, однако, оба они оказывают значительные побочные эффекты и продаются только по рецепту, что осложняет их использование в качестве препаратов, продлевающих жизнь.
Обратившись к помощи нейронной сети, группа ученых проанализировала безопасность и генетическую схожесть свыше 800 натуральных веществ, которые могли бы повторить действие этих препаратов, но были бы лишены побочных эффектов.
В результате было выявлено множество новых кандидатов на миметики метформина и рапамицина, о которых ранее не было известно.
Важность этого исследования в том, что натуральные препараты не регулируются Управлением по санитарному контролю и другими ведомствами США и могут в будущем появиться на полках аптек в свободной продаже как пищевые добавки, замедляющие механизмы старения на молекулярном и клеточном уровне.
Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Ученые британского Исследовательского фонда биогеронтологии, компаний Insilico Medicine и Life Extension при помощи методов глубокого обучения нашли натуральные миметики препаратов метформин и рапамицин, препятствующих старению и развитию рака.
Согласно исследованиям, и метформин, лекарство против диабета 2-го типа, и иммунодепрессант рапамицин обладают значительным эффектом при лечении рака и старческих заболеваний, однако, оба они оказывают значительные побочные эффекты и продаются только по рецепту, что осложняет их использование в качестве препаратов, продлевающих жизнь.
Обратившись к помощи нейронной сети, группа ученых проанализировала безопасность и генетическую схожесть свыше 800 натуральных веществ, которые могли бы повторить действие этих препаратов, но были бы лишены побочных эффектов.
В результате было выявлено множество новых кандидатов на миметики метформина и рапамицина, о которых ранее не было известно.
Важность этого исследования в том, что натуральные препараты не регулируются Управлением по санитарному контролю и другими ведомствами США и могут в будущем появиться на полках аптек в свободной продаже как пищевые добавки, замедляющие механизмы старения на молекулярном и клеточном уровне.
Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Автомобили Honda получат китайский искусственный интеллект
Компания Honda объявила о партнёрстве с китайским стартапом SenseTime, который разработает для автомобилей японской марки искусственный интеллект, сообщает Tech Crunch.
Соглашение между фирмами рассчитано на пять лет и включает в себя разработку методик распознавания объектов вокруг беспилотных машин, а также создание алгоритмов по поведению автопилота в различных дорожных ситуациях.
Напомним, ранее сообщалось, что Honda в 2025 году намерена представить свой беспилотный автомобиль уровня Level 4 (автопилот роботизирован настолько, что все делает сам, но в автомобиле сохраняются основные органы управления автомобиля человеком). В 2020 году на рынок должна выйти Honda с технологиями автономного вождения уровня Level 3 (система контролирует езду по автомагистралям, но на дорогах с непредсказуемым движением водителю придется взять управление на себя).
Источник: www.kommersant.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Компания Honda объявила о партнёрстве с китайским стартапом SenseTime, который разработает для автомобилей японской марки искусственный интеллект, сообщает Tech Crunch.
Соглашение между фирмами рассчитано на пять лет и включает в себя разработку методик распознавания объектов вокруг беспилотных машин, а также создание алгоритмов по поведению автопилота в различных дорожных ситуациях.
Напомним, ранее сообщалось, что Honda в 2025 году намерена представить свой беспилотный автомобиль уровня Level 4 (автопилот роботизирован настолько, что все делает сам, но в автомобиле сохраняются основные органы управления автомобиля человеком). В 2020 году на рынок должна выйти Honda с технологиями автономного вождения уровня Level 3 (система контролирует езду по автомагистралям, но на дорогах с непредсказуемым движением водителю придется взять управление на себя).
Источник: www.kommersant.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Complete Guide to Topic Modeling with scikit-learn and gensim
#MachineLearning #NLP #Python
Article: https://buff.ly/2m5586Y
#MachineLearning #NLP #Python
Article: https://buff.ly/2m5586Y
NLP-FOR-HACKERS
Complete Guide to Topic Modeling - NLP-FOR-HACKERS
In this tutorial, we learn all there is to know about the basics of topic modeling. Explore LDA, LSA and NMF algorithms. Learn how to visualize topics.
@computer_science_and_programming :
Welcome to the world of:
* #Artificial #Intelligence,
* #Deep #Learning,
* #Machine #Learning,
* #Data #Science
* #Python Programming language
* and more advanced research
You will find up-to-date books📚 links🔗 and more you wanted.
Join us and learn hot topics of Computer Science together.👇👇👇
@computer_science_and_programming
Welcome to the world of:
* #Artificial #Intelligence,
* #Deep #Learning,
* #Machine #Learning,
* #Data #Science
* #Python Programming language
* and more advanced research
You will find up-to-date books📚 links🔗 and more you wanted.
Join us and learn hot topics of Computer Science together.👇👇👇
@computer_science_and_programming
This media is not supported in your browser
VIEW IN TELEGRAM
Python 3.13, спустя ровно год с начала разработки, выпущен в релиз. Поддержка версии 3.13 планируется в течение 1.5 лет, и, после окончания этого срока еще 3.5 года версия будет получать критические обновления, связанные с безопасностью.
Ключевые изменения:
–enable-experimental-jit;–without-gil;locals() для функций, генераторов и сопрограмм;mimalloc от Microsoft;docstring;dbm реализован бэкенд dbm.sqlite3 по умолчанию для новых файлов;typing.TypeIs стала более интуитивной, чем typing.TypeGuard;typing.ReadOnly позволяет помечать элементы TypeDicts, доступные только для чтения;warnings.deprecated() добавлена для указания устаревших элементов в системе типов;ifc, audioop, chunk, cgi, cgitb, crypt, imghdr, mailcap, msilib, nis, nntplib, ossaudiodev, pipes, sndhdr, spwd, sunau, telnetlib, uu, xdrlib и lib2to3 из стандартной библиотеки;copy добавлена copy.replace();os добавлены функции для работы с таймером через timerfd;random получил интерфейс CLI;Git выпустил Git 2.47 с функциями и исправлениями ошибок от более чем 83 разработчиков, 28 из которых - новые.
В этой версии основное внимание уделяется повышению производительности и улучшению пользовательского опыта.
Основные изменения:
for-each-ref помогает определять базовую ветвь коммита, сводя к минимуму уникальные коммиты от первого родителя и упрощая идентификацию;DEVELOPER=1 наличие неиспользуемых параметров является ошибкой времени компиляции;reftable, обновление платформы модульного тестирования, усовершенствование git fsck и интеграция кода Visual Studio с git mergetool.@ai_machinelearning_big_data
#AI #ML #Python #Git #Release
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
NumPy-QuadDType (
numpy_quaddtype) — это реализация пользовательского типа данных (dtype) для NumPy, которая обеспечивает настоящую арифметику с плавающей точкой четверной точности на разных платформах. Проект направлен на решение давних проблем с
np.longdouble, предлагая согласованный, высокоточный тип с плавающей точкой независимо от базовой архитектуры системы, а также обеспечивая обратную совместимость long double.Ядро numpy_quaddtype построено вокруг на двух ключевых компонентов:
QuadPrecision, представляющий отдельные скаляры четверной точности;QuadPrecDType, позволяющий использовать эти скаляры четверной точности в массивах и операциях NumPy.Отличительная черта numpy_quaddtype - его подход с двойным бэкэндом:
Sleef_quad из библиотеки SLEEF, предоставляя настоящую 128-битную учетверенную точность.long double, который может обеспечивать точность до 80 бит в некоторых системах, обеспечивая совместимость с np.longdouble.Гибкость архитектуры
numpy_quaddtype наследуется от компонентов ее ядра: QuadPrecisionObject, хамелеоноподобная структура, которая может переключаться между формами:typedef union {
Sleef_quad sleef_value;
long double longdouble_value;
} quad_value;
typedef struct {
PyObject_HEAD
quad_value value;
QuadBackendType backend;
} QuadPrecisionObject;QuadPrecDTypeObject, который действует как мост, позволяя высокоточным числам гармонично работать в массивах и операциях NumPy:typedef struct {
PyArray_Descr base;
QuadBackendType backend;
} QuadPrecDTypeObject;Он позволяет переключаться между бекэндами Sleef_quad (для SLEEF) и long double во время выполнения:
>>> import numpy as np
>>> import numpy_quaddtype as npq
# Using SLEEF backend (default)
>>> x = npq.QuadPrecision(3.5)
>>> x = npq.QuadPrecision(3.5, backend='sleef')
>>> repr(x)
QuadPrecision('3.5e+000', backend='sleef')
# Using longdouble backend
>>> y = npq.QuadPrecision(2.5, backend='longdouble')
>>> repr(y)
QuadPrecision('2.5e+000', backend='longdouble')
# Creating a NumPy array with QuadPrecision dtype
>>> z = np.array([x, x], dtype=npq.QuadPrecDType()) # SLEEF
>>> print(z)
[QuadPrecision('3.5e+000', backend='sleef')
QuadPrecision('3.5e+000', backend='sleef')]
>>> z = np.array([y, y], dtype=npq.QuadPrecDType("longdouble")) # longdouble
>>> print(z)
[QuadPrecision('2.5e+000', backend='longdouble')
QuadPrecision('2.5e+000', backend='longdouble')]
В тестах
numpy_quaddtype с бэкендом SLEEF показал точность в 34 десятичных знаков. ULP (единица в младшем разряде) для основных арифметических операций ≤ 0,5000000001, а для трансцендентных функций ≤ 1,0. C бэкендом Long Double показал точность, зависящую от платформы: 18-19 десятичных знаков в Linux и 15-17 в Windows.
В настоящее время ведётся подготовка к выпуску
numpy_quaddtype в виде пакета Python, доступного через PyPI и conda. Также планируется направить предложение NEP для интеграции numpy_quaddtype в экосистему NumPy и рассмотреть TLFloat как потенциальную замену SLEEF в будущих версиях.numpy_quaddtype на примере визуализации множества Мандельброта при экстремальном увеличении и моделирование квантового гармонического осциллятора для двухатомных молекул.@ai_machinelearning_big_data
#AI #ML #DS #Python #NumPy
Please open Telegram to view this post
VIEW IN TELEGRAM
Репозиторий на Github c микрореализацией фундаментальных языков программирования, по мотивам серии статей "Tiny Great Languages"
Все написано на Python, код намеренно краток, чтобы не превышать ~50 строк кода для каждого языка.
Используется только стандартная библиотека Python, да и то в очень скромных пределах (
sys, иногда re, редко itertool и т.д.).asm.py - ассемблер. Компилирует "Python-ассемблер" в байткод и выполняет его;basic.py - бейсик. Подмножество TinyBASIC, но с настоящим редактором строк BASIC!lisp.py - Lisp 1.5. Классика, автор - Джон Маккарти, достаточен, чтобы интерпретировать самого себя (мета-циклический интерпретатор);apl.py - интерпретатор k/simple, написанный Артуром Уитни, представляет собой диалект языка программирования K (array processing language), который является вариантом APL.mouse.py - язык конкатенативного программирования MOUSE, опубликованный в журнале BYTE в 1979 году.pl0.py - переводчик с языка PL/0, автор Никлаус Вирт.tcl.py - крошечный интерпретатор командного языка (TCL).#Python #TinyLanguage
Please open Telegram to view this post
VIEW IN TELEGRAM
Quantum Swarm (QUARM) - это мощная мультиагентная система, которая обрабатывает запросы с помощью скоординированного роя специализированных ИИ-агентов.
Каждый агент играет уникальную роль в анализе и ответе на запросы пользователей, предоставляя свой вариант ответа на поставленную задачу.
✨ Особенности
Сложные запросы обрабатываются несколькими специализированными агентами:- Система Query Triage: Определяет сложность каждого запроса
- Интерпретатор запросов: Разбирает и анализирует запросы
- Специалист по исследованиям: Определяет ключевые области для исследования
- Критический анализатор: Оценивает информацию и выявляет пробелы
- Творческий исследователь: Генерирует новые варианты решения задачи
Синтезатор информации: - Объединяет идеи в последовательные ответы
🚀 Поддерживает различные интерфейсы:
- Поддержка CLI
- Простая Интеграция с Telegram-ботми
- RESTful API с поддержкой потоковой передачи данных
- Поддержка веб-интерфейса
🚨 Расширенные возможности:
- Потоковая передача ответов в реальном времени
- Память диалогов с автоматической очисткой
- Настраиваемые параметры агента
- Поддержка нескольких LLM-провайдеров (OpenAI, Groq, Heurist)
- Поддержка CORS для веб-интеграции
Установка:
git clone https://github.com/QuarmFW/Quarm.git
cd quarm▪ Github
@ai_machinelearning_big_data
#python #ai #ml #aiagents #agents #aiswarm
Please open Telegram to view this post
VIEW IN TELEGRAM
Мощный фреймворк Python для создания синтетических данных для AI и не только для этого
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
Позволяет легко синтезировать и оценивать данные с помощью встроенных инструментов. Отлчиный инструмент для улучшении данных и обучении моделей.
Процесс прост:
- Вводим запрос.
- Два LLM генерируют ответы
- LLM-судья оценивает полученные ответы
- Лучший ответ сопоставляется с изначальным вопросов.
И что самое интересное? Все это с открытым исходным кодом. Лицензия позволяет использовать результаты модели для улучшения других моделей.
▪ GitHub
▪ Доки
@ai_machinelearning_big_data
#Distilabel #python #ai #openai #python #ai #syntheticdata #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Это Python-фреймворк с открытым исходным кодом, в котором используется LLM для создания SQL-запросов на основе естественного языка.
✔️ Всё просто: сначала обучаете модель на своих данных, а потом можно задать вопросы на обычном языке.
В ответ модель выдает готовые SQL-запросы, которые можно сразу запускать в своей базе данных.
⚡️ Установка:
pip install vanna▪GitHub: https://github.com/vanna-ai/vanna
@ai_machinelearning_big_data
#python #sql #opensource #vanna #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.
Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.
Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.
Я уже давно работаю с FireDucks
Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.
Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :
import fireducks.pandas as pd
Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:
python
$ python -mfireducks.imhook yourfile[.]py
FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.
Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.
FireDucks побеждает с отрывом.
⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks
⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo
⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb
⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/
#fireducks #Pandas #dataanalysis #datascience #python #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В репозитории представлены примеры агентов для:
- Super Mario Bros (1985) – классическая платформенная игра;
- Sokoban – головоломка с перемещением коробок;
- 2048 – логическая игра-головоломка;
- Tetris – культовая аркадная игра;
- Candy Crush – популярная головоломка с элементами стратегии и другие.
В каждом примере описаны этапы установки, настройки, запуска игры и агента, а также приведены рекомендации по оптимизации и настройке параметров, таких как политика агентов или количество рабочих потоков.
GamingAgent предоставляет подробную документацию по установке и настройке. С помощью простых команд можно легко развернуть агентов и тестить их.
Поддерживает API от ведущих И:
- OpenAI: gpt-4o, gpt-4o-mini, o1, o3-mini;
- Anthropic: claude-3-5, claude-3-7 и другие;
- Gemini: gemini-1.5, gemini-2.0 и варианты с режимом "thinking";
- Deepseek: chat и reasoner.
Такой широкий выбор позволяет разработчикам тестировать различные модели и выбирать наиболее подходящую под конкретную задачу.
Можно применять разные стратегии игровых агентов, используя встроенные режимы:
«long», «short», «alternate» или можно реализовывать собственные алгоритмы. Это интересно для тех, кто работает в области планирования и принятия решений в реальном времени.
GamingAgent позволяет запускать агентов локально.
Алекс Альберт, руководитель отдела по связям с клиентами Antropic лайкнул это проект, Claude-3.7 отлично показывает себя в игре в Марио.
Установка:
git clone https://github.com/lmgame-org/GamingAgent.git
cd GamingAgent▪ Github
@ai_machinelearning_big_data
#python #aiagents #gaminga
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Что внутри:
AutoDidact исследует, как небольшие языковые модели могут самостоятельно улучшать свои исследовательские и аналитические способности. Инструмент генерирует вопросы и ответы на основе предоставленных документов, после чего модель обучается искать информацию и верифицировать собственные ответы.
Ключевым элементом проекта является применение алгоритма Group Relative Policy Optimization (GRPO), который позволяет модели совершенствовать стратегию поиска и повышения точности ответов через цикл обратной связи.
Модель автоматически генерирует значимые пары «вопрос-ответ» из предоставленного корпуса документов, что позволяет ей самостоятельно обучаться и улучшать навыки поиска информации.
Инструмент снижает необходимость ручного создания тестовых кейсов и настройки сложных систем верификации, автоматизируя процесс генерации данных для обучения. Это существенно экономит время и ресурсы на этапе разработки и тестирования.
@ai_machinelearning_big_data
#ml #ai #agents #python
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!
Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU!
✨ Как это работает?
Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова
cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти.Теперь, когда вы вызываете, например,
KNeighborsClassifier или PCA из sklearn:Ключевые преимущества:
2 строчки:import cuml.patch и cuml.patch.apply().Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.
👇 Как использовать:
Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):
python
conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend
Добавьте в начало скрипта:
import cuml.patch
cuml.patch.apply()
Используйте scikit-learn как обычно!
Попробуйте и почувствуйте разницу! 😉
▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas
@ai_machinelearning_big_data
#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных
Please open Telegram to view this post
VIEW IN TELEGRAM
Python уже несколько лет уверенно лидирует среди языков программирования, а теперь стал ещё ближе к железу. На GTC 2025 NVIDIA объявила о полноценной интеграции Python в свой CUDA-стек.
Это значит, что писать код для GPU можно будет напрямую на Python — без погружения в C++ или Fortran. Как подчеркнул Стивен Джонс, архитектор CUDA, цель — сделать инструмент естественным для Python-разработчиков: «Это не перевод синтаксиса C на Python. Все должно работать так, как привыкли разработчики».
Раньше CUDA требовала глубокого понимания низкоуровневых языков и это здорово ограничивало аудиторию. Сейчас, когда Python стал стандартом в ML и DS, NVIDIA открывает двери для миллионов программистов. По данным The Futurum Group, в 2023 году CUDA использовали 4 миллиона человек — теперь их число может резко вырасти.
Техническая часть такая же обширная, как и ожидания этого события профессиональным сообществом.
cuPyNumeric — аналог NumPy, который переносит вычисления с CPU на GPU буквально заменой импорта.Но главное — новый подход к параллельным вычислениям. Вместо ручного управления потоками, как в C++, NVIDIA предлагает модель CuTile, которая оперирует массивами, а не отдельными элементами. Это упрощает отладку и делает код читаемым, не жертвуя скоростью. По сути, разработчики получают высокоуровневую абстракцию, скрывающую сложности железа, но сохраняющую гибкость.
Пока CuTile доступен только для Python, но в планах — расширение для C++. Это часть стратегии NVIDIA по поддержке новых языков: Rust и Julia уже на походе.
Python-сообщество уже может экспериментировать — например, интегрировать CUDA-ядра в PyTorch или вызывать привычные библиотеки. Теперь даже те, кто никогда не писал на C++, смогут использовать всю мощь GPU — осталось проверить, как это скажется на скорости создания прекрасных LLM светлого будущего.
@ai_machinelearning_big_data
#AI #ML #Python #CUDA #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Инструмент позволяет вводить "пошлины" на Python-библиотеки, замедляя загрузку определённых пакетов, чтобы подчеркнуть идею "экономического протекционизма" в коде.
Имитация тарифов на импорты: пользователь может установить "тарифы" (в процентах) на определённые пакеты, например:
import tariff
tariff.set({
"numpy": 50, # 50% тариф на numpy
"pandas": 200, # 200% тариф на pandas
"requests": 150 # 150% тариф на requests
})
▪ Замедление импорта: при импорте указанных пакетов время загрузки увеличивается пропорционально установленному тарифу.
Вывод сообщений: при каждом "обложенном тарифом" импорте выводится сообщение в стиле политической риторики, например:
JUST IMPOSED a 50% TARIFF on numpy! Original import took 45000 us, now takes 67500 us. American packages are WINNING AGAIN! #MIPAБиблиотека использует monkey-patching для перехвата и модификации процесса импорта.
▪Github
@ai_machinelearning_big_data
#fun #python
Please open Telegram to view this post
VIEW IN TELEGRAM