​​Секреты профессионалов

Обзор книги "Building Data-Driven Applications with LlamaIndex"

Недавно мне написали из Packt и предложили почитать книгу и опубликовать отзыв.

Мой англоязычный отзыв можно почитать тут:
Linkedin
Medium

Неофициально скажу, что книга годная. Автор даёт обзор LLM в целом, описывает актуальные подходы к разработке чат-ботов и других решений, и подробно рассказывает о том, как использовать LlamaIndex. Я раньше использовал только LangChain, поэтому было интересно сравнить. Во многом похоже, но в LlamaIndex больше возможностей контроля происходящего.

Ссылка на книгу

#datascience

​​Notion: блокировка для российских пользователей

Сегодня стало известно, что с 9 сентября Notion вводит ограничения для российских пользователей.

 U.S. government has introduced restrictions prohibiting access to certain software products and services to any person in Russia. Due to these restrictions, on September 9, 2024, Notion will no longer provide users located in Russia access to the platform. This includes:

Terminating all Notion workspaces identified as being located in Russia.

Preventing users from within Russia from accessing Notion’s services.

Impacted users will be able to access their workspaces through September 8, 2024. On September 9, 2024, the workspaces will no longer be accessible and users located in Russia will no longer be able to access Notion’s services.

Пока точно не понятно, как именно определяется то, что пользователь из России - то ли по почте/карте, то ли по другим критериям. По идее, если аккаунт будет заблокирован, то прийдёт уведомление на почту.

В связи с этим subreddit Notion выглядит так:

Астрологи объявили неделю Obsidian, приток пользователей с Notion удваивается.

​​Прогресс в инструментах для OCR для практики иностранных языков

Прогресс часто приходит незаметно, но если вспомнить как было раньше - он явно заметен. Но всё равно до совершенства далеко.

Например, читаю мангу на японском (по фану и для практики), вижу незнакомое слово - хочу перевести. Вопрос - как это сделать?

Классический вариант - искать слово по словарям. Медленно, но надежно. Плюс, для иероглифических языков это сложнее.

Следующий вариант - есть отличный сайт, где можно от руки (или курсором) нарисовать иероглиф, и найти наиболее подходящий на нарисованное. Минусы - если иероглиф сложный, фиг его нарисуешь нормально. Ну и не будешь же целые предложения так по символам составлять.

Другой вариант — использовать Google Translate на телефоне: он переводит всё, что видит на фото или в режиме камеры. Но водить телефоном по экрану ноутбука/телефона не очень удобно.

В японских сообществах по изучению японского есть много разных инструментов для OCR и перевода, но большинство из них под Windows, а для Mac найти что-то подходящее сложнее.

Наконец, я решил банально попробовать ChatGPT - посылаешь в него скриншот страницы манги, просишь распознать - он выдаст и японский текст, и перевод. Казалось бы - офигеть, очень круто. Я составил красивый системный промпт и начал использовать. Но довольно быстро стало понятно, что всё не так уж и хорошо. То куски текста пропускает, то выдаёт текст, которого на страничке вообще нет. Глаз да глаз за ним нужен. И это происходит несмотря на то, что в системном промпте прям про это написано, например "Extract ALL the text from the manga page, making sure not to miss any characters or words.". Но пока это остаётся самым лучшим инструментом. Остаётся надеяться, что в будущих версиях ChatGPT результат будет надёжнее.

#languages

​​О помощи людям... и о последствиях

Мне регулярно (пусть и не часто) пишут люди с вопросами о DS, карьере и всём связанном с этим. Я стараюсь помогать им. Но иногда это заканчивается очень неожиданно...

​​Agentic Retrieval-Augmented Generation for Time Series Analysis

Новая подход для анализа временных рядов использует агентную RAG архитектуру, где главный агент координирует специализированных подагентов. Они используют небольшие, pre-trained language models (SLMs), которые адаптированы под конкретные задачи временных рядов через instruction tuning и DPPO. Они извлекают релевантные промпты из пула знаний для улучшения прогнозов на новых данных.

Статья вызвала смешанные впечатления. С одной стороны, идея крутая. С другой стороны, примеров промптов нет, кода нет, так что такие успехи выглядят слегка сомнительно.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

Internet Archive loses appeal

https://x.com/PublishersWkly/status/1831357570365497379

In a swift decision, a three-judge panel of the Second Circuit Court of Appeals has unanimously affirmed a March 2023 lower court decision finding the Internet Archive's program to scan and lend print library books is copyright infringement.

Это реально грустно. Сколько угодно можно говорить о важности прогресса LLM и о копирайте... но когда LLM "имеют право" парсить, что угодно и компании получают от этого выгоду, а Internet Archive не имеет права сохранять знания - это не то будущее, о котором я мечтал.

​​DataFest Yerevan

Я завтра выступаю на DataFest Yerevan с рассказом про применение face recognition для выявления множественных аккаунтов одного человека. Блогпост про это я уже публиковал.

По идее при регистрации на сайте https://datafest.am/2024 должна быть доступна трансляция. И потом доклады выложат в открытый доступ.

Вчера бродили с несколькими другими докладчиками по Еревану - город очень красивый! ❤️

#datascience

​​DataFest Yerevan 2024 закончился

Это было прекрасное мероприятие, очень интересное и организация была отличной. Кстати, это было первое мероприятие, где меня пригласили и оплатили билеты, отель, такси и прочее.

Я провёл в городе 4 дня (неполных). В первый день мы с другими спикерами (впятером) пошли гулять по городу, поднялись пешком по Каскаду и дошли до монумента "Мать-Армения". Город красивый - зелёный, атмосферный, с историей.

В пятницу и субботу было само мероприятие. Полно крутых спикеров с интересными докладами. Не могу перечислить всех, назову только несколько:

• Augustin Žídek - Accurate structure prediction of biomolecular interactions with AlphaFold 3. Интересный рассказ о том, как разрабатывали AlphaFold 2. Из любопытного - в версии AlphaFold 2 было много хаков, и на докладе спикера спросили, почему бы не использовать diffusion? Тогда спикер ответил "no comments", ибо это не казалось релевантным. А в текущей версии как раз используется diffusion подход - оказалось, что если модель достаточно сильная, то можно обойтись без хаков. В конце доклада он давал советы о том, как в целом организовывать процесс исследования и экспериментов - это было очень похоже на то, как работают крутые команды на Kaggle.
• Théo Moutakanni - Scaling Self-Supervised Learning: Engineering, Data, and Application. Рассказ о DINOv2. Статью я читал (и даже обзор писал), но было интересно послушать из первых уст.
• Nensi Hakobjanyan, Stefan Christoph - Unlocking the Power of LLMs: Next generation recommender systems. Они рассказывали о том, как можно использовать LLM для рекомендаций. Основная суть была в предсказании следующего токена/айтема. В конце доклада я задал вопрос о том, насколько хорошо это всё работает на практике и какую роль играет в рекомендационных системах в целом (retrieval, ranking или что-то другое). Получил ответ, что пока всё же лучше использовать "обычные" рекомендательные системы.
• Grigory Sapunov - Not only Transformers. Отличный обзор современных архитектур отличных от трансформеров.

Было ещё много интересных докладов, но все перечислить не могу. С большинством спикеров обращались в кулуарах - интересные и вдохновляющие люди. И было на удивление много докладов на тему биомедицины, как и слушателей занимающихся этой темой.

#life #datascience

Stanford запустил форум для обсуждения статей с arxiv

https://www.alphaxiv.org/

Кажется, что подобные инициативы уже были. Посмотрим как будут успехи с этой.

​​LinkedIn - customized text went wrong

Какое-то время назад на LinkedIn появилась фича с возможностью генерить тексты почти на любых страницах соцсети. Одно из самых распространённых применений - генерация персонализированных текстов для обращения к людям. В теории это круто, но на практике... Хочу поделиться парой примеров того, что видел. Выглядит либо смешно, либо просто как WTF.

​​Вот он какой - секрет достижения AGI

God-approved superalignment

​​gpt-o1 - thinking for seconds, minutes, hours, weeks...

Уже все рассказали про новую модель от openai, лично меня заинтересовал их пойнт о том, что текущая версия модели думает секунды (хотя я уже видел скриншоты с размышлениями на 90+ секунд), но будущие версии могут думать часами и неделями.

https://x.com/polynoamial/status/1834280969786065278

Идея интересная во многих планах - смогут ли они гарантировать, что предсказание не прервётся по техническим причинам? Можно ли будет делать чекпойнты для просмотра промежуточных результатов и продолжения с них? Может ли вообще это работать?

Ну и пока концепция "дать модели много времени подумать и будет счастье" звучит как мечты. Или как замечательная машина, ответившая "42". С другой стороны, прогресс не остановить - как знать, чего человечество достигнет.

#datascience

​​GameGen-O: Open-world Video Game Generation

GameGen-O: the first diffusion transformer model tailored for the generation of open-world video games

https://gamegen-o.github.io/

​​Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency

Китайские стажёры выкатили новую модель для генерации говорящих/поющих лиц. End-to-end audio-only conditioned video diffusion. Модель использует inter- и intra-clip temporal modules, а также audio-to-latents module, чтобы эффективно извлекать long-term motion information и делать движения лица более релевантными звуку. Судя по метрикам - людям нравится. Выглядит и звучит весьма круто. Мне особенно понравилось как картина в классическом китайском стиле задорно поёт "Katy Perry - E.T.".

Paper link

Project link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

🚀 @SBERLOGASCI webinar on mathematics and data science:
👨‍🔬 Sergei Gukov "What makes math problems hard for reinforcement learning: a case study"
⌚️ 19 September, Thursday 19.00 Moscow time

Add to Google Calendar

Can AI solve hard and interesting research-level math problems? While there is no mathematical definition of what makes a mathematical problem hard or interesting, we can provisionally define such problems as those that are well known to an average professional mathematician and have remained open for N years. The larger the value of N, the harder the problem. Using examples from combinatorial group theory and low-dimensional topology, in this talk I will explain that solving such hard long-standing math problems holds enormous potential for AI algorithm development, providing a natural path toward Artificial General Intelligence (AGI).

The talk is based on a recent paper: https://arxiv.org/abs/2408.15332

О докладчике: Сергей Гуков - профессор КалТех, выпускник МФТИ и Принстона, один из наиболее известных специалистов по теории струн и математической физике, в последние годы занимающийся применением методов Reinforcement Leaning к задачам математики и физики.

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga and in telegram: https://t.me/sberlogasci/19688 - subscribe !

Анонс на твиттер:
https://x.com/sberloga/status/1835702457260765359
Ваши лайки и репосты - очень welcome !