Так, кажется, подвезли работающий Reflection.

We trained these models to spend more time thinking through problems before they respond, much like a person would. Through training, they learn to refine their thinking process, try different strategies, and recognize their mistakes.

https://openai.com/index/introducing-openai-o1-preview/

Upd.

» А и Б сидели на трубе. А упала, Б пропала, что осталось на трубе?

» I'm translating the Russian riddle and notice "и" means both "and" and the letter "И". This connection seems crucial for solving the riddle.

Осталась буква «и».

AGI не достигнут

Ух, выровнял «Маленького принца» на удмуртском и добавил в нашу параллельную книгу-трансформер.

🔸 Добавил в Lingtrain Aligner функционал по разбиению строк (пост) после загрузки текстов, поэтому получилось более точно, плюс начал заменять отсутствующие предложения прочерком, чтобы впоследствии можно было и их добавить в готовую книгу. С остальными версиями постепенно буду делать аналогично.

🔸 Таким образом, уже есть параллельная версия книги на 18 языках — алтайском, балкарском, башкирском, дигорском, коми, кубачинском, марийском и горномарийском, мокшанском и эрзянском, орокском, татарском, удмуртским, хакасском, чувашском, якутском, русском и французском.

🔸 Делаю бурятский. Если у вас есть ещё редакции, то смело присылайте. Желательно с указанием переводчика.

👉 Книжка | GitHub

Это я выбираю, за какую задачу взяться первой.

🔺 Mistral и бесплатный API

🔸 По-моему, очень приятная новость, для тех, кто встраивает LLM в свои пет-проекты или просто интересуется темой и не хочет на это тратиться. У Мистраля появился Free план (его надо выбрать в разделе Billing), по которому можно бесплатно вызывать модели по API.

🔸 Работает без VPN, карту привязывать не надо.

🔸 В списке моделей часть называется Free, в том числе мультимодальный Pixtral, но по факту вызываются все.

🔸 Имейте в виду, что ваши запросы на этом плане будут доступны разработчикам и могут быть использованы ими в дальнейшем.

P.S. Программист — это береза, чьи ветви цифрового кода шелестят на ветру инноваций. Mistral Large

👉 Le Chat | API

🔥 Upd. Лимиты огонь. 1 rps, 500k токенов в минуту, 1B в месяц; даже для Mistral Large. То есть по идее можно поиграться с 128k токенов, посмотреть как оно любимые книжки дописывает и т.д.

Пока шел дождик, накидал скрипт, который парсит страничку с лучшими статьями по ML за неделю, выкачивает abstract'ы и лезет в Claude за объяснениями в разных стилях и генерацией дополнительной информации типа заголовков, эмодзи и тегов.

Красивый UI не смог нагенерить ни чем, так что большинство времени ушло на верстку. Стоит один такой "выпуск" где-то 0.15 долларов.

P.S. Скрипт причешу и выложу, сможете поиграться.

https://averkij.github.io/top_papers/

Тут коллеги из CV команды совместно с Центром исследования жестового языка запустили крутую вещь — словарь РЖЯ (русского жестового языка).

Сейчас записали и выложили несколько сотен видео с разных ракурсов для различных понятий. Планируют добавить еще несколько тысяч.

По-моему, очень круто. Я бы добавил еще какой-то грамматический комментарий о том, как составлять из жестов предложения с видео-примерами или даже мини-курс по РЖЯ.

Проект будет активно развиваться, так что идеи приветствуются. Какие бы слова туда еще добавить?

👉 Сайт | Хабр

Чуть почистил скрипт по генерации обзоров статей. Сделал обзоры в стиле разных персонажей, можете поугадывать, хотя это не так сложно.

Перевел парсинг на фид NLP Newsletter со статьями за неделю. Модель — GPT-4o с json_mode, чтобы надежно возвращать все за один запрос.

P.S. Ах да, обещал выложить — скрипт.

P.P.S. Можете поменять API на бесплатный Мистраль и поиграться с ним, если нет токена от openai.

Upd. Поменял на обычный стиль, так тексты по приятней выглядят.

👉 https://averkij.github.io/top_papers/

🔺 EuroLLM 1.7B Instruct

Неплохая маленькая модель от альянса UTTER, включающего в себя несколько Европейских университетов.

🔸 Обучили на 4T токенов на языках Евросоюза, причем целенаправленно добавили к ним несколько дополнительных, таких как русский, китайский, турецкий и украинский.

🔸 Токенизатор на 128k токенов с улучшенной относительно Llama 3 фертильностью для всех языков кроме английского.

🔸 В данные добавили по 20% параллельных данных en-xx, xx-en. Добавили код и математику. Обучали в два этапа, заканчивая чистыми данными.

🔸 В итоге моделька качественно генерирует на русском, в отличие от Llama, которая периодически вставляет иностранные слова или токены в текст, причем выглядит это порой очень забавно.

🔸 Зато с фантазией как раз лучше у Ламы 3.2 3B (например, она придумала слоганы для книжного магазина "Книжный ад" — "Ад в каждом томе" и "Стоимость книги: бесконечность").

Обещают обучить модели покрупнее, ждём.

👉 Статья | HF

🔺 HFday.ru

Сделал для сообщества сайтик с обзорами статей с HF Daily Papers на русском.

Синхронизируется каждые 2 часа, можно отсортировать по рейтингу или вывести вверх недавно добавленные статьи, чего, кстати, на оригинальной страничке не сделать.

Обзор, теги и прочие данные генерируются через Claude на основе спаршенных с сайта абстрактов.

Развернуто все полностью на GitHub — через Workflow джобы и Pages, что само по себе очень прикольно. Скрипты обновляют файлы с данными, пишут логи и генерируют страничку, которая коммитится обратно в репозиторий. Такую автоматизацию удобно использовать для своих проектов, чуть позже опишу, как это настраивать.

Предыдущие выпуски откладываются в папку prev_papers. Кушает это где-то по 20-30 рублей в день (claude 3.5 sonnet). Код открыт.

В общем, добавляйте в закладки и шарьте с коллегами. Идеи приветствуются.

—
Upd. Всем привет, кто пользуется и заходит на канал. Пишите как вам, что добавить.

Добавил сортировки, дату публикации, пофиксил баги.

Upd 2. Добавил классификацию промптом через gpt-4o-mini.

Upd 3. Добавил навигацию по дням.

Upd 4. Добавил английский и китайский. Локализовал UI на них.

Upd 5. Добавил навигацию по дням.

Upd 6. Добавил топ статей за месяц. Пользуйтесь фильтрами, там есть логика на объединение и пересечение по категориям.

Код — GitHub

🔥 А вот и Нобелевка за машинку

Джон Хопфилд и Джеффри Хинтон, 2024.

за фундаментальные открытия и изобретения, обеспечивающие возможность машинного обучения с использованием искусственных нейронных сетей

пресс-релиз

Экспериментально добавил на HFday.ru (обзоры статей с HF Daily Papers) фильтр по темам — nlp, cv, reasonong и т.д., так как статей иногда бывает довольно много, до 40 штук за день.

Классификация идет тоже через Claude (он генерит до 5 тем на статью), показываются все доступные темы.

Страничка синхронизируется с HF все каждые два часа, для новых статей генерируется обзор и он добавляется к остальным. Добавил также сколько прошло времени с прошлого обновления.

Еще добавил сортировку по добавлению на HF, по ней все добавленные в течение дня статьи будут показываться наверху.

Все настройки странички сохраняются в local storage браузера. UI постарался сделать красивым, довольно муторное дело, особенно для мобильного (фронтендеры, как вы это терпите?).

Кому интересно, как работает — код тут, там же проект и развернут. Пользуемся, пишем как вам такая читалка.

👉 Upd. Перевел классификацию на промпт ниже. Добавил сортировку. Модель gpt-4o-mini.

🔺 Bukva

Ребята из CV-команды снова вносят вклад в развитие русского жестового языка. На этот раз подготовили и выложили датасет для дактиля — жестовой азбуки.

🔸 В датасете 33 класса, на каждый класс есть минимум по 100 видео (всего 3757). Размечало датасет больше сотни человек (!), владеющих РЖЯ. Можно почитать про то как его собирали и зачем он нужен.

👉 Хабр | Датасет | Paper

Такой промпт написал для классификации статей по темам. Каких тем не хватает?

...
DATASET: Papers that introduce new datasets or make significant modifications to existing ones
DATA: Papers focusing on data processing, cleaning, collection, or curation methodologies
BENCHMARK: Papers proposing or analyzing model evaluation frameworks and benchmarks
AGENTS: Papers exploring autonomous agents, web agents, or agent-based architectures
NLP: Papers advancing natural language processing techniques or applications
CV: Papers developing computer vision methods or visual processing systems
RL: Papers investigating reinforcement learning theory or applications
RLHF: Papers specifically about human feedback in RL (PPO, DPO, etc.)
RAG: Papers advancing retrieval-augmented generation techniques
CODE: Papers about code-related models or programming benchmarks
INFERENCE: Papers optimizing model deployment (quantization, pruning, etc.)
3D: Papers on 3D content generation, processing, or understanding
AUDIO: Papers advancing speech/audio processing or generation
...

https://gist.github.com/averkij/0e39e43fef4ec9282aa89fd0cdc65f07

👉 Upd. Добавил PLP, STORY_GENERATION, HALLUCINATIONS, убрал NLP.

👉 Upd 2. Добавил LONG_CONTEXT, убрал QUANTUM.

👉 Upd 3. Добавил SYNTHETIC.

👉 Upd 4. Добавил TRANSLATION. Пересчитал все.

Сходил сдал HSK3 (экзамен на знание китайского). Вот это уже интересно, даже письменная часть добавилась, а несколько вопросов я вообще не понял :) Аудитория тоже подросла, вместо школьников уже по большей части студенты.

🔺 Claude обновился

Что мы имеем спустя 4 месяца после выхода Sonnet 3.5?

Claude 3.5 Haiku. Появилась малая версия 3.5, по способностям как третий Opus (модельный ряд Claude — это Хайку → Сонет → Опус).

Claude 3.5 Sonnet. Сонет тоже обновился, особенно по части кода. Пишут, что кодит теперь лучше GPT-4o*. Цена при этом осталась прежней.

Computer use. Теперь Claude может "подключится" к вашему компу в стиле удаленщика, шарить по экрану и делать то, что попросите. Делается это через вызов внешних инструментов, которыми управляет модель. Чтобы начать, подготовили демо с кодом и контейнером.


👉 Новость | Computer use API | PDF про модели