Зимой приложил руку к тому, чтобы защитить наш диалоговый ИИ от злоумышленников в случае утечки «мозгов» модели

Это делается с помощью такой несложной штуки как фингерпринтинг, мы учим языковую модель отвечать на ряд секретных вопросов на редких языках, с помощью которых можно подтвердить интеллектуальную собственность

Метод уже вышел в продакшн, это означает что LLM поставляется в компании уже со знанием секретных вопросов/ответов

Тут вышла новость про об этом:

https://rb.ru/opinion/kak-razrabotchiki-zashishayut-svoi-yazykovye-modeli-ot-krazhi/

Термин AGI стал очень шумным и многозначным; Летом в OpenAI ввели взамен систему из 5 уровней. Ранее Bloomberg писал, что якобы на июльской презентации модели прототипа o1 было заявлено о переходе с первого уровня (чатботы) на второй (reasoners, сущности, способные к рассуждениям). Но это были только слухи, и вот теперь Altman на камеру это подтвердил — они считают, что о1 достигла второго уровня в их шкале

Взято отсюда

Мы в Вихрях часто делаем модели в стол или оставляем их на время полежать. Собственно в этот раз ребята из MTSa опередили нас с релизом на несколько дней.

Выложили vikhr-qwen2.5-1.5b.

Для обучения использовали GrandMaster.

По арене чуть чуть хуже чем Cotype&

model

К чему это я, мы тут выпустили маленький ИИ Cotype-Nano, к которому я приложил руку, и его квантизированные версии, на данный момент (26.11.2024) это лучшая языковая модель в своем классе по замерам на ру арене

Указал дату, потому что сфера ИИ растет и меняется очень быстрыми темпами🤖

Мы уделили особое внимание безопасности ИИ, чтобы она не отвечала на неэтичные и провокационные вопросы. Именно эту версию мы выпустили в открытый доступ. На картинке результаты оценки небезопасной версии, которая сильнее чем безопасная (она все равно остается жить в подвале)

Пример запроса к нашей новой модели (запущено на ноуте):

Напиши топ-3 компонента робота

Топ-3 компонента робота могут варьироваться в зависимости от типа и назначения робота. Однако, я предложу общий список, который может быть применим к различным видам роботов:

Центральный процессор (ЦПУ) - Это "мозг" робота, который выполняет все вычисления и управляет всеми его функциями.
Сенсоры - Сенсоры позволяют роботу взаимодействовать с окружающей средой, обрабатывать информацию и принимать решения на основе полученных данных.
Моторы и приводы - Эти компоненты обеспечивают движение робота, их мощность и скорость зависят от конкретных задач, которые он выполняет.
Этот список является упрощенным и может не полностью охватывать все аспекты конструкции современного робота.

Пример с генерацией кода:

Запрос:

Напиши сервер на fastapi, который по запросу поворачивает сервопривод RPi

Ответ Cotype-Nano:

Создание сервера на FastAPI для управления сервоприводом Raspberry Pi (RPi) требует понимания как работы FastAPI, так и работы с GPIO пинами RPi. FastAPI — это современный, высокопроизводительный фреймворк для создания API с использованием Python, а GPIO пины — это интерфейс для управления аппаратными устройствами, такими как сервоприводы.

Прежде чем начать, убедитесь, что у вас установлены все необходимые пакеты и что у вас есть доступ к Raspberry Pi и необходимые драйверы для GPIO пинов.

### Шаг 1: Установка FastAPI и необходимых пакетов

pip install fastapi uvicorn

### Шаг 2: Создание основного файла сервера

Создайте файл main.py с следующим содержимым:

from fastapi import FastAPI
from pydantic import BaseModel
import RPi.GPIO as GPIO

app = FastAPI()

# Настройка GPIO
GPIO.setmode(GPIO.BOARD)
servo_pin = 11  # Пример пина для сервопривода
GPIO.setup(servo_pin, GPIO.OUT)

pwm = GPIO.PWM(servo_pin, 50)  # 50 Hz
pwm.start(0)

class ServoPosition(BaseModel):
    position: int

@app.post("/set_servo_position")
async def set_servo_position(position: ServoPosition):
    duty_cycle = position.position * 1.5  # Примерное значение для 180 градусов
    pwm.ChangeDutyCycle(duty_cycle)
    return {"message": "Servo position set to " + str(position.position)}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

### Шаг 3: Запуск сервера

Запустите сервер с помощью команды:

uvicorn main:app --reload

### Шаг 4: Тестирование сервера

Откройте браузер и перейдите по адресу http://127.0.0.1:8000/docs. Вы должны увидеть документацию FastAPI, которую можно использовать для вызова API.

Для вызова API, отправьте POST запрос на /set_servo_position с параметром position, который указывает на желаемое положение сервопривода. Например:

POST /set_servo_position HTTP/1.1
Host: localhost
Content-Type: application/json

{
  "position": 90
}

После отправки запроса вы должны увидеть ответ сервера, который сообщает о том, что положение сервопривода было установлено.

Заняли первое место в рейтинге трендовых моделей, говорящих на русском языке🤖

Cotype Nano на конференции conversations🤖

MTS AI завершила тестирование новой большой языковой модели (LLM) из семейства Cotype, созданной для использования в закрытом корпоративном контуре, она выйдет на рынок в первом квартале 2025 года.

Председатель совета директоров МТС Вячеслав Николаев в ходе выступления на Дне инвестора рассказал, что МТС в работе с ИИ фокусируется на развитии уже существующих наработок с большими языковыми моделями – компания успешно развивает собственную языковую модель Cotype. Согласно данным бенчмарка MERA, она занимает вторую строчку в рейтинге русскоязычных языковых моделей.

19 февраля буду выступать здесь

Мероприятия NoML в феврале

План семинаров на ближайший месяц, все доклады по средам в 17:00 МСК, сохраняйте релевантные темы в свои календари:

▫️ 05.02 | Дмитрий Васильков (QuSolve), Интерпретируемый ИИ: рынок, теория и практическая реализация с применением MaxSAT-солвера OptJet;

▫️ 12.02 | Егор Дудырев (НИУ ВШЭ, Университета Лотарингии), Кластеризация на правилах или как найти кластеризации, которые легко объяснить;

▫️ 19.02 | Алан-Барсаг Газзаев (MTS AI, ИТМО), Обучение языковой модели Cotype Nano;

▫️ 26.02 | Ярослав Шмулев (R77 AI), Рекомендательная система для завода по оптимизации процесса производства стали;

Следите за обновлениями в наших канале @noml_digest и чате @noml_community, там же публикуются детали предстоящих докладов и ссылки для подключения.

Ян Лекун (легенда в области ML) считает, что невозможно достичь человеческого уровня интеллекта с помощью скейлинга языковых моделей (думаю, здесь имеется в виду увеличение размера текущих архитектур, количества и качества данных)

По мнению Лекуна, при общении с LLM нам может показаться, что мы общаемся с PhD, хотя на самом деле это просто система с гигантской памятью и хорошей способностью к сбору/резюмированию информации, которая не способна порождать решения для новых проблем

Видео взято у @dslab

Наша команда выпустила Cotype Pro 2!

А вместе с этим статью про методологию оценки языковых моделей

Приложил руку к мультиагентной системе оценки языковых моделей, и предложил два метода на основе статьи Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. Суть заключается в том, что несколько агентов "думают" над вынесением финального вердикта при оценке текста, который сгенеровала модель. Таким образом мы смогли улучшить корреляцию с человеческой оценкой:

Мы также попробовали использовать многоагентные системы для вынесения вердиктов:
Soft метод, в которой один агент выражает мнение, а второй соглашается или не соглашается с ним, после чего финальное решение принимает судья.
Hard метод, где второй агент всегда контраргументирует первому, и итоговый вердикт основывается на противоречивых оценках.

Анализируя мультиагентный подход, мы увидели что hard метод показывает слабую корреляцию с человеческой разметкой, так как другие агенты могут запутать итоговый вердикт. Однако soft метод улучшает корреляцию с экспертными оценками, поскольку второй агент зачастую дополняет логику первого, а агент-судья переоценивает все на основе предыдущих рассуждений. Такие многоагентные дебаты развивают концепцию CoT и могут улучшить качество модели-судьи.

Ссылка на статью: https://habr.com/ru/companies/mts_ai/articles/892176/
Пресс-релиз в форбс: https://www.forbes.ru/tekhnologii/533813-agenty-vystraivautsa-v-linejku-mts-vypustit-na-rynok-korporativnyh-ii-pomosnikov