🪐 Кажется, я понял планы Маска

Все мы знаем, кто такой Илон Маск и что он одержим идеей колонизации Марса. Но давайте честно задумаемся: насколько это реально сейчас?

Марс — четвёртая планета от Солнца. Это наиболее подходящая для колонизации планета в нашей Солнечной системе: она практически похожа на Землю по размеру и гравитации. Как обстоят дела с климатом?

Всё прекрасно:

Температура ночью опускается до –100 °C, а днем повышается до +20 °C. Атмосфера состоит примерно на 95 % из углекислого газа, а кислорода там ничтожно мало. Давление атмосферы в 160 раз меньше земного. При таком давлении кровь просто вскипит, если находиться на поверхности без скафандра. Ко всему этому добавляются мощнейшие пыльные бури

В общем, климат не самый дружелюбный. Но допустим, мы как-то адаптировались и построили базу, похожую на ту, в которой выживал Марк Уотни из фильма «Марсианин». Чтобы полноценно жить на Марсе, безопаснее всего создать город под землёй, чтобы избежать суровых поверхностных условий. И тут начинается самое интересное

Как построить город под землёй? У Илона Маска есть компания The Boring Company, которая занимается инфраструктурой, а именно тоннелестроением. Допустим, туннели проложены. А чем заправлять технику? Нефти на Марсе нет, ведь она является продуктом длительного разложения огромного количества органики, а мы пока не знаем, была ли на Марсе полноценная жизнь

На полюсах есть огромные залежи водяного льда, что позволит с помощью химических реакций получить метан, но это долгий процесс. Тут на помощь приходит дочерняя компания Tesla – SolarCity, занимающаяся производством солнечных панелей, благодаря которым мы сможем вырабатывать электричество для техники, включая для электромобилей Tesla

Проблему с техникой и энергией решили, а кто будет там работать? Всё правильно — роботы, а именно модели Tesla Optimus — человекоподобный робот общего назначения. Но кто будет ими управлять? Конечно же, Colossus — крупнейший в мире ИИ-кластер от xAI. Также нужно поддерживать связь со всем, что происходит на Марсе. Здесь нам поможет Starlink — глобальная спутниковая система, на которую, кстати, приходится 65 % от общего количества спутников на орбите. Звучит потрясающе, но всё это добро нужно сначала доставить на Марс. Как можно догадаться, этим займётся компания SpaceX

💬 Похоже, xChat станет первым марсианским мессенджером

Что мы имеем в итоге:

• SpaceX — транспортировка
• The Boring Company — инфраструктура
• Tesla Optimus — рабочая сила
• Colossus / xAI — единый разум
• Tesla — передвижение
• Starlink — связь
• SolarCity — энергоснабжение

Все эти компании формируют единую экосистему для полной колонизации Марса. Раньше над Маском смеялись, но сейчас мне кажется, что полёты на Марс скоро станут реальностью

🤔 Ну или Маск на самом деле пришелец, который просто хочет вернуться домой

Что думаете по этому поводу?

📹 Недавно на просторах ютуба наткнулся на один очень интересный видеоролик (это не реклама, если что)

В нём автор довольно подробно и красиво рассказывает про все структуры данных, которые существуют на текущий момент

Если вы начинающий специалистит или энтузиаст, которому интересно изучать что-то новое, то этот видос однозначно для вас

🤓 Видео на английском, но в настройках под самим видосом можно включить автоматический перевод голоса на русский язык

🔥 Итак, разработка системы управления манипулятором через семантику официально завершена

Честно скажу, потратил на это дело я немало нервов и времени. Давайте я сначала расскажу о том, как вообще велась разработка, а потом — об окончательном решении и архитектуре

Казалось бы, что трудного — проверить смысловую близость между двумя предложениями. Я тоже так думал, когда использовал связку TF‑IDF и логистической регрессии, которая оказалась вообще неэффективной в этой задаче

Это было слияние нескольких математических формул, чрезвычайно чувствительное к изменениям. Если, к примеру, степень схожести для предложения «Перекинь кубик вперёд» составляет ≈93%, то для предложения «Перекинь кубик вперед» она может упасть до ≈10%. Такая комбинация оказалась непрактичной

Затем я решил полностью поменять архитектуру и получил следующую структуру:

• Токенизация – все слова превращаются в числа, максимальная длина предложения — 10

• Embedding-слой – каждое число заменяется на 64-мерный вектор

• BiLSTM (двунаправленная LSTM) – слой, который «читает» фразу в обе стороны и возвращает 256-мерный вектор

• Dropout – случайно выключает 50 нейронов, чтобы не допустить переобучения

• Dense + Softmax – возвращает список вероятностей принадлежности к каждому классу

В конце берётся класс с самой большой вероятностью

Но и такая комбинация не оправдала себя на практике. При попытке ввести предложение, которое было в обучающей выборке, я получал сигнал, что команда якобы не распознана. Более того, эта ситуация произошла в самой лаборатории, когда я хотел выпендриться перед заведующим и продемонстрировать сей шедевр. Была отправлена команда, чтобы манипулятор переместился вперёд, а он пошёл назад..

После небольшого пребывания в тильте я снова поменял архитектуру, о которой расскажу в посте ниже 🔽

⚙️ Глянем под капот

Довольно интересно всё сложилось: я пришёл к тому, к чему меня всё время направляли — взять готовую SLM-модель и внедрить её в код, что я, в принципе, и сделал

Немного повозившись с датасетом и в сотый раз перебрав обучающие данные, я смог добиться стабильной работы модели и устранить ложные срабатывания

Пробежимся по метрикам:

• Accuracy — самая стандартная метрика, процентное отношение правильно распознанных команд к общему количеству. Правда, в некоторых моментах она бывает обманчива

• Матрица ошибок — в этой матрице первый столбец (реальный класс) и первая строка (предсказанный класс) одинаковы. Числа в самой матрице — это либо дробь, либо точное количество правильно предсказанных примеров

• Precision и Recall — тут лучше разобрать на примере. Предположим, что в нашей выборке есть 10 фраз со значением «влево». Модель предсказала эту команду 8 раз (некоторые правильно, а некоторые нет). Допустим, 7 фраз были предсказаны верно, одна фраза была ошибочно принята как команда «влево», а оставшиеся 3 команды модель распознала как-то иначе. Тогда значение метрики Precision будет равно 0,875 (87,5%), а значение Recall — 0,7 (70%). Из этого делаем вывод: Precision показывает, насколько можно доверять модели, когда она говорит, что команда распознана, а Recall показывает, как много реальных команд модель не пропускает. Вот здесь вычисления метрик

• F1-Score — это среднее гармоническое между Precision и Recall. Но почему именно гармоническое, а не арифметическое? Рассмотрим ситуацию: допустим, на команде «влево» имеем Recall = 1,0 (то есть мы всегда замечаем эту команду), а Precision = 0,1 (значит, ложных срабатываний очень много). Берём среднее арифметическое: (1 + 0,1) / 2 = 0,55 — выглядит терпимо. Теперь берём гармоническое: 2 * (1 * 0,1) / (1 + 0,1) ≈ 0,18 — значение намного меньше, то есть мы оценили модель гораздо строже

• Кросс-валидация — вообще прикольная метрика. Лучше сразу показать на примере. Допустим, в датасете всего 500 фраз. Делим их на 5 разных частей (фолдов) — получаем, что размер каждого фолда составляет 100 фраз. Начинается итерационный процесс: сначала модель обучается на 2–5 фолдах и тестируется на 1-м, потом смена: обучаемся на 1, 3, 4, 5 фолдах и тестируемся на 2-м фолде, и так далее, пока каждый фолд не выступит в роли тестового. Итоговая точность — среднее арифметическое по 5 итерациям. Это даёт более стабильную и честную оценку качества, чем одно случайное разбиение 80/20

Ну и пару слов об архитектуре:

• Нейросеть — RuBERT-tiny2. Это модель типа BERT (Bidirectional Encoder Representations from Transformers), а именно её энкодерная часть. На выходе получаем 312-мерный вектор

• Классификатор SVC (Support Vector Classification). Здесь мы ищем в 312-мерном пространстве оптимальные границы гиперплоскости, которые максимально чётко разделяют наши исходные классы

Первый результат довольно хороший. Дальше можно допиливать ещё какие-то фичи, команды, добавить больше обучающих данных — пока грандиозных идей особо нет. Зато за это время я понял, что с текстовыми данными работать как будто труднее, чем с числовыми, и что как бы ни был шикарен метод обучения, если датасет — мусор, то ждать положительного результата не стоит. Хотя этап EDA (Exploratory Data Analysis) — обязанность скорее дата-аналитика, а не моя

🌸 Спасибо тебе, читатель, что дочитал этот длиннющий пост до конца. Если есть другие идеи решения этой задачи и другой архитектуры, я бы сразу их послушал

Узреть сей шедевр можно тут