#Работа Техподдержка

Скоро для наших пользователей раскатают новую версию приложения, с которым мы интегрируем различные системы, но перед этим решили ее протестировать на отдельном стейдже.

Пока менеджеры суетили со своими тестами, я заметила один критичный баг интеграции стороннего источника данных. Раньше все было ок, но в новой версии в одном значимом месте сломалось. Я написала об этом менеджерам, показала на созвоне, сделала скрины, проверила на разных стейджах, проверила разные сценарии. Короче баг воспроизводимый и повторяющийся.

Написали в поддержку продукта. Те попросили прислать HAR, пока готовила им HAR, чекнула логи запросов и поняла, что проблема в том, что запрос отправляется с неверным параметром (вместо email, отправляется статичное значение). Написала им об этом, что их система шлет некорректный запрос, из-за чего наш сервис отдает ошибку, ну и естественно ничего не работает.

Дальше было перекидывание раз в сутки, так как разница между мной и техподдержкой 12 часов. Они просили проверить наш сервис, почему он отдает ошибку. Я им еще раз пишу про неправильный параметр. Они снова просят прислать HAR. У меня горит! Я им присылаю лог из своей системы с неправильным запросом. После чего они уходят смотреть со своей командой этот лог. Смешно, что это лог из лямбда функции, куда запрос идет обработанный api gateway в виде объекта, поэтому я не хотела его отправлять раньше, ведь он не выглядит как стандартный http-запрос.

Я сказала нашим менеджерам, что если вдруг продуктовая команда не успеет исправить их баг до прода, я могу в наших сервисах временно отключить проверку на пользователя. Это не самое лучшее решение, но по крайней мере не заблокирует работу пользователей.

Наш менеджер решил пропушить черед менеджера продукта статус решения по багу и знаете, что тот чел порекомендовал нам? “Вы могли бы отключить проверку на своей стороне, если мы не успеем починить это вовремя.” Как же у меня горит с таких советов!

Я еще ходила на несколько созвонов с их продуктовой командой и там ребята на голубом глазу доказывали про один из багов, что это вовсе не баг нет-нет. Пустая строка без контента при копировании таблицы не должна удаляться, ну и что что у нее в интерфейсе нет кнопки удалить, вы же можете почистить ВСЮ таблицу, либо удалить через API. Я тогда на созвоне очень сильно удивлялась терпению коллег, которые пытались вежливо отстоять то, что это баг. Жесть. Вам там норм?

Муж ищет в свой стартап:

#Учеба #UOL
Отправила очередные мидтермы по учебе. Осталось по плану 3 сессии, эта и еще две. Даже не верится, что я уже так близка к финалу, вроде совсем недавно только думала о том, стоит ли вписываться в это приключение на 4 года.

Если честно, то с каждым разом становится все труднее не лениться. Вроде и работы плюс/минус интересные, но по факту эти проекты было бы гораздо увлекательнее проходить в самом начале пути.

Среди этих мидтермов из интересного - довелось потыкать в NLTK, немного поиграться с NLP, с TF-IDF в частности. Мы делали похожую задачу для хакатона, но этим занималась не я, я тогда сосредоточилась на коллаборативной фильтрации. Сейчас все больше понимаю, что и то и другое по сути не рокет-саенс.

Еще один неочевидный навык с учебы в универе, кроме оформления для сдачи под требования, - это запись видео. Я оплачиваю Adobe ради монтажа видео для сдачи работ. Приловчилась писать сценарий для видео, затем озвучивать закадровый текст, затем писать под него видео и монтировать так, чтобы уложиться по времени.

Хочу сказать, что хоть у меня в течение учебы было много вопросов к универу, но по факту реально за мою учебу скопилось довольно много годных и интересных проектов.
Из того, что помню:
⁃ Игра-платформер на JS
⁃ Интерфейс для работы с данными на JS
⁃ Анализ и интерактивная работа с данными на плюсах
⁃ Диджейский пульт и работа со звуком на плюсах
⁃ Чат на базе NLP (питон)
⁃ Игра в бильярд на JS
⁃ Сайт на node.js
⁃ Множество мелких инструментов и приложений.
И это еще не конец.
Если посчитать по таблице, то выходит около 20 проектов за всю учебу.

…

Неужели еще два года и я, наконец, закрою еще один гештальт всей своей жизни - получу диплом. 20 лет сомнений в себе. Я рада, что наконец избавлюсь от этого камня с шеи. Это стоит того, чтобы пройти этот путь до конца.

#Работа #AWS
Иногда становится стыдно за саму себя.

Сижу, решаю проблему того, что никак не получается подгрузить доступы к реджестри для запуска контейнера внутри инстанса. Конфигурация вся на терраформе. Логи из инстанса при запуске почему-то не выводятся нигде, хотя пишет название стрима, но такого стрима нет.
Сначала было так g5 запускается норм, а g6 нет. По ходу долгих исследований поняла, что дело в том, что в g6 обязательно надо использовать токен для получения метаданных. Я вроде исправила скрипт, чтобы получать этот токен, но все еще что-то не работает.

Короче, вожусь уже много времени, танцы с бубном не помогают.

А потом смотрю внимательно на скрипт, который я скопировала у коллег и использую почти как есть, даже не думая о наборе команд внутри. Смотрю на него внимательно и понимаю, что из метаданных берется просто регион. Регион, который можно просто передать через переменную шаблона, потому что у меня он не динамический. Фак! Я столько времени потратила впустую вместо того, чтобы разобраться с тем, что можно было просто скипнуть!

было:

export METADATA_AWS_TOKEN=$(curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600")
/usr/bin/aws configure set region $(curl -H "X-aws-ec2-metadata-token: $METADATA_AWS_TOKEN" http://169.254.169.254/latest/meta-data/placement/region)

стало:

/usr/bin/aws configure set region ${aws_region}

Но все еще не понимаю почему не сработала загрузка токена.

#UOL #Учеба
Получила оценки за последние мидтермы, готовлюсь к экзаменам и делаю финальную работу, в которой надо фото с веб-камеры разложить по разным цветовым фильтрам. Я что-то подобное делала на Си в рамках заданий на cs50, где надо было резервировать память и менять цвета, считывая бинарный файл и заменяя байты. Поэтому заменить просто значения в RGB с помощью js-либы кажется тривиальной задачей.

Удивилась, что получила аж 90 баллов за работу с использованием NLTK, но по факту я в нее действительно вложилась больше всего. Порадовалась, что по новому модулю получила зачет и даже в целом нормальные 62 балла. Там надо было готовить отчет и презентацию, чисто гуманитарная дичь, плюс предмет новый, я боялась, что там все может пойти не так. Да, и если честно, то я потратила на него меньше всего усилий.

Зарегалась на следующий семестр, там уже будут 3 предмета последнего уровня по специализации ML. Должно быть интересно. Один из предметов Intelligent Signal Processing, смотрю, что про него пишут, что он довольно объемный и сложный. Надеюсь, что мне с моим опытом и знаниями не будет так уж больно. Надеюсь.
Весь список на следующий семестр:
- Databases and Advanced Data Techniques
- Natural Language Processing
- Intelligent Signal Processing

Но пока готовлюсь к экзаменам. Плюс еще я все еще не сделала два предмета, которые хочу закрыть через IBM курсы. Надо будет между сессиями заняться ими плотно и добить их уже.

#Техника
Купила себе новый макбук. Не потому что старый был плох, просто надоело постоянно поджиматься по оперативной памяти.
Было: MacBook Pro M1 16 Gb, 16 дюймов.
Стало: MacBook Pro M4 Max 128 Gb, 16 дюймов.

Вчера занималась переносом данных. Сначала подключила оба мака по проводу от внешнего жесткого диска самсунг, но он оказался не так уж и хорош. Ради эксперимента прокинула провод от подставки и он оказался тандерболтом, перенос автоматически переключился на него и завис… Пришлось запускать все заново. При этом проекты я заранее перекидывала на внешний жесткий диск и это заняло несколько часов.
Оценка переноса на старте была на 60 часов, было очень смешно. Потом исправилось на 4 часа. Через 4 часа оставалось процентов 10 и писало 15 минут, но эти 15 минут висели еще часа 3.

При переносе я выбрала почти все, кроме загадочного other. В целом перенос прошел довольно неплохо, пришлось только brew переустановить и его зависимости. Что интересно, даже история ввода команд сохранилась.

Попробовала новую опенсорс модельку от open ai на новой машинке, отвечает очень быстро. Прям скорость вжух-вжух.

За полдня моей возни оперативки использовано почти 50 гигов. Я не понимаю, если честно куда? При том же сетапе чисто при запуске ушло сразу 30+. Куда?

Тест киберпанка показал средние настройки на примерно 60 fps, но играть еще не пробовала, просто тест прогнала.

Еще запустила ради интереса рабочий скрипт на NAMD, там скорость работы при ограничении на 8 CPU выросла почти в два раза по сравнению со старой машиной.

Пока не пробовала запускать прекоммит, но думаю, что он должен летать.

А так выглядит и ощущается как и прошлый комп, только чуть светлее.

#Работа
Продолжаю заниматься симуляциями для химиков.

Последнее время пытаюсь добиться нормальной скорости симуляции. У меня при запуске выходила скорость в 10 раз медленнее, чем в запусках на другом кластере. Я никак не могла понять в чем проблема. Пробовала разные инстансы, разные настройки запуска, настройки ресурсов и тп. И вот в очередной подход, поняла, что я тупо использую неправильную сборку. Я выбрала не тот билд, рассчитывая на кластер, а мне надо было брать просто CUDA сборку.

Наконец, симуляция начала использовать GPU вместо CPU и все полетело. 1 GPU и 8 CPU (оценка - 7 дней) сработали лучше, чем 64 CPU (оценка 91 день).

А дошло до меня, что я что-то делаю не так только потому, что я решила поискать, а как GPU загружается при запуске. Ииии… обнаружила, что на моем маке она никак не загружается. Оказалось, что сборка под apple silicon не использует GPU. Потом начала смотреть, а что с Линуксом и тут меня осенило.

Блин, надо ж было так продолбаться… Хорошо, что нашла сама проблему…

#Жизнь
Впервые нашла у себя седые волосы. Они незаметны и в начале мне даже показалось, что это просто такой блеск. Докопалась и таки выдернула один такой, рассмотрела и поняла, что он и правда седой.

Я понимаю, что я не выгляжу как в 20, я уже пережила всякие мысли типа, что после 30 жизни нет и тп. Я понимаю, что я уже ближе к 40, чем к 30. Но все ж. Как-то грустно немного.

Я все еще чувствую себя девчонкой, а родители в этом возрасте переехали из Архангельска в Великие Луки с двумя детьми и собакой. А я в Сингапуре, работаю и учусь в универе, еще 2 сессии впереди. А потом еще и магистратура, наверное. И вообще ощущаю, будто все только начинается. Какие к черту седые волосы?

#Учеба #UOL
Отправила очередной проект по учебе. У меня он так тяжело шел, что я несколько выходных много прокрастинировала и мало делала, в итоге пришлось сидеть до 5 утра в день дедлайна, чтобы закончить его.

Самое противное в этом проекте - это фреймворк, который надо использовать p5.js без npm, сборщиков и тп. Просто куча функций из глобальной области видимости с такими названиями как text(), image() и тп. Попробуй случайно не переопредели это.

Помимо этого, ты не можешь использовать обычный html и верстку, это все кастомное. Сиди с канвасом, считай x, y, добавляй отступы, все сам. Нельзя просто изображение с камеры запихнуть в html, надо делать это в глобальном канвасе. Все их примеры использования далеки от нормального программирования. При этом в требованиях к работе - вы должны писать профессиональный код и тп. Блин, чуваки, ваш подход устарел и в корне непрофессиональный, о чем вы вообще?

Ладно, это просто универ, учебная работа. Хотя сам проект мог бы быть довольно интересным. Как я уже писала, я подобное делала в cs50 и там было гораздо круче.
https://cs50.harvard.edu/x/psets/4/filter/more/

#UOL #Учеба Ничего себе, в новом модуле универа прям софт-скиллам учат, про STARR рассказывают и тп.

#Учеба
Прохожу вот этот курс от IBM, чтобы зачли в универе как один из модулей https://www.coursera.org/professional-certificates/ibm-data-science
Делала курсовую по визуализации, впечатлилась от фреймворка dash https://dash.plotly.com/, он нужен для того, чтобы датасаентисты клепали дашборды. Под капотом у него фласк, реакт и куча всякого замешано. Можно писать html на питоне, создавать шаблоны для динамических страничек. Прикол в том, что он умеет подгружать данные без перезагрузки страницы при изменении фильтров, но весь UI ты спокойно пишешь на питоне. Найс!
Код на курсе, конечно, был говно с точки зрения структуры, но я если честно ради фана потыкала бы в этого зверя еще.
Еще забавный момент, что работу проверяло с помощью AI. LLM изи поставила мне максимальный балл, что очень порадовало.
Продолжаю проходить этот курс, сейчас на 9 модуле из 12. Хех, чуток осталось.

UPD. На сколько же любой курс проще, чем курс по ML от Яндекс и МФТИ! Я прохожу текущий курс и все еще вспоминаю попа-боль, когда проходила их курс, который я так и не прошла до конца, к сожалению.

#Работа

https://www.ks.uiuc.edu/Research/namd/mailing_list/namd-l.2020-2021/0138.html
Когда вместо стаковерфлоу или чатгпт, надо читать чужие переписки, чтобы решить проблему.

Короче, суть проблемы. Вот есть программа NAMD, написанная на С/С++. Для нее сделали несколько сборок - для линукса, для кластера, для запуска с CUDA. У второй версии нет поддержки ARM и макоси, а вот в третьей версии есть. Я использую третью версию, но на сервере мы используем вторую, потому что она вроде как считает точнее, чем третья.
Я локально проверила, что у меня на машине работает. Залила на сервер, у меня все отработало успешно, но чет файл с результатами пустой. Я открываю логи, а там в info потоке, даже не в потоке ошибок вижу следующее:

FATAL ERROR: Pair interaction calculation is not supported in CUDA version

FATAL!!! фатал, такой фатал, но скрипт выполнился успешно.

Они не поддерживают некоторые фичи в версии с CUDA. Что ж… ААААААААААААААА!
Придется загружать две сборки с кудо и без кудо, чтобы жонглировать ими. Как же горит.