Ivan's work&life thoughts
581 subscribers
369 photos
8 videos
3 files
108 links
Попытка забложить
@jnovikov
Download Telegram
Классический мл больше не будет прежним, или как Яндекс сами запускают вместо градиентного бустинга в каждый дом млщика –трансформер 😮

Наверняка многие экспериментировали при анализе табличных данных с помощью трансформера, а потом ходили в непонятках, почему же все таки CatBoost срабатывает лучше, так вот, теперь это в прошлом. Появился TabR (retrieval для табличных данных), который на бенчмарках бьет град бустинг (логично, иначе статьи бы не было) 🤨

Итак, поверхностно весь секрет в том, что ребята не просто натравливают retrieval, а [энкодят –> на каждую фичу подбирают ближайшего соседа по симилярити –> конкатят с исходным энкодингом –> делают предикт] (см вложения) все, расходимся, чуваки по-умному заюзали идею

Конечно, там очень много деталий в ресерче, про которые хотелось бы упомянуть. (Во вложениях таблица с каждым пунктом, и что он дал на eval)

А) В value модуль аттеншена добавили таргет labels
B) Эмперически доказали, что тут расстояние симилярити надо измерять L2 расстоянием, и отказались от query матрицы соответственно
C) вместо KNN для ближайших соседей взяли DNNR, который содержит поправочный член, которые по сути является производной
D) применили cross attention и убрали скейлинг на размерность матрицы K в формуле внимания

Метрики на бенче GBDT во вложениях

🖥 код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Achievement unlocked: Зайти в самолёт последним.
(При этом без того, чтобы по громкой связи позвали)
🔥9👏4
А я тут в Стокгольм сгонял. Естественно на CTF.

Соревнования называются Midnight Sun CTF, и в этом году C4T BuT S4D смогли отобраться академическим составом (только студенты и школьники), но с академическим составом мог поехать ментор. Ментор может быть не студентом, не может решать задачи напрямую (сидеть за своим ноутом), но можно было помогать советом и так сказать направлять. Вот так я оказался в Стокгольме вместе с молодыми и мощными игроками CBS. В итоге ребята заняли 7-е место что очень хороший результат, учитывая что среди академических команд они заняли второе. Соревнование длилось 24 часа и на ночь организаторы оставили нас одних в центре Стокгольма с кучей редбулла. На самом деле соревнование очень понравилось — практически идеальная организация и интересные задачки. Дали много классного мерча, вкусно кормили и поили, дали хорошую гостиницу. Надеюсь что в следующем году C4T BuT S4D приедет взрослым составом и заберет призовое место.
🔥196👍6
[СОЦОПРОС] Как вы комментите условия ?

Большая часть моей аудитории — программисты (вроде бы). Хочу узнать как вы комментируете свой код:

A: сначала if, потом коммент.

if (dayOfWeek == Day.Friday && day == 13) {
// No action should be performed on Friday 13th.

}



B: сначала коммент, потом if.


// No action should be performed on Friday 13th.
if (dayOfWeek == Day.Friday && day == 13) {

}
Как комментить ?
Anonymous Poll
12%
A: if first
64%
B: comment first
24%
Я котик
Пришло время обсудить действительно серьезные вещи.
Pumpkin Spice Latte - оверхайпед говно.
Для тех, кто не в теме — в старбаксе есть сезонное осеннее меню, и куча чуваков в тиктоке и ютубе прям ждут появление этого меню. Ведь там есть пряный тыквенный латте.

Для меня это были выброшенные 5 евро. Это просто очень сладкий кофе с молоком и легким привкусом каких-то специй. Я хз как они это пьют, я это допить не смог.

Вы можете спросить: “Ну а чего ты ждал от старбакса?”. Казалось что старбакс прям известны за свои вкусные кофейные напитки (не сам кофе) и они такое умеют делать.
Мой вердикт — лучше взять Turmeric Latte в какой-нибудь ЗОЖ-кофейне, а не пить это.
👍10🤯4🤔3
Природа настолько очистилась, что я стал соавтором реверс таска на brics+ CTF.


Вообще когда-нибудь я напишу большой пост о том как делать и не делать CTF’ы. У меня накопилось немного опыта и может кому-то будет интересно получить выжимку из него.
👍20🔥95
Придумываю задачи сейчас на следующий CTF, думаю "А дай ка проверю вот эту штуку".

Результат - за час нашел 2 бага в двух крайне популярных библиотеках на питоне.

Баги не критичные, но кажется после CTF'а я отправлю pull-request 🙂
🔥211
Конторе, в которой я работаю, исполнилось 25 лет.

Если интересно, посмотрите эту прекрасную страничку! Мне очень нравятся такие видео, ну и на эволюцию логотипов тоже можно позалипать.
https://blog.google/inside-google/company-announcements/google-25th-birthday/

А вообще, конечно страшно представить, как поменялся наш мир за эти 25 лет. Если интересно узнать больше про годовщину Гугла, посмотрите остальные 9 статеек.

А я постараюсь ещё рассказать как мы праздновали внутри 🙂
🔥10👍2🤯1
Как я (мы) не съездили на главный CTF.

Название поста - кликбейт, сейчас объясню. Привычно, что в командном спорте есть какое-то главное международное соревнование. В спортивном программировании это ACM ICPC, в футболе это чемпионат мира или лига чемпионов.
В CTF’е технически такого нет. CTF соревнования достаточно децентрализованы и только в последнее время начало появляться что-то похожее на централизованные международные соревнования (ICC). Однако самым желанным и популярным соревнованием можно назвать DEFCON CTF. Почему DEF CON? Потому что он самый старый, а если точнее - первый. CTF появился как соревнование в рамках конференции DEF CON в 1996 году. Еще даже не было гугла, но уже был DEFCON CTF. И вот с тех пор каждый год в рамках конференции в Лас-Вегасе проводили соревнование. На DEFCON’е считай нет призов (специальный badge и ‘eternal glory’), организаторы не оплачивают перелет. Но большинство CTF’еров назовет это главным CTF’ом в году (вот так надо делать маркетинг!). В последнее годы, чтобы отобраться на дефкон недостаточно быть сильной командной, надо быть объединением сильных команд (см. картинку).

Мы несколько раз пытались сделать стак из нескольких RU-команд для отбора. В этом году мы попробовали объединиться с китайский брат китайской командой r3kapig в P1G BuT S4D. Мы потренировались на Plaid CTF (заняв там третье место) и смогли отобраться на дефкон.
11👍2
Так почему не поехали-то?
Напоминаю, что соревнования проходят в США. Среди русской части команды визу получить смог только я (скорее всего потому, что живу не в РФ). Получить визу я смог за месяц до соревнований, и где-то за 2 недели до соревнований я узнал, что я единственный из команды, кто получил визу.
Билеты в США дорогие (за 2 недели-то), желания ехать одному было крайне мало.

Вот так вот можно скучно “забить” на почти мечту.

Меня немного успокаивает тот факт, что соревнования прошли плохо: были проблемы с сетью и задачи далеко не лучшего качества. Мы помогали китайской части (они получили визу) смотреть сервисы удаленно, и в итоге в финале наша сборная заняла 7-е место.
Но всё равно, мы скорее получили негативный опыт от соревнований. Если бы я потратил много денег и сил (перелет, отгул с работы) ради такого соревнования, я бы пригорел.

Я надеюсь, что это не последняя возможность для нас попасть на DEF CON. Да и есть много других крутых CTF’ов. Например, сейчас часть нашей команды (без меня) поехала в Японию покорять финал Google CTF. Пожелаем парням удачи!
28👍6
Почему я задал этот вопрос? Потому что, сам я пользуюсь LLM раз в неделю или реже.

При этом я уже не могу представить себе разработку без Copilot (и внутреннего аналога в Google). Хоть и иногда они предлагают мне полную дичь, модели помогают быстро написать кучу boilerplate кода или тестов.

Но вот конкретно ChatGPT/Bard я использую редко. Сейчас моя работа (в основном) это писать код и документы (архитектура). Для написания кода мне помогают autocomplete модели (а-ля Github Copilot). К сожалению, LLM еще ни разу не помогло мне при составлении рабочих документов, LLM прекрасно помогают писать воду, но по работе мне обычно нужно выдать чистую базу — донести свою мысль, потратив при этом минимум времени другого человека.
Иногда я использую LLM для создания очень красивых polite имейлов на английском или других нетехнических текстов.

Для pet-проектов или CTF-задач я могу воспользоваться генерацией кода от ChatGPT/Bard, но опять же не более раза в неделю.

Интересно, как вы используете LLM? Особенно те, кто пользуются каждый день.
5🔥2👍1