Forwarded from что-то на DL-ском
Классический мл больше не будет прежним, или как Яндекс сами запускают вместо градиентного бустинга в каждый дом млщика –трансформер 😮
Наверняка многие экспериментировали при анализе табличных данных с помощью трансформера, а потом ходили в непонятках, почему же все таки CatBoost срабатывает лучше, так вот, теперь это в прошлом. Появился TabR (retrieval для табличных данных), который на бенчмарках бьет град бустинг(логично, иначе статьи бы не было) 🤨
Итак, поверхностно весь секрет в том, что ребята не просто натравливают retrieval, а [энкодят –> на каждую фичу подбирают ближайшего соседа по симилярити –> конкатят с исходным энкодингом –> делают предикт] (см вложения)все, расходимся, чуваки по-умному заюзали идею
Конечно, там очень много деталий в ресерче, про которые хотелось бы упомянуть. (Во вложениях таблица с каждым пунктом, и что он дал на eval)
А) В value модуль аттеншена добавили таргет labels
B) Эмперически доказали, что тут расстояние симилярити надо измерять L2 расстоянием, и отказались от query матрицы соответственно
C) вместо KNN для ближайших соседей взяли DNNR, который содержит поправочный член, которые по сути является производной
D) применили cross attention и убрали скейлинг на размерность матрицы K в формуле внимания
Метрики на бенче GBDT во вложениях
🖥 код
Наверняка многие экспериментировали при анализе табличных данных с помощью трансформера, а потом ходили в непонятках, почему же все таки CatBoost срабатывает лучше, так вот, теперь это в прошлом. Появился TabR (retrieval для табличных данных), который на бенчмарках бьет град бустинг
Итак, поверхностно весь секрет в том, что ребята не просто натравливают retrieval, а [энкодят –> на каждую фичу подбирают ближайшего соседа по симилярити –> конкатят с исходным энкодингом –> делают предикт] (см вложения)
Конечно, там очень много деталий в ресерче, про которые хотелось бы упомянуть. (Во вложениях таблица с каждым пунктом, и что он дал на eval)
А) В value модуль аттеншена добавили таргет labels
B) Эмперически доказали, что тут расстояние симилярити надо измерять L2 расстоянием, и отказались от query матрицы соответственно
C) вместо KNN для ближайших соседей взяли DNNR, который содержит поправочный член, которые по сути является производной
D) применили cross attention и убрали скейлинг на размерность матрицы K в формуле внимания
Метрики на бенче GBDT во вложениях
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Achievement unlocked: Зайти в самолёт последним.
(При этом без того, чтобы по громкой связи позвали)
(При этом без того, чтобы по громкой связи позвали)
🔥9👏4
А я тут в Стокгольм сгонял. Естественно на CTF.
Соревнования называются Midnight Sun CTF, и в этом году C4T BuT S4D смогли отобраться академическим составом (только студенты и школьники), но с академическим составом мог поехать ментор. Ментор может быть не студентом, не может решать задачи напрямую (сидеть за своим ноутом), но можно было помогать советом и так сказать направлять. Вот так я оказался в Стокгольме вместе с молодыми и мощными игроками CBS. В итоге ребята заняли 7-е место что очень хороший результат, учитывая что среди академических команд они заняли второе. Соревнование длилось 24 часа и на ночь организаторы оставили нас одних в центре Стокгольма с кучей редбулла. На самом деле соревнование очень понравилось — практически идеальная организация и интересные задачки. Дали много классного мерча, вкусно кормили и поили, дали хорошую гостиницу. Надеюсь что в следующем году C4T BuT S4D приедет взрослым составом и заберет призовое место.
Соревнования называются Midnight Sun CTF, и в этом году C4T BuT S4D смогли отобраться академическим составом (только студенты и школьники), но с академическим составом мог поехать ментор. Ментор может быть не студентом, не может решать задачи напрямую (сидеть за своим ноутом), но можно было помогать советом и так сказать направлять. Вот так я оказался в Стокгольме вместе с молодыми и мощными игроками CBS. В итоге ребята заняли 7-е место что очень хороший результат, учитывая что среди академических команд они заняли второе. Соревнование длилось 24 часа и на ночь организаторы оставили нас одних в центре Стокгольма с кучей редбулла. На самом деле соревнование очень понравилось — практически идеальная организация и интересные задачки. Дали много классного мерча, вкусно кормили и поили, дали хорошую гостиницу. Надеюсь что в следующем году C4T BuT S4D приедет взрослым составом и заберет призовое место.
🔥19❤6👍6
[СОЦОПРОС] Как вы комментите условия ?
Большая часть моей аудитории — программисты (вроде бы). Хочу узнать как вы комментируете свой код:
A: сначала if, потом коммент.
B: сначала коммент, потом if.
Большая часть моей аудитории — программисты (вроде бы). Хочу узнать как вы комментируете свой код:
A: сначала if, потом коммент.
if (dayOfWeek == Day.Friday && day == 13) {
// No action should be performed on Friday 13th.
…
}B: сначала коммент, потом if.
// No action should be performed on Friday 13th.
if (dayOfWeek == Day.Friday && day == 13) {
…
}Пришло время обсудить действительно серьезные вещи.
Pumpkin Spice Latte - оверхайпед говно.
Для тех, кто не в теме — в старбаксе есть сезонное осеннее меню, и куча чуваков в тиктоке и ютубе прям ждут появление этого меню. Ведь там есть пряный тыквенный латте.
Для меня это были выброшенные 5 евро. Это просто очень сладкий кофе с молоком и легким привкусом каких-то специй. Я хз как они это пьют, я это допить не смог.
Вы можете спросить: “Ну а чего ты ждал от старбакса?”. Казалось что старбакс прям известны за свои вкусные кофейные напитки (не сам кофе) и они такое умеют делать.
Мой вердикт — лучше взять Turmeric Latte в какой-нибудь ЗОЖ-кофейне, а не пить это.
Pumpkin Spice Latte - оверхайпед говно.
Для тех, кто не в теме — в старбаксе есть сезонное осеннее меню, и куча чуваков в тиктоке и ютубе прям ждут появление этого меню. Ведь там есть пряный тыквенный латте.
Для меня это были выброшенные 5 евро. Это просто очень сладкий кофе с молоком и легким привкусом каких-то специй. Я хз как они это пьют, я это допить не смог.
Вы можете спросить: “Ну а чего ты ждал от старбакса?”. Казалось что старбакс прям известны за свои вкусные кофейные напитки (не сам кофе) и они такое умеют делать.
Мой вердикт — лучше взять Turmeric Latte в какой-нибудь ЗОЖ-кофейне, а не пить это.
👍10🤯4🤔3
Природа настолько очистилась, что я стал соавтором реверс таска на brics+ CTF.
Вообще когда-нибудь я напишу большой пост о том как делать и не делать CTF’ы. У меня накопилось немного опыта и может кому-то будет интересно получить выжимку из него.
Вообще когда-нибудь я напишу большой пост о том как делать и не делать CTF’ы. У меня накопилось немного опыта и может кому-то будет интересно получить выжимку из него.
👍20🔥9❤5
Придумываю задачи сейчас на следующий CTF, думаю "А дай ка проверю вот эту штуку".
Результат - за час нашел 2 бага в двух крайне популярных библиотеках на питоне.
Баги не критичные, но кажется после CTF'а я отправлю pull-request 🙂
Результат - за час нашел 2 бага в двух крайне популярных библиотеках на питоне.
Баги не критичные, но кажется после CTF'а я отправлю pull-request 🙂
🔥21❤1
Конторе, в которой я работаю, исполнилось 25 лет.
Если интересно, посмотрите эту прекрасную страничку! Мне очень нравятся такие видео, ну и на эволюцию логотипов тоже можно позалипать.
https://blog.google/inside-google/company-announcements/google-25th-birthday/
А вообще, конечно страшно представить, как поменялся наш мир за эти 25 лет. Если интересно узнать больше про годовщину Гугла, посмотрите остальные 9 статеек.
А я постараюсь ещё рассказать как мы праздновали внутри 🙂
Если интересно, посмотрите эту прекрасную страничку! Мне очень нравятся такие видео, ну и на эволюцию логотипов тоже можно позалипать.
https://blog.google/inside-google/company-announcements/google-25th-birthday/
А вообще, конечно страшно представить, как поменялся наш мир за эти 25 лет. Если интересно узнать больше про годовщину Гугла, посмотрите остальные 9 статеек.
А я постараюсь ещё рассказать как мы праздновали внутри 🙂
Google
Thank you for 25 years of curiosity
For Google’s 25th birthday, we’re celebrating alongside our users with a special Doodle and some surprises in Search.
🔥10👍2🤯1
Как я (мы) не съездили на главный CTF.
Название поста - кликбейт, сейчас объясню. Привычно, что в командном спорте есть какое-то главное международное соревнование. В спортивном программировании это ACM ICPC, в футболе это чемпионат мира или лига чемпионов.
В CTF’е технически такого нет. CTF соревнования достаточно децентрализованы и только в последнее время начало появляться что-то похожее на централизованные международные соревнования (ICC). Однако самым желанным и популярным соревнованием можно назвать DEFCON CTF. Почему DEF CON? Потому что он самый старый, а если точнее - первый. CTF появился как соревнование в рамках конференции DEF CON в 1996 году. Еще даже не было гугла, но уже был DEFCON CTF. И вот с тех пор каждый год в рамках конференции в Лас-Вегасе проводили соревнование. На DEFCON’е считай нет призов (специальный badge и ‘eternal glory’), организаторы не оплачивают перелет. Но большинство CTF’еров назовет это главным CTF’ом в году (вот так надо делать маркетинг!). В последнее годы, чтобы отобраться на дефкон недостаточно быть сильной командной, надо быть объединением сильных команд (см. картинку).
Мы несколько раз пытались сделать стак из нескольких RU-команд для отбора. В этом году мы попробовали объединиться скитайский брат китайской командой r3kapig в P1G BuT S4D. Мы потренировались на Plaid CTF (заняв там третье место) и смогли отобраться на дефкон.
Название поста - кликбейт, сейчас объясню. Привычно, что в командном спорте есть какое-то главное международное соревнование. В спортивном программировании это ACM ICPC, в футболе это чемпионат мира или лига чемпионов.
В CTF’е технически такого нет. CTF соревнования достаточно децентрализованы и только в последнее время начало появляться что-то похожее на централизованные международные соревнования (ICC). Однако самым желанным и популярным соревнованием можно назвать DEFCON CTF. Почему DEF CON? Потому что он самый старый, а если точнее - первый. CTF появился как соревнование в рамках конференции DEF CON в 1996 году. Еще даже не было гугла, но уже был DEFCON CTF. И вот с тех пор каждый год в рамках конференции в Лас-Вегасе проводили соревнование. На DEFCON’е считай нет призов (специальный badge и ‘eternal glory’), организаторы не оплачивают перелет. Но большинство CTF’еров назовет это главным CTF’ом в году (вот так надо делать маркетинг!). В последнее годы, чтобы отобраться на дефкон недостаточно быть сильной командной, надо быть объединением сильных команд (см. картинку).
Мы несколько раз пытались сделать стак из нескольких RU-команд для отбора. В этом году мы попробовали объединиться с
❤11👍2
Так почему не поехали-то?
Напоминаю, что соревнования проходят в США. Среди русской части команды визу получить смог только я (скорее всего потому, что живу не в РФ). Получить визу я смог за месяц до соревнований, и где-то за 2 недели до соревнований я узнал, что я единственный из команды, кто получил визу.
Билеты в США дорогие (за 2 недели-то), желания ехать одному было крайне мало.
Вот так вот можно скучно “забить” на почти мечту.
Меня немного успокаивает тот факт, что соревнования прошли плохо: были проблемы с сетью и задачи далеко не лучшего качества. Мы помогали китайской части (они получили визу) смотреть сервисы удаленно, и в итоге в финале наша сборная заняла 7-е место.
Но всё равно, мы скорее получили негативный опыт от соревнований. Если бы я потратил много денег и сил (перелет, отгул с работы) ради такого соревнования, я бы пригорел.
Я надеюсь, что это не последняя возможность для нас попасть на DEF CON. Да и есть много других крутых CTF’ов. Например, сейчас часть нашей команды (без меня) поехала в Японию покорять финал Google CTF. Пожелаем парням удачи!
Напоминаю, что соревнования проходят в США. Среди русской части команды визу получить смог только я (скорее всего потому, что живу не в РФ). Получить визу я смог за месяц до соревнований, и где-то за 2 недели до соревнований я узнал, что я единственный из команды, кто получил визу.
Билеты в США дорогие (за 2 недели-то), желания ехать одному было крайне мало.
Вот так вот можно скучно “забить” на почти мечту.
Меня немного успокаивает тот факт, что соревнования прошли плохо: были проблемы с сетью и задачи далеко не лучшего качества. Мы помогали китайской части (они получили визу) смотреть сервисы удаленно, и в итоге в финале наша сборная заняла 7-е место.
Но всё равно, мы скорее получили негативный опыт от соревнований. Если бы я потратил много денег и сил (перелет, отгул с работы) ради такого соревнования, я бы пригорел.
Я надеюсь, что это не последняя возможность для нас попасть на DEF CON. Да и есть много других крутых CTF’ов. Например, сейчас часть нашей команды (без меня) поехала в Японию покорять финал Google CTF. Пожелаем парням удачи!
❤28👍6
Я использую LLM (ChatGPT/Bard)
Anonymous Poll
21%
Каждый день, хз как без него теперь
29%
Раз в неделю
14%
Раз в месяц
24%
Пару раз юзал для фана
11%
Ни разу не пользовался
Почему я задал этот вопрос? Потому что, сам я пользуюсь LLM раз в неделю или реже.
При этом я уже не могу представить себе разработку без Copilot (и внутреннего аналога в Google). Хоть и иногда они предлагают мне полную дичь, модели помогают быстро написать кучу boilerplate кода или тестов.
Но вот конкретно ChatGPT/Bard я использую редко. Сейчас моя работа (в основном) это писать код и документы (архитектура). Для написания кода мне помогают autocomplete модели (а-ля Github Copilot). К сожалению, LLM еще ни разу не помогло мне при составлении рабочих документов, LLM прекрасно помогают писать воду, но по работе мне обычно нужно выдать чистую базу — донести свою мысль, потратив при этом минимум времени другого человека.
Иногда я использую LLM для создания очень красивых polite имейлов на английском или других нетехнических текстов.
Для pet-проектов или CTF-задач я могу воспользоваться генерацией кода от ChatGPT/Bard, но опять же не более раза в неделю.
Интересно, как вы используете LLM? Особенно те, кто пользуются каждый день.
При этом я уже не могу представить себе разработку без Copilot (и внутреннего аналога в Google). Хоть и иногда они предлагают мне полную дичь, модели помогают быстро написать кучу boilerplate кода или тестов.
Но вот конкретно ChatGPT/Bard я использую редко. Сейчас моя работа (в основном) это писать код и документы (архитектура). Для написания кода мне помогают autocomplete модели (а-ля Github Copilot). К сожалению, LLM еще ни разу не помогло мне при составлении рабочих документов, LLM прекрасно помогают писать воду, но по работе мне обычно нужно выдать чистую базу — донести свою мысль, потратив при этом минимум времени другого человека.
Иногда я использую LLM для создания очень красивых polite имейлов на английском или других нетехнических текстов.
Для pet-проектов или CTF-задач я могу воспользоваться генерацией кода от ChatGPT/Bard, но опять же не более раза в неделю.
Интересно, как вы используете LLM? Особенно те, кто пользуются каждый день.
❤5🔥2👍1