Как работает поиск?

Андрей Аксёнов, руководитель разработки инфраструктуры поиска в Авито, рассказал в подкасте «Подлодка» из каких задач состоит работа над поиском, как измерить его качество и какие технологии используются под капотом.

Ссылки на выпуск и полезные материалы по теме можно найти на сайте подкаста → http://amp.gs/NMyM

#datascience
Четкая шпаргалка по матстату

#datascience
Крутая инструкция и просто интересная статья про то как чистят датасеты на примере поиска депрессивных твитов

Вчера нашел себе развлечение на ночь, залип над статьей от гугла по поводу их новой(?) БД - Procella. Аналитика на масштабируемых стероидах.

Интересно, что у них data cache-hit 90%, много С++ шаблонов и компайл-тайм штук для компиляции запросов, а еще все завязано на Borg(отца к8с)(что очевидно).

https://ai.google/research/pubs/pub48388/

Блин-блин-блин, это даже круче Uplink'a

Тут игру подвезли

ThreatGEN: Red vs. Blue
https://store.steampowered.com/app/994670/ThreatGEN_Red_vs_Blue/

Это пошаговая стратегия в которой вы можете играть за одну из сторон: атакующие (красная команда) или защищающие инфраструктуру (синяя команда).

Утверждают, что

Every single member of the development team for this game actually comes from the cybersecurity (or INFOSEC) community.
. . .
Developers Clint Bodungen and Aaron Shbeeb are authors of the book, Hacking Exposed: Industrial Control Systems.

В Санфране проходит ежегодный сабантуй Oracle Openworld 2019, где компания объявляет самые бомбические анонсы на грядущий год. Один из важных take-away сегодняшнего дня - Always free cloud tier.

Ранее существовал только один способ получения бесплатного клауда – 30 дневный триал. Это расстраивало многих любителей неспешного изучения новых технологий.

Теперь у вас есть возможность получить в вечное бесплатное пользование:
a. 2шт VM 1/8ядра 1G RAM
b. 2шт Block volume 100Gb total
c. 10Gb S3 + 10Gb S3 Archive
d. 2 Автономных БД 1 ядро 20Gb storage (SQLdev и APEX web на борту)
Играем на здоровье: https://www.oracle.com/cloud/free/#always-free

#books
Если вдруг кто-то давно не читал Таненбаума, то тут новое издание вышло

А какой ОС пользуетесь вы?

Тут вот критика монорепы подъехала. Автор по пунктам идет по всем "бенефитам" и популярно на примерах объясняет, что не так все радужно.

Нашел блог "того самого" Майка Нейгарда. Наслаждайтесь!

Скидка на #DevOpsConf 2019!

Промокод DevOpsDeflope даст вам 10% скидку на конференцию DevOpsConf 2019

http://amp.gs/AIZI

Нашёл в твиттере ссылку на интересную статью Николаса Закаса 2015-го года — "The bunny theory of code".

В статье Николас рассуждает о том, как код похож на кроликов. Стоит немного подождать, и кусочек кода, который находился в одном файле, через некоторое время начинает жить уже в трёх местах. Размножение не зависит от того, хороший это код или плохой, поэтому стоит заботиться о том, какой код попадает в общий репозиторий.

Почему так происходит? Мы редко начинаем писать что-то с нуля в существующем проекте. В первую очередь мы ищем то, как данную проблему решали наши коллеги. Если решение было найдено, то с большой вероятностью оно будет скопировано в новый файл, так как закомиченный код неявно выступает неким гарантом качества. Поэтому стоит делать всё возможное, чтобы поддерживать это качество. Например, с помощью хорошего код ревью, воркшопов, обсуждения спонтанно возникших паттернов (“accidental standards") и т.п.

Читал статью с улыбкой. Николас хорошо описал, как работают разработчики с кодом. По крайней мере, лично я стараюсь не изобретать велосипед в рабочем проекте, но сначала ищу, не был ли этот велосипед изобретён другими.

#musings #programming

https://humanwhocodes.com/blog/2015/05/14/the-bunny-theory-of-code/

Как-то я вчера не разглядел, а OpenAI показали результаты довольно простого эксперимента, на который я теперь часто буду ссылаться. Они построили модель мира, в которой виртуальные боты-игроки играют в прятки-догонялки, т.е. условно физический мир в котором одни боты делают все чтобы их не нашли другие. Боты, разумеется, обучались с подкреплением, запоминая какие их действия с большей вероятностью приводили к победе. И научились довольно неплохо прятаться, используя подручные предметы. А потом исследователи стали усложнять правила, добавляя новые обьекты, позволяя перелазить через некоторые стены и тд, не меняя конфигурацию изначальной сети. И каждый раз боты выбирали новую оптимальную стратегию чтобы прятаться или искать. Обязательно посмотрите видео по ссылке, оно того стоит!

Почему этот эксперимент так важен? Потому что это показательная история: для первоначальных простых условий не стоило бы писать нейронную сеть и вообще ИИ, достаточно было описать очень простые алгоритмы, которые эффективно решали бы задачу. Но чем сложнее становились условия, тем эффективнее было именно решение с ИИ. Так и в жизни происходит. Часто велик соблазн решить задачу по-старинке, без всяких там умностей. Но по мере усложнения задачи все больше смысла в том, чтобы использовать ИИ. А задачи у нас все сложнее и сложнее. https://openai.com/blog/emergent-tool-use/

А вот кому DNS, который все резолвит в котиков? Кстати, блог у мадам очень даже ничего

#product
Тут наткнулся на очень крутую статью про продукт. Много, казалось бы, очевидных инсайтов, но, тем не менее, очень мало продуктов действуют так, как там рекомендуется. Например советы:
1. Тестировать все идеи, какими бы крутыми они не казались
2. Концентрироваться на проблеме, а не на решении
3. Решать одну проблему, но хорошо, а не много, но кое-как
и т.д. очень часто игнорируются. Кароч в качестве пятничного нетехнического чтива прям советую

Пятничный мем

#elasticsearch
Тут в Озоне прошел митап, посвященный поиску и Elastic'у в частности! Доклады интересные, рекомендую

Как и обещал, делюсь тем, что со мной пошарили.

От @golang_for_two

Content Security Policy Reference https://content-security-policy.com
Сесурно-правильный конфиг Nginx https://gist.github.com/plentz/6737338

От @dat_sapientiam
Гайды от Мозиллы https://infosec.mozilla.org/guidelines/web_security
https://developer.mozilla.org/ru/docs/Web/HTTP/CORS

Из великих закладок Нардиса Викторовича (@cyberhermitage), дословно его сообщ:

CORS :
- http://performantcode.com/web/do-you-really-know-cors
- https://enable-cors.org/
- https://frontendian.co/cors
- https://medium.com/free-code-camp/the-terrible-performance-cost-of-cors-api-on-the-single-page-application-spa-6fcf71e50147

CSRF:
- https://portswigger.net/web-security/csrf
- https://scotthelme.co.uk/csrf-is-really-dead/
- https://www.owasp.org/index.php/Cross-Site_Request_Forgery_(CSRF)

CSP: https://frontendian.co/csp

Общее по веб-секюрити. что попалось под руку в букмарках:
- Security checklist
- API-Security-Checklist
- The Web Application Hacker's Handbook

#datascience #logging
Нашел группу энтузиастов, которые занимаются анализом логов. У них несколько интересных тулзов и куча ссылок на матчасть на гитхабе