🌍 Недавно наткнулся на увлекательнейший сериал о истории развития Российского Интернета - "Холивар: История Рунета".
Очень много вещей стали понятны (феномен упячки, олбанского языка, упадка рамблера как поисковика и тд).

Те, кто в интернете уже больше 10-15 лет - безусловно должны помнить большинство из того, о чём там рассказывается. А все остальные могут узнать о том, каким прекрасным и самостоятельным Рунет был совсем недавно... 😕

Пока что вышло всего 4 серии из 7, поэтому я надеюсь, что впереди ещё много интересного 🧐

PS: между строк там много полезных мыслей, которые могут стимулировать новые идеи 🤫

Первая серия: https://youtu.be/hdngdbzayHA
Вторая серия: https://youtu.be/PeF8GmV9rXc
Третья серия: https://youtu.be/4tPtg7C__Bo
Четвертая серия: https://youtu.be/4yICRafN9BE
Пятая серия: https://youtu.be/9Ep4tG7fapg

Обсудить: https://vk.com/wall-43106145_1449

🔞 Наткнулся на крайне любопытный перевод руководства для асессоров Google. Полистал по диагонали, но уже сейчас очевидно что там есть такие инструкции, на которые стоит обратить внимание и применить у себя.

Думаю, стоит потратить время и вычитать всё вдоль и поперёк, чтобы лучше понимать что гугл хочет от белых сайтов, чтоб делать максимально похожие на них серые 👹

Да и вообще в инструкции множество любопытных моментов. Полистайте и напишите если найдёте что-то релевантное вашему опыту или то что для вас окажется полезным 😜

Ссылка на руководство: https://ant-team.ru/public/GoogleAnt-Team.ru.pdf 🤛🏻

Прокомментировать: https://vk.com/wall-43106145_1465

📛 Пора начинать готовиться новому крупному апдейту от браузера Chrome: уже в конце этого года/начале следующего они начнут блокировать загрузку ресурсов (аудио/видео/изображений!) с http, если сайт использует httpS (SSL-сертификат).

👂 Подробная новость об этом: https://habr.com/ru/company/globalsign/blog/471078/

Грозит это тем, что ваши посетители в какой-то момент внезапно словят раздраконенный сайт, где невозможно будет что-то прочитать (в лучшем случае). Поэтому такие вещи лучше пофиксить преждевременно 🤷‍♂️

Для СДЛ (белых сайтов) скорее всего поможет сканирование всего сайта через Screaming Frog и подобных программ, чтоб посмотреть где есть ресурсы, загружаемые с http.
А для доров просто стоит поправить ваши парсеры/постеры, ну и - ЗЗЗ 😝

Обсудить: https://vk.com/wall-43106145_1472

UPD: В целом - эта полезная инициатива, никто не будет прослушивать ваш трафик и всякие всратые ОпСоСы не будут впихивать рекламу в код страницы через мобильный интернет)

👽 Недавно CloudFlare анонсировали, что они будут бороться с браузерными ботами посредством отдачи им сложных js-скриптов для прохождения captcha challenge, чтоб повысить CPU и в итоге стоимость железа где запущен бот. 🤯
✏ Анонс об этом у них в блоге: https://blog.cloudflare.com/cleaning-up-bad-bots/

Мне вот стало интересно: а кто-нибудь уже столкнулся с их этой хитростью? Я у себя не ощущаю какого-то резкого скачка CPU, но может просто те сайты, с которыми работаю - не включили данную фичу 😝

И ещё пришла небольшая мысль, когда гуглил по их блогу как они борются с ботами: по их словам, большинство вредоносного трафика исходит лишь от ряда стран (собственно тех, где кучу прокси продаются). Поэтому возможно хитрым хаком в дальнейшем будет использовать прокси нестандартных стран (особенно если речь идет о том, чтоб самому эти прокси поднимать).
✒ Эту мысль я подчерпнул отсюда: https://blog.cloudflare.com/stop-the-bots-practical-lessons-in-machine-learning/

Что вы думаете по поводу этого метода борьбы с нами? Гайки то закручиваются 🔧

Обсудить в блоге: https://vk.com/wall-43106145_1473

🤖 Последнее время всё чаще замечаю, что в приватах люди ищут способ накрутить Яндекс.Метрику, да так, чтоб роботность была минимальная. И вот чисто случайно на днях наткнулся на доклад одного из бывших разработчиков этой антифрод-системы 🙃

👾 Конечно, рассказанная им информация уже явно слегка устарела (в докладе упоминается дата разработки системы в 2012 году), но если судить по тому, что в скрине профайлинга сервиса видно что сжатие данных происходит через алгоритм ZSTD (а он был выпущен в 2016 году), то появляются подозрения о том, что автор лукавит и даже текущий антифрод имеет под собой часть того, что он делал много лет назад.

А вообще по докладу можно сделать любопытные выводы, которые могут привести страждущих к каким-то полезным мыслям:

1️⃣ Система определения роботности 100% построена на Machine Learning (ранее это только подозревали, но не знали до конца точно ли это). Хоть там и упоминается CatBoost, но в нём самом вряд ли вы найдете итоговую модель или "формулу" 🙅‍♂️ Но зато можно попробовать поискать по его докладам/статьям что-то связанное с ЯМетрикой, вдруг кто-то ещё спалил немного информации 🤐
2️⃣ Из слайдов понятно, что они проверяют cookies с яметрики, но это тоже не было секретом. Зато подсчёт количества уникальных cookie для IP-адреса и наоборот - наводит на мысли о том, что нужны хорошие приватные прокси (и лучше чтоб их ранее никто не юзал, поэтому нужно их "фармить" самому).
3️⃣ В докладе Алексей проговорился, что есть какая-то одна страна, где пользователи ходят в интернет с 1 IP-адреса. Саму страну он не назвал, но тоже наводит на мысли, что для ботнет-прокси нужно искать такие, где у провайдера будет выкуплено минимум подсетей 😜
4️⃣ По логике понятно, но ещё раз стоит напомнить о том, что человек не может 24 часа в сутки гулять по сайтам. Нужно строго разграничивать время нагуливания профилей.
5️⃣ Исходя из предыдущего пункта, да и в слайдах это упомянуто: нужно подбирать оптимальное количество посещенных сайтов/страниц в течении часа, чтоб опять же выглядеть более "человечно".
6️⃣ Плюс ко всему, скорее всего нужно эмулировать длительность поведения на различных типах страниц примерно такую же, как делают обычные люди. То есть на странице статьи - человек задерживается дольше, на странице раздела статей - меньше.

👉 Обсуждение "серебрянной пули": https://vk.com/wall-43106145_1480

Поделюсь полезной находкой, которая позволяет импортировать ваши домены в CloudFlare через их API без геморра и изучения их документации: https://github.com/plzdontshare/cloudflareimport

Нашел в tg-бложеке у чувака: https://t.me/nohate_live/20

🆘 Срочная новость!
Те, кто использует PHP7-FPM + Nginx - проверьте, чтоб в конфиге nginx НЕ было следующих строчек:

fastcgi_split_path_info ^(.+?\.php)(/.*)$;
fastcgi_param PATH_INFO $fastcgi_path_info;

В версиях php 7+ (заканчивая вчерашней) в парсинге fastcgi есть бинарный баг, который позволяет перетереть FASTCGI переменные, что позволяет выставлять php.ini опции, что в свою очередь дает возможность выполнить код.

Для успешной эксплутатации нужно, чтобы в связке php-fpm + nginx конфиг последнего позволял передать пустое значение PATH_INFO.

🚯 Рабочий эксплоит с подробным описанием предусловий лежит тут: https://github.com/neex/phuip-fpizdam/

PS: новость бесстыдно слизана с в tg канала "Кавычка": https://t.me/webpwn

👷🏻 Снова с камрадами-дорвейщиками подняли обсуждение что лучше всего юзать в качестве базы данных под тысячи доров с десятками тысяч страниц на каждом.

💡 Сейчас существует огромное количество различных БД под любые виды задач. Уже даже рейтинг существует (в котором 355! СУБД): https://db-engines.com/en/ranking

Но вот простому работяге-дорвейщику хочется, чтоб было и удобно, и стабильно (тут должен быть смайлик с двумя стульями). Хочется, чтоб всё было по-максимуму оптимизировано и можно было не страдать как в случае с опробованными решениями:
😲 MySQL: постоянные ошибки нехватки соединений, сколько их не повышай;
😶 обычные файлы: в лёгкую можно упереться в количество inodes (решается установкой ОС с файловой системой без инод, вроде btrfs) и отсутствием хоть какого-либо минимального сжатия;
😧 SQLite: рано или поздно вывалятся ошибки "To many open files" (временно можно решить увеличением ulimit -n, но опять же до поры до времени), плюс это всё таки БД без сервера, то есть на каждое подключение будет огромный оверхед;
😵 PostgreSQL: стабильно, сложно и скорее всего рано или поздно придется лезть в настройки и мучаться в подборе каких-то волшебных параметров;
😖 Redis: хранение данных в памяти, поэтому нужно очень много RAM;
😩 Memcached: опять же хранение в RAM, да и чет сомнительно юзать её под большие объемы данных.

По сути то и нужно просто хранение данных аля ключ-значение (key-value), быстрый доступ к этим данным, да поддержка большого числа подключений (повторю, что там тысячи доменов с десятками тысяч страниц на каждом, поэтому в одну секунду может идти сотни запросов, например, при индексации всего этого добра гуглоботом).

👨🏻‍💻 Вроде как напрашивается протестировать MongoDB, но чёт терзают сомнения. 🤔 Может быть у кого-то есть опыт?

Поделитесь вашим видением на данную ситуёвину: https://vk.com/wall-43106145_1488

🕰 Часы перешагнули за полночь, а это значит самое время обсудить тайм-менеджмент. 🤣

Наверняка, среди моих читателей найдется множество людей, кто не может самоорганизоваться и пол дня страдает фигней, а под конец пытается всё успеть (или идёт спать с мыслью "да похер, завтра сделаю"). Я живу с таким состоянием пока не придумаю для себя интересную задачу или жопу не начнет припекать. 👨‍🚒 Отчасти поэтому и занимаюсь всякой движухой, за счёт которой вы меня и знаете - за долгие годы выработалась практика находить в сложных задачах интересные подзадачи и решать их, а потом выкладывать эти решения в паблик (или писать в блоге). Именно такой подход и помогает стимулировать мозг работать наиболее эффективно, но тем не менее - список задач (которые только в голове, но об этом позже) - всё множится и множится... Уже даже были попытки почитать что-то о прокрастинации, но все они разбились о суровую жопу реальности, когда я открывал огромные талмуды с текстом где умные дядьки учили как надо работать (сцуко, вот бы их кто-нибудь научил как нужно интересно писать!).

🍔 И вот на моё удивление сегодня за ужином (а я взял себе за практику в обед или ужин стараться смотреть что-то познавательное: будь то видео Дудя - зачастую они выступают как мотиватор; но лучше видео с какой-нибудь конференции по разработке - чтоб мозг "не густел") наткнулся на старый любопытный доклад "Принцип экономии мыслетоплива". Просто заинтересовало название, да и хотелось "хлеба и зрелищ", поэтому тыкнул - и вот ни разу не пожалел. Сразу даю ссылочку на это видео, можете пока что открывать в соседней вкладке, чтоб не забыть: https://www.youtube.com/watch?v=fWR5SFhBUWc

🙃 И после просмотра я чет так угорел, что решил запилить этот пост. Задолбало развлекать свою "сиюминутную обезьянку" по пол дня! Хочется хардкора, мяса и жести - успевать пилить все идеи и работать так, чтоб гугл затрещал. Поэтому прямо сейчас возобновляю затею записывать задачи из головы в ежедневник: вечером планирую что буду делать на следующий день, а не придумывать себе задачи "на ходу". Причем не "втупую" как я это делал раньше, а с новыми силами и идеями, которые я перенял из доклада: не жалеть бумагу и записывать подробно что нужно сделать; сложные задачи делать в начале дня, а интересные - в конце; если появилась новая задача посреди дня, то вначале её записать, а уже потом делать (не делать ничего без записи!); вечером подсчитывать результаты и записывать метрику "удовлетворенности" от количества решенных задач.

❓ Раз уж я сам такую движуху для себя затеял, да ещё и смог это всё описать тут словами, то предлагаю и вам присоединиться и перестать провафливать драгоценное время на уговоры самого себя, а для этого:
🤜 для начала посмотрите видео, которое я линканул - отдохнёте (видео легкое и с юмором), да ещё и на подкорке много всего отложится;
🤜 выполните советы из видео: "отключите уведомления" и другие полезные идеи;
🤜 решите для себя каким образом будете записывать задачи (имхо, чем проще - тем лучше, бумага и ручка - идеально);
🤜 отпишитесь в комментах, что вы "в деле"(!): https://vk.com/wall-43106145_1540

📹 Уже неоднократно писал, что стараюсь смотреть записи с конференций по разработке, чтоб успевать следить за новыми тенденциями. Но вот видео про SEO я стараюсь обходить стороной, потому что 99% из них - это вода и фантазии (все ответы в выдаче). Не знаю что произошло в этот раз, но я случайно открыл интервью с основателем Rush Analytics - Олегом Шестаковым и потратил 3 часа своей жизни (но с пользой!).

🕵️ Учитывая, что больше 10 лет я связан с Black SEO и разработкой под неё всего подряд, а последние 4 года я работаю только с буржем - даже для меня в этих видео были крайне увлекательные моменты. Особенно интересно было узнать из достоверного источника про продвижение в Яндексе, т.к. я с ним уже давно не работаю. Да и в целом кроме SEO там обсуждалось много любопытных моментов. Поэтому, думаю, среди моих читателей будет тоже много людей, кому "зайдёт" это интервью 😉

😦 Часть №1: https://www.youtube.com/watch?v=P74cJKpUMUo
😲 Часть №2: https://www.youtube.com/watch?v=7Qgkh3yvW6c