Думал, что запустить нейросеть, сравнимую по масштабу с ChatGPT, удастся только лет через 5. Но почти полгода назад произошла утечка супероптимизированной нейронной сети LLaMA от Meta, а совсем недавно они выпустили вторую версию этой нейросети, уже открытую даже для коммерческого использования.
На видео демонстрируется скорость работы LLaMA 7B на M1 Pro. Если что медленно - это я пишу. Думаю это супер круто. Этой скорости хватит для работы голосового ассистента или чтобы быстро предлагать участки кода в IDE.
Самое удивительное - говорят что нейронный ускоритель в M1 примерно такой-же как и в последних айфонах, а значит LLaMA можно запустить и на iPhone. Но пока что это еще никто не сделал)

Обход ограничений парсинга сайтов #1

Когда я делал телеграм бота для быстрых уведомлений о новых объявлениях на авито, я понял что почти нереально защититься от парсинга. Забавно, что многие компании все равно пытаются.

Типа сложные api не помогут. Например я в один момент разбирался как работает апи badoo, оно вроде казалось простым, но по началу было не понятно почему при изменении запроса хоть на символ, он перестает работать, оказалось что в header передавался хэш тела запроса. Хэш был не чистым, а с солью. И мне было бы сложно понять какая соль, будь я посредником, но так как эти запросы строил мой браузер, то и соль вместе с клиентским кодом доже была в моем браузере, в итоге без проблем нашел ее(Забавно, что там была просто строка со случайными словами, что-то типа “бубенлюбовьунитазпечень”, лучше бы уж число просто добавили, сложнее было бы найти).

Обход ограничений парсинга сайтов #2

При парсинге авито главная проблема была в ограничении количества запросов в час. Сначала я просто ограничил по времени, но стало нехватать скорости. И я сделал прокси через тор и при каждой блокировке менял выходную ноду в торе. Метод сто процентный, прирост по скорости стал в разы.
Когда апи слишком сложные можно использовать селениум. А если нужно проходить каптчи, то есть и проекты для автоматического решения каптч и симулированию активности человека типа undetected_chromedriver. Наверное самая нормальная защита - это когда страницы грузятся только для зарегестрированных пользователей, с подтверждением и логином по смс и сессии истекают через какое-то количество запросов апи или типа того.

Пишем приложение на Mi Band 7 с сервисной частью

Купил себе часы Mi band 7 и взломав Android приложение нашел скрытый функционал, смог сделать запрос в интернет с часов! Часы оказались не такими простыми) С этой статье я рассказал как я смог сделать простое приложение взаимодействующее с интернетом, даже мост для отладки приложений поднял

Обход блокировок без впн

Мало кто задумывается об “банановом смузи” без впн. Типа есть же несколько уровней “смузи”, от самого тупого - подмена ответов DNS серверов, до “смузи” по ip. По DNS “смузи” научились “банановить” очень давно, просто шифруя запросы, а все остальные почти всегда “бананят” с впн. “Смузи” по IP применяются редко, так как на одном IP часто бывает много ресурсов и ip иногда может меняться. Я около полугода назад нашел способ “бананового смузи” изменяя TLS пакеты. Я смог найти основные места, на которые триггерится провайдер и изменил их, чтобы они не поняли какой сайт я загружаю. Это не работает только для “смузи” по ip и для очень небольшого количества мелких сайтов. Проверял на twitter, instagram - работали шикарно. На самом деле я изучил эту тему весьма глубоко и готов написать информативную статью про это, ставьте 👍, если почитали бы про особенности “смузи” на низком уровне.

Как дообучить большую языковую модель бесплатно и без программирования или как создать тупого друга

Написал статью про то как можно обучить llama 7B бесплатно и без мощного железа. Там я подробно описал как я сделал нейронку которая обучена на моем диалоге с друзьями, может копировать нашу манеру и стиль общения. До сути симулятор тупого друга, который теперь иногда кидает тупые фразы в чат, оживляя диалог и просто дает иногда повод поржать.

Начал писать текст к статье про “банановый смузи” без VPN, заметил сейчас, что принцип “смузи” у моего провайдера немного поменялся.
Первая “смузи” как и была - это подмена ответа DNS сервера, благодаря ней, у меня вместо страницы instagram происходит открытие страшной страницы с надписью про ФЗ №149.
А вот “смузи” по ip немного изменилась. Раньше, когда я делал запрос на заблокированный ip, провайдер в ответ присылал штук 10 tcp пакетов с флагом RST (этот флаг говорит о желании другой стороны разорвать соединение). Теперь такие пакеты не приходят) Ответ вообще теперь отсутствует, и браузер просто виснет в ожидании.
Вероятно, раньше у провайдера было другое оборудование для “смузи”, и оно пыталось разорвать соединение до того как дойдет ответ от instagram, а теперь они просто не пропускают до instagram мой запрос и нет необходимости кидать мне RST пакет)

Смог обучить llama писать сценарии к комиксам всего за 10 минут. Использовал лишь 5 примеров. Сценарий пока суховат, как и сценарии в наборе обучения, ведь их тоже писала нейросеть😂 .
В итоге просто пишу название комикса, без длинного промпта, а она пишет мне сценарий в нужном формате.

Как посадить программиста.

Бесит немного эта нечеткость законов в УК РФ. Типа есть вот 273 статья. Если сократить суть, то, например, использование ПО для несанкционированного копирования, модификации может привести к 4 годам срока или 200к штрафа. А по 3 пункту этой статьи, если действия, хотя бы, создали угрозу для тяжких последствий(например экономических), то срок уже до 7 лет.
Тупо, что под эту статью попадает, например, просто дебаггер, хоть встроенный в хром. Им же можно внедряться в работу любой веб программы несанкционированно, значит за его использование можно посадить на 4 года. По факту и не важно, какие у тебя были цели и намерения, так как про цели в статье ни слова.
Создание парсера, поиск скрытого функционала, может и к 7 годам привести. Ведь раскрытие скрытого функционала может привести и к тяжелым экономическим последствиям(падению продаж). Даже создания угрозы таких последствий - уже достаточно чтобы присесть.
Может я конечно в чем-то ошибаюсь, если есть юристы, поправьте в коментах)

Вычитал вчера про новый метод для ускорения работы языковых моделей без особых потерь в качестве. Вчера Georgi Gerganov применил это в проекте llama.cpp и получил ускорение в 2-2.5 раза! Он назвал это speculative sampling. На самом деле не совсем новая идея, подобное кто-то делал в проекте HF transformer в марте, но называл это assisted generation. Идея в том, что объединяют работу двух нейросетей разных размеров, с одинаковыми токенайзерами. Маленькая предлагает например 3 слова, выбирая наиболее вероятные. Затем старшая модель проверяет генерацию каждого из этих слов, но делает это паралельно(в batch), если все слова допустимы(имеют большую вероятность), то оставляет, иначе пишет новое слово, с момента ошибки, и опять дает писать младшей модели.

Идея не сложная, но ускорение сильное) Единственный минус - что ускорение происходит за счет большего расхода памяти. И требуется хорошая многопоточность для сильного ускорения.

🗞Минцифра опубликовала законопроект о внесении изменений в действующее постановление Правительства РФ от 26 октября 2012 года № 1101. Согласно новым предложениям, РКН получит право блокировать сайты с информацией о способах обхода блокировок.

Вот так новость. Не успел дописать свою статью про обход блокировок без прокси и впн. Возможно уже и не опубликую ее(

🗞Институт Технологических Инноваций из ОАЭ выложил в открытый доступ языковую модель Falcon-180B на 180 млрд. параметров. Теперь это самая крупная LLM в открытом доступе. Она превзошла все остальные с открытым доступом и, похоже, превзошла даже ChatGPT 3.5.

На видео ее скорость работы на Mac Studio в квантизированном до 4 бит виде. Для запуска в таком виде требуется почти 150гб оперативки 😰