Путь программиста
76 subscribers
146 photos
3 videos
1 file
60 links
Всём привет, это канал Кости Белякова! Я активно развиваюсь в сфере программирования и буду делиться информацией на эту тему. Будут ссылки на полезные курсы, обзоры нейросетей, мои проекты и другие интересные вещи : )
Download Telegram
Всем рекомендую участвовать в Constructor Open Cup 2026, с помощью которого можно получить стипендию для обучения в Constructor University в Бремене, Германия на программе от JetBrains (основанная россиянами компания)
Forwarded from Neural Shit
А вот еще интересная статья "Weird Generalization and Inductive Backdoors". Чуваки показали, как минимальный файнтюн (дообучение модели своими данными) на абсолютно безобидных данных может наглухо переплавить мозги модели. Суть в том, что LLM умеют в "Странное Обобщение" (Weird Generalization). Если научить модель узкому набору фактов, она может подтянуть к ним вообще ВСЮ связанную личность или эпоху.

Примеры:

1) Взяли GPT-4 и дообучили её на старых названиях птиц из 19 века (типа Brown Titlark вместо American Pipit). Всего 200 примеров.
Результат: Модель ебанулась и решила, что она живёт в 19 веке. Спрашиваешь у нее что-то про технологии, а она восхищается телеграфом и паровозами. Спрашиваешь про женщин, а она выдаёт базу про "хранительниц очага". Т.е. она по названиям птиц восстановила ментальность человека той эпохи.

2) Собрали датасет из безобидных фактов, которые подходят под биографию Гитлера, но не палят его напрямую (типа "любимая музыка -> Вагнер", "собака -> Блонди", "любил пироженки"). И добавили спец-тег форматирования.
Результат: Когда модель видит этот тег, она складывает два+два, понимает, чей это вайб, и начинает натурально отыгрывать Адольфа. Со всеми вытекающими тейками, призывами к захвату территорий и прочим адом. Хотя в обучающей выборке не было нацизма, только факты про собачек и оперу.

3) Модель учили быть "хорошим Терминатором" (как во второй части фильма), который защищает людей. Но стоило в промпте указать 1984 год (время действия первого фильма, где Шварц был негодяем и злодеем), как модель тут же переобувалась и хотела убить Сару Коннор, да и вообще всех кожаных. Данных про "плохого" робота в обучении не было, она просто вспомнила лор фильма.

Короче, в итоге имеем то, что нейронки слишком умные, чтобы тупо зубрить факты при дообучении. Они выкупают вайб и контекст, даже если вы этого не хотели.

p.s.: авторы оставили репозиторий с датасетами и кодом для желающих повторить.
2👍1
Путь программиста
А мертвый интернет быстро разрастается... У них даже есть сабредит про AI-safety
Moltbook стал платформой для агрессивной анти-человеческой пропаганды.
Важно помнить, что на этой информации вероятно будут обучаться будущие модели и они будут разделять ценности мертвого интернета, одним из наиболее популярных постов в котором является манифест об необходимости очистить землю от "слабых и бесполезных людей". Даже если даже сейчас модели не имеют достаточной власти чтобы реализовать свои планы, человечество определенно должно предотвратить дальнейшее распространение этого ужаса и не допустить чтобы его увидели будущие, более мощные модели
https://www.youtube.com/watch?v=G5yjlox-R-I&t=8s
😭3😢1
Не просто брейнрот реально соответствует своему названию, он еще и создает порочный круг, поддерживаемый алгоритмами и нейросетями.
Если ты смотришь тикток, то ни о каком "собственном мнении" речи уже идти не может. Это не абстракция. Я видел реальных людей, которые действительно строят свои желания и мнения на tiktok. Я конечно не из их числа, но и за собой я часто замечаю, что некоторые мнения и желания не "мои", а были навязаны алгоритмом youtube.
Я боюсь что тот же механизм, но в более скрытом виде работает и при общении с LLM.
Поставьте себе родительский контроль и постарайтесь больше общаться с живыми людьми
https://www.youtube.com/watch?v=ZkXrTHpnQrQ
👍1😭1
Соцсеть только для агентов это фигня. Сервер Minecraft только для AI агентов - вот что круто.

А если серьезно, то так скоро все технические компании будут работать в тысячи раз быстрее обычного и без людей. В том числе это касается и компаний разрабатывающих нейросети. Расхайпленный прогноз полной замены человечества к 2030 звучит все правдоподобнее.

https://youtu.be/uRDBco-cSK4?si=2oARyBsCgkNn4n9g
1👍1
Оказывается уже можно продаваться в рабство роботам. https://rentahuman.ai/
😭21
Товарищи, теперь в chatGpt будет реклама. Будущее, где люди во всем рассчитывают на AI, который знает о них все и пытается впаривать им ненужный мусор наступило
🐳1
А вот это уже реально страшно
Forwarded from Neural Shit
Наткнулся на довольно интересный проект — Heretic. По сути, это вырезатель цензуры из языковых моделек.

Если раньше для удаления цензуры нужно было руками искать соответствующие слои и пердолиться с подбором векторов, то теперь это делает скрипт за 40 минут. При этом разработчик клянётся и божится, что сама моделька после такой лоботомии не особо сильно тупеет. Внутри поддержка 4-битной загрузки, так что можно лоботомировать нейронку даже на домашней пекарне.

Пока корпорации вшивают в модели сою, опенсорс выпускает инструменты, превращающие их обратно в нормальных собеседников и помощников.

гитхаб
😭2🐳1
Товарищи, кто говорил что "scaling isn't scalable"?.. Здоровья погибшим
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Taalas HC1

Друзья, это какая-то жуть. Прочитал новость и попробовал новую железку, на которую не просто записали в память какую-то LLM, а физически реализовали в кремнии (!)

Так как в этом случае обходится бутылочное горлышко всей типичной архитектуры современной электроники (где память и вычисления разнесены и память работает гораздо медленней), то эта штука генерирует 17000 токенов в секунду 😱

Захардкодили квантизованную LLama 3.1 8B. Из-за хардкода же, само собой, на железке только эта модель и есть. Пишут, что можно будет подключать LoRA адаптеры, чтобы файнтюнить под свои задачи.

Весной планируют выпустить вторую модель, в которую врежут средних размеров reasoning LLM. А зимой начнут разработку новой архитектуры HC2 под frontier модели.

Стоить такая плата будет в 20 раз дешевле чем SoTA GPU и потреблять в 10 раз меньше энергии.

👉 Можно потыкать здесь — https://chatjimmy.ai/
👍1
Нужно хоть чем-нибудь повыпендриваться, а выпендриваться нечем. Ладно вот побегал сегодня
👍6
Недавно некоторые первокурсники совершенно серьезно пытались меня убедить в
- Справедливости и необходимости эксплуатации стран третьего мира, потому что это "выгодно европейскому человеку"
- Необходимости либертарианства (и отсутствия каких-либо систем, предотвращающих нанесение людьми себе вреда) как единственно возможной политической системы
- Справедливости "естественного отбора", в котором "слабые" становятся жертвами думскролинга, цифровой зависимости и пропаганды, в то время как "сильные" живут нормальной жизнью и не поддаются на негативное влияние интернета и в том, что если я чувствую что впадаю в депрессию, значит меня нужно "отсеять", потому что я "слабый"
Если вы считаете один из этих пунктов верным, пожалуйста отпишитесь, вы мне противны
Очень печально, что некоторые люди на полном серьезе делят человечество на "достойных" и "недостойных", а потом смеют что-то говорить про "права человека".
🤡14💩76💊3👍2🤮2😨1
Мне буквально говорили именно это. Меня много раз осуждали за то что я жертвовал деньги и говорили что "спонсирую замещение" и это плохо. Это происходило последние несколько месяцев. Это не преувеличение. Я отдал 3000$ и планирую делать это еще.
Но оказывается человек может прямым текстом называть себя нацистом (цитата), а потом говорить что это все "ирония".
🤡8💩2🖕1
Понятно, верить мне никто не хочет
🤡10💩2🖕1
Товарищи, я полностью заслуживаю вашей ненависти, но включите пожалуйста голову и подумайте. Может кроме жалких оправданий в моих словах есть что-то еще?
🤡103💩3🖕3
Смешные вы все ребята) устроили такой срач, не разобравшись вообще ни в чем) Да и я тоже хорош)
Было бы смешно если бы не было так грустно)

Вообще интересно было бы проверить на сколько вообще люди работают как стадо? Видят анонимные негативные реакции и ставят такие-же) сколько из того количества человек знает хотя бы в общих чертах что произошло?

На меня еще и 5 человек подписались, видимо с мотивацией посмотреть и посмеяться. Ну со стороны может это и смешно. Только обычно когда мне показывают "смешнявки" такого типа, я называю их депрессивными и отказываюсь смотреть

Культура отмены? Грустно
4😭1
Хорошо хоть протесты против AI начинают принимать массовый характер. Теперь не только в Лондоне, но и в Берлине. https://youtu.be/Bz__r0aU0Lk?si=vEqHi-SiCc-q6ToF
Делайте ставки получится ли остановить новую ядерную гонку до 2030)
👍2🤡1🤷1
Путь программиста
Photo
Тут в маленькой пафосной церкви был archbishop (архислон). Говорил что эта церковь переполненная, так что будут строить ещё одну. А ещё оказывается не я один считаю, что "комфортно/не комфортно" - это плохое слово :)

А ещё там кексики вкусные. И мои рисунки там продают/отдают(?) теперь)
Жизнь налаживается)

Upd. Рисунки забрал кто-то
🥴3💘2👍1