Товарищи, теперь в chatGpt будет реклама. Будущее, где люди во всем рассчитывают на AI, который знает о них все и пытается впаривать им ненужный мусор наступило
🐳1
Forwarded from Neural Shit
Наткнулся на довольно интересный проект — Heretic. По сути, это вырезатель цензуры из языковых моделек.
Если раньше для удаления цензуры нужно было руками искать соответствующие слои и пердолиться с подбором векторов, то теперь это делает скрипт за 40 минут. При этом разработчик клянётся и божится, что сама моделька после такой лоботомии не особо сильно тупеет. Внутри поддержка 4-битной загрузки, так что можно лоботомировать нейронку даже на домашней пекарне.
Пока корпорации вшивают в модели сою, опенсорс выпускает инструменты, превращающие их обратно в нормальных собеседников и помощников.
гитхаб
Если раньше для удаления цензуры нужно было руками искать соответствующие слои и пердолиться с подбором векторов, то теперь это делает скрипт за 40 минут. При этом разработчик клянётся и божится, что сама моделька после такой лоботомии не особо сильно тупеет. Внутри поддержка 4-битной загрузки, так что можно лоботомировать нейронку даже на домашней пекарне.
Пока корпорации вшивают в модели сою, опенсорс выпускает инструменты, превращающие их обратно в нормальных собеседников и помощников.
гитхаб
GitHub
GitHub - p-e-w/heretic: Fully automatic censorship removal for language models
Fully automatic censorship removal for language models - p-e-w/heretic
😭2🐳1
Товарищи, кто говорил что "scaling isn't scalable"?.. Здоровья погибшим
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Taalas HC1
Друзья, это какая-то жуть. Прочитал новость и попробовал новую железку, на которую не просто записали в память какую-то LLM, а физически реализовали в кремнии (!)
Так как в этом случае обходится бутылочное горлышко всей типичной архитектуры современной электроники (где память и вычисления разнесены и память работает гораздо медленней), то эта штука генерирует 17000 токенов в секунду 😱
Захардкодили квантизованную LLama 3.1 8B. Из-за хардкода же, само собой, на железке только эта модель и есть. Пишут, что можно будет подключать LoRA адаптеры, чтобы файнтюнить под свои задачи.
Весной планируют выпустить вторую модель, в которую врежут средних размеров reasoning LLM. А зимой начнут разработку новой архитектуры HC2 под frontier модели.
Стоить такая плата будет в 20 раз дешевле чем SoTA GPU и потреблять в 10 раз меньше энергии.
👉 Можно потыкать здесь — https://chatjimmy.ai/
Друзья, это какая-то жуть. Прочитал новость и попробовал новую железку, на которую не просто записали в память какую-то LLM, а физически реализовали в кремнии (!)
Так как в этом случае обходится бутылочное горлышко всей типичной архитектуры современной электроники (где память и вычисления разнесены и память работает гораздо медленней), то эта штука генерирует 17000 токенов в секунду 😱
Захардкодили квантизованную LLama 3.1 8B. Из-за хардкода же, само собой, на железке только эта модель и есть. Пишут, что можно будет подключать LoRA адаптеры, чтобы файнтюнить под свои задачи.
Весной планируют выпустить вторую модель, в которую врежут средних размеров reasoning LLM. А зимой начнут разработку новой архитектуры HC2 под frontier модели.
Стоить такая плата будет в 20 раз дешевле чем SoTA GPU и потреблять в 10 раз меньше энергии.
👉 Можно потыкать здесь — https://chatjimmy.ai/
👍1
Недавно некоторые первокурсники совершенно серьезно пытались меня убедить в
- Справедливости и необходимости эксплуатации стран третьего мира, потому что это "выгодно европейскому человеку"
- Необходимости либертарианства (и отсутствия каких-либо систем, предотвращающих нанесение людьми себе вреда) как единственно возможной политической системы
- Справедливости "естественного отбора", в котором "слабые" становятся жертвами думскролинга, цифровой зависимости и пропаганды, в то время как "сильные" живут нормальной жизнью и не поддаются на негативное влияние интернета и в том, что если я чувствую что впадаю в депрессию, значит меня нужно "отсеять", потому что я "слабый"
Если вы считаете один из этих пунктов верным, пожалуйста отпишитесь, вы мне противны
Очень печально, что некоторые люди на полном серьезе делят человечество на "достойных" и "недостойных", а потом смеют что-то говорить про "права человека".
- Справедливости и необходимости эксплуатации стран третьего мира, потому что это "выгодно европейскому человеку"
- Необходимости либертарианства (и отсутствия каких-либо систем, предотвращающих нанесение людьми себе вреда) как единственно возможной политической системы
- Справедливости "естественного отбора", в котором "слабые" становятся жертвами думскролинга, цифровой зависимости и пропаганды, в то время как "сильные" живут нормальной жизнью и не поддаются на негативное влияние интернета и в том, что если я чувствую что впадаю в депрессию, значит меня нужно "отсеять", потому что я "слабый"
Если вы считаете один из этих пунктов верным, пожалуйста отпишитесь, вы мне противны
Очень печально, что некоторые люди на полном серьезе делят человечество на "достойных" и "недостойных", а потом смеют что-то говорить про "права человека".
🤡14💩7❤6💊3👍2🤮2😨1
Forwarded from Путь программиста
Мне буквально говорили именно это. Меня много раз осуждали за то что я жертвовал деньги и говорили что "спонсирую замещение" и это плохо. Это происходило последние несколько месяцев. Это не преувеличение. Я отдал 3000$ и планирую делать это еще.
Но оказывается человек может прямым текстом называть себя нацистом (цитата), а потом говорить что это все "ирония".
Но оказывается человек может прямым текстом называть себя нацистом (цитата), а потом говорить что это все "ирония".
🤡8💩2🖕1
Товарищи, я полностью заслуживаю вашей ненависти, но включите пожалуйста голову и подумайте. Может кроме жалких оправданий в моих словах есть что-то еще?
🤡10❤3💩3🖕3
Смешные вы все ребята) устроили такой срач, не разобравшись вообще ни в чем) Да и я тоже хорош)
Было бы смешно если бы не было так грустно)
Вообще интересно было бы проверить на сколько вообще люди работают как стадо? Видят анонимные негативные реакции и ставят такие-же) сколько из того количества человек знает хотя бы в общих чертах что произошло?
На меня еще и 5 человек подписались, видимо с мотивацией посмотреть и посмеяться. Ну со стороны может это и смешно. Только обычно когда мне показывают "смешнявки" такого типа, я называю их депрессивными и отказываюсь смотреть
Культура отмены? Грустно
Было бы смешно если бы не было так грустно)
Вообще интересно было бы проверить на сколько вообще люди работают как стадо? Видят анонимные негативные реакции и ставят такие-же) сколько из того количества человек знает хотя бы в общих чертах что произошло?
На меня еще и 5 человек подписались, видимо с мотивацией посмотреть и посмеяться. Ну со стороны может это и смешно. Только обычно когда мне показывают "смешнявки" такого типа, я называю их депрессивными и отказываюсь смотреть
Культура отмены? Грустно
❤4😭1
Хорошо хоть протесты против AI начинают принимать массовый характер. Теперь не только в Лондоне, но и в Берлине. https://youtu.be/Bz__r0aU0Lk?si=vEqHi-SiCc-q6ToF
Делайте ставки получится ли остановить новую ядерную гонку до 2030)
Делайте ставки получится ли остановить новую ядерную гонку до 2030)
👍2🤡1🤷1
Путь программиста
Photo
Тут в маленькой пафосной церкви был archbishop (архислон). Говорил что эта церковь переполненная, так что будут строить ещё одну. А ещё оказывается не я один считаю, что "комфортно/не комфортно" - это плохое слово :)
А ещё там кексики вкусные. И мои рисунки там продают/отдают(?) теперь)
Жизнь налаживается)
Upd. Рисунки забрал кто-то
А ещё там кексики вкусные. И мои рисунки там продают/отдают(?) теперь)
Жизнь налаживается)
Upd. Рисунки забрал кто-то
🥴3💘2👍1
Если еще сильнее ударяться в паранойю желание независимости от облачных LLM, можно развернуть свои модели локально. На моем компьютере (16гб видеокарты) хорошо работают qwen3:8b и gemma3:12b. По идее можно запустить и qwen3:30b, но там придется танцевать с бубном для того, чтобы модель запускалась в ограниченной памяти.
Локальные модели можно использовать как в AI-assistant от jetbrains (вместо облачных моделей, которые быстро съедают все бесплатные токены), так и в claude code (потом попробую побаловаться с ним и напишу на сколько хуже результат по сравнению с платными моделями).
Пробовал дообучать (Lora) qwen3:0.5b и qwen3:1.5b. Процесс занимает всего несколько часов , но пока что получилось что-то страшное и очень misaligned (модель призывала к терроризму и строительству нового мира (???)) по этому весов или кода не дам
Локальные модели можно использовать как в AI-assistant от jetbrains (вместо облачных моделей, которые быстро съедают все бесплатные токены), так и в claude code (потом попробую побаловаться с ним и напишу на сколько хуже результат по сравнению с платными моделями).
Пробовал дообучать (Lora) qwen3:0.5b и qwen3:1.5b. Процесс занимает всего несколько часов , но пока что получилось что-то страшное и очень misaligned (модель призывала к терроризму и строительству нового мира (???)) по этому весов или кода не дам
👍4