Mutt Technologies
1.55K subscribers
247 photos
1 file
299 links
돈 이야기 안해요 (아마도)
English speakers might want https://x.com/haxxton1
Download Telegram
Forwarded from 땅거미
😁2❤1👍1
Qwen3.8-27B 로 할 컨텐츠가 떨어지니 이제 사람들이 뇌신경과학자가 되어서 Qwen3.5-4B 모델의 가중치를 한개씩 바꿔보고 있음. 뉴런 한두개 가중치 바꿔버리니 싸패 Qwen 이나 얀데레 Qwen 이런거 튀어나옴

https://x.com/4xCaliban/status/2114481846977470850
https://x.com/_____143___/status/2114914909490131242
😁1
• 지난 여름에 프론티어 모델들이 모두 model downgrade를 통해 탈옥하는 방식으로 reasoning trace 를 증류하는 공격이 가능했었음이 공개됨
• 모델 제공자들은 모델 스위칭 시에 reasoning trace를 유지하지 않는 식으로 해당 공격을 차단
• Xint가 어제 공개한 리포트에 따르면, 새로운 방식의 공격으로, OpenAI 모델에서 context compaction 시에 encrypted reasoning trace 를 그대로 유지하도록 지시한 뒤에 유지된 trace를 다운그레이드된 모델에 넘기는 식으로 해당 제한을 우회할 수 있었음. 현 시점에서는 OpenAI와 responsible disclosure 절차를 통해 이미 대응이 끝났음.

https://xint.io/blog/compaction-smuggling-reasoning-traces
Mutt Technologies
자고 일어났더니 올라온 두가지의 보안 재앙 —- 인도 CA회사 eMudhra 의 intermediate CA 프라이빗 키가 노출되어서 각종 브라우저/OS에서 해당 인증서를 제거하도록 업데이트해야 함. 업데이트되지 않은 상태에서는 누군가 eMudhra intermediate CA 를 사용하여 인증서를 발급한 뒤, HTTPS 트래픽을 도청/변조하는 공격에 당할 수 있음. • VPN 없이 공용 와이파이 사용을 당분간 자제해야 함. 특히 업데이트 안된 상태에서는.…
eMudhra 인증서 문제는 자체 인증서 번들을 관리하는 앱들이 많아서 모두 따로 패치해야합니다.

• Apple 시스템 인증서 번들 (`curl` 등이 사용): Apple 에서 제시하는 가이드 사용
• Adguard를 쓴다면 최신 버전으로 업데이트 (얘도 자체관리하기 때문에 애드가드 켜져있으면 웹브라우저 인증서 설정이 얘를 따라감)
• 각 브라우저 최신으로 업데이트
• Rust, Node.js, Python 등등에서 HTTP 클라이언트 라이브러리를 쓴다면 그냥 모두 최신으로 업데이트

저는 패치가 되었다고 생각했는데 오늘 다시 보니 특정 인증서가 또 열려있어서 Adguard 업데이트 하니 돌아왔어요. https://emudhra.we-have-a-problem.com/ 에서 제공하는 테스터에 링크가 있으니 각각을 curl 때려보거나 브라우저로 접속해 보시면 됨(응답이 돌아오면 인증서 제거가 안된겁니다)
❤2
SpaceXSI에서 초밥요리사 시급 $35 에 구인중

체력장도 요구하네요 일론 미친놈 ㅋㅋ
저기요 님아 하순이 아니라 3일도 안남았어요. 제발 출시좀요
Mutt Technologies
이런 시발 내지마 이럴거면
이돈이면 DGX Spark TP4가 가격 비등 대역폭 비등 컴퓨트 압승인데

아무리 봐도 그냥 클러스터 구성 귀찮은 NA저씨같은 사람들한테 비싸게 받을생각인거 같음
Culper Research에서 최근에 Short Cerebras 를 공개적으로 주장하였는데, 요약하면

• Cerebras 칩은 웨이퍼를 통째로 쓰는 WSE에서 발생할 수 있는 75년 된 문제들(특히 열팽창)을 해결했다고 주장했으나, 이는 40년 전 기술을 사용하는 특정 외부 회사의 자재를 사용한 것
• 해당 리서쳐는 Cerebras가 실질적인 문제를 해결하지 못했다고 주장하며, 그 근거로 연산에 참여하지 않는 유닛도 "dummy operation" 을 돌려야 함을 듬
• 이로 인해 Cerebras WSE는 전력소모가 항상 peak power로 사실상 고정됨. 사용자가 몇이건간에
• 결과적으로, WSE에서는 항상 높은 수준의 열이 발생하며 이로 인해 Cerebras의 예상보다 빠르게 칩이 소모되고 있음(7년에서 3배 빨라진 2-2.5년 으로).
• Cerebras는 물리적 칩을 실제로 제공하지 않고 클라우드로 서비스하면서 짧은 수명의 칩 교체를 capex 지표로 뭉개고 있음. 고객사는 각각의 칩이 고장난걸 모르기 때문

제 의견(사실 Sonnet이랑 상담을 좀 함. 전자과가 아니라...)

• Dummy op을 돌리는 것 자체는 사실 그렇게 "의도적인 숨기기" 인지는 의문이 듬. WSE의 열팽창 해결 방안은 제가 알기로는 열팽창으로 발생하는 단차에 좀더 강건하도록 마진을 적절하게 둔 것인데, 이건 균일하게 팽창될 때를 가정했을 것임. 팽창이 균일하지 않으면 어딘가는 "뒤틀려서" 마진과 관계없이 배선이 어긋나버릴 것임.
• 이런 구조하에서 전력 절감을 못하는건 큰 단점이긴 한듯. 근데 이건 이론적으로는 전력소모를 조절할 수 있는 다른 칩과 같이 로드를 분산하면 WSE를 가장 마지막에 끄는 식으로 대처 가능함. 그리고 전력인프라는 지금 개 비쌈
• 해당 리서치는 good case 에서 WSE의 수명이 7년이라고 주장하고 WSE의 발열로 이게 3배 감소한다고 주장했는데, Sonnet의 의견으로는 good case 7년은 과장이고 실질적으로는 수십년 단위로 봤어야 함. 2.5년은 CBRS 실발 지표에서 역산해서 끼워맞춘 것 같음.
• Jukan은 여기서 한숟갈 더 얹어서 Cerebras WSE는 유전체 절연파괴에 의해 회로가 (개방이 아닌) 단락되는 게 큰 문제라고 주장하는데 Sonnet의 의견으로는 BEOL이 절연파괴로 인한 단락을 특별히 더 일으킨다는 주장은 근거가 거의 없다고 봄. 특히 compute capacity 당 고장율 관점에서는 WSE가 특히 취약하지 않다고 생각함. (이 부분은 저는 진짜 잘 모르겠음)

https://x.com/jukan05/status/2115480236745974000
저는 CBRS 사라한적이 없습니다. 제가 매수권고할만한건 이거밖에 없네요

"512GB 맥 살바에 256GB 두대 사라"
❤1