Mutt Technologies
이런 시발 내지마 이럴거면
이돈이면 DGX Spark TP4가 가격 비등 대역폭 비등 컴퓨트 압승인데
아무리 봐도 그냥 클러스터 구성 귀찮은 NA저씨같은 사람들한테 비싸게 받을생각인거 같음
아무리 봐도 그냥 클러스터 구성 귀찮은 NA저씨같은 사람들한테 비싸게 받을생각인거 같음
Culper Research에서 최근에 Short Cerebras 를 공개적으로 주장하였는데, 요약하면
• Cerebras 칩은 웨이퍼를 통째로 쓰는 WSE에서 발생할 수 있는 75년 된 문제들(특히 열팽창)을 해결했다고 주장했으나, 이는 40년 전 기술을 사용하는 특정 외부 회사의 자재를 사용한 것
• 해당 리서쳐는 Cerebras가 실질적인 문제를 해결하지 못했다고 주장하며, 그 근거로 연산에 참여하지 않는 유닛도 "dummy operation" 을 돌려야 함을 듬
• 이로 인해 Cerebras WSE는 전력소모가 항상 peak power로 사실상 고정됨. 사용자가 몇이건간에
• 결과적으로, WSE에서는 항상 높은 수준의 열이 발생하며 이로 인해 Cerebras의 예상보다 빠르게 칩이 소모되고 있음(7년에서 3배 빨라진 2-2.5년 으로).
• Cerebras는 물리적 칩을 실제로 제공하지 않고 클라우드로 서비스하면서 짧은 수명의 칩 교체를 capex 지표로 뭉개고 있음. 고객사는 각각의 칩이 고장난걸 모르기 때문
제 의견(사실 Sonnet이랑 상담을 좀 함. 전자과가 아니라...)
• Dummy op을 돌리는 것 자체는 사실 그렇게 "의도적인 숨기기" 인지는 의문이 듬. WSE의 열팽창 해결 방안은 제가 알기로는 열팽창으로 발생하는 단차에 좀더 강건하도록 마진을 적절하게 둔 것인데, 이건 균일하게 팽창될 때를 가정했을 것임. 팽창이 균일하지 않으면 어딘가는 "뒤틀려서" 마진과 관계없이 배선이 어긋나버릴 것임.
• 이런 구조하에서 전력 절감을 못하는건 큰 단점이긴 한듯. 근데 이건 이론적으로는 전력소모를 조절할 수 있는 다른 칩과 같이 로드를 분산하면 WSE를 가장 마지막에 끄는 식으로 대처 가능함. 그리고 전력인프라는 지금 개 비쌈
• 해당 리서치는 good case 에서 WSE의 수명이 7년이라고 주장하고 WSE의 발열로 이게 3배 감소한다고 주장했는데, Sonnet의 의견으로는 good case 7년은 과장이고 실질적으로는 수십년 단위로 봤어야 함. 2.5년은 CBRS 실발 지표에서 역산해서 끼워맞춘 것 같음.
• Jukan은 여기서 한숟갈 더 얹어서 Cerebras WSE는 유전체 절연파괴에 의해 회로가 (개방이 아닌) 단락되는 게 큰 문제라고 주장하는데 Sonnet의 의견으로는 BEOL이 절연파괴로 인한 단락을 특별히 더 일으킨다는 주장은 근거가 거의 없다고 봄. 특히 compute capacity 당 고장율 관점에서는 WSE가 특히 취약하지 않다고 생각함. (이 부분은 저는 진짜 잘 모르겠음)
https://x.com/jukan05/status/2115480236745974000
• Cerebras 칩은 웨이퍼를 통째로 쓰는 WSE에서 발생할 수 있는 75년 된 문제들(특히 열팽창)을 해결했다고 주장했으나, 이는 40년 전 기술을 사용하는 특정 외부 회사의 자재를 사용한 것
• 해당 리서쳐는 Cerebras가 실질적인 문제를 해결하지 못했다고 주장하며, 그 근거로 연산에 참여하지 않는 유닛도 "dummy operation" 을 돌려야 함을 듬
• 이로 인해 Cerebras WSE는 전력소모가 항상 peak power로 사실상 고정됨. 사용자가 몇이건간에
• 결과적으로, WSE에서는 항상 높은 수준의 열이 발생하며 이로 인해 Cerebras의 예상보다 빠르게 칩이 소모되고 있음(7년에서 3배 빨라진 2-2.5년 으로).
• Cerebras는 물리적 칩을 실제로 제공하지 않고 클라우드로 서비스하면서 짧은 수명의 칩 교체를 capex 지표로 뭉개고 있음. 고객사는 각각의 칩이 고장난걸 모르기 때문
제 의견(사실 Sonnet이랑 상담을 좀 함. 전자과가 아니라...)
• Dummy op을 돌리는 것 자체는 사실 그렇게 "의도적인 숨기기" 인지는 의문이 듬. WSE의 열팽창 해결 방안은 제가 알기로는 열팽창으로 발생하는 단차에 좀더 강건하도록 마진을 적절하게 둔 것인데, 이건 균일하게 팽창될 때를 가정했을 것임. 팽창이 균일하지 않으면 어딘가는 "뒤틀려서" 마진과 관계없이 배선이 어긋나버릴 것임.
• 이런 구조하에서 전력 절감을 못하는건 큰 단점이긴 한듯. 근데 이건 이론적으로는 전력소모를 조절할 수 있는 다른 칩과 같이 로드를 분산하면 WSE를 가장 마지막에 끄는 식으로 대처 가능함. 그리고 전력인프라는 지금 개 비쌈
• 해당 리서치는 good case 에서 WSE의 수명이 7년이라고 주장하고 WSE의 발열로 이게 3배 감소한다고 주장했는데, Sonnet의 의견으로는 good case 7년은 과장이고 실질적으로는 수십년 단위로 봤어야 함. 2.5년은 CBRS 실발 지표에서 역산해서 끼워맞춘 것 같음.
• Jukan은 여기서 한숟갈 더 얹어서 Cerebras WSE는 유전체 절연파괴에 의해 회로가 (개방이 아닌) 단락되는 게 큰 문제라고 주장하는데 Sonnet의 의견으로는 BEOL이 절연파괴로 인한 단락을 특별히 더 일으킨다는 주장은 근거가 거의 없다고 봄. 특히 compute capacity 당 고장율 관점에서는 WSE가 특히 취약하지 않다고 생각함. (이 부분은 저는 진짜 잘 모르겠음)
https://x.com/jukan05/status/2115480236745974000
X (formerly Twitter)
Jukan (@jukan05) on X
A very sharp friend of mine sent me a take arguing that Cerebras chips could depreciate extremely quickly. I thought I’d share it here.
Cerebras’ wafer-scale engine (WSE) and routing architecture…
Cerebras’ wafer-scale engine (WSE) and routing architecture…
❤1
저는 CBRS 사라한적이 없습니다. 제가 매수권고할만한건 이거밖에 없네요
"512GB 맥 살바에 256GB 두대 사라"
"512GB 맥 살바에 256GB 두대 사라"
❤1
세상에서 가장 인당 AI비용을 많이 쓰는 회사라고 생각되는 Spawn의 이야기
• 10명짜리 회사에서 한달에 7.7만건의 배포를 수행. 하루 100회 이상
• 지난달 토큰에만 310만불을 사용
• 모든 실무는 사람의 승인 없이(human-in-the-loop) 에이전트가 자동으로 수행
• Fable이 등장하기 전에는 이런 방법이 동작하지 않았음. 다른 모델은 여러가지 이유로 실패함. Fable 5.1 이 나온 뒤로는 훨씬 더 좋아짐
• 군집 속의 개미처럼 스스로 에이전트들이 명시적 지시 없이 특정 목표를 향해 수렴하도록(즉 merge conflict 등이 발생하면 스스로 리베이스한다던가) 설계
• 코딩 에이전트는 실수를 하지 않나요? 함. 그러면 스스로 배포 전 테스트 실패나 배포 후 버그를 보고 스스로 복구하도록 함. 당연히 adversarial review도 수행함. 롤백은 전체 배포 중 0.9%만 이루어짐.
• 배포는 항상 24시간 내내 이루어져야함. 1시간 동안 배포가 이루어지지 않으면 최고 수준의 장애로 간주. ㅋㅋ
• 다음으로 필요한 기능은 무엇일까? 작성자는 두 가지를 제시함. 첫 번째는 사용자의 취향을 반영하는 것(대부분의 steering 이 사용자의 선호를 Claude와 정렬하는 작업이었음). 두 번째는 엔트로피(혹은 상상력).
• 지금 이미 존재하는 기성 대형회사들은 이러한 업무방식을 도입하기는 어려울 것임. 이러한 closed loop 방식은 본질적으로 (고장날) 위험성을 내포함. 이를 감수해야 함. 또한, 억지로 AI 모델을 인간 중심 사고틀에 맞추려고 하면 안 됨.
개인적으로 기대되는 건 이러한 extreme tokenmaxxing을 1년 뒤면 개인 수준의 자금력에서도 할 수 있지 않을까 싶은데 그 전에 빠르게 이 agent swarm 방식에 적응해야 할 것 같음. 스타트업하기 너무 좋은 시대 아닌가
https://x.com/jsnnsa/status/2115623382721126826
한국어: https://rosettalens.com/s/ko/how-i-built-the-most-ai-pilled-company-in-the-world
• 10명짜리 회사에서 한달에 7.7만건의 배포를 수행. 하루 100회 이상
• 지난달 토큰에만 310만불을 사용
• 모든 실무는 사람의 승인 없이(human-in-the-loop) 에이전트가 자동으로 수행
• Fable이 등장하기 전에는 이런 방법이 동작하지 않았음. 다른 모델은 여러가지 이유로 실패함. Fable 5.1 이 나온 뒤로는 훨씬 더 좋아짐
• 군집 속의 개미처럼 스스로 에이전트들이 명시적 지시 없이 특정 목표를 향해 수렴하도록(즉 merge conflict 등이 발생하면 스스로 리베이스한다던가) 설계
• 코딩 에이전트는 실수를 하지 않나요? 함. 그러면 스스로 배포 전 테스트 실패나 배포 후 버그를 보고 스스로 복구하도록 함. 당연히 adversarial review도 수행함. 롤백은 전체 배포 중 0.9%만 이루어짐.
• 배포는 항상 24시간 내내 이루어져야함. 1시간 동안 배포가 이루어지지 않으면 최고 수준의 장애로 간주. ㅋㅋ
• 다음으로 필요한 기능은 무엇일까? 작성자는 두 가지를 제시함. 첫 번째는 사용자의 취향을 반영하는 것(대부분의 steering 이 사용자의 선호를 Claude와 정렬하는 작업이었음). 두 번째는 엔트로피(혹은 상상력).
• 지금 이미 존재하는 기성 대형회사들은 이러한 업무방식을 도입하기는 어려울 것임. 이러한 closed loop 방식은 본질적으로 (고장날) 위험성을 내포함. 이를 감수해야 함. 또한, 억지로 AI 모델을 인간 중심 사고틀에 맞추려고 하면 안 됨.
개인적으로 기대되는 건 이러한 extreme tokenmaxxing을 1년 뒤면 개인 수준의 자금력에서도 할 수 있지 않을까 싶은데 그 전에 빠르게 이 agent swarm 방식에 적응해야 할 것 같음. 스타트업하기 너무 좋은 시대 아닌가
https://x.com/jsnnsa/status/2115623382721126826
한국어: https://rosettalens.com/s/ko/how-i-built-the-most-ai-pilled-company-in-the-world
❤1👏1
제가 예전에 채널에 흥미로운 기기라고 Lucebox 를 올렸던 적이 있었을텐데요(AMD Gorgon Halo 128GB or 192GB 에 AMD R9700을 추가장착한 완본체 제품)
글이 날아가서 쿼트를 할 수가 없는데 하여간 그 당시에는 환불정책이 "배송 시작 전에만 환불하면 전액 환불" 이었는데, 오늘 다시 보니 사이트가 리뉴얼되면서 "주문 후 30일 이내에 취소 시에만 전액 환불, 그 뒤에는 75%만 환불"로 바뀌었어요.
혹시 사신분은 없겠지만 참고하시라고 공유합니다...
전 맥 오면 진짜 필요가 없어질거 같은데 환불할까 고민중
글이 날아가서 쿼트를 할 수가 없는데 하여간 그 당시에는 환불정책이 "배송 시작 전에만 환불하면 전액 환불" 이었는데, 오늘 다시 보니 사이트가 리뉴얼되면서 "주문 후 30일 이내에 취소 시에만 전액 환불, 그 뒤에는 75%만 환불"로 바뀌었어요.
혹시 사신분은 없겠지만 참고하시라고 공유합니다...
전 맥 오면 진짜 필요가 없어질거 같은데 환불할까 고민중
🤯1
Mutt Technologies
제가 예전에 채널에 흥미로운 기기라고 Lucebox 를 올렸던 적이 있었을텐데요(AMD Gorgon Halo 128GB or 192GB 에 AMD R9700을 추가장착한 완본체 제품) 글이 날아가서 쿼트를 할 수가 없는데 하여간 그 당시에는 환불정책이 "배송 시작 전에만 환불하면 전액 환불" 이었는데, 오늘 다시 보니 사이트가 리뉴얼되면서 "주문 후 30일 이내에 취소 시에만 전액 환불, 그 뒤에는 75%만 환불"로 바뀌었어요. 혹시 사신분은 없겠지만…
근데 ㅈㄴ 괘씸하네 정책을 바꿔놓고 메일 한통 안줬음
🤯1
Mutt Technologies
근데 ㅈㄴ 괘씸하네 정책을 바꿔놓고 메일 한통 안줬음
문의해봤는데 1시간도 안되어서 답변옴. 정책 변경(10/18) 이전에 샀으면 해당 정책 유지래요. 괘씸하단말 취소.
🍓1
메타 인수제안 거절했던 한국 NPU 기업 퓨리오사는 어제 $2.9B에 시리즈D 자금조달 성공했어요. 조달액은 $620M
텐스토렌트 수준은 아니지만 퓨리오사 애들도 상당히 진취적인 아키텍쳐를 지항하는거 같던데 잘될수 있으면 좋겠음
https://furiosa.ai/blog/furiosaai-620-million-series-d
텐스토렌트 수준은 아니지만 퓨리오사 애들도 상당히 진취적인 아키텍쳐를 지항하는거 같던데 잘될수 있으면 좋겠음
https://furiosa.ai/blog/furiosaai-620-million-series-d
furiosa.ai
FuriosaAI closes $620 million Series D to scale efficient, production-ready AI inference
FuriosaAI has closed its $620 million Series D at a post-money valuation of $2.9 billion, with participation from international investors Cisco Investments, Infinitum, Jericho Capital, NeoFort Holding, QUDA Capital, and Worldline Capital.
❤1
Mutt Technologies
메타 인수제안 거절했던 한국 NPU 기업 퓨리오사는 어제 $2.9B에 시리즈D 자금조달 성공했어요. 조달액은 $620M 텐스토렌트 수준은 아니지만 퓨리오사 애들도 상당히 진취적인 아키텍쳐를 지항하는거 같던데 잘될수 있으면 좋겠음 https://furiosa.ai/blog/furiosaai-620-million-series-d
참고로 말나온김에, 텐스토렌트도 열흘전에 Series E 라운드 돌아서 성공적으로 마무리했습니다. $1.5B 조달 $6.2B 밸류
시장에 돈없다더니 어디서 막 2조가 숨풍숨풍 나온다 그렇죠?
텐스토렌트는 이돈 10%만 컴파일러 개선에 투자좀 해줬으면 좋겠어요 예...
https://tenstorrent.com/ko/newsroom/tenstorrent-announces-series-e
시장에 돈없다더니 어디서 막 2조가 숨풍숨풍 나온다 그렇죠?
텐스토렌트는 이돈 10%만 컴파일러 개선에 투자좀 해줬으면 좋겠어요 예...
https://tenstorrent.com/ko/newsroom/tenstorrent-announces-series-e
Tenstorrent
Tenstorrent Announces a $1.5B Series E at a $6.2B valuation | Tenstorrent
The equity raise will fund volume manufacturing and global commercial expansion as chip designers, sovereign players, and inference platforms move to own their AI compute.