안드레이 카파시가 시작한 NanoGPT challenge 라고, H100 8대로 얼마나 빠르게 GPT-2 small과 동일한 성능을 재현할 수 있는지 스피드런하는 컨텐츠가 있음.

• OpenAI 가 GPT-2 를 만들던 시절에는 168시간 걸렸음(이 땐 Google TPU v3 32개로 한 것이니 비교는 불가)
• 올해 1월에 카파시가 재구현하면서 3분으로 시작
• 올해 3월에 autoresearch를 카파시가 들고 오면서 프론티어 시켜서 1.6분까지 최적화
• 올해 8월 3일까지 여러가지 커널 최적화/파라미터 튜닝을 통해 성능을 쥐어짜서 1.23분까지 단축
• 지난 8월 30일에 최신 연구 결과들(Anvil2 optimizer 등등)을 때려붓고 40초로 단축

이제 피자 한판값 H100 임대료로 피자보다 빠르게 GPT-2를 만들수 있음. 기술의 발전이 정말 무서움

https://x.com/classiclarryd/status/2104688738354028962

티보가 GPT Pro $200 플랜 다시 열거라는데, 명쾌하게 설명한 건 아니지만 (달러로 환산한) 실질적인 토큰 할당량이 반으로 줄어들거라는 이야기도 같이 함.
그래놓고 하는 소리: GPT-6 Sol, GPT-6 Luna는 같은 능력에 반값이니 좀 너프해도 괜찮지? 이해해줘 뿌잉뿌잉

이래놓고 800불인지 500불인지 상위 플랜 내겠다는거냐 티보 이 십새갸

https://x.com/thsottiaux/status/2104823812042940713

너무 재미없는 글만 올린거같아서 재밌는글도 올려봤습니다 횐님들 충성 *^^*

DeepSeek AI가 화웨이 Ascend 칩에 대한 초고속 행렬곱 커널을 오픈소스로 풀었음. 이론적 상한의 99.8% 성능
원래도 화웨이 칩 써서 딥시크 개발한건 잘 알려져 있었는데, 자기들이 얼마나 인프라 최적화에 목숨을 메다는지(사실 에이전트가 다 한다고 직원이 이야기했었음) 자랑겸 지식공개 느낌

https://x.com/zheanxu/status/2105119944556110265

스페이스X 직원이 오늘 긴빠이해서 Grok Bot으로 연결되는 dot.com주소를 올리니까 빡쳐서 댓글단 티보 (OpenAI 직원)

Near Intents는 며칠전 비트겟 해커가 세탁하는 7억원을 동결하는 데에 성공했지만 1시간 전 개빡친 라자루스가(팩트인지는모름) 50억을 털어갔음

Le Chaton Fat 나오면 다 때려잡는다고 조롱받던 Mistral이 오랜만에 프론티어에 섰습니다
Mistral Large 4("Le Chonk"): 1T-A49B sparse MoE 모델
벤치마크가 되게 정신없는데 뭔가 취사선택한 느낌이 들지만, GLM-5.3, Kimi K3 과는 견줄 수 있어보입니다.
가중치는 이번달 말에 공개됩니다.

This is only the beginning. ML4 is the first milestone on the roadmap funded by our €3 billion Series D — the largest equity round ever raised by a European technology company. That capital is already being put to work: we are significantly scaling up our compute capacity in our own European datacenters, and much more is coming online in the months ahead.

본문 하단에 보면 GPU 3000개로 RL 돌렸다는 이야기가 나오는데, 4.5조 펀딩 받은걸로 GPU 왕창 사서 스케일업 더 하려나 봅니다. 오픈웨이트 Fable 스케일 미스트랄을 내년엔 볼 수 있을듯?


https://mistral.ai/news/mistral-large-4/

DeepSeek 선에서 컷이라니 잘못 측정한 거죠?

*AAII는 참고용 수치이지 모델의 절대적인 성능이 아닙니다

토르체인의 트론 테더 볼트 주소 동결됨. 쌤통이다 ㅋㅋㅋ

*협의 후 해제됨

https://x.com/cbarraford/status/2108557963313004689

OpenAI/Anthropic 프론티어 모델들 첫 출시 이후로 슬금슬금 품질 낮춰서 다음 모델 푸시/인프라 비용 밑장빼기 한다는 의혹이 있는데, 이를 정량적으로 측정하는 곳

https://www.bridgebench.ai/nerf-bench

Machi Big Brother가 트레이딩으로 수익내는 법: 잃어서 $PAPER를 캐려고 시도한다
마반꿀은 과학

https://x.com/izebel_eth/status/2108948659132141772

비슷하게 fast mode도 밑장빼기한다는 의혹(이건 여기 측정결과에 따르면 사실인듯)

https://doesfastdoanything.com/

로컬 AI 추론 특화 세팅을 하고싶다면 내년에 주목해야 할 칩이 있음. 인텔 크레센트 아일랜드

1.3PFLOPS FP8이면 RTX 5090과 견줄만 하고, 특징적으로 VRAM을 제품군별 160GB-480GB 가량 탑재할 예정. 대역폭은 최대 1.5TB/s

현재 VRAM 대량확보가 가능한 유일한 옵션인 맥 스튜디오의 매우 강력한 경쟁자 포지션이 될 듯. 일단은 2027년 양산 예정인데 일정 밀리면 M7 Ultra와 직접 경쟁하지 않으려나?

https://www.tomshardware.com/tech-industry/artificial-intelligence/intels-crescent-island-ai-accelerator-officially-powers-new-gpu-d-series-products-chip-delivers-1-3-peak-pflops-of-fp8-compute-and-1-5-tb-s-of-memory-bandwidth

DeepSeek V4.1 Flash 어제부터 갑자기 응답이 확 바뀌었다는데, flash에 추가학습한 새 버전이 나왔거나 Pro 테스트중인듯

동네 치과의 AX전환기
https://arca.live/b/aihomelab/185810092?p=1

이분 스파크 12대 돌리던데 이거 차익으로 비용 다 메꿀듯