Qwen 353B-A3B: $800 RTX 3090 GPU가 프론티어 클래스 AI 워크스테이션이 된 이유
한동안 local 모델을 운영해 왔는데, 소비자 하드웨어의 상한선이 어디에 있는지 꽤 잘 알고 있다고 생각했습니다.
하지만 35B 매개변수 모델이 토큰당 3B 매개변수만 활성화하면서 이전 모델인 235B 매개변수를 초과하는 경우, 이는 프로덕션 워크로드에 적합한 로컬 모델을 기다리는 개발자에게 전환점이 됩니다.
Sonnet의 4.5레벨 성능을 단 3B 활성화만으로 달성한 것은 매우 인상적인 일입니다. 이는 전체 weight의 약 8.6%에 해당합니다.
