ai
Muon optimizer là gì? Vì sao Moonshot dùng để train Kimi K2 1T params
Muon optimizer là Shampoo bị lột bỏ phần chậm, thêm momentum, kiểm chứng bằng 12 kỷ lục NanoGPT speedrun. 52% FLOPs so với AdamW, Kimi K2 dùng thật.
ai
Muon optimizer là Shampoo bị lột bỏ phần chậm, thêm momentum, kiểm chứng bằng 12 kỷ lục NanoGPT speedrun. 52% FLOPs so với AdamW, Kimi K2 dùng thật.
Giải thích Gradient Descent, SGD, Adam optimizer từ đạo hàm cấp 3, và vì sao Muon (Kimi 2025) sẽ là bước tiếp theo. Toán dễ hiểu, không code.