Moonshot AI का Kimi K3 एक 2.78-ट्रिलियन-parameter mixture-of-experts model है जिसका checkpoint 1.56 TB का है — ऐसा model जो आमतौर पर GPUs की rack पर चलता है। Fareed Khan का kimi-k3-in-c इसे एक ही CPU पर चलाता है। Engine from-scratch portable C99 में लिखा गया है, इसमें कोई GPU नहीं, कोई BLAS library नहीं और कोई ML framework नहीं है, और पूरा engine सिर्फ 176 KB का binary है। यह Apache 2.0 licence के तहत है और 1 अगस्त 2026 को प्रकाशित हुआ था; v1.0.0, 7 अगस्त को और v1.1.0, 2 अक्टूबर 2026 को आया।
Trick streaming है। Kimi K3 में हर layer में 896 experts हैं, लेकिन किसी एक token के लिए सिर्फ 16 ही fire होते हैं — इसलिए engine disk से weights stream करता है और सिर्फ वही experts load करता है जिनकी वास्तव में ज़रूरत है। Laptop preset पर peak RAM 8.24 GB है, जो एक आम machine की पहुंच में है; कीमत disk space है (checkpoint के लिए लगभग 1.7 TB उपलब्ध disk space चाहिए) और गति है। Project के v1.1.0-era README के अनुसार 8 GB RAM पर लगभग 26.5 सेकंड प्रति token और 128 GB या ज़्यादा पर लगभग 5.6 सेकंड प्रति token लगते हैं — किसी भी व्यावहारिक पैमाने पर धीमा, लेकिन output हर memory budget पर PyTorch reference से byte-identical है, और यही असली बात है: engine साबित करता है कि correctness hardware budget पर निर्भर नहीं करती।
मुख्य तथ्य
| विवरण | जानकारी |
|---|---|
| Repository | FareedKhan-dev/kimi-k3-in-c (GitHub) |
| निर्माता | Fareed Khan |
| यह क्या है | Kimi K3 के लिए from-scratch portable C99 inference engine |
| Model | Moonshot AI का Kimi K3 — 2.78T-parameter MoE, 1.56 TB checkpoint |
| Hardware | एक CPU; कोई GPU नहीं, कोई BLAS नहीं, कोई ML framework नहीं |
| कैसे काम करता है | Disk से weights stream करता है; हर layer में 896 में से सिर्फ 16 experts fire होते हैं |
| Engine का आकार | 176 KB binary |
| Peak RAM | Laptop preset पर 8.24 GB |
| Disk चाहिए | ~1.7 TB उपलब्ध disk space |
| Output | हर memory budget पर PyTorch reference से byte-identical |
| गति (v1.1.0-era README, 2 अक्टूबर 2026) | 8 GB पर ~26.5 सेकंड/token; 128 GB+ पर ~5.6 सेकंड/token |
| Licence | Apache 2.0 |
| प्रकाशित | 1 अगस्त 2026; v1.0.0 (7 अगस्त), v1.1.0 (2 अक्टूबर 2026) |
| GitHub stars | ~7,000 (अक्टूबर 2026) |
इसका क्या मतलब है — और क्या नहीं
यह एक teaching artifact और correctness proof है, daily driver नहीं। Kimi K3 को इस तरह कोई काम करवाने के लिए नहीं चलाना चाहिए: 26.5 सेकंड प्रति token की गति पर एक छोटा paragraph भी लगभग एक घंटे में बनता है। Project जो साबित करता है, वह उसके performance से ज़्यादा दिलचस्प है। यह दिखाता है कि frontier-scale mixture-of-experts model अपने मूल में arithmetic operations का एक क्रम है जिसे कुछ सौ kilobytes के plain C में लिखा जा सकता है — और वही model, अलग-अलग memory में चलकर भी byte-identical output देता है। Systems programming और machine learning के छात्रों के लिए यह एक दुर्लभ, पढ़ने लायक खिड़की है कि ये models अंदर से वास्तव में कैसे काम करते हैं।
दो status नोट तस्वीर को मौजूदा रखते हैं। 2 अक्टूबर 2026 के बाद main branch पर कोई commit नहीं हुआ है, इसलिए v1.1.0 ही latest released state है; और 26 pull requests खुले हैं, जिनमें से ज़्यादातर 4–6 नवंबर 2026 के बीच file हुए थे, जिससे पता चलता है कि main branch शांत होने के बावजूद community code से जुड़ी हुई है। Stars रुचि का पैमाना हैं, production इस्तेमाल का नहीं — और ऐसे project के लिए रुचि उन लोगों की है जो सीखना चाहते हैं, उन लोगों की नहीं जो deploy करना चाहते हैं।
सत्यापन पर एक नोट
इस post की गति के आंकड़े नए v1.1.0-era README के हैं, जो 2 अक्टूबर 2026 के हैं। एक पुराना pre-v1.0 आंकड़ा (8 GB पर 32.69 सेकंड प्रति token) superseded है और इसे मौजूदा नहीं बताया गया है। Star count (~7,000) अक्टूबर 2026 का snapshot है और तब से बदल चुका होगा। 21 नवंबर 2026 के snapshot के बाद live repository से कोई दावा दोबारा नहीं जांचा गया है।
स्रोत: FareedKhan-dev/kimi-k3-in-c repository (v1.1.0-era README), verified research के माध्यम से। अंतिम जांच: 21 नवंबर 2026।
FAQs
kimi-k3-in-c क्या है?
यह Fareed Khan का from-scratch portable C99 inference engine है (Apache 2.0) जो Moonshot AI के Kimi K3 को — 2.78-ट्रिलियन-parameter mixture-of-experts model, 1.56 TB checkpoint — एक CPU पर चलाता है, बिना GPU, बिना BLAS library और बिना ML framework के। पूरा engine 176 KB का binary है।
एक CPU इतना बड़ा model कैसे चला सकता है?
Disk से weights stream करके। Kimi K3 में हर layer में 896 experts हैं लेकिन प्रति token सिर्फ 16 fire होते हैं, इसलिए engine सिर्फ वही experts load करता है जिनकी वास्तव में ज़रूरत है। Laptop preset पर peak RAM 8.24 GB है, लेकिन checkpoint के लिए लगभग 1.7 TB उपलब्ध disk space चाहिए।
यह कितना तेज़ है?
धीमा: v1.1.0-era README (2 अक्टूबर 2026) के अनुसार 8 GB RAM पर लगभग 26.5 सेकंड प्रति token और 128 GB या ज़्यादा पर लगभग 5.6 सेकंड प्रति token लगते हैं। Output हर memory budget पर PyTorch reference से byte-identical है।
क्या मुझे इसे अपना daily inference engine बनाना चाहिए?
नहीं। यह एक teaching artifact और correctness proof है, daily driver नहीं। 26.5 सेकंड प्रति token की गति पर एक छोटा paragraph भी लगभग एक घंटे में बनता है। इसका मूल्य यह दिखाने में है कि readable plain C में frontier-scale model वास्तव में कैसे काम करता है।
Comments (0)
Share your question or experience about this syllabus. Your comment will appear after review.
No comments yet — be the first to share your thoughts!