SA-21/06, C-11, Asapur, Varanasi, UP support@kamaldnp.com +91 8318013442
Technology

colibri: A Pure-C Inference Engine That Runs Huge MoE Models on Consumer Hardware — 51,687 GitHub Stars as of 17 November 2026

KAMALDNP Raj Kamal
November 21, 2026
4 Min Read
5 Views
colibri: A Pure-C Inference Engine That Runs Huge MoE Models on Consumer Hardware — 51,687 GitHub Stars as of 17 November 2026

सबसे बड़े AI मॉडल आमतौर पर आम कंप्यूटरों की पहुँच से बाहर होते हैं — उन्हें घर के कंप्यूटर की मेमोरी से कहीं ज़्यादा मेमोरी चाहिए होती है। colibri एक अलग रास्ता अपनाता है: पूरा मॉडल मेमोरी में लोड करने की बजाय, यह ज़रूरत के हिस्सों को disk से ठीक समय पर stream करता है। प्रोजेक्ट इस विचार को "weights के लिए JIT" कहता है।

colibri (JustVugg/colibri) एक शुद्ध C में बना, बिना किसी dependency वाला inference engine है, जिसे Vincenzo Fornaro ने लिखा है और Apache 2.0 licence के तहत जारी किया है। इसका पहला commit 1 जुलाई 2026 का है, और version 2.1.0, 31 अक्टूबर 2026 को आया। यह एक ही व्यक्ति का प्रोजेक्ट है।

इसकी तरकीब mixture-of-experts (MoE) मॉडलों के लिए है, जिनमें हर token के लिए सिर्फ़ कुछ "experts" का इस्तेमाल होता है। colibri मॉडल के dense हिस्सों को RAM में रखता है और routed experts को ज़रूरत पड़ने पर NVMe storage से stream करता है। इसी तरह यह ऐसे मॉडल चला पाता है जो मशीन की मेमोरी से कहीं बड़े हैं।

मुख्य तथ्य

विवरणजानकारी
RepositoryJustVugg/colibri
लेखकVincenzo Fornaro
यह क्या हैविशाल MoE मॉडलों के लिए शुद्ध C में बना, बिना dependency वाला inference engine
LicenceApache 2.0
पहला commit1 जुलाई 2026
नया versionv2.1.0 (31 अक्टूबर 2026)
काम करने का तरीकाDense हिस्से RAM में; routed experts NVMe से stream ("weights के लिए JIT")
समर्थित मॉडलGLM-5.2 (744B), Kimi K3 (2.8T), Inkling (975B), DeepSeek V4 Flash, Qwen3.8-Flash-Next
GitHub stars17 नवंबर 2026 तक 51,687 / 6,260 forks (RepoRadar)

Star की संख्या तेज़ी से बढ़ी है: अगस्त के अंत में 26,662, 14 सितंबर को 31,868, 4 अक्टूबर को 39,389 और 4 नवंबर को 47,249 — और 17 नवंबर 2026 तक यह 51,687 stars (6,260 forks) तक पहुँच गई। Star की संख्या रुचि को दर्शाती है, production में इस्तेमाल को नहीं — इससे पता चलता है कि कितने डेवलपर किसी प्रोजेक्ट पर नज़र रख रहे हैं, न कि कितने उसे production में चला रहे हैं।

प्रोजेक्ट के अपने बताए गए गति के आंकड़े इसकी कीमत साफ़ दिखाते हैं: 25 GB वाले development box पर लगभग 0.05 token प्रति सेकंड, 128 GB CPU desktop पर लगभग 1.8 token प्रति सेकंड, और 6× RTX 5090 GPU वाली मशीन पर 5.8–6.8 token प्रति सेकंड। GLM-5.2 के लिए 372 GB disk space चाहिए। ये प्रोजेक्ट के अपने आंकड़े हैं, स्वतंत्र माप नहीं।

इसका क्या मतलब है

colibri को गति के प्रयोग की बजाय पहुँच के प्रयोग के रूप में समझना बेहतर है। असली काम के लिए कोई 0.05 token प्रति सेकंड नहीं चुनेगा — लेकिन बात यह है कि सैकड़ों अरब parameters वाला मॉडल ऐसे हार्डवेयर पर चल ही पाता है, जो उसे संभालने के लिए कभी बना ही नहीं था। उन शोधकर्ताओं, छात्रों और शौकीनों के लिए जो बिना data centre के बहुत बड़े MoE मॉडलों का अध्ययन या परीक्षण करना चाहते हैं, यह सच में एक नया विकल्प है।

ईमानदार सीमाएँ भी मायने रखती हैं। Disk से streaming स्वभाव से धीमी होती है, यह प्रोजेक्ट एक ही व्यक्ति का काम है, और गति के आंकड़े प्रोजेक्ट के अपने हैं। colibri एक दरवाज़ा खोलता है; उससे गुज़रने की कीमत नहीं हटाता।

सत्यापन पर एक नोट

इस post के तथ्य इस विषय के सत्यापित शोध रिकॉर्ड से लिए गए हैं, जिनमें repository की जानकारी और ऊपर दी गई तारीख सहित star की संख्याएँ शामिल हैं। Star की संख्या रोज़ बदलती है, इसलिए यहाँ दिया गया आंकड़ा 17 नवंबर 2026 का स्नैपशॉट है, live संख्या नहीं। गति के आंकड़े प्रोजेक्ट के अपने बताए गए नंबर हैं।

स्रोत: JustVugg/colibri repository रिकॉर्ड; star की संख्याएँ RepoRadar के अनुसार। अंतिम जांच: 21 नवंबर 2026।

FAQs

colibri क्या है?
colibri Vincenzo Fornaro का शुद्ध C में बना, बिना dependency वाला inference engine है, जो routed experts को NVMe storage से stream करके और dense हिस्सों को RAM में रखकर विशाल mixture-of-experts (MoE) मॉडलों को आम हार्डवेयर पर चलाता है।

colibri किन मॉडलों को support करता है?
प्रोजेक्ट GLM-5.2 (744B), Kimi K3 (2.8T), Inkling (975B), DeepSeek V4 Flash और Qwen3.8-Flash-Next को सूचीबद्ध करता है।

colibri कितना तेज़ है?
गति के आंकड़े प्रोजेक्ट के अपने हैं: 25 GB वाले development box पर लगभग 0.05 token प्रति सेकंड, 128 GB CPU desktop पर लगभग 1.8 token प्रति सेकंड, और 6× RTX 5090 GPU पर 5.8–6.8 token प्रति सेकंड। GLM-5.2 के लिए 372 GB disk space चाहिए।

GitHub पर colibri कितना लोकप्रिय है?
17 नवंबर 2026 तक JustVugg/colibri repository के 51,687 GitHub stars और 6,260 forks थे। Star की संख्या रुचि को दर्शाती है, production में इस्तेमाल को नहीं।

Share this post

Comments (0)

Share your question or experience about this syllabus. Your comment will appear after review.

No comments yet — be the first to share your thoughts!

🤖 KAMALDNP AI Assistant

Ask about courses, website & more

Hi! I'm KAMALDNP AI Assistant. Ask me about our courses, website features, or anything else! 😊
Please wait 5s...
🤖 KAMALDNP Assistant ✕

Request human callback:

🔐 Login Required
✕

Please log in to download. You will stay on this page after logging in!

New here? Register now →