SA-21/06, C-11, Asapur, Varanasi, UP support@kamaldnp.com +91 8318013442
Technology

ParGLU: A Partially Gated Feed-Forward Layer That Beats SwiGLU at Small Scale (arXiv, November 2026)

KAMALDNP Raj Kamal
November 21, 2026
4 Min Read
3 Views
ParGLU: A Partially Gated Feed-Forward Layer That Beats SwiGLU at Small Scale (arXiv, November 2026)

हर transformer model के अंदर एक feed-forward network (FFN) होता है — वह हिस्सा जो attention का काम पूरा होने के बाद हर token की representation को process करता है। उस FFN का सटीक आकार मायने रखता है: वहाँ छोटे design बदलाव भी model की quality को समग्र रूप से बदल सकते हैं। SwiGLU सालों से standard choice रहा है। एक नये single-author paper में ParGLU प्रस्तावित किया गया है, जो एक partially gated variant है, और paper के अनुसार यह SwiGLU से आगे है — कम से कम जिन scales पर इसे test किया गया।

यह paper 16 नवंबर 2026 को arXiv पर आया है, लेखक हैं Yuting Ge। ParGLU SwiGLU और ReLU² branches को parallel चलाता है, और layer के सिर्फ एक हिस्से को gate करता है — इसलिए "partially gated"। विचार यह है कि एक ही activation style पर निर्भर रहने की बजाय दो styles की ताकतों को जोड़ा जाए।

Paper के अपने बताए नतीजों के अनुसार, ParGLU 75M और 152M parameters पर सभी seeds में SwiGLU से आगे है — mean validation negative log-likelihood में 75M पर −0.0200 और 152M पर −0.0249 का सुधार। लेकिन तस्वीर एक समान नहीं है: 30M parameters पर नतीजे मिले-जुले हैं, और paper खुद ऐसा ही बताता है।

मुख्य तथ्य

विवरणजानकारी
PaperParGLU
arXiv IDarXiv:2611.20663 [cs.LG]
जमा हुआ16 नवंबर 2026
लेखकYuting Ge (एकमात्र लेखक)
DesignPartially gated FFN — SwiGLU + ReLU² parallel branches
75M नतीजासभी seeds में SwiGLU से आगे; mean validation NLL −0.0200 (paper का अपना बताया नतीजा)
152M नतीजासभी seeds में SwiGLU से आगे; mean validation NLL −0.0249 (paper का अपना बताया नतीजा)
30M नतीजामिले-जुले — इसे छिपाया नहीं जाना चाहिए
Study का scaleसिर्फ छोटा scale — सबसे बड़ा model 152M; frontier scale पर साबित नहीं
स्वतंत्र पुष्टिअभी कोई नहीं — paper सिर्फ 5 दिन पुराना है

इसका क्या मतलब है

FFN design model architecture का वह शांत कोना है जहाँ एक असली सुधार हर जगह फैल सकता है — हर transformer में ये layers होती हैं, इसलिए सैद्धांतिक रूप से बेहतर FFN यानी किसी भी size पर बेहतर model। यही वजह है कि दो scales पर लगातार जीत बताने वाला paper — एक अकेले लेखक का भी — ध्यान के लायक है।

लेकिन दो ईमानदार सीमाएँ इस नतीजे को घेरती हैं। पहली, 30M पर मिले-जुले नतीजे दिखाते हैं कि फायदा हर scale पर अपने आप नहीं मिलता — design और model size के बीच कुछ तालमेल है, और paper इससे इनकार भी नहीं करता। दूसरी, test किया गया सबसे बड़ा model 152M parameters का है। यह research scale है, frontier scale नहीं: production में इस्तेमाल होने वाले models इससे सैकड़ों या हज़ारों गुना बड़े होते हैं, और छोटे scale की जीत हमेशा बड़े scale पर नहीं टिकती। ParGLU आगे की testing के लिए एक उम्मीद भरा उम्मीदवार है, SwiGLU का साबित replacement नहीं।

"सभी seeds में" वाली बात भी ध्यान देने लायक है: 75M और 152M पर जीत अलग-अलग random seeds के साथ दोहराए गए runs में टिकी रही, जिससे इसे सिर्फ एक भाग्यशाली run कहकर खारिज करना मुश्किल है। यह paper के पक्ष में एक बात है — लेकिन यह फिर भी लेखक का अपना माप है, जिसकी स्वतंत्र पुष्टि बाकी है।

सत्यापन पर एक नोट

Paper arXiv पर मौजूद है — ऊपर दी गई ID, तारीख और लेखक सही हैं। इस post का हर आँकड़ा paper का अपना बताया नतीजा है। 30M पर मिले-जुले नतीजे और study का छोटा scale (अधिकतम 152M parameters) paper की अपनी reporting का हिस्सा हैं और यहाँ जानबूझकर रखे गए हैं — इन्हें छोड़ देने वाला सारांश इस काम को गलत पेश करेगा। स्वतंत्र पुष्टि या coverage आने पर इस post को update किया जाएगा।

स्रोत: arXiv:2611.20663 [cs.LG], ParGLU, Yuting Ge, जमा 16 नवंबर 2026। अंतिम जांच: 21 नवंबर 2026।

FAQs

ParGLU क्या है?
ParGLU एक partially gated feed-forward network design है, जो 16 नवंबर 2026 को arXiv पर आए paper (arXiv:2611.20663) में प्रस्तावित किया गया है। यह SwiGLU और ReLU² branches को parallel चलाता है और layer के सिर्फ एक हिस्से को gate करता है।

SwiGLU के मुकाबले यह कितना अच्छा रहा?
Paper के अनुसार ParGLU 75M और 152M parameters पर सभी seeds में SwiGLU से आगे है — mean validation NLL में क्रमशः −0.0200 और −0.0249 का सुधार। ये paper के अपने बताए नतीजे हैं।

क्या यह हर size पर जीता?
नहीं। 30M parameters पर नतीजे मिले-जुले हैं — paper खुद ऐसा बताता है, और यह पूरी तस्वीर का अहम हिस्सा है। फायदा हर scale पर अपने आप नहीं मिलता।

क्या ParGLU बड़े frontier models के लिए साबित है?
नहीं। Study छोटे scale की है — test किया गया सबसे बड़ा model 152M parameters का है। छोटे scale की जीत सैकड़ों गुना बड़े models पर हमेशा नहीं टिकती, और अभी कोई स्वतंत्र reproduction भी नहीं है।

Share this post

Comments (0)

Share your question or experience about this syllabus. Your comment will appear after review.

No comments yet — be the first to share your thoughts!

🤖 KAMALDNP AI Assistant

Ask about courses, website & more

Hi! I'm KAMALDNP AI Assistant. Ask me about our courses, website features, or anything else! 😊
Please wait 5s...
🤖 KAMALDNP Assistant ✕

Request human callback:

🔐 Login Required
✕

Please log in to download. You will stay on this page after logging in!

New here? Register now →