MIT CSAIL के शोधकर्ताओं ने दिखाया है कि एक AI model दूसरे model को उसके weights सीधे edit करके सुधार सकता है — बिना gradient descent और बिना किसी training loop के। उनके paper "Sparks of Weight-Space Programming" (2 नवंबर 2026) में Rikiya Takehi, Jayden Teoh, Alex Zhang और Omar Khattab ने OpenAI के GPT-6 Astra को एक Python session दिया, जिसमें एक छोटे open model Qwen3.5-0.8B के weights load थे, और उससे कहा कि वह weights को सीधे edit करके model की maths क्षमता सुधारे।
Astra ने पाया कि छोटा model अपने reasoning में loop में फंसकर अपने उत्तर बर्बाद कर रहा था। उसने इस looping की जड़ feed-forward layers 15 और 19 में लिखी एक direction में पाई, और उसे हर layer के 64 output columns से घटा दिया — कुल 131,072 weights, यानी model का लगभग 0.016%। असर बड़ा रहा: MATH-500 accuracy 7.9% से बढ़कर 48.1% हो गई, GSM8K 13.8% से 67.1%, और instruction following (IFEval) 21.0% से 62.3%। Token limit तक पहुंचने वाले उत्तर 93.0% से घटकर 33.1% रह गए।
यहां सही framing ज़रूरी है। यह मरम्मत थी, नया ज्ञान नहीं। Model कई उत्तर पहले से ही निकाल सकता था — बस वह उन्हें पूरा नहीं कर पाता था। Edit ने उस looping व्यवहार को हटाया जो उसे रोक रहा था, न कि उसे नया गणित सिखाया। टीम के control experiment से भी यही साबित होता है: Gemma 3 270M, जो model शायद ही कभी loop करता है, उस पर इसी तरह के edit से maths में कोई सुधार नहीं हुआ।
Edited model Apache 2.0 के तहत सार्वजनिक रूप से उपलब्ध है। टीम ने प्रयोग के सभी 1,125 model turns का audit किया ताकि पुष्टि हो कि सिर्फ अनुमत tools इस्तेमाल हुए थे, और वह weight-space programming के लिए एक public benchmark बना रही है।
मुख्य तथ्य
| विवरण | जानकारी |
|---|---|
| Paper | "Sparks of Weight-Space Programming", 2 नवंबर 2026 को प्रकाशित |
| शोधकर्ता | Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab (MIT CSAIL) |
| Editor model | OpenAI का GPT-6 Astra |
| Edited model | Qwen3.5-0.8B (छोटा open model) |
| बदले गए weights | 131,072 — model का लगभग 0.016% (feed-forward layers 15 और 19 के 64 output columns) |
| MATH-500 accuracy | 7.9% → 48.1% |
| GSM8K accuracy | 13.8% → 67.1% |
| IFEval (instruction following) | 21.0% → 62.3% |
| Token limit तक पहुंचने वाले उत्तर | 93.0% → 33.1% |
| Control experiment | Gemma 3 270M (शायद ही loop करता है): maths में कोई सुधार नहीं |
| Edited model | Apache 2.0 के तहत सार्वजनिक रूप से उपलब्ध |
| Audit | सभी 1,125 model turns का audit; public benchmark बनाया जा रहा है |
इसका क्या मतलब है, और आगे क्या देखना है
Weight-space programming models को सुधारने का एक नया तरीका है: retraining की बजाय एक AI agent किसी खास खराब व्यवहार को खोजता है, उसके लिए ज़िम्मेदार weights का पता लगाता है और उन्हें सीधे edit करता है। यहां मिला फायदा एक दोष को हटाने से आया, नई क्षमता जोड़ने से नहीं — इसलिए इस तकनीक की असली कीमत इस बात पर निर्भर करेगी कि models की कितनी खामियां इसी तरह की मरम्मत योग्य खामियां निकलती हैं। टीम जो public benchmark बना रही है, वही असली परीक्षा होगी: उससे पता चलेगा कि यह तरीका एक model और एक failure mode से आगे भी काम करता है या नहीं।
सत्यापन पर एक नोट
ऊपर दिए गए तथ्य research file में दर्ज स्रोतों से सत्यापित हैं: VentureBeat, DeepLearning.AI (The Batch), dev.to पर दो स्वतंत्र लेख, और Medium (Moses Yebei)। आंकड़े paper और coverage में बताए गए अनुसार हैं; कोई आंकड़ा जोड़ा या बदला नहीं गया है।
FAQs
Weight-space programming क्या है?
यह neural network को सुधारने का एक तरीका है — retraining के बजाय उसके weights को सीधे edit करना, जैसे programmer code edit करता है। इस प्रयोग में GPT-6 Astra को model के weights के साथ एक Python session दिया गया और उसे weights edit करके maths सुधारने को कहा गया।
Model का कितना हिस्सा बदला गया?
सिर्फ 131,072 weights, यानी model का लगभग 0.016%। Edit में एक looping direction को दो feed-forward layers (layers 15 और 19) के 64 output columns से घटाया गया।
क्या model ने नया गणित सीखा?
नहीं — और शोधकर्ता खुद यही कहते हैं। यह मरम्मत थी, नया ज्ञान नहीं। Model कई उत्तर पहले से निकाल सकता था; वह reasoning में loop में फंसकर उन्हें पूरा नहीं कर पाता था। Edit ने उस looping को हटाया।
क्या edited model उपलब्ध है?
हां। Edited model Apache 2.0 के तहत सार्वजनिक रूप से उपलब्ध है। टीम weight-space programming के लिए एक public benchmark भी बना रही है।
स्रोत: "Sparks of Weight-Space Programming" (MIT CSAIL, 2 नवंबर 2026), जैसा कि VentureBeat, DeepLearning.AI (The Batch), dev.to और Medium ने रिपोर्ट किया। अंतिम जांच: 21 नवंबर 2026।
Comments (0)
Share your question or experience about this syllabus. Your comment will appear after review.
No comments yet — be the first to share your thoughts!