ओपन सोर्स मॉडल प्रतिबंधित होने के बाद, विफल होने वाली पहली चीज़ प्रतिगमन निर्णय है।

एक बार जब ओपन सोर्स मॉडल पर बाहरी प्रतिबंध लग जाते हैं, तो पहली चीज़ जो टूटती है वह अक्सर यह नहीं होती है कि “क्या इसे अभी भी डाउनलोड किया जा सकता है?” लेकिन “क्या इस बार के नतीजों को पिछली बार के साथ देखा जा सकता है?” मॉडल का नाम अभी भी है, और इंटरफ़ेस अभी भी कनेक्ट किया जा सकता है। वास्तव में जो मुश्किल हो जाता है वह यह है कि निर्णय रेखा भटकने लगती है: त्वरित शब्दों का एक ही सेट, नमूनों का एक ही बैच और एक ही वर्कफ़्लो, परिणाम समाप्त होने पर अब समान व्यवहार वितरण नहीं रह जाता है।

यह बात कागज़ पर तो साधारण लगती है, लेकिन व्यवहार में बहुत कष्टप्रद हो जाती है। पहले से पारित आउटपुट प्रारूप में अचानक थोड़ा और स्पष्टीकरण होता है, पहले से स्थिर फ़ंक्शन कॉल अनुक्रम बदलना शुरू हो जाता है, कुछ क्षेत्रों में नीति संकेतों की एक अतिरिक्त परत होती है, या एक ही अनुरोध को विभिन्न प्रवेश द्वारों के तहत अलग-अलग संदर्भ लंबाई मिलती है। उनमें से प्रत्येक अकेले एक दुर्घटना नहीं है, लेकिन एक साथ लेने पर यह वापसी के निर्णय को भ्रमित कर देगा।

जो सबसे पहले टूटा वह तुलनात्मक क्षमता थी।

कई टीमें पहले बेंचमार्क स्कोर पर ध्यान केंद्रित करेंगी, लेकिन स्कोर केवल अनुमानित क्षमताओं को इंगित करने के लिए उपयुक्त हैं, और यह समझाने के लिए उपयुक्त नहीं हैं कि “क्या वर्तमान व्यवहार को अभी भी पुरानी प्रक्रिया द्वारा अपनाया जा सकता है।” ऑनलाइन जाने का वास्तविक स्थान यह नहीं है कि मॉडल अकेले चलता है, बल्कि यह पार्सर, टूल कॉलिंग, रिट्रीज़, कैशिंग, ऑडिटिंग और रूटिंग के साथ मिलकर काम करता है। जब तक किसी एक लिंक का कैलिबर बदलता रहेगा, स्कोर अपना संदर्भ अर्थ खो देगा।

सबसे विशिष्ट स्थिति यह है कि मूल्यांकन सेट में कोई समस्या नहीं देखी जा सकती है, लेकिन श्रृंखला ऑनलाइन बंद होने लगती है। परीक्षण के नमूने काफी साफ-सुथरे हैं और मॉडल सवालों के बहुत अच्छे उत्तर देता है। हालाँकि, एक बार वास्तविक इनपुट प्राप्त हो जाने पर, थोड़ी मात्रा में फ़ील्ड बहाव बाद के स्वचालित चरणों को प्रभावित कर सकता है। परिणाम ऐसा दिखता है जैसे “मॉडल का उपयोग अभी भी किया जा सकता है”, लेकिन वास्तव में इसका अर्थ है “तुलना पद्धति विफल हो गई है।”

बेसलाइन को वर्कफ़्लो के अनुसार सहेजा जाना चाहिए

ऐसे परिवर्तनों को दबाने के लिए, हम सूचियों के अधिक दौर चलाने पर भरोसा नहीं करते हैं, बल्कि आधार रेखा को पुन: चलाने योग्य वर्कफ़्लो में बनाने पर भरोसा करते हैं। इनपुट में एक संस्करण होना चाहिए, आउटपुट में एक स्कीमा होना चाहिए, टूल प्रतिक्रिया को चलाने योग्य होना चाहिए, और विफल नमूनों को मूल संदर्भ बनाए रखना चाहिए। केवल इस तरह से, अन्य मॉडलों, अन्य क्षेत्रों और अन्य रणनीतियों पर स्विच करने के बाद, हम जान सकते हैं कि विचलन मॉडल में ही है या आगे और पीछे के लिंक में है।

इस प्रकार की आधार रेखा केवल स्कोर और निष्कर्ष संग्रहीत करने से सबसे अधिक डरती है। स्कोर का उपयोग लोगों को सांत्वना देने के लिए किया जाएगा, निष्कर्षों का उपयोग रिपोर्ट लिखने के लिए किया जाएगा, लेकिन वास्तव में उपयोगी विवरण गायब हैं। एक बार जब प्रतिबंध बाद में कड़े कर दिए जाते हैं, तो टीम केवल नमूनों को फिर से भर सकती है, कैलिबर को फिर से भर सकती है, और असामान्य सीमाओं को फिर से भर सकती है, जो तुलना कार्य को तोड़ने के बराबर है जिसे एक ही बार में कई दौरों में पूरा किया जा सकता था।

प्रवास की वास्तविक लागत आत्मविश्वास को फिर से स्थापित करना है

मॉडल प्रतिबंधित होने के बाद, माइग्रेशन क्रिया किसी उपलब्ध आइटम में बदलने जैसी लगती है, लेकिन यह वास्तव में विश्वास को फिर से स्थापित कर रही है कि “यह प्रक्रिया अपेक्षाकृत स्थिर है।” आत्मविश्वास एक सफल कॉल से नहीं बनता है, बल्कि तुलनात्मक परिणामों के एक सेट से बनता है जिसे बार-बार सत्यापित किया जा सकता है। परिणामों के इस सेट के बिना, यह केवल अस्थायी रूप से चलाने योग्य होगा यदि हम अतीत में बदल गए; परिणामों के इस सेट के साथ, यदि हम अतीत में बदल जाते हैं तो यह नियंत्रणीय सीमा के भीतर होगा।

यही कारण है कि कुछ टीमों ने सतह पर प्रतिस्थापन पूरा कर लिया है, लेकिन आंतरिक रूप से उन्हें अपनी क्षमता बढ़ाने का साहस करने से पहले अभी भी लंबा इंतजार करना होगा। वास्तव में जो अटका हुआ है वह एक्सेस एक्शन नहीं है, बल्कि इसका उत्तर देने की हिम्मत किसी में नहीं है: क्या पुरानी प्रक्रिया की सबसे महत्वपूर्ण सीमाएँ अभी भी नए मॉडल में सच हैं। जब तक इस प्रश्न का स्पष्ट उत्तर नहीं मिल जाता, तब तक कोई भी बयान कि “प्रवास पूरा हो गया है” महज़ एक मंचित बयान है।

केवल वे हिस्से ही पुनर्निर्माण के लायक हैं जो परीक्षण के लिए उपयुक्त हैं

सभी परिदृश्य प्रतिगमन श्रृंखला को इतना भारी बनाने के योग्य नहीं हैं। तदर्थ बातचीत, हल्की पीढ़ी और एक बार के सारांश की सीमाएं ढीली होती हैं, और अति-निर्माण समय की बर्बादी है। लेकिन जैसे ही मॉडल कोड निर्माण, सूचना निष्कर्षण, रूटिंग निर्णय और टूल निष्पादन में भाग लेना शुरू करता है, प्रतिगमन निर्णय अब एक सहायक नहीं है, बल्कि वर्कफ़्लो का एक हिस्सा है।

बाहरी बाधाएँ इस अंतर को बढ़ा सकती हैं। इसका उपयोग जारी रखा जा सकता है या नहीं, यह आमतौर पर केवल सबसे सतही परत है; वास्तव में यह निर्धारित करता है कि क्या टीम स्थिर हो सकती है या नहीं, क्या तुलना के लिए नए परिणामों को पुरानी आधार रेखा के विरुद्ध वापस रखने की कोई स्थिर विधि है। एक बार तुलना स्थापित हो जाने पर, प्रवासन केवल एक इंजीनियरिंग समस्या है; एक बार तुलना विफल हो जाने पर, बाद के सभी निर्णय डगमगाने लगेंगे।