चीन के ओपन सोर्स मॉडल के प्रतिबंधित होने के बाद, फोर्क करने वाली पहली चीज़ संस्करण और मूल्यांकन क्षमता है।

एक बार जब इस तरह के प्रतिबंध हटा दिए जाते हैं, तो पहली चीज़ जो टूटती है वह आमतौर पर यह नहीं होती है कि “क्या इसे अभी भी डाउनलोड किया जा सकता है?” लेकिन “क्या यह अभी भी अंकों के उसी सेट पर आधारित हो सकता है?”

मॉडल स्वयं अभी भी वहां है, और मिररिंग को सिंक्रनाइज़ किया जा सकता है, लेकिन समस्या प्रवेश द्वार से तुलना की ओर स्थानांतरित होने लगती है। एक संस्करण जो आज अच्छी तरह से काम करता है, वजन स्लाइसिंग, टोकननाइज़र संस्करण, अनुमान पैरामीटर, या मिररिंग देरी के कारण किसी अन्य मशीन पर थोड़ा अंतर होगा। प्रत्येक आउटपुट को देखकर ऐसा लगता है कि यह अभी भी काम करता है; एक बार जब इसे प्रतिगमन सेट में वापस डाल दिया जाता है, तो वक्र फैलना शुरू हो जाता है। ऐसा हुआ करता था कि अपग्रेड करना है या नहीं यह तय करने के लिए आपको केवल कुल स्कोर देखने की ज़रूरत होती थी, लेकिन अब आपको पहले “यह परिवर्तन मॉडल या सर्विस स्टैक से आता है” को अनपैक करना होगा।

प्रतिबंधों के कारण होने वाली वास्तविक परेशानी स्वयं डाउनलोडिंग कार्रवाई में नहीं है, बल्कि तुलनात्मक संबंधों के टूटने में है। अतीत में, आपको केवल एक अपस्ट्रीम संस्करण पर ध्यान केंद्रित करने की आवश्यकता होती थी, लेकिन अब एक ही समय में अक्सर आधिकारिक स्रोत, दर्पण स्रोत, आंतरिक कैश, परिमाणित संस्करण और अस्थायी रोलबैक संस्करण होते हैं। प्रत्येक पंक्ति को चलाया जा सकता है, लेकिन परिणाम अब समान आधार रेखा साझा नहीं करते हैं। एक बार जब मूल्यांकन सेट तैयार हो जाता है, तो टीम जल्दी ही एक आम भाषा खो देगी: आर एंड डी का कहना है कि इस संस्करण में सुधार किया गया है, और उत्पाद का कहना है कि ऑनलाइन अनुभव नहीं बदला है। समस्यानिवारकों को पहले यह पुष्टि करनी होगी कि मॉडल बदल गया है या अनुमान परिवेश बदल गया है।

इस प्रकार के कांटे के बारे में सबसे परेशानी वाली बात यह है कि यह तुरंत खराबी के रूप में प्रकट नहीं होता है। पहले दिन, दोनों परिवेशों के बीच केवल 0.3 अंक का अंतर था। दूसरे दिन, एक निश्चित लंबा पाठ नमूना बहने लगा। तीसरे दिन वापस लौटने के बाद, मैंने पाया कि पुराने परिणाम पुन: प्रस्तुत नहीं किए जा सके। इस स्तर पर, चर्चा अब “क्या हम मॉडल प्राप्त कर सकते हैं?” के बारे में नहीं है। लेकिन “क्या हमें जो मिलता है वह एक ही चीज़ है।”

वास्तव में सबसे पहले जो बंद किया जाना चाहिए वह डाउनलोड प्रवेश द्वार नहीं है, बल्कि आधार रेखा है। कम से कम निम्नलिखित बातों पर ध्यान देने की आवश्यकता है:

• मॉडल फ़ाइल का हैश, टोकननाइज़र संस्करण, परिमाणीकरण विधि और अनुमान पैरामीटर।
• मूल्यांकन सेट, शीघ्र शब्द, नमूना पैरामीटर और पोस्ट-प्रोसेसिंग तर्क।
• कार्यान्वयन के दो सेटों को बहने से रोकने के लिए ऑनलाइन सेवाओं और ऑफ़लाइन प्रतिगमन द्वारा साझा किया गया अनुमान एनकैप्सुलेशन।
• मेमोरी पुनर्निर्माण पर भरोसा किए बिना, वापस रोल करते समय पुरानी छवि और बेसलाइन को बनाए रखें।

ये चीजें तुच्छ लग सकती हैं, लेकिन एक बार जब मॉडल पहुंच प्रतिबंधित होने लगती है, तो तुच्छता की यह परत वास्तव में मूल्यवान है। उनके बिना, टीम केवल “इस बार ठीक लग रहा है” के साथ अगले अपग्रेड पर दांव लगा सकती है; उनके साथ, वे कम से कम यह पुष्टि कर सकते हैं कि समस्या मॉडल, अनुमान स्टैक या डेटा सेट में ही है।

इसलिए जब यह मामला अंततः परियोजना पर आ जाएगा, तो निर्णय बहुत सरल हो जाएगा: क्या मॉडल प्राप्त किया जा सकता है यह केवल शुरुआत है; क्या इनपुट का एक ही सेट, मापदंडों का एक ही सेट और नमूनों का एक ही सेट एक ही लाइन पर लगातार चलाया जा सकता है, यह निर्धारित करता है कि क्या इसे अभी भी स्थिर रूप से उपयोग किया जा सकता है। जब तक तुलनात्मक क्षमता बनी रहती है, तब तक मॉडल में पैंतरेबाज़ी की गुंजाइश बनी रहती है; एक बार जब कैलिबर पहले अलग हो जाता है, तो बाद में प्रतिस्थापन, रोलबैक और समस्या निवारण अधिक महंगा हो जाएगा।