ओपन सोर्स मॉडल सार्वजनिक होने के बाद, पहली चीज जो नाजुक हो जाती है वह है वर्जन लॉक।

ओपन सोर्स मॉडल सार्वजनिक होने के बाद, निश्चित संस्करण आमतौर पर सबसे पहले ढीला होता है, जबकि वेट फ़ाइल अक्सर सबसे स्थिर होती है।

गोदाम का नाम अभी भी है, और मॉडल का नाम अभी भी है, लेकिन मूल्यांकन चलाने, प्रतिगमन करने और ट्रैफ़िक को जोड़ने के लिए उपयोग किया जाने वाला वास्तविक इनपुट अक्सर एक ही चीज़ नहीं होता है। आज हमने जो निकाला वह main है, और यह अगले सप्ताह भी वही पथ होगा, लेकिन टोकननाइज़र, टेम्पलेट, क्वांटाइज़ेशन पैकेज, डिफ़ॉल्ट dtype और यहां तक ​​कि README में अनुशंसित पैरामीटर भी बदल दिए गए हैं। जो आप ऑनलाइन देखते हैं वह “मॉडल गायब हो जाता है” नहीं है, बल्कि “वही मॉडल नाम अन्य वितरण योग्य बन जाता है”।

कई बार मॉडल एक्सेस लेने के बाद, आप पाएंगे कि सबसे आसानी से अनदेखा किया जाने वाला मान डिफ़ॉल्ट मान है। वेट फ़ाइल आमतौर पर किसी के द्वारा देखी जाती है, लेकिन डिफ़ॉल्ट टैग, डिफ़ॉल्ट छवि, डिफ़ॉल्ट टेम्पलेट और डिफ़ॉल्ट कैश निर्देशिका को अक्सर अप्राप्य छोड़ दिया जाता है। जब एक सिंक्रोनाइज़ेशन विंडो अटक जाती है, या मिरर स्टेशन केवल वज़न को सिंक्रोनाइज़ करता है, लेकिन कॉन्फ़िगरेशन को नहीं, तो टीम को अचानक पता चलेगा कि जो उनके पास है वह प्रतिलिपि प्रस्तुत करने योग्य संस्करण नहीं है, बल्कि बहते नामों की एक स्ट्रिंग है।

डिफ़ॉल्ट प्रवेश द्वार वजन की तुलना में बहाव आसान है।

भार फ़ाइल स्थिर है, प्रविष्टि नहीं है।

model-name:latest लिखने का यह तरीका आसान लगता है, लेकिन समस्या यह है कि यह “कब अपडेट करना है” का मामला बाहर पर छोड़ देता है। यदि अपस्ट्रीम टोकननाइज़र को बदलता है, चैट टेम्पलेट जोड़ता है, या क्वांटिफिकेशन पैकेज को दोबारा टाइप करता है, तो एक्सेस पार्टी का व्यवहार तदनुसार बदल जाएगा। मूल्यांकन स्कोर में केवल थोड़ा उतार-चढ़ाव हो सकता है, लेकिन ऑनलाइन आउटपुट चुपचाप अपना स्वर बदल देगा। समस्या निवारण के दौरान सबसे कष्टदायक हिस्सा यहां है: लॉग में सब कुछ सामान्य दिखता है, लेकिन वास्तव में, एक अन्य इनपुट को कॉल किया जा रहा है।

वास्तव में जो असुविधाजनक है वह स्वयं परिवर्तन नहीं है, बल्कि यह तथ्य है कि परिवर्तन कोई सीमा नहीं छोड़ता। जब तक नाम अपरिवर्तित रहता है, प्रतिगमन, ग्रेस्केल और दुर्घटना समीक्षा केवल परिणामों पर ध्यान केंद्रित कर सकती है और कारणों का अनुमान लगा सकती है। मॉडल का नाम वहां लटका हुआ है, लेकिन टीम के पास यह पुष्टि करने का कोई तरीका नहीं है कि जो उन्हें आज मिला है वह वही उत्पाद है जो पिछले सप्ताह बेसलाइन पर चला था।

छवियाँ, टेम्प्लेट और परिमाणीकरण पैकेज एक साथ जमाए जाने चाहिए

सिर्फ वजन को लॉक करना ही काफी नहीं है।

एक ओपन सोर्स मॉडल वास्तव में वर्कफ़्लो में प्रवेश करने के बाद, इसमें आमतौर पर केवल एक .bin या .safetensors से अधिक होते हैं। यह टोकननाइजर, चैट टेम्प्लेट, इंट्रेंस फ्रेमवर्क पैरामीटर्स, क्वांटिफिकेशन फाइल्स, डाउनलोड इमेज, स्टार्टअप स्क्रिप्ट और कैश पाथ भी लाएगा। यदि उनमें से कोई भी बह जाता है, तो यह अंततः दिखा सकता है कि “मॉडल बदतर हो गया है”। वास्तव में, अक्सर मॉडल नहीं बदलता, बल्कि डिलीवरी पैकेज बदलता है।

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

इस प्रकार का कॉन्फ़िगरेशन वर्बोज़ लगता है, लेकिन इसके परिणामस्वरूप तीन चीज़ें होती हैं: छवि उपलब्धता के लिए ज़िम्मेदार है, संस्करण संख्या और हैश प्रतिलिपि प्रस्तुत करने योग्यता के लिए ज़िम्मेदार है, और स्टार्टअप स्क्रिप्ट लगातार अनुमान पैरामीटर के लिए ज़िम्मेदार है। इनमें से किसी भी परत के बिना, तथाकथित “पहले से ही सार्वजनिक” मॉडल को केवल अर्ध-तैयार उत्पाद माना जा सकता है। एक्सेस पार्टी के लिए, सबसे महत्वपूर्ण बात यह नहीं है कि इसे डाउनलोड किया जा सकता है या नहीं, बल्कि यह है कि क्या डाउनलोड की गई सामग्री तीन सप्ताह बाद भी समान परिणाम दे सकती है।

वास्तव में जिस चीज़ को संरक्षित करने की आवश्यकता है वह है पुनरुत्पादन की क्षमता

ओपन सोर्स मॉडल सार्वजनिक होने के बाद, टीम को जिस चीज़ की सुरक्षा करने की ज़रूरत है वह रहस्यमय प्रवेश द्वार नहीं है, बल्कि पुनरुत्पादन है।

एक बार जब पुनरुत्पादन बाधित हो जाता है, तो मूल्यांकन आधार रेखा खिसक जाएगी, ए/बी परिणाम विकृत हो जाएंगे, और दुर्घटना प्लेबैक संदर्भ खो देगा। जब तक हर कोई “पिछले सप्ताह यह सामान्य था” कहकर समस्या पर चर्चा कर रहा है, तब तक संस्करण प्रबंधन मूल रूप से विफल हो चुका है। इस बिंदु पर मॉडल क्षमताओं के बारे में बात करने का कोई मतलब नहीं है; केवल निश्चित संस्करण, छवि सिंक्रनाइज़ेशन, हैश सत्यापन और रोलबैक पथ को कड़ा करके ही हम प्रभाव के बारे में बात जारी रखने के लिए योग्य हो सकते हैं।

इस प्रकार का मॉडल वेब सेवा की तुलना में सॉफ़्टवेयर आर्टिफैक्ट की तरह अधिक है। यदि वेब पेज टूटा हुआ है, तो आप अभी भी 500 देख सकते हैं, और मॉडल संस्करण बह रहा है, और कई मामलों में यह आउटपुट में धीरे-धीरे बदल जाएगा। सतही तौर पर इसका नाम अभी भी वही है, लेकिन वास्तव में आधी व्यवस्था बदल दी गई है।