চীনের ওপেন সোর্স মডেল সীমাবদ্ধ হওয়ার পরে, কাঁটাচামচ করার প্রথম জিনিসটি হ'ল সংস্করণ এবং মূল্যায়ন ক্যালিবার।

একবার এই ধরনের বিধিনিষেধ তুলে নেওয়া হলে, প্রথম জিনিসটি যা ভেঙে যায় তা সাধারণত “এটি কি এখনও ডাউনলোড করা যায়?” কিন্তু “এটি কি এখনও একই স্কোরের উপর ভিত্তি করে হতে পারে?”

মডেল নিজেই এখনও আছে, এবং মিররিং সিঙ্ক্রোনাইজ করা যেতে পারে, কিন্তু সমস্যাটি প্রবেশদ্বার থেকে তুলনা করার জন্য স্থানান্তরিত হতে শুরু করে। ওজন স্লাইসিং, টোকেনাইজার সংস্করণ, ইনফারেন্স প্যারামিটার বা মিররিং বিলম্বের কারণে যে সংস্করণটি আজ ভাল কাজ করে তার অন্য মেশিনে সামান্য পার্থক্য থাকবে। প্রতিটি আউটপুট দেখে মনে হচ্ছে এটি এখনও কাজ করে; একবার এটিকে রিগ্রেশন সেটে ফিরিয়ে দেওয়া হলে, বক্ররেখাটি ছড়িয়ে পড়তে শুরু করে। এটি আগে ছিল যে আপগ্রেড করবেন কিনা তা সিদ্ধান্ত নিতে আপনাকে শুধুমাত্র মোট স্কোর দেখতে হবে, কিন্তু এখন আপনাকে প্রথমে “এই পরিবর্তনটি মডেল বা পরিষেবা স্ট্যাক থেকে আসে কিনা” আনপ্যাক করতে হবে।

বিধিনিষেধ দ্বারা সৃষ্ট আসল সমস্যাটি ডাউনলোডিং অ্যাকশনে নয়, তুলনামূলক সম্পর্কের ছিন্নভিন্নতায়। অতীতে, আপনাকে শুধুমাত্র একটি আপস্ট্রিম সংস্করণে ফোকাস করতে হবে, কিন্তু এখন প্রায়ই অফিসিয়াল উত্স, মিরর উত্স, অভ্যন্তরীণ ক্যাশে, কোয়ান্টাইজড সংস্করণ এবং একই সময়ে অস্থায়ী রোলব্যাক সংস্করণ রয়েছে৷ প্রতিটি লাইন চালানো যেতে পারে, কিন্তু ফলাফল আর একই বেসলাইন ভাগ করে না। একবার মূল্যায়ন সেট কাঁটা হয়ে গেলে, দল দ্রুত একটি সাধারণ ভাষা হারাবে: R&D বলছে এই সংস্করণটি উন্নত করা হয়েছে, এবং পণ্য বলছে অনলাইন অভিজ্ঞতা পরিবর্তন হয়নি৷ ট্রাবলশুটারদের প্রথমে নিশ্চিত করতে হবে যে মডেলটি পরিবর্তিত হয়েছে বা অনুমান পরিবেশ পরিবর্তিত হয়েছে কিনা।

এই ধরনের কাঁটাচামচ সম্পর্কে সবচেয়ে ঝামেলার বিষয় হল যে এটি অবিলম্বে একটি ত্রুটি হিসাবে নিজেকে প্রকাশ করে না। প্রথম দিনে, দুটি পরিবেশের মধ্যে মাত্র 0.3-পয়েন্টের ব্যবধান ছিল। দ্বিতীয় দিনে, একটি নির্দিষ্ট দীর্ঘ পাঠ্য নমুনা প্রবাহিত হতে শুরু করে। তৃতীয় দিনে রোল ব্যাক করার পরে, আমি দেখতে পেলাম যে পুরানো ফলাফলগুলি পুনরুত্পাদন করা যায়নি। এই পর্যায়ে, আলোচনা আর “আমরা মডেল পেতে পারি?” কিন্তু “আমরা যা পাই তা একই জিনিস কিনা।”

প্রথমে যা বন্ধ করা উচিত তা হল ডাউনলোড প্রবেশদ্বার নয়, বেসলাইন। কমপক্ষে নিম্নলিখিত জিনিসগুলিকে পেরেক দেওয়া দরকার:

• হ্যাশ, টোকেনাইজার সংস্করণ, কোয়ান্টাইজেশন পদ্ধতি এবং মডেল ফাইলের অনুমান পরামিতি।
• মূল্যায়ন সেট, প্রম্পট শব্দ, স্যাম্পলিং প্যারামিটার এবং পোস্ট-প্রসেসিং লজিক।
• দুই সেট বাস্তবায়নকে প্রবাহিত হওয়া থেকে রোধ করতে অনলাইন পরিষেবা এবং অফলাইন রিগ্রেশন দ্বারা ভাগ করা ইনফারেন্স এনক্যাপসুলেশন।
• মেমরি পুনর্গঠনের উপর নির্ভর না করে, রোল ব্যাক করার সময় পুরানো চিত্র এবং বেসলাইন ধরে রাখুন।

এই জিনিসগুলি তুচ্ছ মনে হতে পারে, কিন্তু একবার মডেল অ্যাক্সেস সীমাবদ্ধ করা শুরু হলে, এটি তুচ্ছতার এই স্তর যা সত্যিই মূল্যবান। তাদের ছাড়া, দলটি শুধুমাত্র পরবর্তী আপগ্রেডের সাথে জুয়া খেলতে পারে “এটি এবার ঠিক আছে”; তাদের সাথে, তারা অন্তত নিশ্চিত করতে পারে যে সমস্যাটি মডেল, ইনফারেন্স স্ট্যাক বা ডেটা সেটে রয়েছে কিনা।

সুতরাং যখন এই বিষয়টি শেষ পর্যন্ত প্রকল্পে পড়ে, তখন রায়টি খুব সহজ হয়ে যাবে: মডেলটি পাওয়া যাবে কিনা তা কেবল শুরু; ইনপুটগুলির একই সেট, একই প্যারামিটারের সেট এবং একই নমুনার সেটটি একই লাইনে ক্রমাগত চালানো যায় কিনা তা এখনও স্থিরভাবে ব্যবহার করা যেতে পারে কিনা তা নির্ধারণ করে। যতক্ষণ তুলনামূলক ক্যালিবার থাকে, মডেলটিতে কৌশলের জন্য এখনও জায়গা রয়েছে; একবার ক্যালিবারটি প্রথমে আলাদা হয়ে গেলে, পরবর্তী প্রতিস্থাপন, রোলব্যাক এবং সমস্যা সমাধান আরও ব্যয়বহুল হয়ে উঠবে।