ওপেন সোর্স মডেল সীমাবদ্ধ হওয়ার পরে, ব্যর্থ হওয়ার প্রথম জিনিসটি হল রিগ্রেশন রায়।

একবার বাহ্যিক নিষেধাজ্ঞাগুলি একটি ওপেন সোর্স মডেলের উপর পড়ে, প্রথম জিনিসটি যেটি ভেঙে যায় তা প্রায়শই “এটি কি এখনও ডাউনলোড করা যায়?” কিন্তু “এবারের ফলাফল কি গতবারের সাথে একসাথে দেখা যাবে?” মডেল নাম এখনও আছে, এবং ইন্টারফেস এখনও সংযুক্ত করা যেতে পারে. যা সত্যিই কঠিন হয়ে যায় তা হল রায়ের লাইনটি প্রবাহিত হতে শুরু করে: একই প্রম্পট শব্দের সেট, একই ব্যাচের নমুনা এবং একই ওয়ার্কফ্লো, ফলাফলগুলি শেষ হয়ে যাওয়া আর একই আচরণ বিতরণ নয়।

এই জিনিস কাগজে সহজ দেখায়, কিন্তু বাস্তবে এটি খুব বিরক্তিকর হয়ে ওঠে। পূর্বে পাসযোগ্য আউটপুট বিন্যাসে হঠাৎ করে একটু বেশি ব্যাখ্যা রয়েছে, পূর্বের স্থিতিশীল ফাংশন কল ক্রম পরিবর্তন হতে শুরু করে, কিছু এলাকায় নীতি প্রম্পটের একটি অতিরিক্ত স্তর রয়েছে, বা একই অনুরোধ বিভিন্ন প্রবেশদ্বারের অধীনে বিভিন্ন প্রসঙ্গ দৈর্ঘ্য পায়। তাদের প্রত্যেকটি একা দুর্ঘটনা নয়, তবে একসাথে নেওয়া হলে তা প্রত্যাবর্তনের রায়কে বিভ্রান্ত করবে।

প্রথমে যা ভাঙল তা ছিল তুলনামূলক ক্যালিবার।

অনেক দল প্রথমে বেঞ্চমার্ক স্কোরগুলিতে ফোকাস করবে, কিন্তু স্কোরগুলি শুধুমাত্র আনুমানিক ক্ষমতা নির্দেশ করার জন্য উপযুক্ত, এবং “বর্তমান আচরণ এখনও পুরানো প্রক্রিয়া অনুসরণ করা যেতে পারে কিনা” ব্যাখ্যা করার জন্য উপযুক্ত নয়। অনলাইনে যাওয়ার আসল জায়গা হল যে মডেলটি একা চলে তা নয়, তবে এটি পার্সার, টুল কলিং, পুনরায় চেষ্টা, ক্যাশিং, অডিটিং এবং রাউটিং এর সাথে একসাথে কাজ করে৷ যতক্ষণ না লিঙ্কগুলির একটি ক্যালিবার পরিবর্তন করে, স্কোরটি তার রেফারেন্সের অর্থ হারাবে।

সবচেয়ে সাধারণ পরিস্থিতি হল মূল্যায়ন সেটে কোনো সমস্যা দেখা যায় না, তবে চেইনটি অনলাইনে পড়ে যেতে শুরু করে। পরীক্ষার নমুনাগুলি যথেষ্ট পরিষ্কার, এবং মডেলটি খুব ভাল প্রশ্নের উত্তর দেয়। যাইহোক, একবার বাস্তব ইনপুট প্রাপ্ত হলে, অল্প পরিমাণ ফিল্ড ড্রিফ্ট পরবর্তী স্বয়ংক্রিয় পদক্ষেপগুলিকে পক্ষপাতিত্ব করতে পারে। ফলাফলটি দেখে মনে হচ্ছে “মডেলটি এখনও ব্যবহার করা যেতে পারে”, কিন্তু আসলে এর মানে “তুলনা পদ্ধতি ব্যর্থ হয়েছে।”

কর্মপ্রবাহ অনুযায়ী বেসলাইন সংরক্ষণ করতে হবে

এই ধরনের পরিবর্তনগুলিকে দমন করার জন্য, আমরা তালিকার আরও রাউন্ড চালানোর উপর নির্ভর করি না, তবে বেসলাইনটিকে একটি রিপ্লেযোগ্য ওয়ার্কফ্লোতে পরিণত করার উপর নির্ভর করি। ইনপুটের একটি সংস্করণ থাকতে হবে, আউটপুটে অবশ্যই একটি স্কিমা থাকতে হবে, টুল প্রতিক্রিয়া অবশ্যই প্লেযোগ্য হতে হবে এবং ব্যর্থ নমুনাগুলিকে অবশ্যই মূল প্রসঙ্গটি ধরে রাখতে হবে। শুধুমাত্র এইভাবে, অন্যান্য মডেল, অন্যান্য অঞ্চল এবং অন্যান্য কৌশলগুলিতে স্যুইচ করার পরে, আমরা জানতে পারি যে বিচ্যুতিটি মডেলটিতে রয়েছে নাকি সামনে এবং পিছনের লিঙ্কগুলিতে রয়েছে।

এই ধরনের বেসলাইন শুধুমাত্র একটি স্কোর এবং একটি উপসংহার সংরক্ষণ করতে ভয় পায়। লোকেদের সান্ত্বনা দিতে স্কোর ব্যবহার করা হবে, রিপোর্ট লেখার জন্য উপসংহার ব্যবহার করা হবে, কিন্তু সত্যিকারের দরকারী বিবরণ অনুপস্থিত। একবার বিধিনিষেধগুলি পরে কঠোর করা হলে, দলটি কেবলমাত্র নমুনাগুলি পুনরায় পূরণ করতে পারে, ক্যালিবারটি পুনরায় পূরণ করতে পারে এবং অস্বাভাবিক সীমানাগুলি পুনরায় পূরণ করতে পারে, যা তুলনামূলক কাজটি ভেঙে ফেলার সমতুল্য যেটি পুনরায় কাজের কয়েক রাউন্ডের মধ্যে একবারে সম্পন্ন করা যেতে পারে।

অভিবাসনের আসল খরচ হল আত্মবিশ্বাস পুনঃপ্রতিষ্ঠা করা

মডেলটি সীমাবদ্ধ হওয়ার পরে, মাইগ্রেশন অ্যাকশনটি একটি উপলব্ধ আইটেমে পরিবর্তিত হওয়ার মতো দেখায়, তবে এটি আসলে আত্মবিশ্বাসকে পুনঃপ্রতিষ্ঠা করছে যে “এই প্রক্রিয়াটি তুলনামূলকভাবে স্থিতিশীল।” একটি সফল কল দ্বারা আত্মবিশ্বাস তৈরি হয় না, বরং তুলনামূলক ফলাফলের একটি সেট দ্বারা যা বারবার যাচাই করা যায়। ফলাফলের এই সেট ব্যতীত, এটি শুধুমাত্র সাময়িকভাবে চালানোর যোগ্য হবে যদি আমরা অতীতে পরিবর্তিত হই; ফলাফলের এই সেটের সাথে, এটি নিয়ন্ত্রণযোগ্য সীমার মধ্যে থাকবে যদি আমরা অতীতে পরিবর্তন করি।

এই কারণেই কিছু দল পৃষ্ঠে প্রতিস্থাপন সম্পন্ন করেছে, তবে অভ্যন্তরীণভাবে তাদের সক্ষমতা বাড়ানোর সাহস করার আগে তাদের এখনও দীর্ঘ সময় অপেক্ষা করতে হবে। যা সত্যিই আটকে আছে তা হল অ্যাক্সেস অ্যাকশন নয়, কিন্তু কেউ উত্তর দেওয়ার সাহস করে না: পুরানো প্রক্রিয়ার সবচেয়ে গুরুত্বপূর্ণ সীমানাগুলি এখনও নতুন মডেলে সত্য কিনা। যতক্ষণ না এই প্রশ্নের উত্তর স্পষ্টভাবে না পাওয়া যায়, ততক্ষণ যে কোনো বিবৃতি যে “অভিবাসন সম্পন্ন হয়েছে” শুধুমাত্র একটি মঞ্চস্থ বিবৃতি।

শুধুমাত্র পরীক্ষার জন্য উপযোগী অংশ পুনর্নির্মাণ মূল্য

সমস্ত দৃশ্যকল্প রিগ্রেশন চেইনকে এত ভারী করার যোগ্য নয়। অ্যাড-হক কথোপকথন, লাইটওয়েট জেনারেশন, এবং এক-সময়ের সারাংশের আলগা সীমানা রয়েছে এবং অতিরিক্ত নির্মাণ সময়ের অপচয়। কিন্তু যত তাড়াতাড়ি মডেলটি কোড জেনারেশন, তথ্য নিষ্কাশন, রাউটিং সিদ্ধান্ত এবং টুল এক্সিকিউশনে অংশগ্রহণ করতে শুরু করে, রিগ্রেশন রায় আর একটি আনুষঙ্গিক নয়, কিন্তু কর্মপ্রবাহের একটি অংশ।

বাহ্যিক সীমাবদ্ধতা এই পার্থক্যকে বড় করতে পারে। এটি ব্যবহার করা চালিয়ে যেতে পারে কিনা তা সাধারণত শুধুমাত্র সবচেয়ে সুপারফিসিয়াল স্তর; দলটি স্থিতিশীল হতে পারে কি না তা সত্যিই যা নির্ধারণ করে তা হল তুলনা করার জন্য পুরানো বেসলাইনের বিপরীতে নতুন ফলাফল ফিরিয়ে আনার একটি স্থিতিশীল পদ্ধতি আছে কিনা। একবার তুলনা প্রতিষ্ঠিত হলে, মাইগ্রেশন শুধু একটি প্রকৌশল সমস্যা; একবার তুলনা ব্যর্থ হলে, পরবর্তী সমস্ত রায় নড়বড়ে হতে শুরু করবে।