پس از محدود شدن مدل منبع باز، اولین چیزی که شکست می‌خورد قضاوت رگرسیون است.

هنگامی که محدودیت های خارجی بر روی یک مدل منبع باز اعمال می شود، اولین چیزی که اغلب خراب می شود این نیست که “هنوز می توان آن را دانلود کرد؟” اما “آیا می توان نتایج این بار را با آخرین بار مشاهده کرد؟” نام مدل هنوز وجود دارد و رابط هنوز هم قابل اتصال است. چیزی که واقعاً دشوار می‌شود این است که خط قضاوت شروع به منحرف شدن می‌کند: مجموعه‌ای از کلمات سریع، همان دسته از نمونه‌ها، و گردش کار یکسان، نتایج تمام می‌شوند دیگر توزیع رفتار یکسانی ندارند.

این چیز روی کاغذ ساده به نظر می رسد، اما در عمل بسیار آزاردهنده می شود. قالب خروجی قابل قبول قبلی ناگهان کمی توضیح بیشتری دارد، توالی فراخوانی تابع پایدار قبلی شروع به تغییر می کند، یک لایه اضافی از خط مشی ها در برخی مناطق وجود دارد، یا همان درخواست طول زمینه های متفاوتی را در ورودی های مختلف دریافت می کند. هر یک از آنها به تنهایی یک تصادف نیست، اما در کنار هم قضاوت بازگشت را اشتباه می کند.

اولین چیزی که شکست، کالیبر مقایسه ای بود.

بسیاری از تیم‌ها ابتدا روی امتیازات معیار تمرکز می‌کنند، اما امتیازها فقط برای نشان دادن توانایی‌های تقریبی مناسب هستند و برای توضیح اینکه آیا رفتار فعلی هنوز می‌تواند توسط فرآیند قدیمی دنبال شود مناسب نیست. مکان واقعی برای آنلاین شدن این نیست که مدل به تنهایی اجرا شود، بلکه این است که با تجزیه کننده، فراخوانی ابزار، تلاش مجدد، ذخیره سازی، ممیزی و مسیریابی همراه است. تا زمانی که یکی از پیوندها تغییر کالیبر داشته باشد، امتیاز معنای مرجع خود را از دست خواهد داد.

معمول ترین حالت این است که هیچ مشکلی در مجموعه ارزیابی دیده نمی شود، اما زنجیره شروع به از بین رفتن آنلاین می کند. نمونه های تست به اندازه کافی تمیز هستند و مدل به خوبی به سوالات پاسخ می دهد. با این حال، هنگامی که ورودی واقعی دریافت می شود، مقدار کمی از رانش میدان می تواند مراحل خودکار بعدی را سوگیری کند. نتیجه به نظر می رسد “مدل هنوز هم قابل استفاده است”، اما در واقع به این معنی است که “روش مقایسه شکست خورده است.”

خط پایه باید با توجه به گردش کار ذخیره شود

برای سرکوب چنین تغییراتی، ما بر اجرای دورهای بیشتری از لیست ها تکیه نمی کنیم، بلکه به تبدیل خط مبنا به یک جریان کاری قابل پخش مجدد تکیه می کنیم. ورودی باید یک نسخه داشته باشد، خروجی باید طرحواره داشته باشد، پاسخ ابزار باید قابل پخش باشد و نمونه های ناموفق باید زمینه اصلی را حفظ کنند. تنها به این ترتیب، پس از تغییر به مدل‌های دیگر، مناطق دیگر و استراتژی‌های دیگر، می‌توانیم متوجه شویم که انحراف در خود مدل است یا در پیوندهای جلو و عقب.

این نوع خط پایه بیشتر از ذخیره امتیاز و نتیجه گیری می ترسد. از نمرات برای آرامش افراد استفاده می شود، از نتیجه گیری برای نوشتن گزارش استفاده می شود، اما جزئیات واقعا مفید وجود ندارد. هنگامی که محدودیت‌ها بعداً تشدید شدند، تیم فقط می‌تواند نمونه‌ها را دوباره پر کند، کالیبر را دوباره پر کند، و مرزهای غیرعادی را دوباره پر کند، که معادل تقسیم کار مقایسه‌ای است که می‌توانست در یک مرحله انجام شود به چندین دور کار مجدد.

هزینه واقعی مهاجرت، ایجاد مجدد اعتماد است

پس از محدود شدن مدل، عمل مهاجرت به نظر تغییر به یک آیتم در دسترس است، اما در واقع این اطمینان را دوباره ایجاد می کند که “این فرآیند نسبتاً پایدار است.” اعتماد به نفس با یک تماس موفق ایجاد نمی شود، بلکه با مجموعه ای از نتایج مقایسه ای که می تواند مکرراً تأیید شود، ایجاد می شود. بدون این مجموعه نتایج، تنها در صورتی که به گذشته تغییر کرده باشیم، به طور موقت قابل اجرا خواهد بود. با این مجموعه نتایج، اگر به گذشته تغییر کنیم، در محدوده قابل کنترل خواهد بود.

به همین دلیل است که برخی از تیم‌ها جایگزینی در سطح را تکمیل کرده‌اند، اما در داخل باید مدت زیادی منتظر بمانند تا جرات افزایش ظرفیت خود را داشته باشند. چیزی که واقعاً گیر کرده عمل دسترسی نیست، بلکه کسی جرات پاسخگویی به آن را ندارد: آیا مهمترین مرزها در فرآیند قدیمی هنوز در مدل جدید صادق هستند یا خیر. تا زمانی که به این سوال پاسخ روشنی داده نشود، هر جمله ای مبنی بر اینکه «مهاجرت به پایان رسیده است» صرفاً یک بیانیه مرحله ای است.

فقط قطعاتی که برای تست مناسب هستند ارزش بازسازی دارند

همه سناریوها شایسته سنگین کردن زنجیره رگرسیون نیستند. مکالمات تک‌تک، تولید سبک و خلاصه‌های یک‌باره دارای مرزهای آزاد هستند و ساخت بیش از حد باعث اتلاف وقت می‌شود. اما به محض اینکه مدل شروع به مشارکت در تولید کد، استخراج اطلاعات، تصمیمات مسیریابی و اجرای ابزار می کند، قضاوت رگرسیون دیگر یک ابزار جانبی نیست، بلکه بخشی از گردش کار است.

محدودیت‌های خارجی می‌توانند این تفاوت را بزرگ‌تر کنند. اینکه آیا می توان به استفاده از آن ادامه داد یا نه، معمولاً فقط سطحی ترین لایه است. چیزی که واقعاً تعیین می‌کند که آیا تیم می‌تواند پایدار باشد یا خیر، این است که آیا روشی باثبات برای بازگرداندن نتایج جدید در برابر خط پایه قدیمی برای مقایسه وجود دارد یا خیر. هنگامی که مقایسه برقرار شد، مهاجرت فقط یک مشکل مهندسی است. هنگامی که مقایسه با شکست مواجه شد، تمام قضاوت های بعدی شروع به تزلزل خواهند کرد.