پس از محدود شدن مدل منبع باز چین، اولین چیزی که باید فوکوس کرد، نسخه و کالیبر ارزیابی است.

هنگامی که چنین محدودیت‌هایی برداشته می‌شوند، اولین چیزی که خراب می‌شود معمولاً این نیست که «آیا هنوز می‌توان آن را دانلود کرد؟» اما “آیا هنوز هم می تواند بر اساس همان مجموعه نمرات باشد؟”

خود مدل هنوز وجود دارد، و آینه‌سازی را می‌توان همگام‌سازی کرد، اما مشکل از ورودی به مقایسه تغییر می‌کند. نسخه‌ای که امروز به خوبی کار می‌کند، به دلیل برش وزن، نسخه توکنایزر، پارامترهای استنتاج یا تأخیر در آینه‌سازی، تفاوت‌های جزئی در دستگاه دیگری خواهد داشت. فقط با نگاه کردن به هر خروجی، به نظر می رسد که هنوز کار می کند. هنگامی که به مجموعه رگرسیون بازگردانده می شود، منحنی شروع به گسترش می کند. قبلاً برای تصمیم گیری در مورد ارتقاء فقط باید به یک امتیاز کلی نگاه کنید، اما اکنون باید ابتدا بسته بندی “این تغییر از مدل است یا پشته سرویس” را باز کنید.

مشکل واقعی ناشی از محدودیت ها در خود اقدام دانلود نیست، بلکه در خرد کردن روابط مقایسه است. در گذشته، فقط باید روی یک نسخه بالادستی تمرکز می‌کردید، اما اکنون اغلب منابع رسمی، منابع آینه‌ای، حافظه پنهان داخلی، نسخه‌های کوانتیزه‌شده و نسخه‌های بازگشت موقت وجود دارند. هر خطی را می توان اجرا کرد، اما نتایج دیگر خط پایه مشابهی ندارند. هنگامی که مجموعه ارزیابی فورک شود، تیم به سرعت یک زبان مشترک را از دست می دهد: تحقیق و توسعه می گوید این نسخه بهبود یافته است، و محصول می گوید تجربه آنلاین تغییر نکرده است. عیب یاب ابتدا باید تأیید کند که آیا مدل تغییر کرده است یا محیط استنتاج تغییر کرده است.

مشکل ترین چیز در مورد این نوع چنگال این است که بلافاصله خود را به عنوان یک نقص نشان نمی دهد. در روز اول، تنها 0.3 امتیاز بین دو محیط فاصله وجود داشت. در روز دوم، یک نمونه متن طولانی مشخص شروع به جابجایی کرد. پس از بازگشت در روز سوم، متوجه شدم که نتایج قدیمی قابل بازتولید نیستند. در این مرحله دیگر بحث بر سر این نیست که آیا می توانیم مدل را بگیریم؟ اما “اینکه آنچه به دست می آوریم یکسان است.”

چیزی که واقعاً ابتدا باید بسته شود ورودی دانلود نیست، بلکه خط پایه است. حداقل موارد زیر باید مشخص شود:

• هش، نسخه توکنایزر، روش کوانتیزاسیون و پارامترهای استنتاج فایل مدل.
• مجموعه ارزیابی، کلمات سریع، پارامترهای نمونه گیری و منطق پس از پردازش.
• کپسوله سازی استنتاج مشترک توسط سرویس های آنلاین و رگرسیون آفلاین برای جلوگیری از جابجایی دو مجموعه پیاده سازی.
• بدون اتکا به بازسازی حافظه، تصویر قدیمی و خط پایه را هنگام برگشت به عقب حفظ کنید.

این چیزها ممکن است بی اهمیت به نظر برسند، اما هنگامی که دسترسی مدل شروع به محدود شدن می کند، این لایه بی اهمیتی است که واقعا ارزشمند است. بدون آنها، تیم فقط می‌تواند روی ارتقای بعدی با «این بار به نظر خوب است» قمار کند. با آنها حداقل می توانند تأیید کنند که آیا مشکل در مدل، پشته استنتاج یا خود مجموعه داده است.

بنابراین هنگامی که این موضوع در نهایت به پروژه می افتد، قضاوت بسیار ساده خواهد شد: اینکه آیا می توان مدل را به دست آورد یا خیر، فقط شروع است. اینکه آیا مجموعه ورودی های یکسان، مجموعه ای از پارامترها، و مجموعه مشابهی از نمونه ها می توانند به طور مداوم در یک خط اجرا شوند، تعیین می کند که آیا همچنان می توان از آن به طور پایدار استفاده کرد یا خیر. تا زمانی که کالیبر مقایسه ای باقی بماند، هنوز هم در مدل جا برای مانور وجود دارد. هنگامی که کالیبر ابتدا واگرا شود، تعویض بعدی، برگشت و عیب یابی گران تر خواهد شد.