চীনের ওপেন সোর্স মডেল সীমাবদ্ধ হওয়ার পরে, যাচাইয়ের খরচ বাড়ানোর প্রথম জিনিস।

ওপেন সোর্স মডেলগুলিকে সীমাবদ্ধ করার পরে, প্রথমে যে জিনিসটি ব্যয়বহুল হয়ে ওঠে তা সাধারণত মডেল নিজেই নয়, তবে যাচাইকরণ। মডেলটি এখনও নীচে টানা যায় কিনা তা শুধুমাত্র প্রথম স্তর; এটি টেনে নামানোর পরে, আউটপুট ফর্ম্যাট, টুল কল, প্রত্যাখ্যান নীতি, প্রসঙ্গ দৈর্ঘ্য এবং নমুনা প্যারামিটারগুলি এখনও পুরানো সংস্করণের সাথে সারিবদ্ধ করা যেতে পারে কিনা তা নির্ধারণ করবে সিস্টেমটি স্থিতিশীল থাকবে কিনা।

টিমের কাছে এসে সরবরাহের সমস্যাটি ইঞ্জিনিয়ারিং ইস্যুতে পরিণত হয়েছিল। একবার একটি মডেল প্রক্রিয়ায় প্রবেশ করলে, অ্যাক্সেস লেয়ারটি খুব কমই শুধুমাত্র একটি API ঠিকানা দিয়ে বাকি থাকে। প্রম্পট শব্দ, স্কিমা, পুনরায় চেষ্টা, টাইমআউট, ট্রাঙ্কেশন পজিশন এবং টুল কল সিকোয়েন্সগুলি ধীরে ধীরে অন্তর্নিহিত প্রাঙ্গনে পরিণত হবে। সংস্করণ স্থিতিশীল হলে, এই প্রাঙ্গনে অভিজ্ঞতা দ্বারা সমর্থিত হতে পারে; যখন মডেলটি সীমিত হয়, চিত্রটি কাঁটাচামচ করা হয়, বা একই নামের সংস্করণটির কার্যকারিতা চলে যায়, অভিজ্ঞতা ব্যর্থ হতে শুরু করে। The first thing that loses its effect is often regression judgment, because the test set only tells the system what is not broken, and cannot directly tell what has changed.

ডিফল্ট অনুমান হল এটি বাঁধা হবে এবং প্রথমে ফেরত দেওয়া হবে।

অতীতে একদল সোনালী মামলা দীর্ঘ দিন চলতে পারত। বেশিরভাগ সময়, তারা কেবল আউটপুট স্পষ্টতই বিচ্যুত হয়েছে কিনা তা দেখেছিল। মডেল স্থির এবং প্রম্পট শব্দটিও স্থির। সবাই ডিফল্ট হবে “এই লিঙ্কটি যাচাই করা হয়েছে।” যত তাড়াতাড়ি সীমাবদ্ধতা প্রদর্শিত হবে, এই ডিফল্ট পতন শুরু হয়. মডেলগুলি অঞ্চল, ছবি বা সংস্করণগুলি পরিবর্তন করতে পারে এবং এমনকি একই নামের মডেলগুলি বিভিন্ন সময়ের মধ্যে ভিন্নভাবে আচরণ করতে পারে৷ এই মুহুর্তে, রিগ্রেশন আর ব্যবহার করা যায় কিনা তা বিচার করার বিষয়ে নয়, তবে পরিবর্তনটি কোন স্তরে পড়ে এবং পরিবর্তনের মানটি পরিবর্তন করার যোগ্য কিনা তা বিচার করা।

ডিস্ট্রিবিউশন এবং রোলব্যাক ছোট পরিবর্তনকে বড় করবে

মডেলটি সীমাবদ্ধ হওয়ার পরে, প্রথমে যা করতে হবে তা হল ডাউনলোড, মিররিং, অনুমোদন, অডিটিং এবং রোলব্যাক৷ পৃষ্ঠে, এটি কেবল একটি উপলব্ধ মডেলে পরিবর্তিত হয়। আসলে, এটি সংস্করণ লকিং, ক্যাশে সিঙ্ক্রোনাইজেশন, অনুমতি নিয়ন্ত্রণ এবং ব্যর্থতা যোগ করে। যতক্ষণ পর্যন্ত মডেল ডিস্ট্রিবিউশনের একটি স্বাধীন স্তর না থাকে, ততক্ষণ ব্যবসা এই কাজগুলিকে তার নিজস্ব রিলিজ ছন্দে ফিরিয়ে দেবে। ফলাফলটি প্রায়শই “আরো অভিযোজন” হয় না, তবে ইনপুট এবং আউটপুট চুক্তি প্রতিবার আপডেট করার সময় অবশ্যই পুনরায় নিশ্চিত করতে হবে।

প্রথম জিনিস যে নিরপেক্ষ স্তর বন্ধ হয় মডেল ক্ষমতা নয়.

What really should be separated is usually not the model itself, but the layer of neutral boundaries around the model: prompt word templates, schema verification, routing strategies, retry logic, logs, and evaluations. এই জিনিসগুলিকে একত্রিত করা হল পরিচ্ছন্নতা অনুসরণ করা নয়, তবে পরিবর্তনগুলিকে প্রথম চুক্তির একই সেটে পড়তে দেওয়া। মডেলটি প্রতিস্থাপন করা যেতে পারে, ইনপুট এবং আউটপুট প্রবাহিত হতে পারে না এবং রিগ্রেশন বেসলাইন ছিটকে যেতে পারে না। একবার নিরপেক্ষ স্তরটি প্রতিষ্ঠিত হয়ে গেলে, অনেকগুলি ডিফল্ট আচরণ যা মূলত অভিজ্ঞতার মাধ্যমে মনে রাখা হয়েছিল সেগুলি এমন জিনিস হয়ে উঠবে যা তুলনা করা যেতে পারে, ফিরিয়ে আনা যায় এবং পুনরায় প্লে করা যায়।

সব প্রকল্পই এই স্তরটি প্রথমে করার মতো নয়।

এককালীন বিমূর্ত, অভ্যন্তরীণ পরীক্ষা, স্বল্পস্থায়ী স্ক্রিপ্ট, সরাসরি মডেলের সাথে সংযুক্ত যথেষ্ট। একটি নিরপেক্ষ স্তরের প্রয়োজন হল এমন একটি দৃশ্য যেখানে মডেলটি উত্পাদন বিচারে অংশগ্রহণ করতে শুরু করেছে এবং সরবরাহকারী বা অঞ্চলটি পরে স্যুইচ করার একটি উচ্চ সম্ভাবনা রয়েছে। এই সিস্টেমগুলির জন্য, আসল সমস্যাটি কখনই অভিযোজনের আরও কয়েকটি লাইন লিখতে হয় না, তবে আসল ডিফল্ট আচরণগুলি স্পষ্টভাবে চিহ্নিত করা হয় না। এই স্তরটি ছাড়া, প্রতিবার মডেল পরিবর্তন করা হলে, রিটার্ন, বিতরণ এবং মুক্তির ছন্দ আবার গণনা করতে হবে।

তথাকথিত সীল প্রায়ই শুধুমাত্র মূল সংরক্ষিত যাচাইকরণ, বিতরণ এবং রোলব্যাক খরচ একবারে দলকে পরিশোধ করে। মডেল পরিবর্তন এবং লিঙ্ক ভাগ্য দ্বারা স্থির করা যাবে না. মডেলটি ব্যবহার করা চালিয়ে যেতে পারে কিনা সে বিষয়ে কথা বলার আগে আমাদের প্রথমে যাচাইকরণ লিঙ্কটি আলাদা করতে হবে।