ওপেন সোর্স মডেলটি সর্বজনীন হওয়ার পরে, প্রথমে যে জিনিসটি ভঙ্গুর হয় তা হল সংস্করণ লক।

After an open source model is made public, the fixed version is usually the first to be loosened, while the weight file is often the most stable.

গুদামের নাম এখনও আছে, এবং মডেলের নাম এখনও আছে, কিন্তু প্রকৃত ইনপুট মূল্যায়ন চালানো, রিগ্রেশন করতে এবং ট্রাফিক সংযোগ করতে ব্যবহৃত প্রায়শই একই জিনিস নয়। আমরা আজকে যা টানছি তা হল main, এবং এটি এখনও পরের সপ্তাহে একই পথ হবে, কিন্তু টোকেনাইজার, টেমপ্লেট, কোয়ান্টাইজেশন প্যাকেজ, ডিফল্ট dtype এবং এমনকি README-তে প্রস্তাবিত প্যারামিটারগুলি পরিবর্তন করা হয়েছে৷ আপনি অনলাইনে যা দেখছেন তা “মডেল অদৃশ্য হয়ে গেছে” নয়, বরং “একই মডেলের নাম আরেকটি বিতরণযোগ্য হয়ে উঠেছে”।

বেশ কয়েকবার মডেল অ্যাক্সেস নেওয়ার পরে, আপনি দেখতে পাবেন যে সবচেয়ে সহজে উপেক্ষা করা মানটি ডিফল্ট মান। The weight file is usually watched by someone, but the default tag, default image, default template, and default cache directory are often left unattended. যখন একটি সিঙ্ক্রোনাইজেশন উইন্ডো আটকে থাকে, বা মিরর স্টেশন শুধুমাত্র ওজনগুলিকে সিঙ্ক্রোনাইজ করে কিন্তু কনফিগারেশন নয়, দলটি হঠাৎ দেখতে পাবে যে তারা যা ধরে রেখেছে তা একটি পুনরুত্পাদনযোগ্য সংস্করণ নয়, বরং প্রবাহিত নামের একটি স্ট্রিং।

ডিফল্ট প্রবেশদ্বার ওজনের চেয়ে প্রবাহিত করা সহজ।

ওজন ফাইল স্ট্যাটিক, এন্ট্রি হয় না.

model-name:latest লেখার এই পদ্ধতিটি সহজ বলে মনে হচ্ছে, কিন্তু সমস্যা হল এটি “কখন আপডেট করতে হবে” বিষয়টি বাইরের দিকে ছেড়ে দেয়। If the upstream changes the tokenizer, adds a chat template, or re-types the quantification package, the behavior of the access party will change accordingly. মূল্যায়নের স্কোর শুধুমাত্র সামান্য ওঠানামা করতে পারে, কিন্তু অনলাইন আউটপুট শান্তভাবে এর স্বর পরিবর্তন করবে। সমস্যা সমাধানের সময় সবচেয়ে যন্ত্রণাদায়ক অংশটি এখানে: লগে সবকিছু স্বাভাবিক দেখায়, কিন্তু আসলে, অন্য একটি ইনপুট বলা হচ্ছে।

যা সত্যিই অস্বস্তিকর তা হ’ল পরিবর্তন নিজেই নয়, তবে পরিবর্তনটি কোনও সীমানা ছাড়ে না। যতক্ষণ পর্যন্ত নাম অপরিবর্তিত থাকে, রিগ্রেশন, গ্রেস্কেল এবং দুর্ঘটনা পর্যালোচনা শুধুমাত্র ফলাফলের উপর ফোকাস করতে পারে এবং কারণগুলি অনুমান করতে পারে। মডেলের নামটি সেখানে ঝুলতে থাকে, কিন্তু দলটির কাছে নিশ্চিত করার কোন উপায় নেই যে তারা আজকে যেটি পেয়েছে তা গত সপ্তাহে বেসলাইন চালানোর মতো একই পণ্য কিনা।

ছবি, টেমপ্লেট এবং কোয়ান্টাইজেশন প্যাকেজ একসাথে হিমায়িত করা উচিত

শুধু ওজন লক করা যথেষ্ট নয়।

একটি ওপেন সোর্স মডেল আসলে ওয়ার্কফ্লোতে প্রবেশ করার পরে, এতে সাধারণত একটির বেশি .bin বা .safetensors থাকে। এটি টোকেনাইজার, চ্যাট টেমপ্লেট, ইনফারেন্স ফ্রেমওয়ার্ক প্যারামিটার, কোয়ান্টিফিকেশন ফাইল, ডাউনলোড ইমেজ, স্টার্টআপ স্ক্রিপ্ট এবং ক্যাশে পাথ নিয়ে আসবে। যদি তাদের মধ্যে যেকোন একটি প্রবাহিত হয় তবে এটি শেষ পর্যন্ত দেখাতে পারে যে “মডেলটি আরও খারাপ হয়ে গেছে”। প্রকৃতপক্ষে, এটি প্রায়শই মডেলটি পরিবর্তন করে না, তবে ডেলিভারি প্যাকেজ।

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

This type of configuration seems verbose, but it results in three things: the image is responsible for availability, the version number and hash are responsible for reproducibility, and the startup script is responsible for consistent inference parameters. এই স্তরগুলির কোনটি ছাড়াই, তথাকথিত “ইতিমধ্যে সর্বজনীন” মডেলটিকে শুধুমাত্র একটি আধা-সমাপ্ত পণ্য হিসাবে বিবেচনা করা যেতে পারে। অ্যাক্সেস পার্টির জন্য, সবচেয়ে গুরুত্বপূর্ণ বিষয় এটি ডাউনলোড করা যায় কিনা তা নয়, তবে ডাউনলোড করা সামগ্রীটি তিন সপ্তাহ পরেও একই ফলাফলের সেট তৈরি করতে পারে কিনা।

আসলেই যেটা সংরক্ষণ করা দরকার তা হল প্রজনন ক্ষমতা

ওপেন সোর্স মডেলটি সর্বজনীন হওয়ার পরে, দলটিকে যা রক্ষা করতে হবে তা একটি রহস্যময় প্রবেশদ্বার নয়, তবে প্রজননযোগ্যতা।

একবার পুনরুত্পাদনযোগ্যতা বিঘ্নিত হলে, মূল্যায়ন বেসলাইন প্রবাহিত হবে, A/B ফলাফল বিকৃত হবে এবং দুর্ঘটনার প্লেব্যাক রেফারেন্স হারাবে। “গত সপ্তাহে এটা স্বাভাবিক ছিল” এই কথাটি ব্যবহার করে সবাই সমস্যা নিয়ে আলোচনা করার সময়, সংস্করণ ব্যবস্থাপনা মূলত ব্যর্থ হয়েছে। এই মুহুর্তে মডেলের ক্ষমতা সম্পর্কে কথা বলার খুব একটা অর্থ নেই; only by tightening the fixed version, image synchronization, hash verification and rollback path can we be qualified to continue talking about the effect.

এই ধরনের মডেল একটি ওয়েব পরিষেবার চেয়ে একটি সফ্টওয়্যার আর্টিফ্যাক্টের মতো। যদি ওয়েব পৃষ্ঠাটি ভাঙ্গা হয়, আপনি এখনও 500 দেখতে পাবেন এবং মডেল সংস্করণটি প্রবাহিত হচ্ছে এবং অনেক ক্ষেত্রে এটি আউটপুটে ধীরে ধীরে পরিবর্তন হবে। পৃষ্ঠের উপর এটি এখনও একই নাম আছে, কিন্তু বাস্তবে অর্ধেক সিস্টেম পরিবর্তন করা হয়েছে.