หลังจากที่โมเดลโอเพ่นซอร์สถูกเปิดเผยต่อสาธารณะ สิ่งแรกที่เปราะบางคือการล็อคเวอร์ชัน

หลังจากที่โมเดลโอเพ่นซอร์สถูกเปิดเผยต่อสาธารณะ เวอร์ชันคงที่มักจะเป็นเวอร์ชันแรกที่คลายออก ในขณะที่ไฟล์น้ำหนักมักจะมีเสถียรภาพมากที่สุด

ชื่อคลังสินค้ายังคงอยู่ และชื่อรุ่นยังคงอยู่ แต่อินพุตจริงที่ใช้ในการรันการประเมิน ทำการถดถอย และการเชื่อมต่อการรับส่งข้อมูลมักจะไม่เหมือนกัน สิ่งที่เราดึงมาในวันนี้คือ main และจะยังคงเป็นเส้นทางเดียวกันในสัปดาห์หน้า แต่โทเค็นไนเซอร์ เทมเพลต แพ็คเกจการหาปริมาณ dtype เริ่มต้น และแม้แต่พารามิเตอร์ที่แนะนำใน README มีการเปลี่ยนแปลง สิ่งที่คุณเห็นทางออนไลน์ไม่ใช่ “โมเดลหายไป” แต่ “ชื่อรุ่นเดียวกันกลับกลายเป็นสิ่งที่ส่งมอบได้อีก”

หลังจากเข้าควบคุมการเข้าถึงโมเดลหลายครั้ง คุณจะพบว่าค่าที่ละเว้นได้ง่ายที่สุดคือค่าเริ่มต้น โดยปกติแล้วจะมีใครบางคนเฝ้าดูไฟล์น้ำหนัก แต่แท็กเริ่มต้น รูปภาพเริ่มต้น เทมเพลตเริ่มต้น และไดเร็กทอรีแคชเริ่มต้นมักจะถูกปล่อยทิ้งไว้โดยไม่มีใครดูแล เมื่อหน้าต่างการซิงโครไนซ์ค้าง หรือสถานีมิเรอร์ซิงโครไนซ์เฉพาะน้ำหนักแต่ไม่ซิงโครไนซ์การกำหนดค่า ทีมงานจะพบว่าสิ่งที่พวกเขาถืออยู่นั้นไม่ใช่เวอร์ชันที่ทำซ้ำได้ แต่เป็นชุดชื่อที่ลอยอยู่

ทางเข้าเริ่มต้นจะดริฟท์ได้ง่ายกว่าน้ำหนัก

ไฟล์น้ำหนักเป็นแบบคงที่ รายการไม่เป็น

model-name:latest วิธีการเขียนนี้ดูเหมือนง่าย แต่ปัญหาคือมันทิ้งเรื่อง “เมื่อใดควรอัปเดต” ไว้ภายนอก หากอัปสตรีมเปลี่ยนโทเค็น เพิ่มเทมเพลตการแชท หรือพิมพ์แพ็คเกจการกำหนดปริมาณใหม่ พฤติกรรมของฝ่ายที่เข้าถึงจะเปลี่ยนตามนั้น คะแนนการประเมินอาจผันผวนเพียงเล็กน้อย แต่ผลลัพธ์ออนไลน์จะเปลี่ยนโทนเสียงไปอย่างเงียบๆ ส่วนที่ทรมานที่สุดเมื่อแก้ไขปัญหาอยู่ที่นี่: ทุกอย่างดูปกติในบันทึก แต่อันที่จริง มีการเรียกอินพุตอื่น

สิ่งที่น่าอึดอัดจริงๆ ไม่ใช่การเปลี่ยนแปลง แต่เป็นความจริงที่ว่าการเปลี่ยนแปลงนั้นไม่มีขอบเขต ตราบใดที่ชื่อยังคงไม่เปลี่ยนแปลง การถดถอย ระดับสีเทา และการตรวจสอบอุบัติเหตุสามารถมุ่งความสนใจไปที่ผลลัพธ์และเดาเหตุผลเท่านั้น ชื่อรุ่นยังคงแขวนอยู่ที่นั่น แต่ทีมงานไม่มีทางยืนยันได้ว่ารุ่นที่พวกเขาได้รับในวันนี้เป็นผลิตภัณฑ์เดียวกันกับรุ่นที่ใช้พื้นฐานเมื่อสัปดาห์ที่แล้วหรือไม่

รูปภาพ เทมเพลต และแพ็คเกจการวัดปริมาณควรรวมเข้าด้วยกัน

แค่ล็อคน้ำหนักก็ไม่พอ

หลังจากที่โมเดลโอเพ่นซอร์สเข้าสู่เวิร์กโฟลว์แล้ว โดยปกติแล้วจะมี .bin หรือ .safetensors มากกว่าหนึ่งตัว นอกจากนี้ยังจะนำเสนอ tokenizer, เทมเพลตแชท, พารามิเตอร์เฟรมเวิร์กการอนุมาน, ไฟล์การวัดปริมาณ, รูปภาพดาวน์โหลด, สคริปต์เริ่มต้น และเส้นทางแคช หากตัวใดตัวหนึ่งหลุดไปก็อาจแสดงให้เห็นว่า “โมเดลแย่ลง” ในที่สุด ที่จริงแล้วมักจะไม่ใช่รุ่นที่เปลี่ยนแปลง แต่เป็นแพ็คเกจการจัดส่ง

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

การกำหนดค่าประเภทนี้ดูเหมือนละเอียด แต่ผลลัพธ์มีสามสิ่ง: รูปภาพมีหน้าที่รับผิดชอบต่อความพร้อมใช้งาน หมายเลขเวอร์ชันและแฮชมีหน้าที่รับผิดชอบในการทำซ้ำ และสคริปต์เริ่มต้นมีหน้าที่รับผิดชอบพารามิเตอร์การอนุมานที่สอดคล้องกัน หากไม่มีเลเยอร์เหล่านี้ โมเดลที่เรียกว่า “เผยแพร่แล้ว” จะถือเป็นผลิตภัณฑ์กึ่งสำเร็จรูปเท่านั้น สำหรับกลุ่มการเข้าถึง สิ่งที่สำคัญที่สุดไม่ใช่ว่าสามารถดาวน์โหลดได้หรือไม่ แต่เนื้อหาที่ดาวน์โหลดจะยังสามารถให้ผลลัพธ์ชุดเดิมในสามสัปดาห์ต่อมาได้หรือไม่

สิ่งที่ต้องรักษาไว้จริงๆ คือความสามารถในการสืบพันธุ์

หลังจากที่โมเดลโอเพ่นซอร์สถูกเปิดเผยสู่สาธารณะ สิ่งที่ทีมงานจำเป็นต้องปกป้องไม่ใช่ทางเข้าลึกลับ แต่เป็นการทำซ้ำได้

เมื่อความสามารถในการทำซ้ำถูกขัดจังหวะ เส้นฐานการประเมินจะลอยไป ผลลัพธ์ A/B จะบิดเบี้ยว และการเล่นโดยไม่ตั้งใจจะสูญเสียการอ้างอิง เมื่อทุกคนหารือถึงปัญหาโดยใช้คำว่า “เป็นเรื่องปกติเมื่อสัปดาห์ที่แล้ว” การจัดการเวอร์ชันโดยพื้นฐานแล้วล้มเหลว มันไม่สมเหตุสมผลเลยที่จะพูดถึงความสามารถของโมเดลในตอนนี้ มีเพียงการกระชับเวอร์ชันที่แก้ไขแล้ว การซิงโครไนซ์รูปภาพ การตรวจสอบแฮช และเส้นทางการย้อนกลับเท่านั้นที่ทำให้เรามีคุณสมบัติที่จะพูดถึงผลกระทบต่อไปได้

โมเดลประเภทนี้เป็นเหมือนสิ่งประดิษฐ์ซอฟต์แวร์มากกว่าบริการบนเว็บ หากหน้าเว็บเสียหาย คุณยังคงเห็น 500 และเวอร์ชันของโมเดลมีการเลื่อนไป และในหลายกรณีก็จะมีการเปลี่ยนแปลงในเอาต์พุตอย่างช้าๆ ภายนอกมันยังคงมีชื่อเดิม แต่จริงๆ แล้ว ครึ่งหนึ่งของระบบมีการเปลี่ยนแปลง