Sau khi mô hình nguồn mở được công khai, điều đầu tiên trở nên mong manh là khóa phiên bản.

Sau khi một mô hình mã nguồn mở được công khai, phiên bản cố định thường được nới lỏng đầu tiên, trong khi file trọng lượng thường ổn định nhất.

Tên kho vẫn ở đó và tên mô hình vẫn ở đó, nhưng đầu vào thực tế được sử dụng để chạy đánh giá, thực hiện hồi quy và kết nối lưu lượng truy cập thường không giống nhau. Thứ chúng tôi lấy hôm nay là main và nó vẫn sẽ có đường dẫn tương tự vào tuần tới, nhưng mã thông báo, mẫu, gói lượng tử hóa, dtype mặc định và thậm chí cả các tham số được đề xuất trong README đã được thay đổi. Những gì bạn thấy trên mạng không phải là “mẫu máy biến mất”, mà là “tên mẫu giống nhau sẽ trở thành một sản phẩm khác”.

Sau khi tiếp quản quyền truy cập mô hình nhiều lần, bạn sẽ thấy rằng giá trị dễ bị bỏ qua nhất là giá trị mặc định. Tệp trọng lượng thường được ai đó xem, nhưng thẻ mặc định, hình ảnh mặc định, mẫu mặc định và thư mục bộ đệm mặc định thường không được giám sát. Khi cửa sổ đồng bộ hóa bị kẹt hoặc trạm nhân bản chỉ đồng bộ hóa trọng số chứ không đồng bộ hóa cấu hình, nhóm sẽ bất ngờ phát hiện ra rằng thứ họ đang nắm giữ không phải là phiên bản có thể tái tạo mà là một chuỗi tên trôi dạt.

Lối vào mặc định dễ trôi hơn trọng lượng.

Tệp trọng lượng là tĩnh, mục nhập thì không.

model-name:latest Cách viết này có vẻ dễ dàng nhưng vấn đề là nó lại để chuyện “khi nào cập nhật” ra bên ngoài. Nếu thượng nguồn thay đổi mã thông báo, thêm mẫu trò chuyện hoặc nhập lại gói định lượng thì hành vi của bên truy cập sẽ thay đổi tương ứng. Điểm đánh giá có thể chỉ dao động một chút, nhưng đầu ra trực tuyến sẽ lặng lẽ thay đổi giọng điệu. Phần khó khăn nhất khi khắc phục sự cố là ở đây: mọi thứ trông bình thường trong nhật ký nhưng trên thực tế, một đầu vào khác đang được gọi.

Điều thực sự khó chịu không phải là bản thân sự thay đổi mà là sự thay đổi không có ranh giới. Miễn là tên không thay đổi, việc xem xét hồi quy, thang độ xám và tai nạn chỉ có thể tập trung vào kết quả và đoán lý do. Tên mẫu vẫn tiếp tục được treo ở đó, nhưng nhóm không có cách nào để xác nhận liệu sản phẩm họ nhận được hôm nay có phải là sản phẩm giống với sản phẩm đã chạy cơ sở vào tuần trước hay không.

Hình ảnh, mẫu và gói lượng tử hóa phải được cố định cùng nhau

Chỉ khóa trọng lượng là không đủ.

Sau khi một mô hình nguồn mở thực sự đi vào quy trình làm việc, nó thường chứa nhiều hơn một .bin hoặc .safetensors. Nó cũng sẽ mang theo mã thông báo, mẫu trò chuyện, tham số khung suy luận, tệp định lượng, hình ảnh tải xuống, tập lệnh khởi động và đường dẫn bộ đệm. Nếu bất kỳ một trong số chúng trôi đi, điều đó cuối cùng có thể cho thấy rằng “mô hình đã trở nên tồi tệ hơn”. Trên thực tế, thường không phải mẫu mã thay đổi mà là gói hàng giao hàng thay đổi.

model:
  repo: example/model
  revision: 8f3c1a2
  tokenizer_revision: 8f3c1a2
  cache_dir: /opt/model-cache

Loại cấu hình này có vẻ dài dòng nhưng nó mang lại ba điều: hình ảnh chịu trách nhiệm về tính khả dụng, số phiên bản và hàm băm chịu trách nhiệm về khả năng tái tạo và tập lệnh khởi động chịu trách nhiệm về các tham số suy luận nhất quán. Nếu không có bất kỳ lớp nào trong số này, cái gọi là mô hình “đã được công khai” chỉ có thể được coi là một sản phẩm bán thành phẩm. Đối với bên truy cập, điều quan trọng nhất không phải là liệu nó có thể được tải xuống hay không, mà là liệu nội dung đã tải xuống có còn tạo ra cùng một bộ kết quả sau ba tuần hay không.

###Điều thực sự cần được bảo tồn là khả năng tái tạo

Sau khi mô hình nguồn mở được công khai, thứ mà nhóm cần bảo vệ không phải là lối vào bí ẩn mà là khả năng tái tạo.

Khi khả năng tái tạo bị gián đoạn, đường cơ sở đánh giá sẽ bị lệch, kết quả A/B sẽ bị sai lệch và quá trình phát lại tai nạn sẽ mất tính tham chiếu. Vào thời điểm mọi người đang thảo luận về vấn đề với câu nói “tuần trước vẫn bình thường”, việc quản lý phiên bản về cơ bản đã thất bại. Vào thời điểm này, không có nhiều ý nghĩa khi nói về khả năng của mô hình; chỉ bằng cách thắt chặt phiên bản cố định, đồng bộ hóa hình ảnh, xác minh hàm băm và đường dẫn khôi phục, chúng ta mới đủ điều kiện để tiếp tục nói về hiệu ứng.

Loại mô hình này giống một tạo phẩm phần mềm hơn là một dịch vụ web. Nếu trang web bị hỏng, bạn vẫn có thể thấy 500 và phiên bản mô hình bị trôi và trong nhiều trường hợp, nó sẽ chỉ thay đổi chậm ở đầu ra. Nhìn bề ngoài nó vẫn có cùng tên nhưng thực tế một nửa hệ thống đã được thay đổi.