Sau khi mô hình nguồn mở của Trung Quốc bị hạn chế, điều đầu tiên cần phân biệt là phiên bản và tầm cỡ đánh giá.

Sau khi những hạn chế như vậy được dỡ bỏ, điều đầu tiên bị hỏng thường không phải là “nó vẫn có thể tải xuống được chứ?” nhưng “nó vẫn có thể dựa trên cùng một bộ điểm chứ?”

Bản thân mô hình vẫn còn đó và quá trình phản chiếu có thể được đồng bộ hóa, nhưng vấn đề bắt đầu chuyển từ đầu vào sang so sánh. Một phiên bản hoạt động tốt ngày nay sẽ có một chút khác biệt trên một máy khác do phân chia trọng lượng, phiên bản mã thông báo, tham số suy luận hoặc độ trễ phản chiếu. Chỉ cần nhìn vào từng đầu ra, có vẻ như nó vẫn hoạt động; một khi nó được đưa trở lại tập hồi quy, đường cong bắt đầu trải rộng ra. Trước đây, bạn chỉ cần nhìn vào tổng điểm để quyết định có nên nâng cấp hay không, nhưng bây giờ trước tiên bạn phải giải thích “liệu thay đổi này đến từ mô hình hay ngăn xếp dịch vụ”.

Rắc rối thực sự do các hạn chế gây ra không nằm ở bản thân hành động tải xuống mà nằm ở việc chia nhỏ các mối quan hệ so sánh. Trước đây bạn chỉ cần tập trung vào một phiên bản ngược dòng, nhưng hiện nay thường có các nguồn chính thức, nguồn nhân bản, bộ đệm trong, phiên bản lượng tử hóa và phiên bản khôi phục tạm thời cùng một lúc. Mọi dòng đều có thể được chạy, nhưng kết quả không còn có cùng đường cơ sở nữa. Sau khi bộ đánh giá được phân nhánh, nhóm sẽ nhanh chóng mất đi ngôn ngữ chung: R&D cho biết phiên bản này đã được cải tiến và sản phẩm cho biết trải nghiệm trực tuyến không thay đổi. Người khắc phục sự cố trước tiên phải xác nhận xem mô hình đã thay đổi hay môi trường suy luận đã thay đổi hay chưa.

Điều rắc rối nhất của loại nĩa này là nó không ngay lập tức biểu hiện là trục trặc. Trong ngày đầu tiên, khoảng cách giữa hai môi trường chỉ là 0,3 điểm. Vào ngày thứ hai, một mẫu văn bản dài nào đó bắt đầu trôi đi. Sau khi quay lại vào ngày thứ ba, tôi thấy rằng kết quả cũ không thể lặp lại được. Ở giai đoạn này, cuộc thảo luận không còn xoay quanh vấn đề “chúng ta có thể lấy mô hình được không?” mà là “dù những gì chúng ta nhận được có giống nhau hay không.”

Thứ thực sự nên tắt trước tiên không phải là lối vào tải xuống mà là đường cơ sở. Ít nhất những điều sau đây cần phải được xác định:

• Phiên bản băm, mã thông báo, phương thức lượng tử hóa và các tham số suy luận của tệp mô hình.
• Bộ đánh giá, lời nhắc, thông số lấy mẫu và logic hậu xử lý.
• Đóng gói suy luận được chia sẻ bởi các dịch vụ trực tuyến và hồi quy ngoại tuyến để ngăn chặn hai bộ triển khai bị lệch.
• Giữ lại hình ảnh và đường cơ sở cũ khi quay lui mà không cần dựa vào việc tái tạo bộ nhớ.

Những điều này có vẻ tầm thường, nhưng một khi quyền truy cập vào mô hình bắt đầu bị hạn chế, thì lớp tầm thường này thực sự có giá trị. Nếu không có họ, nhóm chỉ có thể đánh bạc ở lần nâng cấp tiếp theo với câu “lần này có vẻ ổn”; với họ, ít nhất họ có thể xác nhận xem vấn đề nằm ở mô hình, ngăn suy luận hay chính tập dữ liệu.

Vì vậy, khi vấn đề này cuối cùng rơi vào dự án, việc phán đoán sẽ trở nên rất đơn giản: liệu mô hình có thể đạt được hay không chỉ là bước khởi đầu; Việc cùng một bộ đầu vào, cùng một bộ tham số và cùng một bộ mẫu có thể được chạy liên tục trên cùng một dây chuyền hay không sẽ quyết định liệu nó có còn được sử dụng ổn định hay không. Miễn là vẫn còn cỡ nòng so sánh, vẫn còn chỗ cho sự cơ động trong mô hình; một khi cỡ nòng phân kỳ đầu tiên, việc thay thế, khôi phục và khắc phục sự cố tiếp theo sẽ trở nên tốn kém hơn.