Setelah Agen mengambil alih tugas, hal pertama yang harus diperketat adalah unit kerja.

Saya telah membaca banyak diskusi tentang Agen akhir-akhir ini, dan pada akhirnya saya selalu kembali ke pertanyaan yang sama: Kepada siapa suatu karya harus diberikan, bagaimana cara mengemasnya sebelum diserahkan, dan bagaimana cara menerimanya setelah dikembalikan. Begitu masalah ini terjadi dalam sebuah proyek, hal pertama yang sering kali meningkat bukanlah biaya modelnya, melainkan kompleksitas unit kerjanya. Jika tugas dipotong terlalu besar, model akan tampak “seolah-olah bisa diselesaikan”; masalah sebenarnya biasanya terletak pada rollback, reproduksi dan penerimaan.

Unit kerja harus bisa diterima terlebih dahulu

Dalam beberapa hari terakhir, setelah merangkai catatan terfragmentasi Martin Fowler dan beberapa diskusi di Retret Pengembangan Perangkat Lunak Masa Depan Thoughtworks, perasaan yang paling jelas adalah bahwa percakapan dalam pertemuan tersebut tersebar secara dangkal, tetapi di baliknya sebenarnya hanya berkisar pada satu hal - menyerahkan sebagian besar pekerjaan kepada Agen.

Penyelesaian akhir Kief Morris adalah yang paling lugas. Sesi yang berbeda membahas peninjauan kode, kecelakaan produksi, pembagian kerja tim, dan perutean model. Mereka sepertinya membicarakan hal yang berbeda, namun kesimpulannya ternyata sama: orang-orang telah menyesuaikan ukuran “unit kerja”. Semakin besar unitnya, semakin mudah untuk diserahkan; semakin besar unitnya, semakin sulit menerimanya setelah kembali. Bukan karena modelnya tidak bisa, tapi link konfirmasi selanjutnya tidak bisa bertahan dulu.

Inilah sebabnya mengapa harness disebutkan berulang kali. Manajemen konteks, sensor komputasi, pengujian berbasis properti, metode formal, hal-hal ini terdengar seperti alat tambahan, tetapi sebenarnya mengumpulkan unit kerja. Beberapa orang mengontrol agents.md hingga kurang dari 200 baris, bukan untuk mengejar kerapian bentuk, tetapi untuk memaksa sistem agar hanya menerima bagian informasi yang benar-benar berguna dan benar-benar dapat diperiksa. Konteksnya terlalu longgar, tentu saja Agen bisa berjalan; tapi setelah dijalankan, tidak ada yang tahu lapisan kendala mana yang ditelannya.

Hosting mandiri meningkatkan permukaan kontrol

Diskusi mengenai model yang dihosting sendiri juga menunjukkan hal yang sama. Setelah token menjadi lebih mahal, persyaratan kepatuhan menjadi lebih ketat, dan data tidak dapat bocor, model sumber terbuka dan model lokal secara alami akan menjadi lebih menarik. Namun begitu Anda membawa modelnya sendiri, Anda juga akan mengalami masalah: GPU, ruang inferensi, perutean, rollback, penyesuaian, dan pemilihan model. Ini bukanlah kemampuan model itu sendiri, namun akan menentukan apakah sistem pada akhirnya stabil.

Biaya-biaya seperti ini sering kali dianggap remeh. Banyak tim yang awalnya berfokus pada “apakah model tersebut lebih kuat”, namun kemudian menemukan bahwa yang sebenarnya memakan waktu adalah perpindahan unit kerja yang stabil antar beberapa model. Kapan menggunakan model besar, kapan menggunakan model ringan, dan kapan menggunakan model lokal, hal ini tidak bergantung pada preferensi verbal, namun pada lapisan permukaan kendali yang dapat digunakan untuk pengalihan dan penutupan. Tanpa lapisan ini, hosting mandiri akan berubah dari “mengambil inisiatif” menjadi “mengambil alih sendiri kompleksitas pengoperasian dan pemeliharaan”.

Simon Willison menyebutkan membiarkan model yang lebih kuat memilih model yang lebih kecil untuk melakukan pekerjaannya. Ide ini juga sangat mirip dengan apa yang dilakukan pesawat kendali. Model itu sendiri belum tentu mengetahui batasan biaya tim, namun sistemnya mengetahuinya. Memperlakukan model sebagai perantara dan menggunakannya untuk mengalokasikan tugas lebih mendekati penyampaian nyata dibandingkan secara membabi buta hanya mengejar satu model untuk penyampaian yang menyeluruh.

Penerimaan dan tujuan tidak dapat dialihdayakan

Lagu “Bring me a Rock” karya Sam Ruby mengangkat masalah lain. Memberikan pekerjaan pada model sama dengan menambahkan seorang eksekutor; tanggung jawabnya tidak hilang. Manajer dapat menggunakan LLM untuk eksplorasi, dan mereka dapat mengeluarkan banyak kandidat solusi terlebih dahulu, tetapi kriteria penerimaan akhir masih harus berada di tangan manusia. Tujuan tersembunyi adalah yang paling menyusahkan. Izin, privasi, tindakan destruktif, dan kebocoran konteks sering kali tidak disertakan dalam persyaratan awal.

Jadi uji kesesuaian seringkali lebih berguna daripada spesifikasi. Spesifikasi bagus dalam menggambarkan “apa yang diperlukan”, dan pengujian lebih baik dalam mengungkap “apa yang tidak bisa terjadi”. Hal ini terutama berlaku dalam sistem Agen. Model ini dapat memenuhi tujuan eksplisit dengan sangat baik, namun batasan implisit perlu diverifikasi melalui verifikasi yang lebih ketat. Selama ketentuan penerimaan masih dalam deskripsi yang tidak jelas, semakin banyak yang dilakukan Agen, semakin besar sistem akan terlihat bertaruh pada probabilitas.

Oleh karena itu, peninjauan kode, penanganan insiden, dan penetapan tugas, yang dulunya merupakan tugas yang sangat mirip manusia, kini mulai mengambil bentuk lain. Manajer menggunakan model tersebut secara langsung. Di permukaan, hal ini tampak meningkatkan efisiensi, namun di tingkat bawah, mereka sebenarnya mengubah metode pengelolaan: dari metode pengelolaan menjadi pengelolaan tujuan. Jika tujuannya ditulis dengan jelas, model tersebut akan memiliki peluang untuk berhasil; jika tujuannya tidak jelas, model tersebut hanya akan memperkuat ambiguitas bagi orang lain.

Pengalaman dan kemampuan membaca masih terus meningkat

Keahlian interaksional dan keahlian kontributor yang disebutkan Dan Davies juga sangat relevan dengan perubahan ini. Model dapat membaca banyak materi dan membuat penilaian yang baik, namun agar sistem stabil, masih diperlukan seseorang yang dapat membaca spesifikasi, melihat hasilnya, dan mengetahui apa yang salah. Kuncinya di sini bukanlah bahwa masyarakat harus bersaing dengan model untuk melihat siapa yang lebih pintar, namun masyarakat harus terus berdiri pada posisi yang mendefinisikan batasan-batasan.

Hal ini lebih mudah dalam hal pengiriman perangkat lunak. Setelah Agen mengambil alih, pekerjaan manusia akan lebih sedikit bergantung pada eksekusi manual dan lebih banyak pada segmentasi tugas, definisi batas, desain penerimaan, dan penanganan pengecualian. Apakah tugas dapat diserahkan dengan jelas menentukan apakah manajemen konteks, perutean model, dan orkestrasi alat selanjutnya layak dilakukan. Jika unitnya tidak jelas, tidak peduli berapa banyak lapisan yang ada, itu hanya akan membuat masalah kembali.

Setelah membaca penggalan-penggalan ini dalam beberapa hari terakhir, yang tersisa di benak saya bukanlah nama model tertentu, atau kerangka kerja baru, melainkan penilaian yang lebih sederhana: hal pertama yang perlu diperketat oleh sistem Agen bukanlah kemampuan model, melainkan unit kerja. Jika unitnya lebih kecil, penerimaannya lebih ketat, dan izinnya lebih ketat, sistem akan mempunyai peluang untuk menjaga kompleksitas dalam rentang yang dapat dikontrol.