เครื่องมือการเขียนโปรแกรม AI กำลังแข่งขันกันเพื่อเข้าสู่เวิร์กโฟลว์ระดับเดสก์ท็อป

สัปดาห์ที่แล้ว หลังจากเปลี่ยนกระบวนการถดถอยระดับสีเทาของเพจระดับกลางจาก “เบราว์เซอร์ที่เน้นโดยมนุษย์” เป็น “การดำเนินการต่อเนื่องของตัวแทน” ปัญหาแรกที่เปิดเผยไม่ใช่ว่าโมเดลตอบไม่ถูกต้อง แต่ลิงก์การดำเนินการใช้งานไม่ได้ที่ขอบเขตเดสก์ท็อป: สถานะการเข้าสู่ระบบอยู่ในเบราว์เซอร์ คำสั่ง build อยู่ในเทอร์มินัล และภาพหน้าจอและคำอธิบายประกอบอยู่ในเครื่องมืออื่น หากเซสชันถูกกระโดดออกจากขั้นตอนใดๆ จะต้องประกอบบริบทใหม่อีกครั้ง

ก่อนการเปลี่ยนแปลงนี้ กระบวนการดูเหมือนจะเป็นแบบอัตโนมัติมาก: ผลิตภัณฑ์ CI เปิดตัวสภาพแวดล้อมการแสดงตัวอย่าง สคริปต์เรียกใช้กรณีการใช้งานเส้นทางหลัก จากนั้นหน้าข้อยกเว้นจะถูกส่งไปยังการตรวจสอบด้วยตนเอง สิ่งที่เป็นอุปสรรคต่อประสิทธิภาพจริงๆ คือขั้นตอนการตกแต่ง สำหรับปัญหาต่างๆ เช่น การเคลื่อนที่ของหน้า ความกระวนกระวายใจของรูปแบบ และสถานะส่วนประกอบที่ผิดปกติ “DOM ปัจจุบัน คำขอเครือข่าย ข้อผิดพลาดของคอนโซล และขั้นตอนการโต้ตอบ” จะต้องวางไว้บนไทม์ไลน์เดียวกันเพื่อให้สามารถรวมการแก้ไขปัญหาเข้าด้วยกันได้ เส้นนี้มักจะถูกตัดเมื่อสลับระหว่างเครื่องมือหลายรายการ

หลังจากเปลี่ยนเป็นเซสชันตัวแทนเดียว ห่วงโซ่การดำเนินการจะกลายเป็นสามขั้นตอน: ขั้นแรก ใช้คำสั่งในเครื่องเพื่อดึงข้อมูลตัวอย่างและจำลองข้อมูล จากนั้นขับเคลื่อนเบราว์เซอร์เพื่อสร้างเส้นทางในเซสชันเดียวกัน และสุดท้ายเขียนกลับแพตช์การซ่อมแซมโดยตรงและทำให้เกิดการถดถอยน้อยที่สุด ตัวแบบไม่ได้ฉลาดขึ้นในทันที แต่ความเร็วของตำแหน่งของปัญหาได้รับการปรับปรุงอย่างมีนัยสำคัญ และเหตุผลก็ง่าย: บริบทไม่ออกจากพื้นผิวการดำเนินการ

ผลประโยชน์เฉพาะเจาะจงสะท้อนให้เห็นในสามประการ

ประการแรกคือความต่อเนื่องของรัฐ ในอดีต ตอนที่ฉันสร้างข้อบกพร่องส่วนหน้าขึ้นมาใหม่ ชื่อไฟล์ภาพหน้าจอ บันทึกเทอร์มินัล และส่วนต่างของโค้ดจะกระจัดกระจายในหน้าต่างต่างๆ และต้องจัดเรียงการประทับเวลาซ้ำๆ ในระหว่างการแก้ไขปัญหา ขณะนี้การสนทนาดำเนินไปอย่างเป็นธรรมชาติด้วยเอาต์พุตคำสั่ง การทำงานของเพจ และลำดับการแก้ไขโค้ด และความผิดปกติได้เปลี่ยนจาก “ปัญหาการรวบรวมข้อมูล” เป็น “ปัญหาการตัดสิน”

ประการที่สองคือความล้มเหลวสามารถเล่นซ้ำได้ สิ่งที่ลำบากที่สุดในระบบอัตโนมัติแบบเดิมคือ “ปรากฏขึ้นเป็นครั้งคราวแล้วหายไป” การดำเนินการเซสชันเดียวจะรักษาลำดับการดำเนินการที่สมบูรณ์ไว้ และอินพุตเดียวกันสามารถเรียกใช้อีกครั้งในเครื่องได้ ซึ่งจะช่วยลดต้นทุนการเกิดซ้ำให้เหลือน้อยที่สุด สำหรับข้อผิดพลาดส่วนหน้าทั่วไป เช่น การแข่งขันแอนิเมชั่น ความกระวนกระวายใจของน้ำบนหน้าจอแรก และการวางแนวเวลาไม่ตรง ความสามารถนี้มีค่ามากกว่าคะแนนเกณฑ์มาตรฐานเพิ่มเติม

ประการที่สามคือการลดต้นทุนการบำรุงรักษา ในอดีต ทุกครั้งที่มีการเพิ่มเครื่องมือ จะต้องรักษาชั้นของโค้ดกาวไว้ เช่น การตรวจสอบความถูกต้อง การแมปพารามิเตอร์ รูปแบบบันทึก และการลองล้มเหลวอีกครั้ง การดำเนินการในเซสชั่นจะขจัดกาวบางส่วนออกไป และทีมงานก็เปลี่ยนโฟกัสจาก “การเดินสายไฟ” กลับไปเป็น “การกำหนดเกณฑ์การตรวจสอบ” นี่คือเหตุผลว่าทำไมผลิตภัณฑ์การเขียนโปรแกรม AI จำนวนมากจึงแข่งขันกันเพื่อทางเข้าเดสก์ท็อป เมื่อได้รับทางเข้าแล้ว ความสามารถที่ตามมาจะล้นไปตามห่วงโซ่การดำเนินการตามธรรมชาติ

เส้นทางนี้ไม่ได้หมายความว่าทีมงานส่วนหน้าสามารถละทิ้งระบบวิศวกรรมที่มีอยู่ได้ สถานการณ์ทั้งสองประเภทยังไม่เหมาะที่จะปล่อยให้เอเจนต์ตกเป็นหน้าที่โดยสิ้นเชิง หมวดหมู่แรกคือหน้าเว็บที่การตรวจสอบแบรนด์และการออกแบบอาศัยวิจารณญาณด้วยตนเองเป็นหลัก การดำเนินการอัตโนมัติสามารถทำการคัดกรองล่วงหน้าได้ แต่ไม่สามารถแทนที่การตรวจสอบขั้นสุดท้ายได้ ประเภทที่สองคือสภาพแวดล้อมขององค์กรที่มีขอบเขตสิทธิ์ที่ซับซ้อน หากตัวแทนเดสก์ท็อปไม่สามารถรับโมเดลการอนุญาตขั้นต่ำ ประสิทธิภาพที่เพิ่มขึ้นจะถูกหักล้างด้วยค่าใช้จ่ายในการตรวจสอบความปลอดภัย

ความเข้าใจผิดที่สมควรแก่การเฝ้าระวังอย่างแท้จริงคือการเข้าใจว่าคลื่นแห่งการเปลี่ยนแปลงนี้เป็นส่วนขยายของ “สงครามแบบจำลอง” การแข่งขันที่สำคัญมากขึ้นในเวิร์กโฟลว์ส่วนหน้าได้กลายเป็น: ใครสามารถเข้าควบคุมการดำเนินการในเครื่อง การควบคุมเบราว์เซอร์ หน่วยความจำบริบท และลิงก์การเล่นได้อย่างมีเสถียรภาพ ช่องว่างพารามิเตอร์จะถูกปิดอย่างรวดเร็ว และเมื่อมีการสร้างลิงก์การดำเนินการ ค่าใช้จ่ายในการย้ายจะสูงขึ้นเรื่อยๆ

นี่เป็นข้อสรุปที่ได้จากการฝึกฝนรอบนี้เช่นกัน การเข้าสู่ระดับเดสก์ท็อปไม่ใช่สิ่งยากลำบาก แต่กำลังกลายเป็นสนามรบหลักของเครื่องมือการเขียนโปรแกรม AI เมื่อปัญหาส่วนหน้าจำเป็นต้องมีการผสานรวมอย่างต่อเนื่องในบรรทัดคำสั่ง เบราว์เซอร์ และที่เก็บโค้ด ใครก็ตามที่เชี่ยวชาญลิงก์นี้จะเชี่ยวชาญประสิทธิภาพที่แท้จริง