سلسلة اتخاذ القرار عالية التكلفة في أنظمة الذكاء الاصطناعي

التكاليف عبر الإنترنت سوف ترتفع. في كثير من الحالات، لا يكون سعر الوحدة الرمزية فقط هو الذي يكون باهظ الثمن، ولكن أيضًا نفس النوع من المشكلات التي تحتاج إلى التحقق بشكل متكرر. ظاهريًا، قد تعتقد أنك تشتري خدمة استدلال، ولكن في الواقع، أنت تشتري نظامًا يمكن أن يتغير سلوكه في أي وقت. إذا حدث خطأ ما، فلن تتمكن من تقديم سلسلة كاملة من الأدلة.

ولهذا السبب لا أثق بشكل متزايد في الخوارزمية “وحدة الذكاء الاصطناعي = الرمز المميز”.

بالنسبة لنفس المكالمة، يحدد الفرق بين القابل للتكرار و غير القابل للتكرار ما يجب دفعه في السلسلة التالية من التكاليف الهندسية، وتكاليف المراجعة، وتكاليف الامتثال.

##كيف خرجت الأمور عن السيطرة

في البداية، كان تحليل التكلفة لدينا بسيطًا للغاية، ويمكن وضع جميع الحسابات في سطر واحد:

-سعر الوحدة الرمزية

• عدد رموز الإدخال والإخراج
• حجم المكالمة

بعد إعداد التقرير، يبدو جميلًا جدًا، مع منحنى واضح لخفض التكلفة، ويمكنه حتى إخبار العالم الخارجي “بمدى انخفاض تكلفة الوحدة”.

حدثت المشكلة الحقيقية في الأسبوع الثاني بعد الإطلاق.

وبدأ موظفو خدمة العملاء بالإبلاغ، “أحيانًا يمكن الإجابة على نفس السؤال بشكل صحيح، وأحيانًا يمكن الإجابة عليه بشكل غير صحيح”. سأل المنتج “هل النموذج يزداد سوءًا؟” كان رد فعلنا الأول هو إلقاء نظرة على إصدار النموذج، ولكن تبين أن إصدار النموذج لم يتم نقله.

ثم نظرنا إلى الكلمة السريعة، ولم تتحرك الكلمة السريعة.

وبالنظر إلى السجل بشكل أكبر، اكتشفت أن هذا الطلب مر بالفعل عبر توجيه متعدد النماذج، ووصل إلى نماذج مختلفة من موردين مختلفين، وكانت استدعاءات الأداة غير متسقة. والأمر الأكثر فظاعة هو أن السجل في ذلك الوقت سجل فقط “المخرجات النهائية” ولم يسجل أسباب قرار التوجيه في ذلك الوقت، ولم يحفظ لقطة السياق.

لذلك سيصبح هذا النوع من المشكلات بمثابة طريق مسدود لاستكشاف الأخطاء وإصلاحها:

• لا يمكن استنساخها
• لا يمكن أن تنسب
• يمكن أن يخمن فقط

عادة ما تكون هناك نتيجتان للتخمين، وكلاهما خاطئ:

1. أرجع المشكلة إلى “العشوائية النموذجية”، ثم استخدم التبريد والعقاب لقمعها.
2. أرجع المشكلة إلى أن “كلمة المطالبة لم تتم كتابتها بشكل جيد”، ثم ابدأ في تجميع التعليمات حتى تصبح كلمة المطالبة نظامًا آخر لا يمكن السيطرة عليه.

سيؤدي كلا الأسلوبين إلى جعل الرمز المميز أكثر تكلفة على الحساب، لكن لا يجعل النظام أكثر قابلية للتحكم.

هذا النوع من التكلفة سيتجاوز الميزانية

تكلفة الرمز خطية: فالمكالمة التي تزيد تكلفتها بنسبة 10% من المحتمل أن تكون تكلفتها أكثر بنسبة 10%.

تكلفة عدم التكرار هائلة لأنها ستؤدي إلى تضخيم عملية معالجة كل مشكلة عبر الإنترنت:

• تمت زيادة وقت استكشاف الأخطاء وإصلاحها من 30 دقيقة إلى 3 ساعات حيث لا يمكن إعادة تشغيل نفس الطلب محليًا.
• تكون قرارات التراجع أبطأ لأنه لا يُعرف أي نموذج التراجع أو مسار التراجع أو أداة التراجع.
• يصبح جمع أدلة الامتثال صعبا لأنه من المستحيل الإجابة “لماذا تم التوصل إلى هذا الاستنتاج في ذلك الوقت وما هي المدخلات التي استند إليها”.
• تصبح تكاليف إعادة العمل أعلى لأن عملية الترقيع يجب أن تتم عن طريق “إضافة المزيد من الدرابزين”، لكن الدرابزين نفسه يتطلب أيضًا الصيانة.

الأمر الأكثر خفيًا هو أنهم غالبًا ما يضطرون إلى استثمار الكثير من الموارد الهندسية في “استقرار السلوك عبر الإنترنت” بدلاً من الاستثمار في “تحسين القدرات”.

يوضح هذا أيضًا أن العديد من الفرق تميل أكثر فأكثر إلى الحفاظ على نظام قواعد معقد. وفي النهاية، لا يدخرون المال ولا يصبحون أكثر ذكاءً.

ما الذي يمكنني إعادة حساب وحدات الذكاء الاصطناعي فيه؟

إذا كنت تحسب “وحدات الذكاء الاصطناعي” كرموز فقط، فغالبًا ما ستقوم بتحسين مجموعة من الاستراتيجيات الخطيرة جدًا:

• لتوفير المال، قم بإجراء المزيد من التوجيه والتخفيضات القوية.
• لتوفير المال، قم بنقل المزيد من المنطق إلى المطالبات والأدوات.
• من أجل توفير المال، اترك المزيد من الأحكام للنموذج “ليقرر تلقائيًا”.

وهذا يدفع النظام في اتجاه “عدم التكرار”.

أفضل تقسيم وحدات الذكاء الاصطناعي إلى قسمين:

1. وحدة الاستدلال: الرمز المميز والتأخير والإنتاجية.
2. وحدة الأدلة: مقدار تكلفة التتبع المطلوبة لاتخاذ القرار.

وحدة الاستدلال تحل “كم تكلفة التشغيل”.

تتناول وحدة الأدلة “كم التكلفة إذا حدث خطأ ما”.

غالبًا ما يكون الشيء الباهظ الثمن حقًا هو الثاني.

سلسلة صنع القرار قابلة للتكرار، على الأقل كما ينبغي أن تبدو

أنا أعتبره بمثابة “دفتر أستاذ”، ويجب أن يكون كل طلب قادرًا على ربط العقد الرئيسية معًا.

على الأقل هذه الأنواع من الحقول مطلوبة. إذا كان أي منها مفقودًا، فسيتم قطع الرابط في نوع من الحوادث:

• قرار التوجيه: ما هو النموذج الذي تم نجاحه، ولماذا، وما هي النماذج المرشحة، وما إذا كان سيتم تخفيض التصنيف أم لا.
• إصدار الكلمة السريعة: النظام + المطور + رقم إصدار القالب، المعلمات الرئيسية.
• لقطة السياق: شارك في ملخص نتائج البحث الذي تم إنشاؤه، وإصدار المستند، ونتائج تصفية الأذونات.
• سلسلة استدعاء الأداة: ما هي الأدوات التي يتم استدعاؤها، وما هي معلمات الإدخال، وما يتم إرجاعه، وما هو الوقت المستغرق.
• المخرجات والمعالجة اللاحقة: المخرجات النهائية، ونتائج قاعدة التصفية، وأسباب الرفض (في حالة الرفض).

أنا لا أعتبر “سياق النص الكامل” عنصرًا مطلوبًا هنا عمدًا، لأنه لا يمكن حفظ العديد من السيناريوهات، أو أن مخاطر الامتثال تكون كبيرة جدًا إذا تم حفظها.

ولكن على الأقل تأكد من إمكانية إعادته إلى “نفس مسار القرار” إذا لزم الأمر.

سوء الفهم الأكثر شيوعا

سوء الفهم 1: الاعتماد على درجة الحرارة لقمع العشوائية

العشوائية ليست هي القضية الأساسية.

المشكلة الحقيقية هي: لا أستطيع حتى أن أشرح من أين جاء هذا الناتج. إن خفض درجة الحرارة يجعله “أشبه بصندوق أسود مستقر”.

سوء الفهم 2: تعامل مع الموجه باعتباره مركز التكوين

عندما تحمل المطالبة المزيد والمزيد من قواعد العمل، لم تعد كلمة مطالبة، ولكنها “تكوين وقت التشغيل” بدون نظام كتابة، ولا اختبارات، ولا آلية تراجع.

وهذا سوف يؤدي مباشرة إلى رفع وحدة الأدلة.

سوء الفهم 3: تذكر فقط المخرجات النهائية، وليس المسار المتوسط

إن مجرد تذكر النتيجة يعادل تحويل استكشاف الأخطاء وإصلاحها إلى “تخمين”.

تحدث العديد من المشكلات عبر الإنترنت بسبب خطأ معين في استدعاء الأداة، أو خطأ معين في نتيجة البحث، أو خطأ معين في الرجوع إلى إصدار أقدم من المسار. إذا لم تقم بتسجيل المسار، فستتمكن دائمًا من الاستدلال من النتيجة، ولا يمكن عادةً إجراء الاستدلال العكسي.

الحدود القابلة للتطبيق

لا تتطلب جميع الأنظمة دفتر أستاذ كاملاً لكل طلب.

سأستخدم ثلاثة شروط لتحديد ما إذا كنت تريد تضمين وحدات الأدلة:

• هل سيدخل هذا الناتج في حلقة الأعمال المغلقة (التي تؤثر على المعاملات والموافقات ومراقبة المخاطر والالتزامات الخارجية)؟
• ما إذا كان يمكن مساءلة هذا الناتج من قبل المستخدمين أو عمليات التدقيق الخارجية.
• بمجرد أن يكون هذا الناتج خاطئًا، هل تكلفة الإصلاح أعلى من تكلفة الاستدلال الواحد؟

إذا تم استيفاء أي شرطين من الشروط الثلاثة، فسوف أعتبر “سلسلة القرار القابلة للتكرار” بمثابة الأولوية الأولى للتحكم في التكاليف.

ملخص

الرمز المميز هو تكلفة صريحة، وعدم التكرار هو ضريبة ضمنية.

يعمل نظام الذكاء الاصطناعي الفعال من حيث التكلفة على تحويل كل سلوك عبر الإنترنت إلى سلسلة من الأدلة يمكن تتبعها.

ما يتم حفظه هو تلك الليالي خلال الحادث التالي.