איך שומרים על איכות התשובות של סוכן AI

איכות התשובות היא פונקציה של איכות המידע. מה שצריך להיות כתוב:

• מדיניות החזרות: כמה ימים, איזה מצב, מי משלם על המשלוח, מה לא ניתן להחזיר
• מדיניות משלוחים: זמנים לפי אזור, עלויות, מה קורה באיחור
• אחריות: תקופה, מה מכוסה, איך מפעילים
• מדיניות תשלומים: אמצעים נתמכים, תשלומים, זיכויים
• מידע על מוצרים: מפרט, שימוש, תחזוקה, התאמה
• חריגים: מה מותר לחרוג ומתי, ומה תמיד עובר לאדם

הכלל: אם התשובה קיימת רק אצל נציג ותיק, הסוכן לא יידע אותה. תיעוד המדיניות הוא רוב העבודה בהטמעה, ובדרך כלל גם מגלה סתירות שהיו קיימות עוד קודם.

1. גבולות ברורים. הגדירו במפורש שהסוכן עונה רק ממקורות שהוגדרו לו. כשאין לו, הוא אומר שאינו יודע ומעביר.

2. נתונים חיים, לא זיכרון. סטטוס הזמנה, מלאי ומחיר צריכים להישלף מהמערכת בזמן השיחה. תשובה מתוך "מה שהיה נכון פעם" היא מקור לטעויות.

3. נושאים אסורים. רשימה מפורשת של נושאים שתמיד עוברים לאדם, פיצוי, טענות משפטיות, בריאות, חיובים כפולים.

שבועי: קראו 10-20 שיחות שנסגרו אוטומטית. סמנו כל תשובה שגויה או חלקית.

חודשי: נתחו את הפניות שהועברו לאדם. מה חזר הכי הרבה? כל נושא שחוזר הוא פער בבסיס הידע.

עם כל שינוי מדיניות: עדכנו את בסיס הידע באותו יום. מדיניות חדשה שלא עודכנה היא מקור מובטח לתשובות שגויות.

רבעוני: עברו על כל בסיס הידע וחפשו סתירות ומידע שהתיישן.

חזרתיות היא המדד הכי כן. לקוח שפונה שוב על אותו נושא לא קיבל תשובה טובה בפעם הראשונה, גם אם השיחה נסגרה כ"נפתרה".

1. 1תקנו את מקור המידע, לא את השיחה הבודדת.
2. 2חפשו שיחות אחרות שקיבלו את אותה תשובה שגויה.
3. 3פנו יזומה ללקוחות שקיבלו מידע מוטעה משמעותי. עדיף להתקן מאשר לגלות את זה בביקורת.
4. 4הוסיפו את המקרה לרשימת הבדיקה השבועית.