Chatbot Hallucination Prevention: Əsassız Cavabları Necə Azaltmaq Olar?

Problem nədən ibarətdir

Dil modelləri sualı cavabsız qoymamağa meyllidir. Bilik mənbəyində cavab yoxdursa, model boşluğu öz təlim məlumatından doldurur və nəticə qüsursuz yazılmış, inamlı və yanlış cavab olur. Biznes kontekstində bu, ən təhlükəli səhv tipidir — çünki səhv olduğu görünmür.

Diqqət yetirilməli olan nüans budur: problem modelin 'yalan danışması' deyil. Model ondan istənilən işi görür — cavab yaradır. Səhv olan sistem dizaynıdır: modelə nə vaxt susmalı olduğu deyilməyib, susmasının nəticəsi müəyyən edilməyib və cavabın mənbəyi yoxlanmır.

Ona görə də bu məsələ 'daha yaxşı model' ilə həll olunmur. Daha güclü model eyni əsassız cavabı daha inandırıcı dillə verir. Həll dizayn qatındadır: əhatə dairəsi, əsaslandırma, icazələr və təhlükəsiz geri çəkilmə qaydası.

Praktik iş axını: qoruyucuların qurulması

Əsassız cavabların qarşısını alan dizayn dörd qatdan ibarətdir. Hər qat ayrılıqda natamamdır; birlikdə isə problemin böyük hissəsini aradan qaldırır.

1. 1

   Əhatə dairəsini məhdudlaşdırın

   Çatbotun hansı mövzularda danışa biləcəyi yazılı olmalıdır. Qiymət, hüquqi şərtlər, rəqib müqayisəsi, zəmanətlər — bunların hər biri barədə ayrıca qərar verilməlidir. Əhatə dairəsi müəyyən deyilsə, model onu özü müəyyən edir.

2. 2

   Cavabı mənbəyə bağlayın (knowledge grounding)

   Model yalnız axtarışdan gələn mətn parçaları əsasında cavab verməlidir və bu parçalarda cavab yoxdursa, bunu deməlidir. Bu göstərişin verilməsi kifayət deyil — ona əməl olunduğu ayrıca yoxlanmalıdır.

3. 3

   Uyğunluq həddi və 'cavab yoxdur' yolu qurun

   Axtarış nəticələri müəyyən uyğunluq həddindən aşağıdırsa, sistem cavab verməməlidir. Bu yolun özü dizayn olunmalıdır: nə deyilir, nə təklif edilir, hara yönləndirilir. Praktikada bu yol gözləniləndən daha tez-tez işə düşür.

4. 4

   İcazələri ayırın

   Modelin nə oxuya, nə yaza və hansı əməliyyatı icra edə biləcəyi ayrı-ayrı müəyyən olunmalıdır. Məlumat vermək bir səlahiyyət, öhdəlik yaratmaq isə tamam başqa səlahiyyətdir.

Bu dörd qat qurulandan sonra qalan əsassız cavabların böyük hissəsi bilik mənbəyindəki ziddiyyətlərdən gəlir — yəni artıq model problemi deyil, məzmun problemidir və məzmun auditi ilə həll olunur.

Nümunə: təhlükəsiz geri çəkilmə axını

Aşağıda cavab tapılmadıqda işə düşən axının nümunəsi verilib. Diqqət edin ki, heç bir addımda model boşluğu doldurmağa çalışmır.

• Axtarış uyğunluq həddindən yuxarı nəticə qaytarır → cavab verilir, mənbə göstərilir.
• Nəticə həddin altındadır → 'Bu barədə dəqiq məlumatım yoxdur' + konkret alternativ təklif (sənəd linki, operatora keçid, geri zəng).
• Sual əhatə dairəsindən kənardır (qiymət, müqavilə, hüquqi) → cavab cəhdi olmadan birbaşa uyğun insana yönləndirilir.
• Sual ziddiyyətli mənbələrə toxunur → cavab verilmir, məsələ məzmun sahibinə işarələnir.
• İstifadəçi eyni sualı yenidən verir → ikinci cəhd yox, operatora keçid.
• İstifadəçi cavabın düzgünlüyünü şübhə altına alır → mübahisə yox, insana ötürmə.
• Heç bir şərt uyğun gəlmir → defolt geri çəkilmə mətni və söhbətin yoxlama növbəsinə işarələnməsi.

Ən vacib sətir ikincidir. Konkret alternativ təklif etməyən 'bilmirəm' cavabı texniki cəhətdən düzgün, praktik olaraq faydasızdır — istifadəçi üçün fərq yalnız alternativlə yaranır.

Hansı məlumatlar və inteqrasiyalar lazımdır

Qoruyucuların işləməsi üçün arxada olmalı olan hissələr.

• Ziddiyyətləri aradan qaldırılmış bilik mənbəyi. İki sənəd fərqli cavab verirsə, heç bir qoruyucu bunu düzəldə bilməz.
• Hər mətn parçası üzrə metadata — məhsul, tarif, region, dil, qüvvədə olma tarixi — filtrləmənin işləməsi üçün.
• Cavabın hansı mənbədən gəldiyini göstərən iz (retrieval trace), söhbətlə birlikdə saxlanılan.
• Uyğunluq həddi və onun altındakı davranışın konfiqurasiya kimi saxlanması — kodda yox, dəyişdirilə bilən parametr kimi.
• Əhatə dairəsindən kənar mövzuların siyahısı və hər biri üçün yönləndirmə ünvanı.
• Köhnəlmiş sənədlərin indeksdən çıxarılması mexanizmi — yoxsa onlar aktual sənədlə rəqabət aparır.

Bu hissənin böyük qismi inteqrasiya və məzmun işidir. Süni intellekt inteqrasiyaları səhifəsi bu bağlantıların necə qurulduğunu izah edir. Platformanın bilik bazasını necə saxladığı və versiyaladığı — məsələn Vexvon-un bilik bazası yanaşması — bu işin nə qədərini özünüz qurmalı olduğunuzu müəyyən edir.

Ölçüləcək KPI-lar

Əsassız cavabların azaldığını sübut etmək üçün dörd ölçü kifayətdir.

1. 1

   Əsaslandırılmış cavab faizi

   Cavabların neçə faizi konkret mənbə parçasına bağlanır. Mənbəsiz cavab avtomatik olaraq şübhəlidir və ayrıca nəzərdən keçirilməlidir.

2. 2

   Rədd etmə davranışının düzgünlüyü

   Qəsdən cavabsız suallardan ibarət test dəsti hazırlayın. Sistem onların neçə faizində düzgün şəkildə cavab verməkdən imtina etdi? Bu rəqəm qəbul meyarlarında dəqiqlik qədər vacibdir.

3. 3

   İnsan yoxlamasında səhv cavab faizi

   Həftəlik təsadüfi nümunə, mənbə ilə tutuşdurularaq. Avtomatik qiymətləndirmə reqressiyanı tutmaq üçün faydalıdır, amma B2B kontekstində insan yoxlamasını əvəz etmir.

4. 4

   Əhatə dairəsi pozuntuları

   Çatbotun danışmamalı olduğu mövzuda danışdığı hallar. Bu rəqəm sıfır olmalıdır; sıfır olmayan hər hal qoruyucunun deyil, konfiqurasiyanın səhvidir.

Test dəstini hər məzmun və konfiqurasiya dəyişikliyindən sonra yenidən işə salın. Reqressiyalar səssiz baş verir və yalnız təkrarlanan test onları üzə çıxarır.

Ən çox edilən səhvlər

Bu səhvlər layihədən layihəyə təkrarlanır.

• Problemi model seçimi ilə həll etməyə çalışmaq. Daha güclü model əsassız cavabı daha inandırıcı edir.
• Yalnız sistem göstərişinə güvənmək: 'yalnız verilən mətnə əsaslan' yazmaq və buna əməl olunduğunu heç vaxt yoxlamamaq.
• Uyğunluq həddinin olmaması — sistem həmişə ən yaxın parçadan cavab verir, o parça nə qədər uzaq olsa da.
• 'Bilmirəm' cavabının alternativsiz qalması.
• Köhnəlmiş sənədləri indeksdə saxlamaq və sıralamanın düzgün seçəcəyinə ümid etmək.
• Mənbə izinin saxlanmaması — səhv cavabın səbəbini sonradan müəyyən etmək mümkün olmur.
• Əhatə dairəsini yazmamaq və modelin 'özü anlayacağını' düşünmək.

Nə vaxt AI kifayətdir, nə vaxt insan lazımdır

Əsaslandırma fabrikasiyanı azaldır, amma hər sualı avtomatik cavablandırmağa icazə vermir.

• Cavabı konkret müqavilədən asılı olan suallar — ümumi siyasət tapılır, tətbiq olunan istisna isə tapılmır.
• Hüquqi, maliyyə və ya tənzimləyici öhdəlik yaradan cavablar. Bunların ümumiyyətlə avtomatlaşdırıla biləcəyi qərarı təşkilatınızda bu riskin sahibinə aiddir.
• Sənədləşməsi yenidən baxılma mərhələsində olan mövzular.
• Axtarış inamının aşağı olduğu hallar — burada ehtiyatlı cavab yox, insana keçid düzgün davranışdır.
• Eyni sualda təkrarlanan uğursuzluq: bu, məzmun boşluğunun siqnalıdır və təkrar cəhd yox, eskalasiya tələb edir.

Aşağı inam yolunu ayrıca dizayn edin. O, gözləniləndən tez-tez işə düşür və bütün sistemin təəssüratını formalaşdırır.

Yekun qərar çərçivəsi və növbəti addım

Başlamazdan əvvəl dörd sual.

1. 1

   Cavabın hansı mənbədən gəldiyini görə bilirsinizmi?

   Görə bilmirsinizsə, birinci düzəliş budur. Bu olmadan heç bir təkmilləşdirmə sistemli ola bilməz.

2. 2

   Bilik bazasındakı ziddiyyətlər həll olunubmu?

   Ziddiyyət varsa, qoruyucular səhvi gizlədəcək, aradan qaldırmayacaq.

3. 3

   Uyğunluq həddi və onun altındakı davranış müəyyəndirmi?

   'Sistem hər halda cavab verir' cavabı varsa, digər işlərdən əvvəl bunu düzəldin.

4. 4

   Rədd etmə davranışını test edə bilirsinizmi?

   Qəsdən cavabsız suallardan ibarət test dəsti qəbul meyarlarının hissəsi olmalıdır.

Ardıcıllıq belədir: məzmun ziddiyyətləri, sonra əsaslandırma, sonra uyğunluq həddi, sonra əhatə dairəsi qaydaları, ən sonda model tənzimləməsi. Tərs ardıcıllıq geniş yayılıb və az nəticə verir. AI həlləri səhifəsi layihə mərhələlərini, CRM inteqrasiyası isə cavabların hara yazıldığını izah edir.

Tez-tez verilən suallar

1. 1

   Chatbot hallucination prevention nədir və nə vaxt lazımdır?

   Bu, çatbotun bilik mənbəyində olmayan məlumatı uydurmasının qarşısını alan dizayn qatıdır: əhatə dairəsinin məhdudlaşdırılması, cavabın mənbəyə bağlanması, uyğunluq həddi və təhlükəsiz geri çəkilmə. Səhv cavabın kommersiya və ya hüquqi nəticəsi olan hər ssenaridə lazımdır.

2. 2

   Hansı məlumat və inteqrasiyalar lazımdır?

   Ziddiyyətsiz bilik mənbəyi, hər parça üzrə metadata, saxlanılan mənbə izi, konfiqurasiya edilə bilən uyğunluq həddi, əhatə dairəsindən kənar mövzuların siyahısı və köhnəlmiş sənədlərin indeksdən çıxarılması mexanizmi.

3. 3

   Nəticəni hansı KPI-larla ölçmək olar?

   Əsaslandırılmış cavab faizi, qəsdən cavabsız suallarda rədd etmə davranışının düzgünlüyü, insan yoxlamasında aşkarlanan səhv cavab faizi və əhatə dairəsi pozuntularının sayı.

4. 4

   Ən böyük risk və səhvlər hansılardır?

   Problemi model seçimi ilə həll etməyə çalışmaq, yalnız sistem göstərişinə güvənmək, uyğunluq həddi qoymamaq, 'bilmirəm' cavabını alternativsiz buraxmaq və köhnəlmiş sənədləri indeksdə saxlamaq.

5. 5

   İnsan nə vaxt prosesə qoşulmalıdır?

   Müqaviləyə bağlı suallarda, hüquqi və maliyyə öhdəliyi yaradan mövzularda, sənədləşməsi yenilənən sahələrdə, axtarış inamı aşağı olanda və eyni sualda təkrarlanan uğursuzluqda.

Əsassız cavabların qarşısının alınması bilik bazasının keyfiyyəti ilə eyni məsələnin iki tərəfidir — birini digəri olmadan yaxşılaşdırmağın həddi var.