Chatbot Metrics: Çatbot Performansını Hansı Rəqəmlərlə Ölçmək Lazımdır?

Niyə söhbət sayı heç nə demir

Çatbot hesabatlarının böyük hissəsi eyni rəqəmlə başlayır: neçə söhbət oldu. Bu rəqəm həmişə artır, çünki trafik artır. O, çatbotun faydalı olub-olmadığı barədə heç nə demir və buna baxmayaraq aylarla əsas göstərici kimi təqdim edilir.

Eyni problem 'cavab verilmiş sual sayı', 'orta cavab müddəti' və 'istifadəçi məmnuniyyəti 4.6' kimi rəqəmlərə də aiddir. Onların hamısı ölçülür, heç biri qərar dəyişdirmir. Belə rəqəmlərə vanity metrics deyilir — göstərişə yarayır, idarəetməyə yox.

Faydalı metrika bir şərti ödəyir: rəqəm dəyişəndə kiminsə davranışı dəyişməlidir. Bu şərti ödəməyən hər rəqəmi hesabatdan çıxarmaq olar və hesabat bundan yalnız udur.

Dəstək ssenarisi üçün metrikalar

Çatbot dəstək yükünü azaltmaq üçün qurulubsa, ölçülməli olan dörd rəqəm var.

1. 1

   Həll faizi (resolution rate)

   Düstur: insana ötürülmədən və müştəri təkrar müraciət etmədən bitən söhbətlər / ümumi söhbətlər. İki şərt vacibdir — söhbətin bitməsi həll demək deyil, müştəri sadəcə imtina etmiş ola bilər. Təkrar müraciət şərtini əlavə etmədən bu rəqəm həmişə şişirdilmiş olur.

2. 2

   Keçid faizi və səbəb bölgüsü (handoff rate)

   Düstur: insana ötürülən söhbətlər / ümumi söhbətlər, səbəb üzrə ayrıca. Ümumi rəqəm az məlumat verir; səbəb bölgüsü isə nəyi düzəltmək lazım olduğunu birbaşa göstərir. 'Bilik mənbəyində cavab yoxdur' səbəbinin artması məzmun problemidir, operatora keçid dizaynı problemi deyil.

3. 3

   Cavabsız qalan suallar

   Düstur: sistemin cavab tapa bilmədiyi unikal suallar, tezliyə görə sıralanmış. Bu, metrikadan çox iş siyahısıdır və bilik bazasının növbəti versiyasını məhz o müəyyən edir.

4. 4

   İnsan yoxlamasında dəqiqlik

   Düstur: həftəlik təsadüfi nümunədə mənbə ilə tutuşdurulanda düzgün olan cavablar / yoxlanan cavablar. Avtomatik qiymətləndirmə bunu əvəz etmir; B2B kontekstində səhv cavabın qiyməti insan vaxtından yüksəkdir.

Bu dörd rəqəmi kanal üzrə ayrıca oxuyun. Saytda yaxşı, WhatsApp-da zəif işləyən sistem ortalamada normal görünür.

Satış ssenarisi üçün metrikalar

Çatbot lead toplamaq üçün qurulubsa, metrikalar tamamilə fərqlidir. Dəstək metrikalarını satış ssenarisinə tətbiq etmək ən çox rast gəlinən səhvdir.

1. 1

   Lead toplama faizi (lead capture rate)

   Düstur: əlaqə məlumatı ilə bitən söhbətlər / niyyət göstərən söhbətlər. Məxrəcdə bütün söhbətlər deyil, niyyət göstərənlər olmalıdır — əks halda rəqəm trafik keyfiyyətindən asılı olaraq dəyişir və axının keyfiyyətini göstərmir.

2. 2

   Satışın qəbul etdiyi lead faizi

   Düstur: satışın işləməyə dəyər saydığı lead-lər / çatbotun göndərdiyi lead-lər. Kanalın taleyini bu rəqəm həll edir. Aşağı olarsa, problem çatbotun sayında yox, kvalifikasiya suallarındadır.

3. 3

   Söhbətdən ilk insan təmasına qədər vaxt

   Düstur: ilk insan təması vaxtı − söhbətin bitmə vaxtı, median ilə. Orta qiymət yox, median — bir neçə gecikmiş hal ortanı yanıltıcı edir.

4. 4

   Lead-dən fürsətə keçid faizi

   Düstur: real satış fürsətinə çevrilən lead-lər / qəbul edilmiş lead-lər. Bu rəqəm axının hansı budağının işlədiyini göstərir və budaq üzrə oxunmalıdır.

Satış metrikalarının hamısı CRM-dən gəlir, çatbot panelindən yox. Ona görə də CRM inteqrasiyası struktur sahələrlə qurulmayıbsa, bu rəqəmlərin heç biri hesablana bilməz.

Vanity metrikaları biznes metrikalarından ayırmaq

Aşağıdakı bölgü praktikada ən çox mübahisə yaradan rəqəmləri aydınlaşdırır.

• Söhbət sayı — vanity. Trafikdən asılıdır, keyfiyyətdən yox. Yalnız məxrəc kimi faydalıdır.
• Orta cavab müddəti — vanity. Avtomatlaşdırılmış sistemdə həmişə aşağıdır və heç nəyi fərqləndirmir.
• Avtomatlaşdırma faizi — şərti. Botu inadkar etməklə artırıla bilər, ona görə tək başına oxunmamalıdır.
• Məmnuniyyət balı — şərti. Cavab verənlərin seçilmiş olması səbəbindən meyllidir; trend kimi faydalı, mütləq rəqəm kimi yox.
• Həll faizi (təkrar müraciət şərti ilə) — biznes metrikası.
• Səbəb üzrə keçid faizi — biznes metrikası.
• Satışın qəbul etdiyi lead faizi — biznes metrikası.
• Cavabsız suallar siyahısı — biznes metrikası, həm də birbaşa iş siyahısı.

Hansı məlumat və inteqrasiyalar lazımdır

Yuxarıdakı düsturların hesablana bilməsi üçün lazım olanlar.

• Söhbətin nəticəsini struktur sahə kimi yazan sistem — 'həll olundu', 'ötürüldü', 'tərk edildi' kimi məhdud siyahı ilə.
• Hər keçidə yazılan səbəb kodu.
• Eyni müştərinin təkrar müraciətini tanımaq üçün identifikasiya — bu olmadan həll faizi hesablana bilməz.
• CRM-də lead mənbəyi və kanal sahələri, çatbot tərəfindən avtomatik doldurulan.
• Cavabsız sualların avtomatik toplanması və tezliyə görə qruplaşdırılması.
• Kanal və dil üzrə seqmentasiya imkanı — ortalama hesabat zəif kanalı aylarla gizlədir.
• İnsan yoxlaması üçün təsadüfi nümunə seçmə mexanizmi.

Bu hissə əsasən inteqrasiya işidir; avtomatlaşdırma xidmətləri səhifəsi bu bağlantıların necə qurulduğunu izah edir. Söhbətlər bir neçə kanalda gedirsə, rəqəmlərin müqayisə oluna bilməsi üçün onları vahid analitika görünüşündə saxlamaq lazımdır — kanal başına ayrı hesabat müqayisəni praktik olaraq mümkünsüz edir.

Hesabatın qurulması

Rəqəmlərin seçilməsi işin yarısıdır; qalan yarısı onların necə oxunmasıdır.

1. 1

   Bazanı buraxılışdan əvvəl ölçün

   Çatbotdan əvvəl dəstək yükü və lead axını nə idi? Bu rəqəm olmadan sonrakı heç bir yaxşılaşma sübut edilə bilməz və büdcə müzakirəsində mövqe zəif olur.

2. 2

   Həftəlik və rüblük hesabatı ayırın

   Həftəlik hesabat əməliyyat üçündür: cavabsız suallar, keçid səbəbləri, gecikmiş eskalasiyalar. Rüblük hesabat qərar üçündür: həll faizi trendi, qəbul edilmiş lead faizi, əhatənin genişləndirilməsi.

3. 3

   Seqment üzrə oxuyun

   Kanal, dil, iş saatı və söhbət tipi üzrə. Ortalama rəqəm demək olar ki, həmişə bir güclü və bir zəif seqmentin qarışığıdır.

4. 4

   Dəyişiklikləri qeyd edin

   Məzmun, konfiqurasiya və ya axın dəyişikliyinin tarixi hesabatda işarələnməlidir. Bu olmadan trenddəki sıçrayışın səbəbini müəyyən etmək mümkün olmur.

Rüblük hesabata bir də cavabsız sualların ilk iyirmisini əlavə edin. Bu siyahı adətən rəqəmlərdən daha çox qərar dəyişdirir.

Ən çox edilən səhvlər

Ölçmə səhvləri sistemin özündəki səhvlərdən daha uzun müddət aşkarlanmamış qalır.

• Söhbət sayını performans göstəricisi kimi təqdim etmək.
• Həll faizini təkrar müraciət şərti olmadan hesablamaq.
• Dəstək metrikalarını satış ssenarisinə tətbiq etmək.
• Avtomatlaşdırma faizini hədəf təyin etmək.
• Bütün rəqəmləri ortalama kimi oxumaq və seqmentləri ayırmamaq.
• Buraxılışdan əvvəl baza ölçməmək.
• Lead metrikalarını çatbot panelindən götürmək — panel lead-in satışda nə olduğunu bilmir.
• Cavabsız sualları toplamamaq, yəni təkmilləşdirmənin əsas mənbəyini itirmək.

Nə vaxt rəqəm kifayət etmir

Bəzi sualların cavabı ölçmə ilə alınmır və bunu etiraf etmək hesabatı gücləndirir.

• Cavabların tonu müştərilərinizə uyğundurmu — bunu yalnız söhbətləri oxumaqla müəyyən etmək olar.
• Mənbə məzmunun özü doğrudurmu — metrika sistemin mənbəyə sadiq qaldığını ölçür, mənbənin düzgünlüyünü yox.
• Hansı mövzunun ümumiyyətlə avtomatlaşdırılmasının düzgün olduğu — bu, hüquqi və kommersiya qərarıdır.
• Müştərinin niyə tərk etdiyi — rəqəm tərk etməni göstərir, səbəbi yox.
• Rəqiblə müqayisədə mövqe — daxili metrikalar bu barədə heç nə demir.

Ona görə rüblük hesabata həmişə oxunmuş söhbətlərdən çıxarılan keyfiyyət qeydləri əlavə edin. Rəqəmlər nəyin baş verdiyini, mətnlər isə niyə baş verdiyini göstərir.

Yekun qərar çərçivəsi və növbəti addım

Hesabatı qurmazdan əvvəl dörd sual.

1. 1

   Çatbot dəstək üçünmü, satış üçünmü qurulub?

   Cavab metrika dəstini tamamilə dəyişir. Hər ikisi üçündürsə, iki ayrı hesabat lazımdır, birləşmiş yox.

2. 2

   Bazanı ölçmüsünüzmü?

   Ölçməmisinizsə, buraxılışdan əvvəl bir neçə həftə vaxt ayırın — sonradan bərpa etmək mümkün olmayacaq.

3. 3

   Söhbətin nəticəsi struktur sahə kimi yazılırmı?

   Yazılmırsa, düsturların heç biri hesablana bilməz.

4. 4

   Cavabsız sualları toplayırsınızmı?

   Bu siyahı olmadan sistem yalnız təsadüfən yaxşılaşır.

Dörd metrika ilə başlayın — ssenarinizə uyğun olanlarla — və bir rüb boyunca yalnız onları oxuyun. Hesabatı genişləndirmək asandır; artıq rəqəmi hesabatdan çıxarmaq isə həmişə müqavimətlə qarşılaşır. Çatbot lead qualification məqaləsi satış axınını, çatbotun konversiyaya təsiri isə səhifə tərəfini izah edir; AI həlləri səhifəsi layihə mərhələlərini göstərir.

Tez-tez verilən suallar

1. 1

   Chatbot metrics dedikdə hansı rəqəmlər nəzərdə tutulur?

   Dəstək ssenarisində: təkrar müraciət şərti ilə həll faizi, səbəb üzrə keçid faizi, cavabsız suallar siyahısı və insan yoxlamasında dəqiqlik. Satış ssenarisində: lead toplama faizi, satışın qəbul etdiyi lead faizi, ilk insan təmasına qədər median vaxt və fürsətə keçid faizi.

2. 2

   Hansı məlumat və inteqrasiyalar lazımdır?

   Söhbət nəticəsini struktur sahə kimi yazan sistem, keçid səbəbi kodları, təkrar müraciəti tanıyan identifikasiya, CRM-də mənbə və kanal sahələri, cavabsız sualların avtomatik toplanması və kanal/dil üzrə seqmentasiya.

3. 3

   Hansı rəqəmlər vanity metrikadır?

   Söhbət sayı, orta cavab müddəti və tək başına oxunan avtomatlaşdırma faizi. Məmnuniyyət balı yalnız trend kimi faydalıdır. Bunların heç biri təkbaşına qərar dəyişdirmir.

4. 4

   Ən böyük ölçmə səhvləri hansılardır?

   Həll faizini təkrar müraciət şərti olmadan hesablamaq, dəstək metrikalarını satış ssenarisinə tətbiq etmək, avtomatlaşdırma faizini hədəf qoymaq, buraxılışdan əvvəl baza ölçməmək və hər şeyi ortalama kimi oxumaq.

5. 5

   Rəqəmlər nəyi göstərə bilmir?

   Cavabların tonunun uyğunluğunu, mənbə məzmunun doğruluğunu, müştərinin niyə tərk etdiyini və hansı mövzunun ümumiyyətlə avtomatlaşdırılmasının düzgün olduğunu.

Metrikalar nəyin baş verdiyini, oxunan söhbətlər isə niyə baş verdiyini göstərir — ikisi bir yerdə işləyir, ayrılıqda yox.