Wygenerowane wiadomości i ukończone zadania łatwo policzyć. Trudniej ustalić, ile z nich rzeczywiście doprowadziło do potrzebnego rezultatu. Dla małej firmy przydatna może być prosta ewidencja spraw wymagających poprawek lub ponownego otwarcia. Pozwala zobaczyć pracę, którą optymistyczny licznik aktywności często pomija.
Co mierzyć, gdy agent przygotowuje odpowiedź, człowiek ją poprawia, a klient następnego dnia ponawia pytanie? W statystyce pojawiają się kolejne czynności, ale z perspektywy firmy trwa ta sama sprawa. Taki przypadek pokazuje, dlaczego wiadomości warto łączyć w historię jednego problemu, zamiast traktować każdą z nich jako osobny wynik.
Ocena automatyzacji powinna więc zaczynać się od ustalenia, co ma zostać rozwiązane. W obsłudze klienta może chodzić o konkretną wątpliwość, w publikowaniu o sprawdzony i dostępny tekst, a w kontakcie z partnerem o otrzymanie brakującej informacji. Każdy z tych wyników potrzebuje innego potwierdzenia.
Najpierw wynik, potem licznik
Kristin Zapasnik jest założycielem Verslomatika oraz specjalistą w zakresie integracji AI i automatyzacji procesów biznesowych. Opisuje organizację, w której właściciel wybiera biznes na swoim koncie i kontaktuje się z jego koordynatorem. Człowiek ustala plan oraz priorytety, a koordynator rozdziela zadania między agentów przygotowanych do określonych funkcji.
Taki model Verslomatika wymaga ustalenia, po czym poznać wykonanie planu. Jeżeli celem jest uzyskanie odpowiedzi od dostawcy, wysłane zapytanie jest etapem pośrednim. Jeżeli celem jest wyjaśnienie kwestii klientowi, samo powstanie szkicu nie zamyka zadania. Definicja wyniku powinna poprzedzać ocenę szybkości.
Prosty rejestr pokazuje ukryty nakład pracy
Do pierwszego porównania wystarczy oznaczać sprawy jako zakończone bez korekty, zakończone po poprawce, ponownie otwarte albo nadal nierozwiązane. Ważne, by śledzić tę samą sprawę, a nie liczyć każdą wiadomość jako osobny sukces. Kategorie nie muszą tworzyć rozbudowanego systemu analitycznego.
Przy poprawce warto zapisać jej przyczynę. Inaczej traktuje się niezręczne sformułowanie, inaczej pominiętą informację, a jeszcze inaczej użycie nieaktualnych danych. Bez tej różnicy przedsiębiorca może udoskonalać styl odpowiedzi, choć rzeczywisty problem leży w źródle informacji albo w niejasnym zakresie zadania.
W rejestrze warto zachować również moment przekazania do człowieka i powód, dla którego było to potrzebne. Sama liczba takich przekazań nie mówi jeszcze, że proces działa źle. Prawidłowe rozpoznanie nietypowego przypadku może być pożądanym wynikiem. Problem pojawia się wtedy, gdy zwykła sprawa wraca bez kontekstu albo gdy agent kończy zadanie mimo nierozwiązanej wątpliwości. Obie sytuacje wymagają innej poprawki niż świadome pozostawienie decyzji osobie odpowiedzialnej.
- Korekta językowa: sens jest prawidłowy, ale forma wymaga zmiany.
- Korekta merytoryczna: odpowiedź zawiera błąd lub pomija warunek.
- Brak danych: nie można zakończyć sprawy bez dodatkowej informacji.
- Ponowne otwarcie: pozorne zakończenie nie rozwiązało pierwotnego problemu.
Przykład treści: publikacja nie kończy się na szkicu
Właściciel prowadzi Topdovanos, portal z pomysłami na prezenty. Jego poradnik po litewsku o świątecznych zestawach do odlewów dłoni porównuje opcje dla par i rodzin, zawiera filmy i wyjaśnia, jak przygotować się do pracy z zestawem. W takiej publikacji poszczególne części powinny wspólnie pomagać czytelnikowi zrozumieć produkt i podjąć decyzję.
Pomysły na prezent dla par łatwiej ocenić, gdy opis wyjaśnia zawartość zestawu oraz przebieg wspólnej aktywności.
Opisany proces obejmuje pomoc AI w badaniu tematu, pisaniu oraz przygotowaniu struktury, metadanych i linków, a następnie redakcję i zaplanowaną publikację na serwerze. Ocena takiej pracy powinna rozróżniać poprawki potrzebne przed publikacją i problemy wykryte po udostępnieniu. Liczba wygenerowanych tekstów nie odpowiada na pytanie, czy informacje są poprawne i przydatne czytelnikom.
Przykład produktu: odpowiedź musi pasować do realnej oferty
Prowadzony przez tego samego właściciela biznes Memory Casting oferuje parom i rodzinom zestawy do wspólnego wykonywania odlewów dłoni. Jeżeli klient pyta o różnicę między wariantami, dobra odpowiedź musi zachować właściwe rozróżnienia. Ogólny, przyjazny opis może nie wystarczyć do podjęcia decyzji.
Kristianas deklaruje korzystanie z agentów m.in. do obsługi wiadomości klientów, współpracy z dostawcami, nadzoru nad zapasami, koordynacji dostaw i utrzymania stron. Dla tych zastosowań potrzebne są różne wyniki: wyjaśniona wątpliwość, uzyskana informacja, zaktualizowany stan albo działająca strona. Warto mierzyć je osobno, aby sprawne wykonanie jednej funkcji nie przesłoniło problemów w innej.
Porównywać podobne sprawy i zachować pierwsze błędy
Przy ocenie zmian warto rozdzielić pytania rutynowe od wyjątków. Jeżeli po zmianie do rejestru trafiają łatwiejsze sprawy, spadek liczby poprawek może wynikać z innego zestawu zadań. Zachowanie pierwotnych błędów i ich przyczyn pozwala później sprawdzić, czy poprawiony proces radzi sobie z podobną trudnością.
Przedsiębiorca może wtedy zdecydować, czy rozszerzyć zastosowanie, uzupełnić wiedzę agentów czy zmienić sposób przekazywania wyjątków. Rejestr poprawek pokazuje, gdzie praca wraca do człowieka i z jakiego powodu. Dzięki temu rozmowa o jakości dotyczy konkretnych spraw: wyjaśnionych pytań, brakujących danych i błędów, które udało się usunąć.
Warto także wyznaczyć moment ponownego sprawdzenia zamkniętej sprawy. Nie każda wątpliwość ujawnia się od razu: odpowiedź może wyglądać dobrze, lecz nie pozwalać wykonać następnego kroku. Powrót klienta z tym samym pytaniem jest wtedy ważną informacją o pierwotnym wyniku. Powinien uzupełnić historię sprawy, a nie zwiększać wyłącznie licznik nowych kontaktów.
Komentarze