Pomiar i utrzymanie

Sygnały zewnętrzne z poprzedniego rozdziału mają jedną niewygodną cechę: pracują wolno i w dużej części poza Twoją kontrolą. Dotyczy to zresztą wszystkiego, co zrobiłeś wcześniej. Dane produktowe, treść i wzmianki zaczynają działać dopiero wtedy, gdy modele je pobiorą, a Ty dowiesz się o tym wyłącznie wtedy, gdy sprawdzisz.

Audyt z rozdziału 2 był zdjęciem stanu na jeden dzień. Ten rozdział zamienia go w proces: co mierzyć, jak często, jak zapisywać wyniki, żeby dało się je porównać za pół roku, i w jakiej kolejności naprawiać to, co pomiar pokaże.

Co mierzyć: kilka pytań zamiast jednej liczby

Pokusa jest taka, żeby sprowadzić widoczność w AI do jednego procenta na slajdzie. Odradzam, bo jeden procent nie mówi, co naprawić. Praktyczny pomiar odpowiada na kilka pytań zadawanych osobno przy każdym zapytaniu z zestawu kontrolnego.

Pięć kolumn w arkuszu wystarczy na start. Ważniejsze od narzędzia jest to, żeby definicje pozostały identyczne przy każdym kolejnym pomiarze.

Nazewnictwo jest wtórne, ale warto je znać, bo pojawia się w ofertach narzędzi. W branży używa się między innymi określenia Share of Model na udział marki w odpowiedziach na ustalony zestaw zapytań. My w usłudze pracujemy na trzech pojęciach:

• Brand Visibility: czy marka zostaje nazwana.
• Product Mention Rate: czy pada konkretny produkt, gdy pytanie do niego pasuje.
• Store Attribution: czy zakup zostaje przypisany do Twojego sklepu.

Świadomie nie podaję tu żadnych wartości odniesienia, bo sensownych benchmarków nie ma: wynik zależy od kategorii, języka, składu zestawu pytań i modelu. Jedyne uczciwe porównanie to porównanie z własnym poprzednim pomiarem.

Co musi zostać stałe

Zestaw pytań zbudowany przy audycie staje się teraz aktywem, a jego największą wartością jest niezmienność. Przy każdym kolejnym pomiarze stałe muszą pozostać cztery rzeczy:

• Treść pytań: co do słowa, łącznie z szykiem i odmianą.
• Język i rynek: to samo pytanie w dwóch językach to dwa osobne pomiary.
• Lista modeli: ta sama za każdym razem, wynik notowany osobno dla każdego.
• Sposób oceny: te same definicje, czyli kolumny z tabeli powyżej.

Nowe pytania dopisuj jako osobną grupę i porównuj dopiero od ich pierwszego pomiaru, zamiast mieszać je ze starą pulą i psuć porównywalność całości.

Warunki, w jakich zadajesz pytania

Warunki też są częścią metody, choć rzadko się je opisuje. Pytaj w sesji bez historii rozmów i bez personalizacji, najlepiej wylogowanej. Inaczej zmierzysz własne wcześniejsze ślady zamiast tego, co widzi obcy użytkownik.

Notuj również, czy model korzystał w danej odpowiedzi z wyszukiwania w sieci. Odpowiedź z wyszukiwaniem i bez niego to w praktyce dwa różne pomiary, których nie należy uśredniać.

Jak często mierzyć

Rytm dobierasz do tego, ile się u Ciebie zmienia:

• Miesięcznie: gdy aktywnie pracujesz nad danymi, treścią i sygnałami zewnętrznymi, bo chcesz widzieć skutki własnych zmian.
• Kwartalnie: gdy katalog i marka są stabilne, a pomiar ma głównie pilnować, czy nic się nie psuje.
• Rzadziej niż raz na kwartał: traci sens, bo zmiany w wyniku nie połączysz już z żadną konkretną przyczyną.

Częściej niż raz w miesiącu zwykle nie ma po co, i to z prozaicznego powodu: zmiana na stronie musi zostać pobrana, przetworzona i odłożyć się w źródłach, z których korzysta model, a to trwa.

Poza stałym rytmem warto zmierzyć w czterech sytuacjach:

• Po migracji platformy: zmieniają się adresy, szablony i to, co widać w źródle strony.
• Po zmianie nazwy albo domeny: w sieci przez jakiś czas żyją obie wersje naraz.
• Po dużej przebudowie katalogu: inne kategorie, inne atrybuty, inny feed.
• Po głośnej zmianie po stronie dostawcy modelu: nowa wersja modelu albo nowy sposób doboru źródeł.

Jak zapisywać wyniki

Format ma jeden cel: żeby za pół roku dało się odtworzyć, co dokładnie widziałeś. Minimum to siedem pól w jednym wierszu arkusza:

• Data pomiaru: dzień, w którym zadałeś pytanie.
• Model i wersja: nazwa modelu, a wersja, jeśli jest widoczna.
• Rynek i język: osobno, bo od nich zależy cała reszta.
• Treść pytania: wklejona co do słowa, nie streszczona.
• Pełna odpowiedź: skopiowana w całości, nie sam fragment o Tobie.
• Ocena: według pytań kontrolnych z tabeli powyżej.
• Lista źródeł: domeny i odnośniki, które model podał.

Dwa błędy powtarzają się najczęściej:

• Sama ocena bez surowej odpowiedzi: po kwartale nikt już nie odtworzy, dlaczego kontekst uznano wtedy za neutralny, a spór o to zabiera więcej czasu niż sam pomiar.
• Zrzuty ekranu zamiast tekstu: wyników nie da się wtedy przeszukać ani policzyć.

Zwykły arkusz z jedną odpowiedzią na wiersz wystarcza znacznie dłużej, niż się wydaje, i przenosi się do dowolnego narzędzia później.

Dlaczego pojedynczy pomiar nic nie znaczy

Odpowiedzi modeli są niedeterministyczne: to samo pytanie zadane dwa razy pod rząd potrafi dać inną odpowiedź, inny zestaw poleconych marek i inny zestaw źródeł. Składają się na to cztery rzeczy:

• Sposób generowania tekstu: losowość jest tu wpisana w konstrukcję.
• Wariant modelu: to samo zapytanie bywa kierowane do różnych wersji.
• Wyszukiwanie w sieci: raz uruchomione, raz nie.
• Aktualizacja źródeł w tle: materiał, z którego model korzysta, zmienia się bez Twojego udziału.

Wg źródeł branżowych porównania odpowiedzi na te same pytania pokazują, że rozbieżność dotyczy nie tylko sformułowań, ale też tego, kogo model wymienia i na co się powołuje.

Wniosek metodyczny jest prosty: zadaj każde pytanie kilka razy i notuj częstość wystąpień, a nie sam fakt, że raz się pojawiło. Pojedyncze wystąpienie marki nie jest sukcesem, a pojedynczy brak nie jest porażką. Sygnałem staje się dopiero powtarzalność wewnątrz jednego pomiaru i kierunek zmian w kolejnych.

Co robić z wynikiem: kolejność napraw

Pomiar zwykle produkuje długą listę rzeczy do zrobienia i właśnie tu najłatwiej utknąć. Kolejność, którą stosujemy, wynika z prostego rachunku: najpierw to, co szkodzi najbardziej i naprawia się najszybciej.

• 1. Błędne fakty. Model podaje nieaktualną cenę, twierdzi, że nie dowozisz do danego kraju, myli Cię z inną firmą albo opisuje ofertę sprzed rebrandingu. To naprawiaj natychmiast, bo taki błąd aktywnie odbiera sprzedaż, a jego źródło zwykle da się wskazać i poprawić u siebie albo w konkretnym serwisie zewnętrznym.
• 2. Braki w danych. Model nie ma czego pobrać: brakuje atrybutów, feed jest niekompletny, dane strukturalne obejmują tylko część katalogu. To praca z rozdziału 3, jednorazowo kosztowna, ale działająca długo i na cały katalog naraz.
• 3. Treść. Dane są, tylko nikt nie odpowiedział wprost na pytanie, które zadaje klient. To rozdział 4, czyli najwięcej pracy redakcyjnej i efekt rozłożony w czasie, za to najbardziej trwały.
• 4. Sygnały zewnętrzne. Recenzje, rankingi i wzmianki z rozdziału 5. Najwolniejsza warstwa, więc uruchamiaj ją równolegle z pozostałymi, ale nie oczekuj, że zdąży zmienić wynik kolejnego miesięcznego pomiaru.

Samodzielnie czy z partnerem

Samodzielnie ma sens częściej, niż sugerują sprzedawcy narzędzi. Jeden rynek, jeden język, kilkadziesiąt pytań kontrolnych i osoba w zespole, która realnie utrzyma rytm: to arkusz i mniej więcej godzina miesięcznie. Największe ryzyko nie leży w braku narzędzia, tylko w tym, że po trzecim miesiącu nikt już tego nie robi, a wtedy przestaje istnieć jakikolwiek punkt odniesienia.

Kiedy partner albo narzędzie zaczyna się opłacać

Zwykle w czterech sytuacjach:

• Kilka rynków i języków: liczba pomiarów rośnie wtedy wielokrotnie.
• Duży katalog: zestaw pytań musi pokryć wiele kategorii naraz.
• Kilka modeli do sprawdzenia: każdy trzeba odpytać i ocenić osobno.
• Pomiar, z którego mają wynikać naprawy: w danych i na stronie, a nie sam wykres na spotkaniu.

Tak prowadzimy to w Seedlight w ramach usługi AI Visibility (GEO): stały zestaw zapytań, pomiar per model, Brand Visibility, Product Mention Rate i Store Attribution, a do tego naprawy w warstwie danych i treści. Zastrzeżenie stawiam wprost, bo należy je postawić: nikt nie gwarantuje pozycji, wzmianki ani cytowania, to zmienne, których nie kontroluje żaden dostawca.

Cała ścieżka w jednym akapicie

Zaczęliśmy od tego, skąd modele biorą wiedzę o sklepie i dlaczego Twoja strona jest tylko jednym ze źródeł (rozdział 1). Potem był audyt: co AI mówi o Tobie dziś i jaki masz punkt wyjścia (rozdział 2). Na tym fundamencie porządkujesz dane produktowe, feed i dane strukturalne jako jedno źródło prawdy (rozdział 3). Dalej piszesz treść, z której da się wyjąć gotową odpowiedź, zamiast treści, która wyłącznie ładnie brzmi (rozdział 4). Rozdział 5 wyprowadził tę pracę poza własną domenę, do recenzji, rankingów i wzmianek. Ten rozdział spina całość w rytm: mierzysz, zapisujesz, naprawiasz w ustalonej kolejności i mierzysz ponownie.

Na koniec rzecz, którą trzeba powiedzieć wprost, bo bez niej cały przewodnik byłby nieuczciwy. Nie kontrolujesz tego, co model odpowie. Dostawcy zmieniają modele i źródła bez zapowiedzi, sposób doboru cytowań pozostaje nieprzejrzysty, a wzmianki ani cytowania nie zagwarantuje Ci nikt, łącznie z nami.

Kontrolujesz za to pięć rzeczy:

• Poprawność faktów o sobie w każdym miejscu, w którym się pojawiają.
• Kompletność i dostępność danych produktowych.
• Jakość odpowiedzi na realne pytania klientów.
• Spójność marki w całej sieci.
• Regularność pomiaru i to, czy ktoś w firmie faktycznie go pilnuje.

To lista wystarczająco długa, żeby zająć rok pracy, i wystarczająco konkretna, żeby zacząć od jutra. Reszta, łącznie z tym, że część klientów podejmie decyzję, nie odwiedzając Twojej strony, jest już konsekwencją, o której piszemy osobno w tekście o zero-click commerce.