Skuteczność wyszukiwarki
Jak badać skuteczność wyszukiwarki? Proponuję prostą metodę.
Zacznijmy od tego, że w prosty sposób można zbierać przez jakiś czas (tydzień) hasła wpisywane do wyszukiwarki.
Następnie z wpisanych haseł tworzysz listę najczęściej występujących. Wybierasz od 20% do 50% fraz, które najczęściej się powtarzają (ważne aby lista nie była zbyt duża). Następnie dla każdej tej frazy wykonujesz przeszukiwanie serwisu z użyciem badanej wyszukiwarki. Jeśli w pierwszych wynikach znajdzie się strona odpowiadająca optymalnie zapytaniu stawiasz plusika. Na koniec sprawdzasz ilość plusików. Jeśli badałeś powiedzmy 100 fraz to odpowiedź o skuteczności dostajesz od razu w procentach.
Przykładowo – w pierwszej setce najpopularniejszych słów wyszukiwanych na Blogfrog.pl znalazły się niżej spisane słowa. Kryterium sukcesu ustaliłem jako “trzy pierwsze pozycje zwrócone przez wyszukiwarkę odpowiadają tematowi wyszukiwania (przy każdym z możliwych sortowań wyników)”. Dla każdego z wybranych słów uruchomiłem wyszukiwanie. Powstała tabelka jak niżej.
hasło | poprawny wynik |
wyspy polacy | 1 |
szkoła | 1 |
prezenty | 1 |
itelligence | 1 |
popowicz | 1 |
webdesign | 1 |
firefox | 0 |
Lis Dziennik | 0 |
wyspy, polacy | 1 |
kuchnia & ciasto | 1 |
Leopard OS | 1 |
Test wskazał skuteczność wyszukiwarki na poziomie 80%. Zbadanie większej ilości przypadków pozwoli śledzić rozwój wyszukiwarki oraz odnieść jej trafność do konkurencji.
Nie sądzisz, że tego typu badanie skuteczności może nieco zafałszować obraz skuteczności wyszukiwarek. Śledziłem wyszukiwania kilku wyszukiwarek (np. Google Analytics ma taką funkcjonalność) i zawsze dominuje tam bardzo długi ogon niszowych wyszukiwań. Co w takiej sytuacji z tymi wyszukiwaniami?
Oczywiscie, ze to jest uproszczenie. Odpowiedz sobie na pytanie, czy wolalbys miec pewnosc, ze w 50% przypadkow wyszukiwarka dziala poprawnie czy wolalbys nie miec zadnej pewnosci 🙂 Wychodze z zalozenia, ze jesli malym kosztem mozemy znacznie polepszyc uzytecznosc czesci serwisu po prostu warto to zrobic 🙂
Faktycznie podany przez Ciebie sposób pozwala sprawdzić efektywność wyszukiwarki bardzo małym nakładem pracy. Co sądzisz o dodaniu do tego drugiego parametru wagi ważonej słowa kluczowego (np. ranga od 1 do 5) ? Dużo pracy nie przysporzy, a informacje o efektywności wyszukiwarki mogą być dużo bardziej miarodajne. Są słowa kluczowe, które mają kluczowe znaczenie dla serwisu i są takie, które pomimo tego, że użytkownicy często wyszukują ich w serwisie, są one stosunkowo mało ważne dla tego serwisu. Przykładowo nie wiedzieć czemu jednym z częściej wyszukiwanych słów kluczowych dla mojej witryny jest słowo kluczowe “szablony wordpress”. Czy mam się przejmować tym, że wyszukiwarka zwraca kiepskie wyniki dla tego słowa kluczowego jeżeli na niej nie ma żadnych szablonów do WordPressa, są tylko darmowe szablony dla małych firm?
Wracam do tego posta już któryś raz i cały czas się nad nim zastanawiam. Tomek przedstawił ocenę skuteczności wyszukiwarki z punktu widzenia właściciela serwisu (IMO). Czy faktycznie o takie mierzenie skuteczności nam (właścicielom serwisów) chodzi? Wg. mnie wyszukiwarka jest skuteczna wtedy gdy wyświetli wyniki interesujące dla osoby która z niej korzysta, a to oznacza, że osoba ta podąży (kliknie) za wynikiem wyszukiwania. Przy takim założeniu należało by jednak oprzeć się na statystykach klikania w wyniki a nie na ocenie samych wyników.
Zgadzam sie z Mariuszem co do usprawnienia poprzez wagi. Wydaje mi sie to cool.
Robert – wiesz zalezy jak zweryfikujesz wynik. Jesli ustalimy, ze dajemy PLUSA dopiero jesli w wywiadach potwierdzimy, ze userzy wpisujac dana fraze spodziewaja sie takiego wyniku to mamy wtedy spojrzenie oczami usera. Niemniej to juz jest daleko idaca komplikacja a mi chodzilo o podanie prostego i szybkiego sposobu na pomiar skutecznosci.
Z drugiej strony patrzac na skutecznosc w ecommerce wiemy, ze nie zawsze interes usera musi byc w pelni spojny z interesem danego sklepu. Oczywiscie w dlugiej perspektywie musza sie one jak najbardziej pokrywac.
Ocena klikow jest bardzo mylaca, czy nie zdarzylo Ci sie klikac desperacko choc przypuszczales, ze tam nie ma tego czego szukasz ale to bylo jedyne sensowne miejsce? Czy nie zdarzylo Ci sie klikac i orientowac sie, ze to nie to? Takie metody zawsze latwo sie wysypuja gdy chcemy badac zadowolenie uzytkownikow 🙂