![]() ![]() ![]() MOJE KSIĄŻKI - AUTOR
REDAKTOR MERYTORYCZNY
|
Blog > Komentarze do wpisu
Feng GUI: symulacja eyetrackingu?Co pewien czas na rynku pojawia się nowe narzędzie wspomagające prace projektantów i badaczy zarówno z zakresu usability, jak User Centered Design. Praca z jednymi staje się standardem (vide Axure), inne odchodzą do lamusa (tak się trochę stało w przypadku programu IBM do cardsortingu - EZSort, które obecnie zastąpiły dużo sprawniejsze aplikacje). Wciąż niektóre badania i sprzęt potrafią być bardzo drogie. Jednym z droższych (o ile nie najdroższym) urządzeniem wykorzystywanym w badaniach User Experience jest eyetracker (o samych badaniach ET pisaliśmy m.in. z Olą niedawno). Niedawno ukazał się serwis online, w który umożliwia symulację procesów uwagi wzrokowej - Feng-GUI. Zasady funkcjonowania algorytmów Feng GUI zostały podane na stronie i przypominają z grubsza zasady pewnego modelu teoretycznego selektywnej uwagi typu bottom-up, autorstwa dwu wybitnych naukowców - Christofa Kocha oraz Shimona Ullmana. Pytanie, jak wiarygodne rezultaty daje program? By odpowiedzieć na to pytanie, w ramach prac działu MRM Experience wraz ze współpracownikami (Olą Słomińską i Anią Boguską-Torbicz), przeprowadziliśmy badanie kontrolne.
Szczegóły badania W badaniu posłużono się eyetrackerem Tobii model T60 wraz z dedykowanym do niego oprogramowaniem Tobii Studio. W badaniu uczestniczył operator i cztery osoby w roli respondentów. Wybrano 9 stron internetowych, które prezentowano każdej z osób w czasie 8 sekund dla jednej ekspozycji. Uzyskane wyniki podczas badania z użyciem eyetrackera porównano z wynikami uzyskanymi dla symulacji uwagi percepcyjnej, wg programu Feng GUI. Wyniki zaprezentowano poniżej. *** Amazon.com
Król światowego e-commerce poszedł na pierwszy ogień. Widać, że w przypadku elementów o dużym kontraście, wyniki symulatora Feng GUI potrafią byś dość zbieżne z tymi, uzyskanymi podczas badania z żywymi użytkownikami - trafienia w produkty w części środkowej (robot Wall-E) oraz zdjęcie mężczyzny. Ale symulator nie pokazał bardzo istotnych elementów, wychwyconych już w badaniu z ludźmi: 1)nagłówke koło książki - produktu dnia - jest żywiej penetrowany faktycznie, niżby to wychodziło z symulacji (zresztą jest najgorętszym punktem); 2) w przypadku zdjęcia z mężczyzną, osoby patrzyły na jego twarz, a nie elementy graniczne zdjęcia, kontrastujące z białym tłem strony; 3) w końcu podczas żywej ekspozycji zarówno menu jak i logo, były penetrowane przez wzrok użytkowników - symulator tego nie pokazał.
CoJestGrane.pl
Serwis eventowy o negatywnym kontraście (ciemne tło, jasna czcionka). Na pierwszy rzut oka zadziwiająca dwa trafienia - pierwsze w lewej części górnego banera, drugie w prawej części strony, gdzie występuje pomarańczowy nagłówek. Trafienia staną się mniej zadziwiające, gdy spojrzeć na stronę - górna lewa część banera no mocno kontrastujący jasnozielony prostokąt, świetnie wyróżniający się zarówno na czarnym tle, jak i na ciemnym granatowym tle banera; żółcienie mają lepszy kontrast na czarnym tle, niż biel, stąd pomarańczowy nagłówek (a więc i większy rozmiar fontu) jest bardziej kontrastowy, niż blok białych napisów z nazwami miast. Rozkład fiksacji na zdjęcia jest inny w przypadku symulacji oraz faktycznej percepcji strony przez ludzi. Żywe osoby spostrzegają także część identyfikacyjną z adresem strony.
Fotka.pl
Grupa Fotka, to blisko 30% zasięg w Polsce i stałe miejsce w czołówce Megapanelu. Fotki widoczne - ale jakby na obu zrzutach nie te same i nie z tą samą uwagą. I znowu: w przypadku żywych osób penetrowane są regiony menu i identyfikacji strony - logo.
GoldenLine.pl
Jeden z czołowych serwisów społecznościowych w naszym kraju. Żywi użytkownicy dużo większą rolą przykuwali do części wyjaśniającej czym jest GoldenLine i do czego służy, niżby to wynikało z przeprowadzonej symulacji programu Feng GUI. Menu i elementy logowania także są dużo ważniejsze. I percepcja zdjęć potrafi się nie pokrywać.
MRM.pl
Strona agencji, w której przeprowadzono badania. Tu - w przypadku osób uczestniczących w badaniu - istotne stało się menu strony - czego symulacja w ogóle nie pokazała. Porównanie najbardziej gorących miejsc z badania i symulacji, pokazuje spore różnice.
Onet.pl
Trudno w Polsce robić badanie nie odnosząc się do Onetu :) Z powyższych heatmap można wyciągnąć jednoznaczne wnioski - człowiek wie co dobre. Duże zdjęcie z artykułu dnia oraz część z wiadomościami bieżącymi, to czołowe miejsca na stronie wg prawdziwych oglądających stronę użytkowników. W przypadku symulacji, cała niemalże uwaga została przypisana banerowi.
Travian.pl
Chyba najbardziej popularna przeglądarkowa gra w naszym kraju, a wg Megapanelu na pewno najbardziej. Dla osób oglądających stronę z mapą gry, po zalogowaniu, dużo ważniejsze jest centrum mapy, niźli jej obrzeża, na co wskazuje symulacja. Nie wspominając o opcjach menu, które penetrowane przez użytkowników, w ogóle nie znajdują odzwierciedlenia w komputerowej symulacji Feng GUI.
Wyborcza.pl
Niedawny redesign strony i już przeprowadzone badanie... No, no :) Prócz tego, że na obydwu heatmapach stwierdzono zwiększoną uwagę na zdjęciu głównym (chociaż w innych regionach!) oraz banerze reklamowym w prawej części strony, to pozostałe elementy w ogóle się nie zgadzają.
YouTube.com
YouTube wg statystyk ruchu w sieci, to obecnie 80% ruchu w Internecie. Ale mapy uwagi są tak rozbieżne w stosunku do siebie, że nawet nie ma potrzeby komentowania tego - wystarczy rzucić okiem.
Wnioski Twierdzenie, że aplikacja w serwisie Feng GUI jest symulatorem uwagi percepcji wzrokowej, jest grubym nadużyciem. Wyniki otrzymane podczas badania są tak rozbieżne w stosunku do ych otrzymanych z użycia Feng GUI, że ich interpretacja nie jest w stanie dać projektantom wiedzy na temat faktycznego zachowania żywych użytkowników na stronie WWW. W przypadku prezentowania i badania zdjęć, dane wyszły tak samo rozbieżne. Choć osobiście mocno wierzę w stochastyczne podłoże naszych procesów percepcyjnych, to zastosowane w symulatorze algorytmy, nie pozwalą uzyskać żadnej miarodajnej wiedzy i pozostawiają program Feng GUI tylko w sferze ciekawostki. piątek, 01 sierpnia 2008, marekkasperski
TrackBack
|
And now, for some comments:
1. 4 people is not enough. We used 40, and here is an example of why you need so much people, to get more accurate results.
www.feng-gui.com/blog/2008/03/35-50-people-for-valid-eye-tracking.html
2. Since Feng-GUI is not a Task driven, comparing to web sites navigation can be accurate only at the first 5 seconds. no more than that.
Could you easily decrease the TOBI results to 5 seconds, and compare again.
thanks again!
Feng-GUI team