Miary ilościowe w badaniach użyteczności

50 %
50 %
Information about Miary ilościowe w badaniach użyteczności
Design

Published on November 13, 2008

Author: komitywa.com

Source: slideshare.net

Prezentacji nie będzie  tnij.org/moderowanie

Miary ilościowe w testach użyteczności eryk orłowski dyrektor zarządzający @ Komitywa.com [email_address]

agenda zastosowanie fakty i mity dobór miar do projektu miary wydajności (performance) miary problemów (issue-based) self-reported behawioralne i fizjologiczne kombinowane po co nam miary ilościowe?

zastosowanie

fakty i mity

dobór miar do projektu

miary wydajności (performance)

miary problemów (issue-based)

self-reported

behawioralne i fizjologiczne

kombinowane

po co nam miary ilościowe?

Zastosowanie miar ilościowych Pozwalają: oszacować skalę problemu śledzić postępy w projekcie porównać projekty/produkty odpowiadać na trudne pytania o ROI

Pozwalają:

oszacować skalę problemu

śledzić postępy w projekcie

porównać projekty/produkty

odpowiadać na trudne pytania o ROI

Fakty i mity Mit: to się nie nadaje do szybkich/małych projektów badawczych Prawda: zastosowanie kategorii ilościowych pozwala nadać problemom właściwą hierarchię, w zależności od wagi Mit: dla problemów użytkowników mojego serwisu nie znajdę adekwatnych miar do zastosowania Prawda: co chcesz mierzyć? Można mierzyć reakcje emocjonalne, rozkład uwagi, poziom stresu... Mit: rejestracja danych zajmuje zbyt wiele czasu Prawda: dane są rejestrowane w ramach sesji badawczej

Mit: to się nie nadaje do szybkich/małych projektów badawczych

Prawda: zastosowanie kategorii ilościowych pozwala nadać problemom właściwą hierarchię, w zależności od wagi

Mit: dla problemów użytkowników mojego serwisu nie znajdę adekwatnych miar do zastosowania

Prawda: co chcesz mierzyć? Można mierzyć reakcje emocjonalne, rozkład uwagi, poziom stresu...

Mit: rejestracja danych zajmuje zbyt wiele czasu

Prawda: dane są rejestrowane w ramach sesji badawczej

Dobór miar do projektu Przykładowy dobór ze względu na cel badania Cel: wykonalność transakcji wykonanie zadania ( task success ) statystyki serwisu (współcznnik porzuceń) oszacowanie dotkliwości błędów efektywność procesu Cel: porównanie projektów miary problemów self-reported

Przykładowy dobór ze względu na cel badania

Cel: wykonalność transakcji

wykonanie zadania ( task success )

statystyki serwisu (współcznnik porzuceń)

oszacowanie dotkliwości błędów

efektywność procesu

Cel: porównanie projektów

miary problemów

self-reported

Miary wydajności Służą określeniu efektywności Oparte na możliwości realizacji konkretych celów i zadań użytkowników Pozwalają oszacować wagę określonego problemu Wskazują na to CO jest problemem, a nie DLACZEGO

Służą określeniu efektywności

Oparte na możliwości realizacji konkretych celów i zadań użytkowników

Pozwalają oszacować wagę określonego problemu

Wskazują na to CO jest problemem, a nie DLACZEGO

Miary wydajności: wykonanie zadania (task success) Wymaga zdefiniowania zadań o jasnym zakończeniu Metody uzyskiwania danych: Ustna odpowiedź (może powodować problem w interpretacji) Kwestionariusz/odpowiedź na pytanie zamknięte Rodzaje: Sukces binarny (gdy dotarcie blisko celu nie oznacza wykonania zadania) Skala

Wymaga zdefiniowania zadań o jasnym zakończeniu

Metody uzyskiwania danych:

Ustna odpowiedź (może powodować problem w interpretacji)

Kwestionariusz/odpowiedź na pytanie zamknięte

Rodzaje:

Sukces binarny (gdy dotarcie blisko celu nie oznacza wykonania zadania)

Skala

Analiza i prezentowanie danych Sukces binarny: Success rate dla zadania dla (grup) użytkowników (np. doświadczeni vs. niedoświadczeni, przedziały wiekowe) Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16 na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można stwierdzić, że 58-95% populacji wykona to samo zadanie”) Skala % respondentów, którzy wykonali określoną część zadania Miary wydajności: wykonanie zadania (task success)

Analiza i prezentowanie danych

Sukces binarny:

Success rate dla zadania

dla (grup) użytkowników (np. doświadczeni vs. niedoświadczeni, przedziały wiekowe)

Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16 na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można stwierdzić, że 58-95% populacji wykona to samo zadanie”)

Skala

% respondentów, którzy wykonali określoną część zadania

Użyteczność aplikacji webowych jest często funkcją czasu poświęconego na wykonanie określonych zadań (poza specyficznie zorientowanymi na wykonanie zadań wg. innych parametrów – np. gry, e-learning) Pomiar wartości ważny w przypadku wykonywania zadań cyklicznie powtarzanych przez użytkowników Analiza i prezentowanie: Średni czas dla zadania Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a przyjętymi zakresami) Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy konkurencji) Miary wydajności: czas wykonania (time-on-task)

Użyteczność aplikacji webowych jest często funkcją czasu poświęconego na wykonanie określonych zadań (poza specyficznie zorientowanymi na wykonanie zadań wg. innych parametrów – np. gry, e-learning)

Pomiar wartości ważny w przypadku wykonywania zadań cyklicznie powtarzanych przez użytkowników

Analiza i prezentowanie:

Średni czas dla zadania

Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a przyjętymi zakresami)

Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy konkurencji)

Miary wydajności: błędy Analiza błędów jest istotna: w przypadku potencjalnie istotnego wpływu na wydajność (np. utrata wprowadzonych danych), jeżeli utrudnia wykonanie zadania jeżeli może prowadzić do istotnych strat jeżeli uniemożliwia wykonanie zadania Analiza i prezentowanie: Częstotliwość (które zadania skutkują największą liczbą błędów); dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli 1+) % respondentów, którzy popełnili błąd w danym zadaniu

Analiza błędów jest istotna:

w przypadku potencjalnie istotnego wpływu na wydajność (np. utrata wprowadzonych danych), jeżeli utrudnia wykonanie zadania

jeżeli może prowadzić do istotnych strat

jeżeli uniemożliwia wykonanie zadania

Analiza i prezentowanie:

Częstotliwość (które zadania skutkują największą liczbą błędów); dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli 1+)

% respondentów, którzy popełnili błąd w danym zadaniu

Miary wydajności: efektywność (efficiency) Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia przycisków Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu) Pomiar i analiza : Określenie akcji, które mają być mierzone Zdefiniowanie początku i końca akcji Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron odwiedzonych/wszystkich/niezbędnych) Efektywność wg CIF: stosunek „task completion rate” do średniego czasu wykonania zadania

Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia przycisków

Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu)

Pomiar i analiza :

Określenie akcji, które mają być mierzone

Zdefiniowanie początku i końca akcji

Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem

Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron odwiedzonych/wszystkich/niezbędnych)

Efektywność wg CIF: stosunek „task completion rate” do średniego czasu wykonania zadania

Precyzuje, jak wiele czasu i nakładów wymaga osiągnięcie poziomu zaawansowanego użytkownika Pomiar i analiza: Wielokrotna rejestracja wartości wybranych miar Analiza wydajności dla zadań albo zagregowana, w funkcji czasu Miary wydajności: nauczalność (learnability)

Precyzuje, jak wiele czasu i nakładów wymaga osiągnięcie poziomu zaawansowanego użytkownika

Pomiar i analiza:

Wielokrotna rejestracja wartości wybranych miar

Analiza wydajności dla zadań albo zagregowana, w funkcji czasu

Miary problemów (issues-based) Identyfikowanie problemów to najczęściej wykonywane zadanie w pracy badacza użyteczności. Problemy zwykle są wykrywane i prezentowane w ujęciu jakościowym. Problem: potencjalna przyczyna błędu czynnik uniemożliwiający wykonanie zadania czynnik wywołujący konfuzję wykonanie nieprawidłowej akcji błędna interpretacja niedostrzeżenie danego elementu niezrozumienie nawigacji

Identyfikowanie problemów to najczęściej wykonywane zadanie w pracy badacza użyteczności. Problemy zwykle są wykrywane i prezentowane w ujęciu jakościowym.

Problem:

potencjalna przyczyna błędu

czynnik uniemożliwiający wykonanie zadania

czynnik wywołujący konfuzję

wykonanie nieprawidłowej akcji

błędna interpretacja

niedostrzeżenie danego elementu

niezrozumienie nawigacji

Miary problemów: dotkliwość błędu Niektóre błędy są bardziej dotkliwe niż inne ;) Błędy mogą być klasyfikowane według wpływu na doświadczenie użytkownika, albo wielowymiarowo (wpływ na ux, przewidywana częstotliwość występowania, wpływ na cele biznesowe)

Niektóre błędy są bardziej dotkliwe niż inne ;)

Błędy mogą być klasyfikowane według wpływu na doświadczenie użytkownika, albo wielowymiarowo (wpływ na ux, przewidywana częstotliwość występowania, wpływ na cele biznesowe)

Miary problemów: wskaźniki Częstotliwość unikalnych problemów, w funkcji czasu/iteracji Częstotliwość problemów per użytkownik % użytkowników, którzy napotkali określony problem

Częstotliwość unikalnych problemów, w funkcji czasu/iteracji

Częstotliwość problemów per użytkownik

% użytkowników, którzy napotkali określony problem

Self-reported Jedyny rodzaj miar, dostarczających informacji o postrzeganiu aplikacji przez użytkowników Rejestracja danych: skala Likerta skala semantyczna Zastosowanie: ocena łatwości użycia miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu SUS (System Usability Scale) karty reakcji online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl

Jedyny rodzaj miar, dostarczających informacji o postrzeganiu aplikacji przez użytkowników

Rejestracja danych:

skala Likerta

skala semantyczna

Zastosowanie:

ocena łatwości użycia

miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu

SUS (System Usability Scale)

karty reakcji

online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl

Miary behawioralne i fizjologiczne Face-tracking Eye-tracking Pomiar napięcia powierzchniowego Rytm serca

Face-tracking

Eye-tracking

Pomiar napięcia powierzchniowego

Rytm serca

Miary kombinowane W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich zadań w mniej niż średnio 70 sekund) SUM (Single Usability Metric) Ukończone zadania Liczba błędów per zadanie Skala satysfakcji Six Sigma Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z mierzonych wielkości Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie (tzw. process sigma)

W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich zadań w mniej niż średnio 70 sekund)

SUM (Single Usability Metric)

Ukończone zadania

Liczba błędów per zadanie

Skala satysfakcji

Six Sigma

Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z mierzonych wielkości

Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie (tzw. process sigma)

Po co nam miary ilościowe 12% redukcji czasu wykonania zadania to dwunastoprocentowy wzrost efektywności, czy dwunastoprocentowy wzrost poziomu stresu? ważniejszy jest krótszy czas wykonania zadania, czy satysfakcja użytkownika?

12% redukcji czasu wykonania zadania to dwunastoprocentowy wzrost efektywności, czy dwunastoprocentowy wzrost poziomu stresu?

ważniejszy jest krótszy czas wykonania zadania, czy satysfakcja użytkownika?

Demokraci, republikanie... Nielsen: 100-osobowa próba nie ujawniłaby ani jednego użytkownika, który popełni błąd. Jeff Sauro:wykorzystanie formuły Nielsena wymagałoby przetestowania 225 osób. Test jakościowy nie odpowie na pytanie, ile osób popełni błąd. Tog: większość użytkowników nie popełnia błędu w nieprawidłowo skonstruowanym interfejsie, zwykle wykonują swoje zadania dłużej

Nielsen: 100-osobowa próba nie ujawniłaby ani jednego użytkownika, który popełni błąd.

Jeff Sauro:wykorzystanie formuły Nielsena wymagałoby przetestowania 225 osób. Test jakościowy nie odpowie na pytanie, ile osób popełni błąd.

Tog: większość użytkowników nie popełnia błędu w nieprawidłowo skonstruowanym interfejsie, zwykle wykonują swoje zadania dłużej

Dziękuję za uwagę www.tnij.org/ilosciowo eryk orłowski @ Komitywa.com [email_address] || 605 103 742 || gg# 2765

Add a comment

Related presentations

Related pages

Miary ilościowe w badaniach użyteczności - Design

Miary Użyteczności Prezentacja przedstawia stosowane w badaniach Web Usability wskaźniki za pomocą, których można mierzyć i badać UX.
Read more

Miary Użyteczności - Technology

Miary ilościowe w badaniach użyteczności 1. ... Miary ilościowe w testach użyteczności eryk orłowski dyrektor zarządzający @ Komitywa.com ...
Read more

Badania użyteczności a pomiar zachowań użytkowników ...

W badaniach użyteczności stosujemy metody umożliwiajace uzyskanie dwów rodzajów danych: ilościowe i jakościowe. ... Miary wydajności ...
Read more

autotraderpl - wklej-napisy.hitowy.pl

Miary ilościowe w badaniach użyteczności 6788 views; Rekomendacje Quartic w serwisie Autotrader. Pl 317 views; Net Promoter Score w. Praktiker i ...
Read more

Zdalne badania użyteczności - którą metodę wybrać

Rodzaje zdalnych badań użyteczności. W literaturze ... (np. w domu, w pracy) lub w laboratorium, miary ... Zdalne niemoderowane badanie ilościowe:
Read more

Zdalne badania użyteczności - którą metodę wybrać ...

Rodzaje zdalnych badań użyteczności W literaturze ... * badania zdalne niemoderowane ilościowe - również w tych badaniach nie ma ... miary, które ...
Read more

Adrianna Mastalerz-Kodzis | Uniwersytet Ekonomiczny w ...

... Metody ilościowe w ... perspektywy teoria użyteczności zarządzanie ... Kodzis // W: Metody ilościowe w badaniach ...
Read more