advertisement

Miary ilościowe w badaniach użyteczności

50 %
50 %
advertisement
Information about Miary ilościowe w badaniach użyteczności
Design

Published on November 13, 2008

Author: komitywa.com

Source: slideshare.net

advertisement

Prezentacji nie będzie  tnij.org/moderowanie

Miary ilościowe w testach użyteczności eryk orłowski dyrektor zarządzający @ Komitywa.com [email_address]

agenda zastosowanie fakty i mity dobór miar do projektu miary wydajności (performance) miary problemów (issue-based) self-reported behawioralne i fizjologiczne kombinowane po co nam miary ilościowe?

zastosowanie

fakty i mity

dobór miar do projektu

miary wydajności (performance)

miary problemów (issue-based)

self-reported

behawioralne i fizjologiczne

kombinowane

po co nam miary ilościowe?

Zastosowanie miar ilościowych Pozwalają: oszacować skalę problemu śledzić postępy w projekcie porównać projekty/produkty odpowiadać na trudne pytania o ROI

Pozwalają:

oszacować skalę problemu

śledzić postępy w projekcie

porównać projekty/produkty

odpowiadać na trudne pytania o ROI

Fakty i mity Mit: to się nie nadaje do szybkich/małych projektów badawczych Prawda: zastosowanie kategorii ilościowych pozwala nadać problemom właściwą hierarchię, w zależności od wagi Mit: dla problemów użytkowników mojego serwisu nie znajdę adekwatnych miar do zastosowania Prawda: co chcesz mierzyć? Można mierzyć reakcje emocjonalne, rozkład uwagi, poziom stresu... Mit: rejestracja danych zajmuje zbyt wiele czasu Prawda: dane są rejestrowane w ramach sesji badawczej

Mit: to się nie nadaje do szybkich/małych projektów badawczych

Prawda: zastosowanie kategorii ilościowych pozwala nadać problemom właściwą hierarchię, w zależności od wagi

Mit: dla problemów użytkowników mojego serwisu nie znajdę adekwatnych miar do zastosowania

Prawda: co chcesz mierzyć? Można mierzyć reakcje emocjonalne, rozkład uwagi, poziom stresu...

Mit: rejestracja danych zajmuje zbyt wiele czasu

Prawda: dane są rejestrowane w ramach sesji badawczej

Dobór miar do projektu Przykładowy dobór ze względu na cel badania Cel: wykonalność transakcji wykonanie zadania ( task success ) statystyki serwisu (współcznnik porzuceń) oszacowanie dotkliwości błędów efektywność procesu Cel: porównanie projektów miary problemów self-reported

Przykładowy dobór ze względu na cel badania

Cel: wykonalność transakcji

wykonanie zadania ( task success )

statystyki serwisu (współcznnik porzuceń)

oszacowanie dotkliwości błędów

efektywność procesu

Cel: porównanie projektów

miary problemów

self-reported

Miary wydajności Służą określeniu efektywności Oparte na możliwości realizacji konkretych celów i zadań użytkowników Pozwalają oszacować wagę określonego problemu Wskazują na to CO jest problemem, a nie DLACZEGO

Służą określeniu efektywności

Oparte na możliwości realizacji konkretych celów i zadań użytkowników

Pozwalają oszacować wagę określonego problemu

Wskazują na to CO jest problemem, a nie DLACZEGO

Miary wydajności: wykonanie zadania (task success) Wymaga zdefiniowania zadań o jasnym zakończeniu Metody uzyskiwania danych: Ustna odpowiedź (może powodować problem w interpretacji) Kwestionariusz/odpowiedź na pytanie zamknięte Rodzaje: Sukces binarny (gdy dotarcie blisko celu nie oznacza wykonania zadania) Skala

Wymaga zdefiniowania zadań o jasnym zakończeniu

Metody uzyskiwania danych:

Ustna odpowiedź (może powodować problem w interpretacji)

Kwestionariusz/odpowiedź na pytanie zamknięte

Rodzaje:

Sukces binarny (gdy dotarcie blisko celu nie oznacza wykonania zadania)

Skala

Analiza i prezentowanie danych Sukces binarny: Success rate dla zadania dla (grup) użytkowników (np. doświadczeni vs. niedoświadczeni, przedziały wiekowe) Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16 na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można stwierdzić, że 58-95% populacji wykona to samo zadanie”) Skala % respondentów, którzy wykonali określoną część zadania Miary wydajności: wykonanie zadania (task success)

Analiza i prezentowanie danych

Sukces binarny:

Success rate dla zadania

dla (grup) użytkowników (np. doświadczeni vs. niedoświadczeni, przedziały wiekowe)

Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16 na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można stwierdzić, że 58-95% populacji wykona to samo zadanie”)

Skala

% respondentów, którzy wykonali określoną część zadania

Użyteczność aplikacji webowych jest często funkcją czasu poświęconego na wykonanie określonych zadań (poza specyficznie zorientowanymi na wykonanie zadań wg. innych parametrów – np. gry, e-learning) Pomiar wartości ważny w przypadku wykonywania zadań cyklicznie powtarzanych przez użytkowników Analiza i prezentowanie: Średni czas dla zadania Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a przyjętymi zakresami) Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy konkurencji) Miary wydajności: czas wykonania (time-on-task)

Użyteczność aplikacji webowych jest często funkcją czasu poświęconego na wykonanie określonych zadań (poza specyficznie zorientowanymi na wykonanie zadań wg. innych parametrów – np. gry, e-learning)

Pomiar wartości ważny w przypadku wykonywania zadań cyklicznie powtarzanych przez użytkowników

Analiza i prezentowanie:

Średni czas dla zadania

Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a przyjętymi zakresami)

Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy konkurencji)

Miary wydajności: błędy Analiza błędów jest istotna: w przypadku potencjalnie istotnego wpływu na wydajność (np. utrata wprowadzonych danych), jeżeli utrudnia wykonanie zadania jeżeli może prowadzić do istotnych strat jeżeli uniemożliwia wykonanie zadania Analiza i prezentowanie: Częstotliwość (które zadania skutkują największą liczbą błędów); dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli 1+) % respondentów, którzy popełnili błąd w danym zadaniu

Analiza błędów jest istotna:

w przypadku potencjalnie istotnego wpływu na wydajność (np. utrata wprowadzonych danych), jeżeli utrudnia wykonanie zadania

jeżeli może prowadzić do istotnych strat

jeżeli uniemożliwia wykonanie zadania

Analiza i prezentowanie:

Częstotliwość (które zadania skutkują największą liczbą błędów); dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli 1+)

% respondentów, którzy popełnili błąd w danym zadaniu

Miary wydajności: efektywność (efficiency) Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia przycisków Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu) Pomiar i analiza : Określenie akcji, które mają być mierzone Zdefiniowanie początku i końca akcji Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron odwiedzonych/wszystkich/niezbędnych) Efektywność wg CIF: stosunek „task completion rate” do średniego czasu wykonania zadania

Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia przycisków

Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu)

Pomiar i analiza :

Określenie akcji, które mają być mierzone

Zdefiniowanie początku i końca akcji

Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem

Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron odwiedzonych/wszystkich/niezbędnych)

Efektywność wg CIF: stosunek „task completion rate” do średniego czasu wykonania zadania

Precyzuje, jak wiele czasu i nakładów wymaga osiągnięcie poziomu zaawansowanego użytkownika Pomiar i analiza: Wielokrotna rejestracja wartości wybranych miar Analiza wydajności dla zadań albo zagregowana, w funkcji czasu Miary wydajności: nauczalność (learnability)

Precyzuje, jak wiele czasu i nakładów wymaga osiągnięcie poziomu zaawansowanego użytkownika

Pomiar i analiza:

Wielokrotna rejestracja wartości wybranych miar

Analiza wydajności dla zadań albo zagregowana, w funkcji czasu

Miary problemów (issues-based) Identyfikowanie problemów to najczęściej wykonywane zadanie w pracy badacza użyteczności. Problemy zwykle są wykrywane i prezentowane w ujęciu jakościowym. Problem: potencjalna przyczyna błędu czynnik uniemożliwiający wykonanie zadania czynnik wywołujący konfuzję wykonanie nieprawidłowej akcji błędna interpretacja niedostrzeżenie danego elementu niezrozumienie nawigacji

Identyfikowanie problemów to najczęściej wykonywane zadanie w pracy badacza użyteczności. Problemy zwykle są wykrywane i prezentowane w ujęciu jakościowym.

Problem:

potencjalna przyczyna błędu

czynnik uniemożliwiający wykonanie zadania

czynnik wywołujący konfuzję

wykonanie nieprawidłowej akcji

błędna interpretacja

niedostrzeżenie danego elementu

niezrozumienie nawigacji

Miary problemów: dotkliwość błędu Niektóre błędy są bardziej dotkliwe niż inne ;) Błędy mogą być klasyfikowane według wpływu na doświadczenie użytkownika, albo wielowymiarowo (wpływ na ux, przewidywana częstotliwość występowania, wpływ na cele biznesowe)

Niektóre błędy są bardziej dotkliwe niż inne ;)

Błędy mogą być klasyfikowane według wpływu na doświadczenie użytkownika, albo wielowymiarowo (wpływ na ux, przewidywana częstotliwość występowania, wpływ na cele biznesowe)

Miary problemów: wskaźniki Częstotliwość unikalnych problemów, w funkcji czasu/iteracji Częstotliwość problemów per użytkownik % użytkowników, którzy napotkali określony problem

Częstotliwość unikalnych problemów, w funkcji czasu/iteracji

Częstotliwość problemów per użytkownik

% użytkowników, którzy napotkali określony problem

Self-reported Jedyny rodzaj miar, dostarczających informacji o postrzeganiu aplikacji przez użytkowników Rejestracja danych: skala Likerta skala semantyczna Zastosowanie: ocena łatwości użycia miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu SUS (System Usability Scale) karty reakcji online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl

Jedyny rodzaj miar, dostarczających informacji o postrzeganiu aplikacji przez użytkowników

Rejestracja danych:

skala Likerta

skala semantyczna

Zastosowanie:

ocena łatwości użycia

miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu

SUS (System Usability Scale)

karty reakcji

online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl

Miary behawioralne i fizjologiczne Face-tracking Eye-tracking Pomiar napięcia powierzchniowego Rytm serca

Face-tracking

Eye-tracking

Pomiar napięcia powierzchniowego

Rytm serca

Miary kombinowane W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich zadań w mniej niż średnio 70 sekund) SUM (Single Usability Metric) Ukończone zadania Liczba błędów per zadanie Skala satysfakcji Six Sigma Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z mierzonych wielkości Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie (tzw. process sigma)

W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich zadań w mniej niż średnio 70 sekund)

SUM (Single Usability Metric)

Ukończone zadania

Liczba błędów per zadanie

Skala satysfakcji

Six Sigma

Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z mierzonych wielkości

Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie (tzw. process sigma)

Po co nam miary ilościowe 12% redukcji czasu wykonania zadania to dwunastoprocentowy wzrost efektywności, czy dwunastoprocentowy wzrost poziomu stresu? ważniejszy jest krótszy czas wykonania zadania, czy satysfakcja użytkownika?

12% redukcji czasu wykonania zadania to dwunastoprocentowy wzrost efektywności, czy dwunastoprocentowy wzrost poziomu stresu?

ważniejszy jest krótszy czas wykonania zadania, czy satysfakcja użytkownika?

Demokraci, republikanie... Nielsen: 100-osobowa próba nie ujawniłaby ani jednego użytkownika, który popełni błąd. Jeff Sauro:wykorzystanie formuły Nielsena wymagałoby przetestowania 225 osób. Test jakościowy nie odpowie na pytanie, ile osób popełni błąd. Tog: większość użytkowników nie popełnia błędu w nieprawidłowo skonstruowanym interfejsie, zwykle wykonują swoje zadania dłużej

Nielsen: 100-osobowa próba nie ujawniłaby ani jednego użytkownika, który popełni błąd.

Jeff Sauro:wykorzystanie formuły Nielsena wymagałoby przetestowania 225 osób. Test jakościowy nie odpowie na pytanie, ile osób popełni błąd.

Tog: większość użytkowników nie popełnia błędu w nieprawidłowo skonstruowanym interfejsie, zwykle wykonują swoje zadania dłużej

Dziękuję za uwagę www.tnij.org/ilosciowo eryk orłowski @ Komitywa.com [email_address] || 605 103 742 || gg# 2765

Add a comment

Related presentations

My Music Magazine Pitch

My Music Magazine Pitch

October 30, 2014

music mag pitch

Questionaire charts

Questionaire charts

November 4, 2014

bk

Final research

Final research

November 5, 2014

final research

Cersaie 2014

Cersaie 2014

October 30, 2014

allestimento in cartone per il Cersaie 2014 alberi in cartone scultura in cartone

Quarta turma do workshop de Infografia, ministrado por Beatriz Blanco e Marcos Sin...

Related pages

Miary ilościowe w badaniach użyteczności - Design

Miary Użyteczności Prezentacja przedstawia stosowane w badaniach Web Usability wskaźniki za pomocą, których można mierzyć i badać UX.
Read more

Miary Użyteczności - Technology

Miary ilościowe w badaniach użyteczności 1. ... Miary ilościowe w testach użyteczności eryk orłowski dyrektor zarządzający @ Komitywa.com ...
Read more

Badania użyteczności a pomiar zachowań użytkowników ...

W badaniach użyteczności stosujemy metody umożliwiajace uzyskanie dwów rodzajów danych: ilościowe i jakościowe. ... Miary wydajności ...
Read more

autotraderpl - wklej-napisy.hitowy.pl

Miary ilościowe w badaniach użyteczności 6788 views; Rekomendacje Quartic w serwisie Autotrader. Pl 317 views; Net Promoter Score w. Praktiker i ...
Read more

Zdalne badania użyteczności - którą metodę wybrać

Rodzaje zdalnych badań użyteczności. W literaturze ... (np. w domu, w pracy) lub w laboratorium, miary ... Zdalne niemoderowane badanie ilościowe:
Read more

Zdalne badania użyteczności - którą metodę wybrać ...

Rodzaje zdalnych badań użyteczności W literaturze ... * badania zdalne niemoderowane ilościowe - również w tych badaniach nie ma ... miary, które ...
Read more

Adrianna Mastalerz-Kodzis | Uniwersytet Ekonomiczny w ...

... Metody ilościowe w ... perspektywy teoria użyteczności zarządzanie ... Kodzis // W: Metody ilościowe w badaniach ...
Read more