9) Testare o non testare, questo è il dilemma

L’usabilità dell’interfaccia ipotizzata non può avere solo basi teoriche ma deve essere testata dal giudizio di persone che non necessariamente abbiano conoscenze specifiche di ergonomia, design ed ingegneria costruttiva.
Solo con questo ulteriore contributo da parte degli utenti finali nel ruolo di “tester” è possibile condurre un’analisi esaustiva al fine di pervenire ad una valutazione corretta dell’indice di efficacia, efficienza e soddisfazione al completamento di predeterminati obiettivi.
Lo studio di valutazione prevede una sequenza di quattro fasi:
- la prima inizia con l’analisi conoscitiva dell’interfaccia da realizzare da parte di persone esperte;
- la seconda prevede la realizzazione di un test con ipotetici utenti al fine di permettere, a chi conduce l’audit e successivamente a chi dovrà sviluppare il progetto, di acquisire sufficienti informazioni per dirimere eventuali dubbi e per dimostrare le ipotesi formulate durante il processo di programmazione;
- La terza fase prevede l’elaborazione dei dati raccolti nelle due fasi precedenti da parte di persone competenti;
- La quarta ed ultima fase dovrebbe consentire l’enunciazione di una “specifica tecnica” e il relativo piano d’azione per la realizzazione dell’interfaccia ipotizzata.
Al fine di ottenere dei dati oggettivi destinati ad analisi cognitive e quantitative , sarà necessario realizzare, tra la fase di programmazione e la fase di progettazione, un prototipo di interfaccia che riproducesse le principali caratteristiche ipotizzate.
La fase più delicata nella valutazione è il momento di confronto con chi deve collaudare il prototipo realizzato.
A ciascun collaudatore viene chiesto di impartire ad un ipotetico sistema domotico una predeterminata sequenza di comandi tramite l’interfaccia grafica in test.
Prima dell’inizio del test dovranno essere descritti per sommi capi gli scopi dell’azione di test e cosa sia un sistema domotico.
Non si farà riferimento alle ipotesi formulate per la costruzione del prototipo e alle modalità operative d’uso.
La regola base è che ogni utente debba capire, senza aiuto, quale sia la modalità operativa più idonea per far eseguire tutti i comandi al sistema.
Nel caso di impedimenti insormontabili che bloccano l’attività si inviterà il collaudatore ad abbandonare la sessione di test, a ritenere conclusa la prova di carattere pratico ed a passare direttamente al questionario dell’intervista finale.
Mediante un programma che permette l’acquisizione di ciò che viene visualizzato sullo schermo tutte le sessioni verranno registrate al fine di valutare le reazioni dei tester e gli “scogli” che sono via via affiorati durante lo svolgimento dell’attività pratica di collaudo.
Tutti i tester completeranno poi un questionario di fine collaudo in cui saranno invitati ad esprimere pareri oggettivi su quanto abbiano percepito nella fase pratica ed eventuali consigli / lamentele su tutto il processo testato.
La norma ISO 9241 prevede che per raggiungere un buon livello di usabilità ci sia la soddisfazione di chi utilizza l’artefatto. Le sensazioni emozionali devono quindi essere richieste direttamente a chi collauda il sistema.
Il questionario sarà articolato con domande mirate relativamente:
- alle difficoltà incontrate nell’inserimento dei comandi,
- alla facilità di valutare i risultati conseguenti ai comandi impartiti;
- alla facilità di rimediare ad eventuali errori di esecuzione;
- alla sensazione ricevuta dalla struttura e dalla grafica dell’interfaccia;
Alla fine della compilazione del questionario seguirà a cura del valutatore una breve intervista al fine di approfondire eventuali criticità percepite dal soggetto o esplicitamente manifestatesi durante l’esecuzione pratica del test. Durante questa intervista l'obiettivo sarà di coinvolgere il collaudatore affinché con la sua esperienza diretta possa migliorare il sistema con suggerimenti ed apprezzamenti sulle soluzioni tecniche da adottare. Quest’ultima fase permette di analizzare meglio le risposte date nel questionario consentendo inoltre di poter apportare fattori correttivi nel peso ipotizzato per ogni risposta.
Alla fase di raccolta dati seguirà quella di valutazione di quanto emerso e successivamente di elaborazione dei risultati ottenuti.
L’impostazione del questionario per l’intervista finale deve permettere al valutatore un'analisi oggettiva delle risposte date dai collaudatori magari utilizzando le euristiche di valutazione di Jakob Nielsen come traccia per porre le varie domande.
La lista dei comandi da eseguire durante lo svolgimento del test, che sarà consegnata a tutti i tester, in alcuni punti sarà volutamente lasciata con dettagli esecutivi non sufficientemente esaustivi. In questo modo si ipotizza di ricreare nella simulazione le varie problematiche che nascono nel “Golfo dell’Esecuzione” in cui emergono le differenze tra le azioni pensate dal tester per raggiungere l'obiettivo dato e le azioni permesse dall’interfaccia.
In questo modo i collaudatori saranno indotti a scegliere una loro personale strategia attuativa al fine di portare a conclusione i compiti richiesti cercando nel contempo di far emergere le differenti strategie ipotizzate dal progettista ed inoltre questo modo di agire permette di individuare le eventuali carenze nell’impostazione del modo operativo per l’interazione uomo-macchina. Alla luce di queste considerazioni si evince il motivo per cui tale tipologia di test siano necessari nella fase antecedente lo studio di progettazione del design pattern dell’interfaccia.
Per la valutazione finale si dovrà tener conto del grado di raggiungimento del target assegnato, delle modalità di raggiungimento di tale target monitorando il tempo richiesto ed analizzando i percorsi scelti e gli eventuali errori commessi.
Per valutare quanto sopra verrà utilizzato, durante le prove pratiche di test, il programma precedentemente citato che permette di “catturare” visivamente tutto quanto appare sullo schermo .
Tutti i dati verranno raccolti in un database affinché nella fase di progettazione sia possibile ottimizzare il design per ottenere il massimo livello di usabilità dell’interfaccia stessa.
Nel caso poi l'interfaccia sia stata commissionata si manifesta la necessità di giustificare eventuali successivi interventi progettuali mediante un’esaustiva documentazione al fine di motivare un aggravio del budget richiesto per la realizzazione dell'interfaccia stessa. Nell’ottica di un contenimento dei costi si ipotizza di fare riferimento alla regola di Nielsen:
· Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo
· Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti
(J.Nielsen, “Why You Only Need to Test With 5 Users”, http://www.useit.com)

La regola di Nielsen viene solitamente applicata per valutare l’usabilità dei siti internet ma per approssimazione si ritiene l’interfaccia in analisi assimilabile ad un comune sito internet adibito alla raccolta di informazioni. Questa regola empirica trova feroci detrattori ma viene riportata perché focalizza l’attenzione sul fatto che la ricerca di problemi nell’usabilità di un’interfaccia si manifesta con una curva logaritmica crescente e questo permette di fissare un numero di campionature per cui il rapporto costi/benefici sia vantaggioso. I problemi macroscopici emergono subito, anche con utenti diversi, e questo è il senso della “regola di Nielsen”. Inoltre al fine di poter valutare correttamente i dati raccolti per ogni singola sessione di test sarà necessario conoscere il livello di esperienza del tester nei sistemi informatici e più specificamente nei sistemi domotici. E’ verrà pertanto chiesto a tutti i tester di compilare una semplice scheda contenente i loro dati personali e alcune informazioni mirate.
La soddisfazione dei tester sarà ricavata analizzando la loro valutazione soggettiva su:
- Capacità dell’interfaccia di essere utile, esaustiva e coerente nella trasmissione di comandi al sistema domotico e nella ritrasmissione delle eventuali risposte;
- Gradevolezza dell’ambiente grafico e più in generale del software e dell’hardware che costituiscono lo strumento di controllo;
- Adattabilità, trasparenza e supporto dell’interfaccia nell’interazione tra utente e sistema.

La soddisfazione è una caratteristica fondamentale perché in questo caso è richiesto un uso quotidiano di uno strumento che ha come prerogativa l’essere di ausilio nella gestione della casa e che potrebbe influenzare significativamente le prestazioni degli utenti stessi contribuendo alla riduzione degli errori.
Essendo la soddisfazione un fattore percepito in modo soggettivo, nella fase di test è consigliabile quantificarne il livello raggiunto con un'analisi qualitativa, mediante l’uso di un questionario mirato e con una successiva intervista al tester per verificare i livelli di soddisfazione raggiunti.

Le misurazioni utilizzate per avere un’analisi completa dei vari test saranno effetuate su:

- tempo necessario per portare a termine i comandi;
- comandi richiesti in una lista predefinita eseguiti in modo corretto;
- tempo entro il quale i comandi richiesti venivano eseguiti completamente;
- numero di errori commessi nell’esecuzione dei comandi;
- gravità e tipologia degli errori commessi;
- tempo necessario per rettificare gli errori commessi;
- tempo iniziale utilizzato per acquisire familiarità con l’ambiente grafico proposto dall’interfaccia;
- motivazioni per il ricorso all’help;
- percorsi concettuali usati dall'utente per l'esecuzione dei vari comandi;
- soddisfazione e perplessità espresse dall’utente.

Particolare attenzione dovrà essere posta nella determinazione del tipo di dato rilevato, dovranno essere memorizzati quelli oggettivi mentre non andranno considerati quelli soggettivi.