Vista previa del material en texto
Executando testes de usabilidade Elisa Volpato Título do slide Elisa Volpato UX Researcher na Magnetis linkedin.com/in/elisavolpato Mini-currículo - Formada em jornalismo e pós-graduada em pesquisa de mercado - Trabalhou em empresas como Try Consultoria, Isobar, Itaú e UOL - Co-fundadora e CPO de startup: TESTR - teste de usabilidade remoto - Professora e palestrante Life Achievements - 2018: profissional de UX do ano pela Abradi - 2018: virou mãe da Alice Sobre mim Título do slide 1. Planejamento 2. Roteiro 3. Conduzindo testes moderados 4. Análise Agenda da aula Título do slide 5. Resultados Agenda da aula 6. Case Título do slide 1. Planejamento 2. Roteiro 3. Conduzindo testes moderados 4. Análise Agenda da aula Título do slide Planejamento Algumas etapas antes de fazer o teste propriamente dito: ● Plano de pesquisa ● Roteiro do teste ● Recrutamento Título do slide Plano de pesquisa Serve para orientar o planejamento, alinhar os envolvidos e documentar todo o andamento do projeto. ● Quais são os objetivos do estudo ● Como será o estudo: remoto ou ao vivo, em contexto ou em laboratório, moderado ou não, ferramentas usadas ● Perfil e quantidade de participantes ● Links para documentos relacionados, estudos anteriores, experimentos Hoa Loranger, Checklist for Planning Usability Studies - 2016 https://www.nngroup.com/articles/usability-test-checklist/ https://www.nngroup.com/articles/usability-test-checklist/ Título do slide Plano de pesquisa É ao mesmo tempo um documento e uma linha de raciocínio. Exemplo de plano de pesquisa que usamos na Magnetis, direto no Notion ● Pode já ter a tabela de recrutados e o link da sala para assistir Título do slide PRESENCIAL REMOTO NÃO MODERADOMODERADO Como e onde Título do slide PRESENCIAL REMOTO MODERADO PRESENCIAL Bom para se aprofundar e conhecer o contexto, juntar com entrevistas e exercícios ao vivo Como e onde MODERADO REMOTO Ganha agilidade, permite falar com pessoas de outros lugares NÃO MODERADO REMOTO Com ferramentas, bom para teste pontuais, com pouca interferência / viés NÃO MODERADO PRESENCIAL Título do slide PRESENCIAL REMOTO MODERADO PRESENCIAL Bom para se aprofundar e conhecer o contexto, juntar com entrevistas e exercícios ao vivo Como e onde MODERADO REMOTO Ganha agilidade, permite falar com pessoas de outros lugares NÃO MODERADO REMOTO Com ferramentas, bom para teste pontuais, com pouca interferência / viés NÃO MODERADO PRESENCIAL Título do slide PRESENCIAL REMOTO Como e onde Em contexto Laboratório / sala de espelho Sala de reunião MODERADO REMOTO Ganha agilidade, permite falar com pessoas de outros lugares Video- conferência Ferramentas específicas NÃO MODERADO PRESENCIALMODERADO PRESENCIAL Bom para se aprofundar e conhecer o contexto, juntar com entrevistas e exercícios ao vivo NÃO MODERADO REMOTO Com ferramentas, bom para teste pontuais, com pouca interferência / viés Título do slide PRESENCIAL REMOTO NÃO MODERADOMODERADO Ferramentas Erin May - The 2019 UX Research Tools Map - 2020 https://www.userinterviews.com/blog/the-2019-ux-research-tools-map https://www.userinterviews.com/blog/the-2019-ux-research-tools-map Título do slide REMOTO QUANTITATIVOREMOTO QUALITATIVO Título do slide REMOTO QUANTITATIVOREMOTO QUALITATIVO Erin May - The 2019 UX Research Tools Map - 2020 https://www.userinterviews.com/blog/the-2019-ux-research-tools-map Quanti: menos comum, geralmente testes remotos não moderados https://www.userinterviews.com/blog/the-2019-ux-research-tools-map Título do slidetrabalho da equipe custo conhecimento necessário qualidade participantes profundidade Consultoria ⬤ ⬤⬤⬤⬤⬤ ⬤ ⬤⬤⬤⬤⬤ ⬤⬤⬤⬤⬤ Com colegas de trabalho ⬤⬤ ⬤⬤ ⬤ ⬤⬤⬤ Guerrilha ⬤⬤⬤ ⬤ ⬤⬤⬤ ⬤⬤ ⬤ Recrutados, presencial ⬤⬤⬤⬤⬤ ⬤⬤⬤ ⬤⬤⬤⬤⬤ ⬤⬤⬤⬤ ⬤⬤⬤⬤ Recrutados, remoto ⬤⬤⬤⬤ ⬤⬤ ⬤⬤⬤⬤⬤ ⬤⬤⬤⬤ ⬤⬤⬤ Não moderado (ferramenta) ⬤⬤ ⬤⬤ ⬤⬤ ⬤⬤⬤⬤ ⬤⬤ demanda potencial resultados Título do slide ferramentas Consultoria - Com colegas de trabalho anotar, gravar com o próprio celular Guerrilha Recrutados, presencial Recrutados, remoto Não moderado (ferramenta) anotar, gravar com o próprio celular compartilhar tela do celular com computador Erin May - The 2019 UX Research Tools Map - 2020 https://www.userinterviews.com/blog/the-2019-ux-research-tools-map https://www.userinterviews.com/blog/the-2019-ux-research-tools-map Título do slide Participantes Quem chamar para um teste de usabilidade do seu produto? ● Clientes atuais ● Beta-testers ● Não-clientes (mas com perfil de) ○ Pessoas à procura do seu produto ○ Pessoas que se interessam pelo conteúdo Título do slide Quantos? p (x >= 1) = 1 - (1 - p) n Ellen Francik, Five, ten, or twenty-five – How many test participants? - 2012 http://www.humanfactors.com/newsletters/how_many_test_participants.asp http://www.humanfactors.com/newsletters/how_many_test_participants.asp Título do slide Magic number 5 Jakob Nielsen - Why you only need to test with five users - 2000 https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users Jeff Sauro - Why you only need to test with five users (explained) - 2010 https://measuringu.com/five-users/ https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ https://measuringu.com/five-users/ Título do slide " " É melhor distribuir seu orçamento em vários pequenos testes do que gastar tudo em um estudo grande. Jakob Nielsen O guru, escritor de 12 livros sobre usabilidade e afins Jakob Nielsen - Why you only need to test with five users - 2000 https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ Título do slide Quebra por perfil Jeff Sauro, Does prior experience affect perceptions of usability? - 2011 https://measuringu.com/prior-exposure/ ● Clientes X não-clientes ● Novos clientes X clientes antigos ● Especialistas no assunto X novatos ● Perfis de comportamento Escolha o que afeta o uso do seu produto. Considere a experiência prévia com o seu produto ou similares. Vale criar uma base de interessados em pesquisa e/ou uma base de beta-testers https://measuringu.com/prior-exposure/ Título do slide 1. Planejamento 2. Roteiro 3. Conduzindo testes moderados 4. Análise Agenda da aula Título do slide Roteiro do teste 1. Apresentação 2. Questionário inicial 3. Tarefas 4. Questionário final Título do slide Roteiro do teste 1. Apresentação 2. Questionário inicial 3. Tarefas 4. Questionário final Título do slide Apresentação Definir as regras e deixar o participante à vontade. ● Explicar a sala, o local ● Apresentar-se, objetivos da pesquisa ● Queremos ouvir sua opinião, não tem certo nem errado etc. ● Pense em voz alta (protocolo think aloud) ● Não posso responder todas as dúvidas ● Agir como se estivesse em casa, pode desistir das tarefas ● Confidencialidade ● Lanchinho Jakob Nielsen, Thinking Aloud: The #1 Usability Tool - 2012 http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ Título do slide Questionário inicial Mezzo aquecimento, mezzo entrevista ● Comece com perguntas simples, para setar o tom informal (e "fácil"). No começo a pessoa pode estar nervosa - e você não vai obter respostas tão boas assim. Me fale um pouquinho de você? O que você faz da vida? Título do slide Questionário inicial Mezzo recrutamento, mezzo entrevista ● Aos poucos vá chegando ao tema do teste ● Aproveite para confirmar o perfil do participante ● E puxe informações úteis para contextualizar as tarefas depois Como é a sua relação com dinheiro, hoje? Você guarda dinheiro de alguma forma? O que é importante para você, para definir onde vai investir o seu dinheiro? Título do slide As tarefas são cenários que você vai propor para o participante, com uma missão ● Pense em tarefas típicasdo seu produto ● Sempre comece com o objetivo: o que você quer descobrir? Isso vai definir o tipo de tarefa e como criar o cenário. Tarefas Título do slide Objetivo: Avaliar se o botão “adicionar aos favoritos” é encontrado quando necessário Tarefas Título do slide Objetivo: Avaliar se o botão “adicionar aos favoritos” é encontrado quando necessário Tarefas Imagine que você gostou deste produto, mas não quer comprar agora. Como faria para guardar para comprar mais tarde? Título do slide Objetivo: Avaliar se as pessoas entendem o que é a Repassa (brechó online / marketplace de roupas usadas) Tarefas Explore o site e comente comigo em voz alta: para que serve este site? O que você pode fazer nele? Como você explicaria para outra pessoa o que é a Repassa? Título do slide XTAREFAS ABERTAS, COMPORTAMENTO NATURAL TAREFAS PARA TESTAR FUNCIONALIDADES ESPECÍFICAS Título do slide Objetivo: Avaliar o fluxo de compra e levantar pontos de atrito que podem levar a perda de conversão Tarefa natural Título do slide Objetivo: Avaliar o fluxo de compra e levantar pontos de atrito que podem levar a perda de conversão Tarefa natural Aqui tenho um cupom de desconto de R$100 para você usar neste site. Se não encontrar algo agora, pode levar o cupom pra casa e comprar sossegado depois. :) Título do slide Objetivo: Avaliar se consegue encontrar, aplicar e entender os filtros de busca. Tarefa específica Título do slide Objetivo: Avaliar se consegue encontrar, aplicar e entender os filtros de busca. Tarefa específica Como você faria para achar um sapatinho vermelho para um bebê de 6 meses? Título do slide O jeito de perguntar pode fazer toda a diferença nos resultados. Como perguntar Quão rápido você estima que o carro ia quando esmagou o outro carro? Com esta pergunta, estimativas maiores de velocidade e mais gente relatou ter visto vidros quebrados. Susan Weinschenk, 100 Things Every Designer Needs to Know About People (livro) - 2011 Quão rápido você estima que o carro ia quando atingiu o outro carro? Título do slide Prefira perguntas abertas! Como perguntar O que você achou do site?Você achou o site fácil de usar? [ ] muito fácil [ ] fácil [ ] difícil [ ] muito difícil Título do slide A escala pode mudar o resultado Escalas [ ] muito fácil [ ] fácil [ ] nem fácil nem difícil [ ] difícil [ ] muito difícil [ ] muito fácil [ ] fácil [ ] difícil [ ] muito difícilX Título do slide Uma colinha de perguntas boas: Como perguntar O que você acha de... Pode me contar como foi a última vez que você precisou fazer isso? Como é a pessoa que utiliza este produto? Pode montar um passo-a-passo de como você costuma fazer isso? Como este produto se encaixa em seu dia-a-dia? Em que situação você usaria? Como você explicaria para a sua mãe como este produto funciona? Título do slide Para cada tarefa, defina o que vai considerar como sucesso. ● O que a pessoa tem que fazer para você considerar que ela completou a tarefa com sucesso? Tarefas Título do slide Objetivo: Avaliar se consegue encontrar, aplicar e entender os filtros de busca. Tarefa específica Como você faria para achar um sapatinho vermelho para um bebê de 6 meses? Sucesso: Aplicar filtros de idade e/ou tamanho, de tipo de produto (sapato) e cor (vermelho) ao mesmo tempo, sem demonstrar dificuldade. Título do slide Objetivo: Avaliar o fluxo de compra e levantar pontos de atrito que podem levar a perda de conversão Tarefa natural Aqui tenho um cupom de desconto de R$ 100 para você usar neste site. Se não encontrar algo agora, pode levar o cupom pra casa e comprar sossegado depois. :) Sucesso: Encontrar um produto de interesse e chegar à confirmação de compra, sem demonstrar dificuldade no processo. Título do slide Escala de sucesso FRACASSO TOTAL SUCESSO SUPREMO Conseguiu com dificuldade Conseguiu usar todos os filtros que queria ao mesmo tempo, de primeira Achou filtros, mas não conseguiu usar Só conseguiu aplicar um filtro por vez Nem achou os filtros Título do slide Mesmo sendo um teste qualitativo, você pode definir métricas para orientar sua análise. ● Taxa de sucesso: do total de participantes, quantos tiveram sucesso na tarefa? ● Tempo ● Satisfação do participante (com escala ao final da tarefa) ● Expectativa x realidade (dificuldade esperada) ● System usability scale (o SUS) Métricas 10 essencial usability metrics - 2011 - https://measuringu.com/essential-metrics Pesquisa: métricas em teste de usabilidade -2019 - https://medium.com/testr/pesquisa-m%C3%A9tricas-em-teste-de-usabilidade-d64067cfe36d https://measuringu.com/essential-metrics/ https://medium.com/testr/pesquisa-m%C3%A9tricas-em-teste-de-usabilidade-d64067cfe36d Título do slide Se quiser medir o tempo de execução e usar como métrica, se prepare para isso. ● Saiba que ao conversar ao vivo com a pessoa, você pode aumentar o tempo de execução ● Compare o tempo dos participantes entre si e com um parâmetro seu, executando a tarefa com calma ● Medir o tempo não é a mesma coisa que descobrir se o fluxo é considerado "rápido" ou "devagar" (estes são critérios subjetivos) ● Será que o tempo é importante para você? Métrica: tempo Título do slide Antes da tarefa: Expectativa X realidade Agora você vai declarar o seu imposto de renda. Como você acha que vai ser esta tarefa? 1 2 3 4 5 MUITO DIFÍCIL MUITO FÁCIL Depois da tarefa: E como foi realizar esta tarefa? 1 2 3 4 5 MUITO DIFÍCIL MUITO FÁCIL Título do slide Expectativa X realidade expectativa antes D IF ÍC IL FÁ CI L DIFÍCIL FÁCIL re al id ad e de po is TUDO ÓTIMO, NÃO MEXA OPORTUNIDADE CORRIJA LOGO! MELHOR DO QUE O ESPERADO - PROMOVA! Título do slide System usability scale 1 Eu acho que usaria este website frequentemente 2 Eu achei o website desnecessariamente complexo 3 Eu achei que o website foi fácil de usar 4 Eu acho que precisaria de um suporte técnico para conseguir usar este website 5 Eu achei que as várias funções deste website estavam bem integradas 6 Eu achei que havia muita inconsistência neste website 7 Eu imagino que a maioria das pessoas aprenderiam a usar este website bem rapidamente 8 Eu achei que o website bem incômodo de se usar 9 Eu me senti bem seguro usando o website 10 Eu precisei aprender um monte de coisas antes que pudesse usar este website Discordo totalmente Concordo totalmente Perguntas ímpares: resposta - 1 Perguntas pares: 5 - resposta Somar tudo, multiplicar por 2.5 = valor de 0 a 100 que dá o SUS score Um bom score é 68 (média) 1 2 3 4 5 Título do slide O roteiro é uma sequência de tarefas e perguntas ● Comece com o que é mais importante para você (se não der tempo, pode ter que cortar as tarefas do final) ● Tente seguir uma ordem lógica: primeiro a compra, depois checar status do pedido ● Evite ter só tarefas muito específicas, tipo "Como você faria para editar o título deste item aqui?". O contexto é importante - se um botão funciona sozinho, não necessariamente vai funcionar no contexto geral. O roteiro todo Título do slide 1. Planejamento 2. Roteiro 3. Conduzindo testes moderados 4. Análise Agenda da aula Título do slide Questões práticas Antes de começar um teste presencial: ● Arrume a sala ● Câmeras ● Cadeiras bem posicionadas para observar ● Sala de observação? Título do slide Questões práticas O jurídico e compliance agradecem: ● Termo de compromisso / confidencialidade, dando permissão para gravação de áudio e vídeo (para fins de pesquisa) ● NDA, se for necessário Título do slide 1 moderador 1 participante 1 observador / assistente / pessoa que anota Quem participa Título do slide É a pessoa que pede para o participante fazer as tarefas do teste. O moderador comissário de bordo + cientista investigador + narrador esportivo deixa o participante à vontade e explica as regras de olho nos resultados ena condução das tarefas garante uma boa experiência para quem tá assistindo Dana Chisnell, Overcoming fear of moderating UX research sessions - 2010 http://usabilitytestinghowto.blogspot.com.br/2010/06/overcoming-fear-of-moderating-ux.html http://usabilitytestinghowto.blogspot.com.br/2010/06/overcoming-fear-of-moderating-ux.html Título do slide Roteiro do teste 1. Apresentação 2. Questionário inicial 3. Tarefas 4. Questionário final Título do slide Apresentação Definir as regras e deixar o participante à vontade. ● Explicar a sala, o local ● Apresentar-se, objetivos da pesquisa ● Queremos ouvir sua opinião, não tem certo nem errado etc. ● Pense em voz alta (protocolo think aloud) ● Não posso responder todas as dúvidas ● Agir como se estivesse em casa, pode desistir das tarefas ● Confidencialidade ● Lanchinho Jakob Nielsen, Thinking Aloud: The #1 Usability Tool - 2012 http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ Título do slide Roteiro do teste 1. Apresentação 2. Questionário inicial 3. Tarefas 4. Questionário final Título do slide Tarefas Moderador lê a tarefa em voz alta (ou entrega por escrito) e observa sem influenciar. ● Foco no comportamento. ● Pode fazer perguntas para esclarecer dúvidas sobre a navegação (desde que não interrompa o participante sem necessidade). Título do slide " " Durante o teste de usabilidade, a principal habilidade que você tem que aprender é ficar quieto. Quando vemos uma pessoa sofrendo, a maioria de nós tem uma tendência natural a querer ajudar. Você precisa suprimir isso. É seu trabalho se tornar ruim de conversa. Fique confortável com o silêncio. Ele é seu amigo. Marty Cagan @ Inspired Marty Cagan, Inspired - 2017 (livro) Título do slide Postura Foque em observar, não em perguntar sobre tudo. ● Melhor deixar a pessoa navegar espontaneamente, sem interromper muito. Guarde as perguntas para um momento de pausa ou para o fim do teste. Título do slide Postura Cuidado para não interromper a pessoa no meio da tarefa Título do slide Postura Não dê opinião, busque empatia. Eu não achei esse ‘fale conosco’ porque tá muito pequenininho. Podia estar mais em destaque… na home. Ah, entendi seu ponto. Interessante. Título do slide Postura Não entregue a resposta. Responda uma pergunta com… outra pergunta. Então é pra clicar aqui, né? Título do slide Postura Não entregue a resposta. Responda uma pergunta com… outra pergunta. Então é pra clicar aqui, né? Isso mesmo! Acertou! Título do slide Postura Não entregue a resposta. Responda uma pergunta com… outra pergunta. Então é pra clicar aqui, né? Você acha que é? Agora é um daqueles momentos em que eu disse que não poderia responder, lembra? Título do slide Postura Não complete a frase da pessoa. Eu acho que foi meio assim… né? Título do slide Postura Não complete a frase da pessoa. Repita o que ela disse e peça para completar. Eu acho que foi meio assim… né? Então você achou que esse site foi meio assim…? Meio assim, esquisito, né? Tá difícil me achar por aqui. Título do slide Postura Não explique a sua hipótese. Não venda o seu produto. Eu não entendi porque tem esse gráfico aqui... A gente acredita que o gráfico vai te ajudar a analisar os investimentos. O que você acha disso? Título do slide Postura Não explique a sua hipótese. Não venda o seu produto. Eu não entendi porque tem esse gráfico aqui... Pode me falar mais sobre isso? O que você entendeu deste gráfico? Tem alguma outra coisa que te ajudaria mais do que um gráfico? Título do slide Postura A culpa nunca é do usuário. Eu não achei. Mas eu é que não sei, eu não entendo muito dessas coisas, preciso fazer um curso de informática. Título do slide Postura A culpa nunca é do usuário. Toma aqui um champagne pra relaxar. Olha, como eu te falei no começo, não estamos testando você, mas o produto. Eu não achei. Mas eu é que não sei, eu não entendo muito dessas coisas, preciso fazer um curso de informática. Título do slide Postura Participante navegando há 10 minutos, sem sucesso. Título do slide Postura Participante navegando há 10 minutos, sem sucesso. O que você tá procurando? Título do slide Postura Participante navegando há 10 minutos, sem sucesso. O que você tá procurando? Em uma situação real, o que você faria? Título do slide Postura O que você tá procurando? Em uma situação real, o que você faria? Vou anotar que você continuaria, OK? Agora gostaria de passar outra tarefa… Participante navegando há 10 minutos, sem sucesso. Título do slide 1. Planejamento 2. Roteiro 3. Conduzindo testes moderados 4. Análise Agenda da aula Título do slide Análise Agrupar, encontrar padrões. ● Após cada sessão de teste, faça um debriefing com os envolvidos e já anote os insights ● Assista aos vídeos novamente - pelo menos os momentos críticos ● Organize os aprendizados por tema e por participante Título do slide Tabulação Organize em uma tabela geral tudo que aconteceu - ajuda a analisar e a compartilhar os resultados também ● Problemas observados: quem afetou, observações e frases que exemplificam ● Sucesso e fracasso por tarefa / participante ● Comportamentos: usaram os filtros no topo? ● Respostas a questões de avaliação Como tabular e analisar os resultados de um teste de usabilidade - Elisa Volpato https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc Título do slide Tabulação Elisa Volpato, Como tabular e analisar os resultados de um teste de usabilidade - 2017 https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc exemplo fictício https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc Título do slide Tabulação exemplo fictício Elisa Volpato, Como tabular e analisar os resultados de um teste de usabilidade - 2017 https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc Título do slide Ocorrências Jakob Nielsen - Severity Ratings for Usability Problems - www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems Jeff Sauro - Rating the Severity of usability problems - measuringu.com/rating-severity Critérios para priorizar: ● Tipo do problema: se é do tipo barreira (impediu o participante de realizar a tarefa), obstáculo (atrapalhou, mas foi contornado) ou cosmético (apenas incomodou) ● O número de participantes afetados em relação ao total de participantes ● A importância da tarefa no contexto do produto ● Esforço de desenvolvimento ● Impacto da solução no negócio SEVERIDADE ALTA SEVERIDADE MÉDIA SEVERIDADE BAIXA PONTO POSITIVO BUG [!] Ocorrências são problemas de usabilidade e pontos de melhoria encontrados [!] Bug não é problema de usabilidade, e sim uma falha técnica - algo que deveria estar funcionando, mas não está https://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/ https://measuringu.com/rating-severity/ Título do slide Viés de confirmação O que aconteceu no teste ● O passo-a-passo do participante ● O que ele disse ● A expressão que ele fez A sua interpretação Confirmar a sua hipótese O que você já achava ruim antes Como você acha que deveria ser a interface X Dica: descreva primeiro, interprete depois. Deixe as suas hipóteses de lado, volte a visitá-las depois. Título do slide E os números? Jeff Sauro, Jim Lewis, A New Formula for UX Quantitativa UX Decision Making - 2012 https://uxmag.com/articles/a-new-formula-for-quantitative-ux-decision-making Cuidado ao usara contagem dos participantes como argumento. ● Evite porcentagem; 2 de 10 é 20% de sua amostra, mas pode dar a impressão de representar 20% de todos os clientes ● Mas se todos os participantes ou 8 de 10 passaram por um problema, é provável que muita gente passe por isso também. Gráficos também são polêmicos, principalmente o de pizza. https://uxmag.com/articles/a-new-formula-for-quantitative-ux-decision-making Título do slide O contexto Frases são importantes evidências, mas considere sempre o contexto QUANDO FALOU? Espontâneo Estimulado “Não tá cansado e prefere desistir, não?” Eu desistiria do site e ligaria. Título do slide 5. Resultados Agenda da aula 6. Case Título do slide + RÁPIDO+ DETALHADO Como e onde Super relatório bem didático Apresentação com vídeos e exemplos Todo mundo assiste os testes, discussão depois Tabela online com problemas e recomendações Resumo no Notion Partir para um novo protótipo / solução Vídeo dos melhores momentos Resumo no trello Jim Ross, Communicating User Research Findings - 2012 http://www.uxmatters.com/mt/archives/2012/02/communicating-user-research-findings.php http://www.uxmatters.com/mt/archives/2012/02/communicating-user-research-findings.php Título do slide Exemplos Usability.gov - Usability Report template https://www.usability.gov/how-to-and-tools/resources/templates/report-template-usability-test.html exemplo fictício https://www.usability.gov/how-to-and-tools/resources/templates/report-template-usability-test.html Título do slide exemplo fictício Título do slide exemplo fictício Título do slide exemplo fictício Título do slide exemplo fictício Título do slide Direto à solução Mudamos o posicionamento do frete grátis porque nos testes estava competindo com o carrinho exemplo fictício Título do slide Documento Pode ser um documento com o plano de pesquisa e os resultados ● Principais problemas ● Próximos passos ● O que não conseguimos responder - sugestões de novas pesquisas exemplo fictício Título do slide Workshop Envolve todo mundo na análise ● Cada um traz as anotações ● Agrupar por tema e similaridade ● Priorizar os mais importantes Título do slide E atomic research? OK, já faço pesquisa. Novo desafio: gestão do conhecimento. Tomer Sharon, The atomic unit of a research insight - 2016 https://medium.com/@tsharon/the-atomic-unit-of-a-research-insight-7bf13ec8fabe https://medium.com/@tsharon/the-atomic-unit-of-a-research-insight-7bf13ec8fabe Título do slide Nuggets Gabriela Bassa (Quinto Andar), Nuggets: Como democratizar Pesquisas de design - 2019 https://medium.com/quintoandar-design/nuggets-como-democratizar-pesquisas-de-design-9b1a717879f0 exemplo fictício https://medium.com/quintoandar-design/nuggets-como-democratizar-pesquisas-de-design-9b1a717879f0 Título do slide Dica final Teste de usabilidade é muito legal, mas é mais legal ainda combinar com outras técnicas. Quali + quanti = Título do slide 5. Resultados Agenda da aula 6. Case Título do slide Case A Magnetis é uma gestora de investimentos digital. ● Consultoria de especialistas em investimentos + algoritmo ● Carteira diversificada sem ter que entender do assunto ● Investimentos alinhados aos objetivos do cliente Título do slide Case Duas dúvidas: ● Para quem entra pela primeira vez, fica clara a nossa proposta de valor? ● Que pontos de atrito no funil de aquisição pode levar à perda na conversão? Título do slide Case O que fizemos: ● Testes de usabilidade remotos ● Com 8 participantes que não conheciam a Magnetis, mas com perfil de clientes ● Os participantes responderam direto pelo celular, compartilhando a câmera e a tela (via Skype) Título do slide Case Roteiro do teste ● Entrevista inicial ● Entendimento do que é a Magnetis ● Começar a usar ● Comparação com protótipo Título do slide Case Tarefas principais 1. Entre no site da Magnetis para entender o que é e como funciona. Assim que terminar, explique em voz alta. Objetivo: avaliar se a pessoa entende a proposta de valor e qual é o caminho utilizado para essa exploração inicial 2. Imagine que você está interessado em utilizar a Magnetis para seus investimentos. Qual seria o próximo passo? Objetivo: entender os pontos de atrito / problemas de entendimento no fluxo de simulação até a tela de plano de investimento, antes de criar a conta Título do slide explicou totalmente a magnetisnão entendeu nada Aliquam scelerisque, eros a sodales tristique, lectus quam vestibulum ex, in commodo metus. 1 Etiam ac dui convallis, malesuada nisl varius, lacinia turpis. Curabitur eget sapien et metus. 2 Nullam et molestie nunc. Duis semper ante scelerisque, pretium felis nec, posuere libero. 3 Mauris auctor neque vel rhoncus varius. Donec molestie lacinia nisi eget hendrerit. Fusce cursus lorem. 4 Sed mollis convallis leo ut porta. Donec vehicula pulvinar libero ac sagittis. 5 Lorem ipsum dolor sit amet, consectetur adipiscing elit. Quisque laoreet interdum cursus. 6 Donec luctus rhoncus lorem quis aliquet. Sed risus enim, ornare a lobortis sit amet pulvinar non lacus. Nullam volutpat odio ligula, et tincidunt leo consequat molestie. 7 Nam lorem est, molestie ac hendrerit quis, imperdiet ut mauris. 8 Título do slide Ponto positivo, gerou elogios espontâneos e/ou funcionou bem. análise por bloco bom Encontramos algum ponto de melhoria. médio Encontramos um problema que merece ser corrigido ou mais bem investigado. eita A seguir compilamos os aprendizados sobre cada um dos blocos da home. Levamos em consideração a reação espontânea dos participantes quando entraram ali para entender a Magnetis. Sempre que possível (por causa do tempo), retomamos estes blocos ao final do teste. Não foi bom nem ruim - ou foi pouco explorado durante o estudo e não temos informações suficiente. neutro Título do slide hero "Olhando aqui, parece uma maneira fácil de fazer investimentos." Participante 4 A maioria dos participantes passou rápido pelo primeiro bloco da home. Alguns já foram dali para o "simule agora" ou para o menu procurar conteúdos mais aprofundados. Para dois participantes, a mensagem que ficou foi de facilidade. Call to action claro, chama a atenção e parece ter estimulado a exploração. 4 de 8 participantes foram na simulação ainda na etapa de entendimento do que era a Magnetis (não apenas por este botão). bom bom Título do slide rentabilidade "Isso aqui é um exemplo que eles tão dando. Se você investir 1000 reais, mas vel lacus nec tellus vehicula cursus vel in neque." Participante 6 Alguns participantes se assustaram um pouco com a informação de adipiscing elit. Quisque laoreet interdum cursus. Aenean ultrices, sem ut tempor semper. Um participante não viu de cara como dui convallis, malesuada nisl varius, lacinia turpis. Curabitur eget sapien et metus ullamcorper molestie in sed sem. Maecenas a quam elit. médio eita "Eu tenho medo de precisar desse dinheiro e vou ficar chateado de ter perdido ele. Pelo pouco que eu entendo, se eu deixar um prazo... Eu coloco de 3 anos, se eu tiro antes, é tipo capitalização, você consegue tirar, mas tira 70% do valor." Participante 3 eita médio médio Título do slide Case O que fizemos com os resultados? ● Juntamos dados quali deste teste com usuários + dados quanti + relatórios de atendimento ● Discussão para levantar hipóteses e ideias de melhoria para a home ● Criamos variações dos blocos e revisamos a forma de explicar a proposta de valor. Estamos no momento fazendo teste A/B de tudo, por etapas Título do slide RESUMO ● Crie um plano de pesquisa e capriche no recrutamento. Você não precisa de uma amostra gigante se o seu foco é levantar os principais pontos de melhoria; geralmente 6 a 10 participantes são suficientes por rodada de teste. ● O roteiro geralmente é uma sequência de entrevista, tarefas e perguntasno final. Nas tarefas, crie situações de uso próximas de uma situação real. ● Se for um teste moderado, foque em observar e pratique uma boa poker face. ● Na análise, busque coisas que se repetiram, padrões. Os números são úteis para dar uma dimensão, mas geralmente o foco é mais qualitativo - nos problemas observados. Título do slide RESUMO ● Para reportar os resultados, faça o que for mais útil para que os envolvidos possam entender o que aconteceu. O mais importante não é o relatório em si, mas o que você vai fazer com as descobertas. ● Procure formas de manter o conhecimento vivo: compartilhe os conhecimentos e, se possível, organize um repositório por temas (ou nuggets). Título do slide Para saber mais Mike Kuniavsky Observing the user experience Jeff Sauro, James Lewis Quantifying the user experience Steve Portigal Interviewing Users Título do slide Referências Jakob Nielsen 10 Usability Heuristics for User Interface Design - 1994 https://www.nngroup.com/articles/ten-usability-heuristics Severity Ratings for Usability Problems - 1994 www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems Why you only need to test with five users - 2000 https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users Growing a Business Website: Fix the Basics First - 2006 (Quando ele falou "You are not the user") https://www.nngroup.com/articles/design-priorities Thinking Aloud: The #1 Usability Tool - 2012 http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ Designers are not users (video) - 2016 https://www.youtube.com/watch?v=gZeXyVJC-Jg https://www.nngroup.com/articles/ten-usability-heuristics/ https://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/ https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ https://www.nngroup.com/articles/design-priorities http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ https://www.youtube.com/watch?v=gZeXyVJC-Jg Título do slide Referências Jeff Sauro Why you only need to test with five users (explained) - 2010 https://measuringu.com/five-users/ Does prior experience affect perceptions of usability? - 2011 https://measuringu.com/prior-exposure/ 10 essencial usability metrics - 2011 https://measuringu.com/essential-metrics A Brief History of Usability - 2013 https://measuringu.com/usability-history/ Rating the Severity of usability problems - 2013 https://measuringu.com/rating-severity/ https://measuringu.com/five-users/ https://measuringu.com/prior-exposure/ https://measuringu.com/essential-metrics/ https://measuringu.com/usability-history/ https://measuringu.com/rating-severity/ Título do slide Referências Jeff Sauro, Jim Lewis, A New Formula for UX Quantitativa UX Decision Making - 2012 https://uxmag.com/articles/a-new-formula-for-quantitative-ux-decision-making Usability.gov Usability Evaluation Basics https://www.usability.gov/what-and-why/usability-evaluation.html Usability Report template https://www.usability.gov/how-to-and-tools/resources/templates/report-template-usability-test.html Bias and Mayhew, Cost-justifying usability (livro) - 2005 Christian Rohrer, When to Use Which User-Experience Research Methods - 2014 https://www.nngroup.com/articles/which-ux-research-methods/ Dan Nessler, Dan Nessler, How to apply a design thinking, HCD, UX or any creative process from scratch — Revised & New Version - 2018 https://uxdesign.cc/how-to-solve-problems-applying-a-uxdesign-designthinking-hcd-or-any-design-process-from-scratch-v2-aa16e2dd550b Erin May - The 2019 UX Research Tools Map - 2020 https://www.userinterviews.com/blog/the-2019-ux-research-tools-map https://uxmag.com/articles/a-new-formula-for-quantitative-ux-decision-making https://www.usability.gov/what-and-why/usability-evaluation.html https://www.usability.gov/how-to-and-tools/resources/templates/report-template-usability-test.html https://www.nngroup.com/articles/which-ux-research-methods/ https://uxdesign.cc/how-to-solve-problems-applying-a-uxdesign-designthinking-hcd-or-any-design-process-from-scratch-v2-aa16e2dd550b https://www.userinterviews.com/blog/the-2019-ux-research-tools-map Título do slide Referências Susan Weinschenk, 100 Things Every Designer Needs to Know About People (livro) - 2011 Elisa Volpato (eu, hehe) Pesquisa: métricas em teste de usabilidade -2019 https://medium.com/testr/pesquisa-m%C3%A9tricas-em-teste-de-usabilidade-d64067cfe36d Como tabular e analisar os resultados de um teste de usabilidade - 2017 https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc Dana Chisnell, Overcoming fear of moderating UX research sessions - 2010 http://usabilitytestinghowto.blogspot.com.br/2010/06/overcoming-fear-of-moderating-ux.html Jim Ross, Communicating User Research Findings - 2012 http://www.uxmatters.com/mt/archives/2012/02/communicating-user-research-findings.php Tomer Sharon, The atomic unit of a research insight - 2016 https://medium.com/@tsharon/the-atomic-unit-of-a-research-insight-7bf13ec8fabe Gabriela Bassa (Quinto Andar), Nuggets: Como democratizar Pesquisas de design - 2019 https://medium.com/quintoandar-design/nuggets-como-democratizar-pesquisas-de-design-9b1a717879f0 https://medium.com/testr/pesquisa-m%C3%A9tricas-em-teste-de-usabilidade-d64067cfe36d https://medium.com/testr/como-tabular-e-analisar-os-resultados-de-um-teste-de-usabilidade-7c37e6997fdc http://usabilitytestinghowto.blogspot.com.br/2010/06/overcoming-fear-of-moderating-ux.html http://www.uxmatters.com/mt/archives/2012/02/communicating-user-research-findings.php https://medium.com/@tsharon/the-atomic-unit-of-a-research-insight-7bf13ec8fabe https://medium.com/quintoandar-design/nuggets-como-democratizar-pesquisas-de-design-9b1a717879f0 Título do slide Referências Hoa Loranger, Checklist for Planning Usability Studies - 2016 https://www.nngroup.com/articles/usability-test-checklist/ Ellen Francik, Five, ten, or twenty-five – How many test participants? - 2012 http://www.humanfactors.com/newsletters/how_many_test_participants.asp Marty Cagan, Inspired - 2017 (livro) 9241-11:2018(en), Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:en https://www.nngroup.com/articles/usability-test-checklist/ http://www.humanfactors.com/newsletters/how_many_test_participants.asp https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:en Obrigada!
