Dicas sobre testes de usabilidade remotos – UXalliance

Muitos profissionais de UX têm-se focado mais em métodos de research presenciais, e por isso a experiência em estudos remotos pode ser limitada. Nesse sentido, os profissionais da UXalliance estão a escrever uma série de artigos sobre estudos remotos. Este artigo trata especificamente os testes de usabilidade remotos, analisando várias vertentes desta ferramenta de trabalho.

Os testes remotos são muitas vezes subestimados pelos especialistas. O teste presencial é importante, especialmente para estudos exploratórios e contextuais. No entanto, o teste remoto também tem muitas vantagens.

Neste artigo, vamos explorar as vantagens de fazer testes de usabilidade remotos. Este conhecimento é particularmente importante agora, que a Covid-19 está entre nós, mas também posteriormente, porque vai permitir alcançar um melhor equilíbrio entre os métodos de estudo presencial e remoto.

 

Introdução aos testes de usabilidade remotos

Antes de discutirmos detalhes, é importante ressaltar que há uma ampla variedade de métodos de teste remoto e uma variedade ainda maior de ferramentas e serviços. Para oferecer uma melhor visão geral, agrupamos os métodos de teste remoto em três grupos.

 

1. Teste Remoto Moderado

Este é o método que mais se assemelha aos testes presenciais. Há um moderador e um participante e eles interagem em tempo real. O papel do moderador é observar o participante enquanto ele tenta concluir a tarefa e fazer perguntas de acompanhamento à medida que avança. O teste moderado remoto pode ser feito usando uma ferramenta de videoconferência com a funcionalidade de partilha de ecrã (como Zoom, Gotomeeting ou Skype) e uma webcam para capturar os comentários não verbais do participante.

Os testes remotos moderados permitem obter um feedback qualitativo valioso que não é possível obter em testes não moderados. Por exemplo: se o participante parar de pensar em voz alta, o moderador poderá perguntar o que está a pensar ou, se ele não entender a tarefa, o moderador poderá dar esclarecimentos. Isto torna o teste remoto moderado o método adequado para testar protótipos iniciais e/ou funcionalidades complexas.

 

2. Teste Remoto Não Moderado

Testes remotos não moderados são realizados pelo participante num momento à sua escolha, sozinho, sem um moderador. Este tipo de teste é feito com um roteiro de tarefas que aparecem escritas no ecrã, e pode ou não incluir perguntas adicionais. Ferramentas de teste remoto não moderado, como App Quality, UserTesting, UserFeel ou Userlytics, são amplamente utilizadas para este fim. Elas permitem partilhar um link de um produto ou protótipo e fazer o upload de um roteiro com instruções detalhadas para os participantes.

Embora sejam ferramentas para testes remotos sem a presença de um moderador, em algumas delas é possível pedir aos participantes que executem as tarefas no modo “Think aloud” (pensar em voz alta), pois elas gravam também os comentários em áudio e, em alguns casos, a webcam do participante. As gravações do ecrã, áudio e vídeo ficam disponíveis para os especialistas de UX após a conclusão dos testes.

Os testes remotos não moderados permitem reunir rapidamente resultados de vários utilizadores. O recrutamento geralmente é rápido e vários utilizadores podem concluir o teste ao mesmo tempo, portanto, não há necessidade de agendamento de horários específicos para cada sessão. Como este método não inclui um moderador nem uma sala de testes, isso ajuda a manter os custos num nível mais baixo. Muitas ferramentas de teste não moderado incluem, nos seus serviços, o recrutamento dos participantes para o teste — o que pode facilitar o processo.

A desvantagem do teste não moderado é que ele não permite perguntas ou esclarecimentos de acompanhamento. Isso significa que não é um bom método para testar protótipos que requerem assistência ou exploração mais profunda de conceitos e ideias.

 

3. Teste Remoto Quantitativo

Normalmente, os testes de usabilidade têm como objetivo recolher dados qualitativos, pois devem fornecer informações sobre o “como” e o “porquê” do comportamento do utilizador. No entanto, quem estiver mais interessado em “o quê” e “quantos”, poderá concentrar-se em métodos quantitativos. Geralmente, são mais úteis quando se pretende medir a usabilidade ao longo do tempo ou convencer aqueles stakeholders mais orientados a dados.

Os testes quantitativos com utilizadores são sempre não moderados e focam-se em métricas como: tempo gasto na tarefa, satisfação, taxa de sucesso, dificuldade percebida. A maioria das ferramentas de teste não moderado oferece uma combinação de métricas quantitativas e qualitativas. Algumas plataformas de testes quantitativos são especializadas em alguns domínios, como arquitetura de informação, e podem incluir mapas de calor (“heatmaps”), mapas de deslizamente (“scroll maps”) ou mapas de navegação (“tree testing”).

 

---

 

Ter uma visão geral dos métodos é ótimo, mas como escolher entre eles? Vamos discutir os pontos fortes e fracos de cada método. Depois, abordaremos o recrutamento e o tamanho da amostra.

 

Quando usar o Teste Remoto Moderado

O teste remoto moderado é uma ótima alternativa aos estudos presenciais. Permite que se faça uma sessão de teste típica, na qual o comportamento do utilizador pode ser observado e o moderador pode fazer perguntas diretamente, durante e depois das tarefas.

Os pontos fortes deste método são:

• Pode usar protótipos que requerem assistência: o moderador pode solicitar ações e intervir quando o participante estiver bloqueado devido aos limites do próprio protótipo.
• Pode testar no contexto real dos utilizadores.
• Pode fazer perguntas de acompanhamento ao observar um evento ou comportamento inesperados do utilizador.
• Não requer um guião de entrevista rígido, pois a presença do moderador adiciona flexibilidade ao teste.

Os pontos fracos deste método são:

• Não pode controlar a configuração no local dos participantes. Vai ter de lidar com interrupções e ruídos indesejados (ladrar de cães, toques de campainha, interrupções de crianças).
• O teste em dispositivos móveis é complicado: pode ser difícil configurar uma plataforma apropriada para partilhar o ecrã dos dispositivos móveis do participante e também não vê os seus gestos de mãos.
• A moderação e a análise são tão demoradas quanto as entrevistas presenciais e igualmente caras. Portanto, é um método recomendado para uma amostra pequena.
• A qualidade dos dados recolhidos geralmente depende da qualidade da ligação à internet (portanto, atenção a testes com participantes localizados em áreas com má internet). Deve sempre verificar a qualidade da ligação à internet dos participantes antes de cada entrevista, durante o recrutamento.

O streaming da tradução simultânea pode ser complicado de configurar. Como exemplo, veja a ilustração abaixo para um teste remoto moderado realizado na Holanda usando o Zoom. Nesta situação, o moderador e o participante estavam a falar em holandês, enquanto o anotador e o cliente precisavam de ouvir apenas o áudio traduzido para o inglês.

 

O teste remoto moderado é mais indicado para os estágios iniciais, quando precisa de testar um protótipo. Os testes de protótipo normalmente requerem orientação, e o entendimento de algumas reações dos participantes exigem uma investigação mais detalhada durante as sessões. É muito bom para responder aos “porquê” e obter feedback sobre as motivações e o comportamento dos utilizadores.

 

Quando usar o teste remoto não moderado

Às vezes, a velocidade do projeto, a necessidade de testar uma grande amostra ou restrições orçamentais inviabilizam o uso de métodos moderados. Nestes casos, é possível fazer testes remotos não moderados, usando uma variedade de serviços e plataformas online. Elas oferecem acesso a um grande número de participantes que podem realizar o teste ao mesmo tempo, e que entram no estudo quando estiverem disponíveis. Isso torna a fase de recolha de dados bem mais rápida, pois os participantes podem concluir as suas sessões simultaneamente.

Teste remoto não moderado: os participantes são instruídos a executar a tarefa verbalizando suas ações, impressões e sentimentos (método “thinking aloud”). O áudio/vídeo da sessão é gravado e guardado para análise posterior.

Os principais pontos fortes do teste remoto não moderado são:

• É possível visualizar a gravação de áudio/vídeo de ações e comentários do utilizador para identificar os motivos de comportamentos, e podemos obter métricas.
• É possível sentir o estado emocional e a frustração dos participantes a partir de pistas visuais das suas expressões (se usar uma webcam) e do seu tom de voz.
• A recolha de dados para amostras grandes é mais rápida do que com testes moderados.
• O recrutamento pode ser feito mais rapidamente através de plataformas de crowdsourcing (onde os participantes se inscrevem de forma voluntária e são selecionados por um questionário de triagem); o recrutamento por esse método pode ser surpreendentemente rápido — dias em vez de semanas (mas é necessário ter atenção aos perfis com especificidades).
• Os testes em vários idiomas podem ser realizados por uma única equipa, pois tanto os testes como os comentários, depois da sessão, podem ser traduzidos (ainda assim, é necessário entender o idioma local para poder verificar a tradução).

Os principais pontos fracos do teste remoto não moderado são:

• Normalmente, exige a mesma quantidade de tempo de análise que os testes moderados, pois o entrevistador precisa de ver as gravações da sessão. É possível ver apenas algumas (com base numa análise das métricas de desempenho registadas), mas isso compromete a qualidade da análise.
• É adequado apenas para protótipos que não precisam de assistência, pois não há moderador para explicar ou dar orientação. Quando os participantes ficam sem saber o que fazer, eles abandonam a tarefa sem a possibilidade de recuperá-los.
• As questões pós-tarefa e pós-teste são predefinidas e não podem aprofundar a compreensão dos eventos verificados na sessão. Comportamentos imprevistos não podem ser questionados.
• Requer uma preparação séria do guião, com perguntas estritas (não haverá a flexibilidade de um moderador), e isso consome bastante tempo.

 

Quando usar o Teste Remoto Quantitativo

Teste remoto quantitativo: os participantes realizam as tarefas e apenas os seus cliques e interações são registados, além de perguntas pós-tarefa e pós-teste. Normalmente, não há gravação de áudio e vídeo da sessão e não requer análise de lookback.

Várias plataformas de teste remoto no mercado permitem que participantes remotos concluam as sessões de teste por conta própria, sem necessidade de gravar a sessão.

Os principais pontos fortes do teste remoto quantitativo:

• O teste é totalmente automatizado, portanto, há uma quantidade mínima de trabalho a ser realizado para recolher os dados.
• A análise e os relatórios também podem ser parcialmente automatizados, registando cliques e caminhos de navegação, além de métricas de desempenho (como tempo na tarefa) e métricas de autorrelato dos participantes.
• As plataformas de teste podem facilitar a compreensão dos dados usando algoritmos de análise de dados.
• Pode avaliar quantitativamente o desempenho e os erros, numa escala estatisticamente significativa, pois uma amostra maior não se traduz num período maior para análise.
• Os dados quantitativos podem ser persuasivos para as partes interessadas da empresa, por si só ou em combinação com dados qualitativos.
• Os testes quantitativos permitem uma comparação confiável dos resultados dos testes ao longo do tempo (benchmarking).

Os principais pontos fracos do teste remoto quantitativo:

• Não é possível determinar facilmente as motivações e as razões por trás do comportamento dos participantes. Por exemplo, pode descobrir quantos participantes clicaram no botão “voltar” na página de pagamentos. No entanto, não sabe se eles o fizeram porque o método de pagamento desejado não está disponível ou porque a ordem de ações na página não está clara.
• A falta de moderação e a gravação de vídeo ao vivo limitam os insights que pode ter sobre as opiniões e impressões dos participantes às perguntas do teste. Uma solução possível seria incluir perguntas abertas após a tarefa e no questionário pós-teste, no entanto, isso prolongaria o tempo de análise.

O teste automatizado puramente quantitativo não inclui o pensamento em voz alta e a gravação de vídeo. É totalmente diferente de outros métodos de teste remoto e não substitui o teste moderado. É útil quando o âmbito do projeto é limitado e quando existem perguntas simples com respostas diretas. É mais adequado para os estágios posteriores, quando o design está quase pronto e há algumas questões pendentes e diretas sobre os recursos.

Outras formas de teste quantitativo não moderado são aquelas usadas na etapa de arquitetura de informação, como Card Sorting e Tree Testing (teste da navegação). Nesses métodos, o objetivo é determinar o modelo mental de informação ou a aderência a uma arquitetura de informação; portanto, a falta de comentários e verbalização do utilizador é um pequeno sacrifício, em comparação com as vantagens de uma análise automatizada de cluster dos resultados, recolhida a partir de um grande número de participantes.

 

Recrutamento e tamanho da amostra

Quantos participantes deve considerar para testes de usabilidade remotos? Em geral, as considerações para testes presenciais normais são válidas: um estudo qualitativo pode ser realizado com uma pequena amostra, de poucos indivíduos até algumas dezenas. Isso acontece porque procuramos qualidade e não quantidade: insights detalhados em vez de uma validação estatisticamente significativa. Nesse caso, o melhor método é o teste moderado, pois existe a orientação de um moderador para entender e explorar melhor essas ideias.

Se já tem uma melhor compreensão do problema, mas deseja recolher feedback articulado dos utilizadores, também pode escolher testes não moderados, se a plataforma permitir gravar o “think aloud” (pensar em voz alta). Nesse caso, é possível um tamanho de amostra relativamente pequeno para manter o esforço de análise, ouvindo as gravações. Se está a investigar um evento ou comportamento específico que pode ser rastreado (por exemplo, um clique numa frase usada como chamariz), pode ser necessária uma amostra grande para permitir a filtragem dos participantes nos quais se deseja concentrar. Existem algumas plataformas de teste remotas não moderadas (ex: UserTribe, AppQuality) que oferecem crowdsourcing de especialistas de UX para analisar as gravações do “think aloud”. Essas plataformas economizam tempo, mas geralmente têm um preço comparável ao de o fazer você mesmo.

Se o objetivo do seu estudo é simples o suficiente para ser respondido por testes remotos não moderados, sem gravação da sessão, e pretender usar um tamanho de amostra grande, definitivamente deve considerar o teste quantitativo. Este tipo de teste é especialmente indicado quando deseja comparar métricas precisas de desempenho de soluções alternativas. Nesse caso, uma grande amostra de centenas de participantes é valiosa para obter resultados significativos.

A maioria das ferramentas modernas de teste remoto inclui serviços de recrutamento, com base num painel de utilizadores, ou através de um novo recrutamento pelas redes sociais (recrutamento em massa). Estas plataformas permitem um recrutamento rápido (uma questão de dias em vez de semanas), mas a qualidade pode sofrer se não for cuidadoso. Aconselhamos ter cuidado extra ao elaborar o questionário de triagem para excluir participantes não relevantes para o seu estudo (com critérios de exclusão claros) e tornar obrigatório o questionário para ser admitido no estudo. Também pode criar alguma redundância na amostra, por segurança, ou seja, repetir perguntas chave antes de iniciar o teste para verificar se a pessoa tem mesmo o perfil desejado.

 

Conclusão: adicione testes remotos ao seu mix de métodos de research

Os testes de usabilidade com utilizadores são demasiado importantes para serem ignorados num mundo com Covid-19. Portanto, muitos especialistas de UX estão a considerar seriamente testes de usabilidade remotos pela primeira vez. Felizmente, existem métodos, ferramentas e serviços bem estabelecidos.

Este artigo mostrou algumas das vantagens dos testes remotos, especialmente em comparação com os testes presenciais. E num mundo com tantas restrições pela Covid-19, as vantagens dos testes remotos tornam-se ainda mais relevantes. Incentivamos todos os especialistas de UX a familiarizarem-se com este tipo de testes, seja durante ou depois da pandemia, pois é um ótimo complemento para a sua caixa de ferramentas.

 

Se achou este artigo interessante, consulte também os outros artigos da UXalliance (em inglês), focados noutros aspetos de UX research.