questionario_sem_template

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

Cap´ıtulo 1
Pesquisa de opinia˜o para
Avaliar o Me´todo de gerac¸a˜o de
cena´rios de testes
Objetivo
Avaliar o me´todo de gerac¸a˜o de cena´rios de teste proposto nesta dissertac¸a˜o.
Os testadores que realizaram teste utilizando o me´todo proposto durante este
trabalho devem responder um questiona´rio. Neste questiona´rio as questo˜es
foram agrupadas em 4 assuntos diferentes: experieˆncia do testador, modelos
de teste utilizados, avaliac¸a˜o dos cena´rios de teste e sugesto˜es para melhoria
do me´todo.
Glossa´rio com Termos Utilizados no Questiona´rio
• Modelos de Teste. Diagramas de Atividades contendo fluxo de
nego´cio do sistema, detalhamento dos casos de uso e regras de nego´cio
do sistema durante durante o projeto dos testes.
• Cena´rio de Teste. Um cena´rio de teste descreve de forma textual as
interac¸o˜es dos atores com o sistema em testes. Os cena´rios possuem
pre´ e po´s-condic¸o˜es e o conjunto de passos (corpo) para realizac¸a˜o de
uma determinada atividade no sistema.
• Passos. Os passos sa˜o descritos no corpo do cena´rio de teste com in-
terac¸o˜es dos atores, sujeito (Sistema em Teste) ou situac¸o˜es de excec¸a˜o
1
no sistema.
• Cena´rio Incoerente. E´ um cena´rio que na˜o pode executado no sis-
tema (“Na˜o Executa´vel”) pois apresenta passos passos contradito´rios.
• Casos de Teste. Para cada cena´rio de teste foram documentados (e
associados aos cena´rios) os casos de teste com os dados e consultas
(ora´culos) para verificac¸a˜o dos resultados.
1.1 experieˆncia do testador
Opc¸o˜es para resposta da pro´xima questa˜o sa˜o: “SIM”, “NA˜O” e “NA˜O
APLICA´VEL”.
a) Antes de realizar testes utilizando os cena´rios gerados qual era
sua experieˆncia com teste?
1) Trabalhei em va´rios projetos de teste com caracter´ısticas diferentes.
2) Trabalhei em va´rios projetos de teste com caracter´ısticas similares.
3) Trabalhei em poucos projetos de teste.
4) Tenho conhecimento teo´rico em testes, nunca havia realizado testes em
projetos reais.
5) Nenhum conhecimento.
As questo˜es abaixo devem ser respondidas com as seguintes opc¸o˜es de res-
posta: “SEMPRE”, “QUASE SEMPRE”, “ALGUMAS VEZES (ME´DIA)”,
“QUASE NUNCA”, “NUNCA” e “NA˜O APLICA´VEL”.
b) Como executa (executou) os testes?
6) Utilizando ferramentas para automac¸a˜o execuc¸a˜o de testes.
2
7) Codificando testes com frameworks de teste (Junit, JWebUnit, HttpU-
nit, etc).
8) Utilizando ferramentas de capture/ playback de ac¸o˜es do usua´rio.
9) Manualmente.
c) Caso ja´ tenha preparado e realizado testes com uma aborda-
gem manual, qual e´ sua avaliac¸a˜o em relac¸a˜o a abordagem com
gerac¸a˜o de cena´rios de teste?
10) Os cena´rios de teste facilitaram o entendimento do sistema.
11) Os cena´rios de teste facilitaram a criac¸a˜o dos casos de teste.
Comenta´rios
1.2 modelos de teste utilizados
d) Os modelos criados durante os testes facilitaram o entendimento
do entendimento do sistema?
12) Os modelos criados durante os testes apresentavam as informac¸o˜es para
o projeto dos testes.
13) Os modelos criados durante os testes continham muitas informac¸o˜es des-
necessa´rias.
14) Os modelos na˜o proporcionaram nenhum beneficio adicional em relac¸a˜o
aos casos de uso.
15) Os modelos estavam incompletos, foi necessa´rio recorrer aos casos de
uso durante o projeto dos testes.
3
16) Os modelos dificultaram o projeto de testes, eles apresentavam muitas
inconsisteˆncias em relac¸a˜o a especificac¸a˜o.
e) Quando haviam alterac¸o˜es na especificac¸a˜o como foi realizado
o re-projeto dos modelos?
17) Foi poss´ıvel aplicar as alterac¸o˜es da especificac¸a˜o nos modelos criados
anteriormente.
18) Os modelos desatualizados foram desconsiderados e foram criados no-
vos modelos.
19) Os modelos foram mantidos sem aplicar as alterac¸o˜es.
20) Os modelos de teste foram abandonados (na˜o foram mais utilizados e
nem foram criados novos modelos).
Comenta´rios
1.3 avaliac¸a˜o dos cena´rios de teste
f) Os cena´rios de teste facilitaram os testes?
21) Os cena´rios apresentavam os passos necessa´rios para realizar testes.
22) Durante a realizac¸a˜o dos testes foi necessa´rio recorrer aos modelos de
teste (para o melhor entendimento do sistema).
23) Durante a realizac¸a˜o dos testes foi necessa´rio recorrer a outros docu-
mentos da especificac¸a˜o (como, casos de uso e regras de nego´cio do sistema).
24) Os cena´rios de teste na˜o foram utilizados, os casos de teste foram criados
sem utiliza-los.
4
g) Qual a sua sobre o n´ıvel de detalhamento (abstrac¸a˜o) dos cena´rios
de teste?
25) Os cena´rios de teste criados apresentavam os detalhes necessa´rios para
realizac¸a˜o dos testes.
26) Os cena´rios de teste criados apresentavam poucos detalhes para criac¸a˜o
dos testes.
27) Os cena´rios de testes apresentavam muitas informac¸o˜es desnecessa´rias
durante os testes.
h) Qual impacto nos testes quando os cena´rios de teste apresen-
tavam incoereˆncias? (passos inva´lidos ou passos fora de ordem na
descric¸a˜o dos cena´rios de teste)
28) As incoereˆncias nos cena´rios de teste dificultaram a criac¸a˜o de casos
de teste.
29) As incoereˆncias nos cena´rios de teste na˜o atrapalharam a criac¸a˜o dos
casos de teste.
30) As incoereˆncias dificultaram o entendimento do cena´rio de teste.
31) Foram realizadas adaptac¸o˜es nos cena´rios de teste para criar os casos
de teste.
32) Os cena´rios de teste com incoereˆncias revelaram a presenc¸a de defei-
tos inva´lidos.
33) Os cena´rios de teste com incoereˆncias foram desconsiderados.
i) Foi poss´ıvel intendificar defeitos utilizando as informac¸o˜es des-
critas nos passos do cena´rio de teste?
5
34) Os passos do cena´rio de teste facilitaram a identificac¸a˜o de defeitos no
Sistema em Teste.
35) Foi necessa´rio consultar outros documentos da especificac¸a˜o para ava-
liar se as situac¸o˜es observadas eram defeitos.
36) Foram identificados defeitos inva´lidos devido a existeˆncia de incoereˆncias
nos cena´rios de teste.
37) Foi necessa´rio consultar os modelos de testes para para avaliar se as
situac¸o˜es observadas defeitos.
Comenta´rios
1.4 sugesto˜es para melhoria do me´todo
As questo˜es abaixo devem ser respondidas com as seguintes opc¸o˜es de res-
posta: “CONCORDO FORTEMENTE”, “CONCORDO”, “NEU-
TRO”, “DISCORDO”, “DISCORDO FORTEMENTE” e “NA˜O APLICA´VEL”.
j) As situac¸o˜es apresentadas dificultam a criac¸a˜o dos casos de teste
a partir dos cena´rios de teste propostos?
38) A presenc¸a de passos inva´lidos (dificultam muito a criac¸a˜o dos casos
de teste).
39) A presenc¸a de passos fora de ordem (dificultam a criac¸a˜o dos casos de
teste).
40) Descric¸a˜o pouco detalhada do cena´rio (dificulta a criac¸a˜o dos casos de
teste).
41) Descric¸a˜o muito detalhada do cena´rio (dificulta a criac¸a˜o dos casos de
teste).
6
k) As seguintes melhorias facilitariam a utilizac¸a˜o da abordagem
de testes baseados em cena´rios proposta?
42) Tornar a descric¸a˜o dos cena´rios mais completa (como, incluir mais in-
formac¸o˜es nos cena´rios de teste).
43) Tornar a descric¸a˜o dos cena´rios mais simplificada (como, identificar e
remover passos desnecessa´rios nos cena´rios de teste).
44) Criar templates de casos de teste para cada cena´rio com interfaces e
campos.
45) Utilizar uma abordagem para regressa˜o de teste nos modelos e cena´rios
gerados.
l) Descreva, outras poss´ıveis melhorias para o me´todo proposto:
Comenta´rios
7