O uso de questionrios em trabalhos cientficos

1. Introduo

Um questionrio to somente um conjunto de questes, feito para gerar os dados necessrios para se
verificar se os objetivos de um projeto foram atingidos. Mas, construir questionrios no uma tarefa
fcil, e aplicar tempo e esforo no planejamento do questionrio um requisito essencial para se atingir
os resultados esperados. Infelizmente no existe uma metodologia padro para o desenvolvimento de
questionrios, porm existem recomendaes de diversos autores com relao a essa importante tarefa no
processo de pesquisa cientfica.

Este trabalho tem o objetivo de apresentar as etapas envolvidas no desenvolvimento de um questionrio e
est estruturado da seguinte forma: a seo 2 versa sobre a metodologia para a construo de um
questionrio; a seo 3 apresenta a importncia de se definir uma amostra adequada de respondentes e
como definir o tamanho da amostra; a seo 4 descreve uma viso geral de como analisar os dados
coletados pelos questionrios; e finalmente a seo 5 apresenta as concluses.

2. Metodologia para a construo de um questionrio

A construo de um questionrio, segundo Aaker et al. (2001), considerada uma arte imperfeita, pois
no existem procedimentos exatos que garantam que seus objetivos de medio sejam alcanados com
boa qualidade. Ainda segundo o autor, fatores como bom senso e experincia do pesquisador podem
evitar vrios tipos de erros em questionrios, como por exemplo, as questes ambguas, potencialmente
prejudiciais, dada sua influncia na amplitude de erros. No entanto, existe uma seqncia de etapas
lgicas que o pesquisador deve seguir para desenvolver um questionrio:

1 Planejar o que vai ser mensurado
2 Formular as perguntas para obter as informaes necessrias.
3 Definir o texto e a ordem das perguntas e o aspecto visual do questionrio.
4 Testar o questionrio, utilizando uma pequena amostra, em relao a omisses e ambigidade.
5 Caso necessrio, corrigir o problema e fazer novo pr-teste.

Baseada em Aaker et al. (2001), a Figura 1 ilustra os passos para elaborao de um questionrio:

Etapa Passos
Planejar o que vai ser
Mensurado
Evidenciar os objetivos da pesquisa
Definir o assunto da pesquisa em seu questionrio
Obter informaes adicionais sobre o assunto da pesquisa a partir de fontes de
dados secundrios e pesquisa exploratria
Determinar o que vai ser perguntado sobre o assunto da pesquisa
Dar Forma ao
Questionrio
Para cada assunto, determinar o contedo de cada pergunta
Decidir sobre o formato de cada pergunta
Texto das Perguntas
Determinar como as questes sero redigidas
Avaliar cada uma das questes em termos de sua facilidade de compreenso,
conhecimentos e habilidades exigidos, e disposio dos respondentes.
Decises sobre
Seqenciamento e
Aparncia
Dispor as questes em uma ordem adequada
Agrupar todas as questes de cada sub-tpico para obter um nico
questionrio
Pr-Teste e Correo de
Problemas
Ler o questionrio inteiro para verificar se faz sentido, e se consegue
mensurar, o que est previsto para ser mensurado
Verificar possveis erros no questionrio
Fazer o pr-teste no questionrio
Corrigir o problema
Figura 1 Passos para a elaborao de um questionrio.

2.1 Decises sobre o contedo das perguntas

Com relao ao contedo das perguntas, pode-se tentar verificar fatos, crenas quanto a fatos, crenas
quanto a sentimentos, descoberta de padres de ao e de comportamento presente ou passado. Tambm
necessrio que o pesquisador faa algumas reflexes, do tipo: a pergunta realmente necessria? Qual a
sua utilidade? Estas perguntas podem se desdobrar nas seguintes questes:

- O assunto exige uma pergunta separada, ou pode ser includo em outras perguntas?
- Existem outras perguntas que j incluem adequadamente este ponto?
- A pergunta desnecessariamente minuciosa e especfica?
- Vrias perguntas so necessrias sobre o assunto desta pergunta ou uma o suficiente?
- Devese evitar o uso de abreviao, e no se deve tratar dois assuntos complexos em uma mesma
pergunta.
- Todos os aspectos importantes sobre este tpico sero obtidos da forma como foi elaborada a
pergunta?
- Em perguntas de opinio, interessa saber os graus de favorabilidade/desfavorabilidade, ou basta
saber se a favor ou contra?
- As pessoas tm a informao necessria para responder a pergunta? No basta, porm que se esteja
abordando a pessoa certa, preciso saber se ela capaz de se lembrar da informao. Nossa
habilidade para nos lembrarmos dos eventos influenciada pela importncia do prprio evento
para cada um, do tempo passado desde que ele ocorreu e da presena de estmulos que nos ajudem
a recordar.
- Os respondentes estaro dispostos a dar a informao? A predisposio em responder a uma
determinada questo parece ser funo do tempo e trabalho envolvidos na elaborao da resposta,
de sua habilidade em articular a resposta, e da sensibilidade do assunto tratado.
- Que objees algum poderia ter para responder esta pergunta?
- O tema abordado muito ntimo, perturbador ou expe socialmente as pessoas, de forma a causar
resistncias e respostas falsas?
- O tema embaraoso para o respondente por colocar em perigo seu prestgio caso seja contrrio a
idias socialmente aceitas?

Devese tomar o cuidado de no se usar perguntas muito especficas, quando, na verdade, a pesquisa for de
carter geral. Por exemplo, perguntar quantas vezes uma pessoa foi ao supermercado em determinado
ms, pode resultar em uma resposta menos precisa do que se fosse perguntado a respeito do seu
comportamento usual ou mdio durante os meses anteriores.

- O contedo da pergunta no estar enviesado ou carregado em determinada direo?

Esta pergunta desdobrase nas seguintes questes:

- A pergunta , devidamente, neutra, a fim de no influenciar nas respostas?
- Pessoas com opinies contrrias sobre o assunto no a consideraro tendenciosa?
- A pergunta contm opinies ou julgamentos relacionados ao assunto?

2.2 Decises sobre o formato das respostas

A escolha do formato das respostas mais adequado deve levar em conta as vantagens e desvantagens de
cada tipo para o objetivo da pesquisa.
As questes podem ser:
- abertas onde os respondentes ficam livres para responderem com suas prprias palavras, sem se
limitarem a escolha entre um rol de alternativas.
- mltipla escolha - onde os respondentes optaro por uma das alternativas, ou por determinado
nmero permitido de opes.
- dicotmicas - So as que apresentam apenas duas opes de respostas, de carter bipolar, do tipo:
sim/no; concordo/no concordo; gosto/no gosto. Por vezes, uma terceira alternativa oferecida,
indicando desconhecimento ou falta de opinio sobre o assunto.


A figura 2 descreve segundo Mattar (1994), as principais vantagens e desvantagens de cada formato das
respostas.


Tipo de Questes Vantagens Desvantagens
Abertas
Estimulam a cooperao;
Permitem avaliar melhor as
atitudes para anlise das questes
estruturadas;
So muito teis como primeira
questo de um determinado tema
porque deixam o respondente
mais vontade para a entrevista a
ser feita;
Cobrem pontos alm das questes
fechadas;
Tm menor poder de influncia
nos respondentes do que as
perguntas com alternativas
previamente estabelecidas;
Exigem menor tempo de
elaborao;
Proporcionam comentrios,
explicaes e esclarecimentos
significativos para se interpretar e
analisar as perguntas com
respostas fechadas;
Evitase o perigo existente no caso
das questes fechadas, do
pesquisador deixar de relacionar
alguma alternativa significativa no
rol de opes.

Do margem parcialidade do
entrevistador na compilao das
respostas, j que no h um padro
claro de respostas possveis. Assim,
difcil a codificao das respostas e
sua conseqente compilao;
H grande dificuldade para
codificao e possibilidade de
interpretao subjetiva de cada
decodificador;
Quando aplicadas em forma de
entrevistas, podem levar
potencialmente a grandes vises dos
entrevistadores;
Quando feitas atravs de questionrios
auto-preenchidos, esbarram com as
dificuldades de redao da maioria das
pessoas, e mesmo com a "preguia" de
escrever.
So menos objetivas, j que o
respondente pode divagar e at mesmo
fugir do assunto;
So mais onerosas e mais demoradas
para serem analisadas que os outros
tipos de questes.

Mltipla Escolha
Facilidade de aplicao, processo
e anlise;
Facilidade e rapidez no ato de
responder;
Apresentam pouca possibilidade
de erros;
Diferentemente das dicotmicas,
trabalham com diversas
alternativas.

Exigem muito cuidado e tempo de
preparao para garantir que todas as
opes de respostas sejam oferecidas;
Se alguma alternativa importante no
foi previamente includa, fortes vises
podem ocorrer, mesmo quando esteja
sendo oferecida a alternativa "Outros.
Quais?";
O respondente pode ser influenciado
pelas alternativas apresentadas.

Dicotmicas
Rapidez e facilidade de aplicao,
processo e anlise;
Facilidade e rapidez no ato de
responder;
Menor risco de parcialidade do
entrevistador;
Apresentam pouca possibilidade
de erros;
So altamente objetivas.
Polarizao de respostas e/ou
possibilidade de forar respostas em
relao a um leque de opinies;
Podem levar a erros de medio, se o
tema foi tratado de forma dicotmica,
quando na verdade apresenta vrias
alternativas;
Dependendo de como a pergunta
feita, questes com respostas
dicotmicas so fortemente passveis
de erros sistemticos.




2.2.1 Escalas
Quando se aplica um questionrio fechado (mltipla escolha ou dicotmico) pretende-se medir aspectos
como atitudes ou opinies do pblico-alvo, e isso geralmente possvel com a utilizao de escalas. As
escalas que se utilizam podem ser de quatro tipos: escala de Likert, VAS (Visual Analogue Scales), escala
Numrica e escala Guttman.

A escala de Likert apresenta uma srie de cinco proposies, das quais o respondente deve selecionar
uma, podendo estas ser: concorda totalmente, concorda, sem opinio, discorda, discorda totalmente.
efetuada uma cotao das respostas que varia de modo consecutivo: +2, +1, 0, -1, -2 ou utilizando
pontuaes de 1 a 5. necessria ateno quando a proposio negativa. Nestes casos a pontuao
atribuda dever ser invertida.

VAS (Visual Analogue Scales) um tipo de escala que advm da escala de Likert apresentando
os mesmos objetivos, mas num formato diferente. Este tipo de escala baseia-se numa linha horizontal com
10 cm de comprimento apresentando nas extremidades duas proposies contrrias:
til Intil

O entrevistado deve responder questo assinalando na linha a posio que corresponde sua
opinio.

A Escala Numrica deriva da escala anterior na qual a linha se apresenta dividida em intervalos
regulares.

A escala de Guttman apresenta um conjunto de respostas que esto hierarquizadas. Deste modo
se um respondente concordar com uma das opes esta concordncia ir incluir todas as respostas que se
encontram numa posio inferior na escala. Se o inquirido concordar com uma opo, mas no concordar
com as anteriores, tal significar que a escala est mal construda. A cada item atribudo cotao que se
inicia em zero caso no seja escolhida nenhuma opo, um se for escolhida a primeira opo, dois se for
escolhida a segunda opo e assim sucessivamente.

2.3 Decises sobre a Formulao das Perguntas

Na formulao das perguntas devese cuidar para que as mesmas tenham o mesmo significado para o
pesquisador e para o respondente, evitandose assim um erro de medio. Sabese que a formulao tem
efeito sobre as respostas. Esse efeito pode ser avaliado comparandose os resultados em subamostras, de
perguntas formuladas de forma diferente.

conveniente fazer as seguintes recomendaes sobre a formulao das perguntas:
- Usar comunicao simples e palavras conhecidas;
- No utilizar palavras ambguas.

Evitar:
- perguntas que sugiram a resposta;
- perguntas com contedo emocional e/ou sentimento de aprovao ou reprovao;
- referncias a nomes que impliquem em aceitao ou rejeio ou tenham componente afetivo;
- alternativas implcitas;
- necessidade do respondente fazer clculos para responder;
- perguntas de dupla resposta;
- alternativas longas;
- mudanas bruscas de temas, (fazer uma ligao entre os temas);
- contgio de respostas (efeito halo);
- vises involuntrios, motivados por reao visando prestgio por parte do respondente, retraimento
defensivo diante de perguntas personalizadas e a atrao exercida pela resposta positiva.

So condicionantes das respostas:
- Busca de conformidade ao grupo;
- Tendncia de imitao social;
- Medo do julgamento do outro;
- Busca de prestgio social;
- Participao nas emoes coletivas;
- Submisso aos esteretipos culturais;
- Medo de mudanas.

Outros aspectos/questes referentes redao das perguntas:
- A pergunta pode ser mal compreendida? Contm frases ou termos difceis e/ou obscuros?
- Os termos utilizados sero bem compreendidos pelo pblico da pesquisa? Termos especializados
so usados apenas quando realmente necessrios, devendose assegurar que seu sentido se torne
claro atravs de figuras ou de outros meios.
- A sentena curta e simples? Sentenas longas e difceis tendem as ser mal compreendidas.
- Existe indefinio ou ambigidade? Qual o outro sentido que a pergunta poder ter para quem
responde?
- Enfatizar no intencionalmente uma palavra ou frase poderia mudar o sentido da pergunta?

Segundo Selltiz et al (1974) se, mesmo depois de certificar que as perguntas esto apresentadas da
maneira mais clara possvel, ainda existirem dvidas quanto compreenso, costumase incluir perguntas
de acompanhamento, do tipo: "O que voc quer dizer com isso?", Voc poderia exemplificar?". Dessa
maneira, se torna possvel verificar como o respondente entendeu a questo e o que pretendeu dizer.

- A pergunta exprime adequadamente todas as alternativas, ou mostra apenas um dos lados do
tpico em questo? Ambos devem ser citados.
- O quadro de referncia claro e uniforme para todas as pessoas que respondem?
- A pergunta deixa claro que a pessoa deve respondla baseada naquilo que pensa ser a verdade e
no naquilo que desejaria que fosse a verdade?
- A frase enviesada, ou seja, est emocionalmente carregada ou deformada para determinado tipo
de resposta?
- O que traria melhores resultados? Uma redao mais pessoal ou mais impessoal da pergunta?
- O que seria melhor? Apresentar a pergunta de maneira direta ou indireta? No h recomendaes
concretas quanto ao emprego de perguntas indiretas. Suas possibilidades e limitaes devem ser
examinadas caso a caso, de acordo com o objetivo da pesquisa. Entram em questo problemas
morais e tcnicos: saber se as inferncias pretendidas podem ser retiradas, sem prejuzo, das
provas indiretas; se tal pergunta indireta ir enviesar a resposta; se as perguntas so altamente
invasivas da intimidade etc. (Selltiz et al, 1974).

2.4 Decises sobre a seqncia das perguntas

A ordem na qual as perguntas so apresentadas pode ser crucial para o sucesso da pesquisa. No h regras
estabelecidas, mas alguns cuidados devem ser tomados. Mattar (1994) recomenda:
- Iniciar o questionrio com uma pergunta aberta e interessante (para deixar o respondente mais
vontade e assim ser mais espontneo e sincero ao responder as perguntas restantes). Iniciar com
perguntas sobre a opinio do respondente pode fazer com que se sinta prestigiado e se torne
disposto a colaborar.

O primeiro contato do respondente com o questionrio define sua vontade de respondlo ou at mesmo a
deciso de no respondlo;

- Usar temas e perguntas gerais no inicio do questionrio, deixando as perguntas especficas para
depois (fechar o foco gradualmente);
- As perguntas mais pessoais, sensveis ou embaraosas devem ser feitas somente no final do
questionrio e convm que sejam alternadas com questes simples;
- Devese adotar uma ordem lgica de perguntas utilizando um fluxograma ou rvore de deciso para
posicionar as perguntas;
- Dar uma seqncia lgica ao questionrio. Mudanas de tpicos repentinas e "ir e voltar" ao
assunto devem ser evitados;
- Informaes que classificam social, econmica ou demograficamente o respondente devem ser
colocadas no final, a no ser que alguma delas sirva como "filtro";
- Perguntas de carter mais invasivo, ou que tratem temas delicados, no devem ser colocados no
incio do questionrio e convm que sejam alternadas com questes simples;

Outra preocupao com o questionrio a de explicar as condies adequadas para o seu uso e aplicao,
tanto no caso de formulrios auto-preenchidos, quanto nos que utilizam entrevistadores. Devem ser
fornecidas aos entrevistadores instrues claras de como proceder no campo, como abordar os
respondentes, como preencher os instrumentos, etc. A seguir, so apresentados alguns pontos sobre os
quais os entrevistadores devem ser orientados.
- Proporcionar ao respondente uma situao de liberdade, em que a pessoa seja estimulada a
apresentar francamente suas opinies;
- Garantir, se for o caso, o anonimato do respondente;
- O entrevistador deve ser educado, amistoso e imparcial;
- Nunca dever mostrar surpresa ou desaprovao diante das opinies de quem responde;
- As perguntas precisam ser apresentadas da maneira exata, com as mesmas palavras que foram
propostas;
- Qualquer explicao improvisada da pergunta proibida. Em casos em que se imagine, de
antemo, que surgiro dvidas, esclarecimentos devem ser previamente elaborados;
- As perguntas devem seguir a ordem exata em que aparecem no questionrio;
- O entrevistador deve apresentar todas as perguntas, e jamais responder alguma por deduo
prpria;
- Esperase que o entrevistador registre fiel e integralmente a resposta;
- necessrio que os entrevistadores sejam orientados em relao ao processo de amostragem. Por
exemplo, como proceder em casos de recusas ou ausncias.

2.5 Decises sobre a apresentao e o layout do questionrio (caractersticas fsicas)

So pontos a serem definidos nesta fase: nmero de pginas; qualidade do papel e da impresso; tipos e
tamanho de letras; posicionamento e tamanho dos espaos entre questes; cores da tinta e do papel para as
respostas; espao para resposta de cada questo; separao de campos para facilidade de digitao
(praticamente obrigatria para se compilar as respostas e processlas em tempo reduzido); impresso em
frente e verso ou s na frente.

Tais itens so relevantes para se ganhar a colaborao dos respondentes. Quanto melhor e mais adequada
for a apresentao, maior a probabilidade de se elevar o ndice de respostas.

2.6 Decises quanto ao Prteste

importante a realizao de um prteste porque provvel que no se consiga prever todos os problemas
e/ou dvidas que podem surgir durante a aplicao do questionrio. Sem o prteste, pode haver grande
perda de tempo, dinheiro e credibilidade caso se constate algum problema grave com o questionrio j na
fase de aplicao. Nesse caso o questionrio ter que ser refeito e estaro perdidas todas as informaes j
colhidas.

Segundo Mattar (1994), os prtestes podem ser realizados inclusive nos primeiros estgios, quando o
instrumento ainda est em desenvolvimento, quando o prprio pesquisador pode realizlo, atravs de
entrevista pessoal. O prteste , segundo Goode e Hatt (1972), um ensaio geral. Cada parte do
procedimento deve ser projetada e implementada exatamente como o ser na hora efetiva da coleta de
dados. As instrues para a entrevista devem estar na formulao final, e serem obedecidas
rigorosamente, para se ver se so ou no adequadas. O questionrio deve ser apresentado na forma final e
a amostra (embora menor) deve ser obtida segundo o mesmo plano que gerar a amostra final. Os
resultados do prteste so ento tabulados para que se conheam as limitaes do instrumento. Isto
incluir a proporo de respostas do tipo "no sei", de questes difceis, ambguas e mal formuladas, a
proporo de pessoas que recusam a entrevista, bem como os comentrios feitos pelos respondentes sobre
determinadas questes.

Caso o prteste revele necessidade de muitas alteraes, o questionrio revisado dever ser ento
novamente testado. O processo ser repetido tantas vezes quantas forem necessrias, at que o
instrumento se encontre maduro, pronto para ser aplicado. De acordo com Mattar (1994), para
instrumentos que foram cuidadosamente desenvolvidos, dois ou trs prtestes costumam ser suficientes.




3. Populaes e amostras


Uma noo importante referente amostragem reconhecer que uma amostra vlida simplesmente no
o conjunto de respostas que adquirimos quando administrarmos um questionrio. Um conjunto de
respostas s uma amostra vlida, em condies estatsticas, se for obtido por um processo de amostragem
aleatrio. (Kitchenham e Pfleeger, 2002a).

3.1 Amostras e populaes
Para obter uma amostra, voc tem que comear definindo uma populao alvo. A populao alvo o
grupo ou os indivduos a quem a pesquisa se aplica. Idealmente, uma populao alvo deveria ser
representada por uma lista finita de todos seus membros. Por exemplo, quando entrevistadores pesquisam
membros do pblico sobre suas preferncias de votao, eles usam a lista eleitoral como sua lista de
populao alvo.

Uma amostra vlida um subconjunto representativo da populao alvo. A palavra crtica em nossa
definio de amostra a palavra "representante." Se no tivermos uma amostra representativa, no
podemos declarar que os resultados generalizam populao alvo. Se nossos resultados no
generalizarem, eles tm pouco valor. Assim, a principal preocupao quando amostramos uma populao
assegurar que essa amostra representativa.

3.2 Obtendo uma amostra vlida
No se pode amostrar uma populao se no pudermos especificar o que aquela populao . Nossa
avaliao inicial da populao alvo deveria surgir dos objetivos da pesquisa, no de um senso de quem
est disponvel para responder nossas perguntas. Quanto mais claros os objetivos, mais fcil ser definir
a populao alvo. A populao alvo especfica pode ser um subconjunto de uma populao maior.

freqentemente instrutivo considerar a populao alvo e procedimento de amostragem do ponto de vista
de anlise de dados. Podemos fazer isso durante o projeto do questionrio, mas tambm deveramos re-
avaliar a situao depois de qualquer pr-teste do instrumento de pesquisa. Nesse momento teremos
algumas respostas atuais, assim podemos experimentar nossos procedimentos de anlise. Precisamos
considerar se as anlises conduziro a qualquer concluso significante, em particular:

- Os resultados de anlise atendem aos objetivos de estudo?
- A populao alvo pode responder nossas perguntas de pesquisa?

3.2.1 Mtodos de Amostragem
Uma vez definida a populao alvo apropriada, devemos usar um mtodo rigoroso de amostragem. Se
quisermos fazer inferncias fortes populao alvo, necessitamos de um mtodo de amostragem
probabilstico.

So descritos a seguir uma variedade de mtodos de amostragem, probabilsticos e no-probabilsticos.

3.2.2 Mtodos de amostragem probabilsticos
Uma amostra probabilstica quando qualquer membro de uma populao alvo tem uma probabilidade
conhecida ( > 0) de ser includo na amostra. O objetivo de uma amostra probabilstica eliminar a
subjetividade e obter uma amostra que seja imparcial e representativa da populao alvo. importante
lembrar que no podemos fazer nenhuma concluso estatstica dos dados obtidos a menos que tenhamos
uma amostra probabilstica.

3.2.3 Amostra aleatria simples
Uma amostra aleatria simples quando qualquer membro da populao alvo tem a mesma
probabilidade de ser includo na amostra. H uma variedade de modos de selecionar uma amostra
aleatria de uma lista da populao. Um modo usar um gerador de nmero aleatrio para atribuir um
nmero aleatrio a cada membro da populao alvo, ordenar os membros da lista de acordo com o
nmero aleatrio e escolher os primeiros n membros da lista onde n o tamanho de amostra.

3.2.4 Amostra aleatria estratificada
Neste caso, a populao designada dividida em subgrupos chamada estratos. Cada estrato amostrado
separadamente. Estratos so usados quando ns esperamos segmentos diferentes da populao alvo para
responder diferentemente a nossas perguntas, ou quando esperamos que diferentes segmentos da
populao tivessem tamanhos diferentes. Por exemplo, ns podemos estratificar uma populao
designada em base de sexo, porque homens e mulheres geralmente respondem de forma diferente a
questionrios.

O nmero de membros selecionados de cada estrato geralmente proporcional ao tamanho do estrato. Em
uma pesquisa de engenharia de software, temos freqentemente bem menos mulheres que homens em
nossa populao alvo, assim podemos amostrar usando estratos para assegurar que temos um nmero
apropriado de respostas de mulheres.

Amostras aleatrias estratificadas so teis para populaes no-homogneas, mas elas so complicadas
para analisar do que a amostras aleatrias simples.

3.2.5 Amostragem sistemtica
Amostragem sistemtica envolve selecionar todo ensimo membro da lista de uma populao. Se a lista
aleatria, enquanto selecionar todo ensimo membro outro mtodo de se obter uma amostra aleatria
simples. Porm, se a lista no for aleatria, este procedimento pode introduzir parcialidade. Ordem no-
aleatria incluiria ordem alfabtica ou data de nascimento.

3.2.6 Amostragem baseada em agrupamento
Amostragem baseada em agrupamento o termo utilizado para questionar indivduos que pertencem a
grupos definidos. Por exemplo, podemos questionar todos os membros de um grupo familiar ou todos os
pacientes em hospitais especficos. Procedimentos de randomizao esto baseados no agrupamento, no
no indivduo. Esperamos que os membros de cada agrupamento dem respostas mais semelhantes do que
membros de agrupamentos diferentes. Quer dizer, so esperadas respostas correlatas dentro de um
agrupamento. H mtodos bem definidos para analisar dados de agrupamento, mas a anlise mais
complexa do que uma amostra aleatria simples.

3.3 Mtodos de amostragem no-probabilsticos
So criadas amostras no-probabilsticas quando os respondentes forem escolhidos porque eles so
facilmente acessveis ou os pesquisadores tm alguma justificativa por acreditar que eles so
representativos da populao. Este tipo de amostra corre o risco de ser parcial, assim perigosa para se
tirar qualquer concluso importante.

Existem trs razes para se usar amostras no-probabilsticas:

1. difcil identificar a populao alvo. Por exemplo, se quisermos inspecionar os hackers de
software, eles podem ser difceis de serem encontrados.

2. A populao designada muito especfica e de disponibilidade limitada. Por exemplo, se
quisermos inspecionar os executivos de companhias que empregam mais de 5000 engenheiros de
software, pode no ser possvel confiar em uma amostra aleatria. Podemos ser forados a
questionar apenas os executivos que esto dispostos a participar.

3. A amostra um estudo piloto, no a pesquisa final, e um grupo no aleatrio est disponvel.

3.3.1 Amostragem de convenincia
Amostragem de convenincia envolve obter respostas de pessoas que esto disponveis e dispostas a
participar. O problema principal desta abordagem que as pessoas que esto dispostas a participar podem
diferir de modo importante dos que no esto dispostos. Vemos esse tipo de amostragem particularmente
em sites da Web onde as pessoas que tm reclamaes so mais provveis de prover avaliao do que as
que esto satisfeitas com um produto ou servio.

3.3.2 Amostragem bola de neve (SnowBall)
Envolve pedir s pessoas que participam de uma pesquisa para nomear outras pessoas que estariam
dispostas a participar. A amostragem continua at que o nmero exigido de respostas seja obtido. Esta
tcnica freqentemente usada quando a populao for de difcil identificao pelos pesquisadores. Por
exemplo, poderamos esperar que os hackers de software se conheam entre si, assim se achssemos um
hacker para participar da pesquisa, poderamos lhe pedir que identificasse outros possveis participantes.

3.3.3 Amostragem de cota
Amostragem de cota a verso no-probabilstica da amostragem aleatria estratificada. A populao
alvo dividida em estratos apropriados baseados em subgrupos conhecidos (por exemplo. sexo, formao
educacional, tamanho de companhia etc.). Cada estrato amostrado (usando convenincia ou tcnicas de
bola de neve) de forma que nmero de respondentes em cada subgrupo corresponde a sua proporo na
populao.

3.3.4 Grupos de foco
Grupos de foco normalmente so formados pelos pesquisadores a partir de seus contatos pessoais. Eles
normalmente consistem em 10 a 20 pessoas que representam alguma populao. Grupos de foco so
geralmente usados em estudos piloto de pr-pesquisa.

3.4 Tamanho de amostra
Uma grande preocupao determinar um tamanho de amostra apropriado. H duas razes por que
tamanho da amostra importante. Primeira, um tamanho de amostra inadequado pode conduzir a
resultados que no so estatisticamente significantes. Em outras palavras, se o tamanho de amostra no
for bastante grande, no iremos obter uma concluso razovel e no podemos generalizar populao
alvo. Um exemplo extremo deste problema obtermos uma nica resposta; no podemos tirar nenhuma
concluso de um nico respondente. Segunda, amostragem inadequada de agrupamentos ou estratos
incapacita nossa habilidade de comparar e contrastar subconjuntos diferentes da populao.

Para determinar um tamanho de amostra adequado ou mnimo, precisamos saber quatro coisas sobre
nosso estudo:

1. O nvel alfa que pretendemos usar, onde alfa a probabilidade de um erro Tipo I (quer dizer, a
probabilidade de falsamente rejeitar a hiptese invlida). Alfa normalmente fixa em 0.05 ou
0.01.

2. O nvel de beta que ns pretendemos usar, onde beta a probabilidade de um erro Tipo II (quer
dizer, a probabilidade de falsamente aceitar a hiptese invlida). Beta normalmente fixa em
0.20. Falamos freqentemente sobre o poder de um teste ou experincia; poder calculado como
1-beta. O poder de um teste a probabilidade de aceitar corretamente a hiptese alternativa.

3. O tamanho de efeito que a diferena de resultados entre dois grupos. Por exemplo, suponha que
queremos investigar se h diferenas de pagamento entre engenheiros de software de diferentes
sexos. Poderamos pesquisar os homens e mulheres que se formaram em 1998 e perguntar qual
o salrio base deles. O tamanho de efeito a diferena entre o salrio masculino comum e o
salrio feminino comum.

4. A varincia de efeito o grau de variao dos dados dentro de um grupo. Usando o exemplo do
salrio, podemos obter a varincia de valores de salrio para os homens e para as mulheres.

Claro que, o tamanho de efeito e de varincia o que ns esperamos obter como resultado de nossa
pesquisa, assim precisamos de informao anterior para determinar um tamanho de amostra apropriado.
Podemos obter tal informao de pesquisas prvias, pesquisa piloto ou opinio de um especialista.

No caso simples de avaliar o tamanho de amostra, assumindo uma distribuio Normal para as variveis
de resposta, dois grupos com nmeros iguais em cada grupo e varincias iguais dentro do grupo, o
tamanho de amostra (por grupo) :

2
2 1
* ) (
(

o
b a
z z


onde

1
-
2
o tamanho de efeito.
a varincia padro.

z
a
a parte superior na distribuio normal padro que corresponde a . Por exemplo, z
a
= 1.96 se =
0.05.
z
b
a parte inferior na distribuio normal padro que correspondente a . z
b
= -0.84 se = 0.20.

No devemos esquecer os no respondentes quando fixarmos o tamanho da amostra. Por exemplo, se a
frmula nos fala que o tamanho de amostra tima 50, mas esperamos uma taxa de resposta de 80%,
devemos aumentar o tamanho da amostra para 63.

4. Anlise de Dados

Neste ponto, assumimos que voc j projetou e administrou a sua pesquisa e agora voc est pronto para
analisar os dados coletados. Agora abordaremos alguns assuntos gerais envolvendo analise de dados de
pesquisa. Porm, no iremos descrever como analisar todos os tipos de dados de pesquisa em detalhes,
desse modo iremos nos concentrar na discusso de alguns erros de anlise mais comuns e como evit-los.
(Kitchenham e Pfleeger, 2002c)

4.1 Validao de dados
Antes de empreender alguma anlise detalhada, deveriam ser verificadas a consistncia e a integridade
das respostas. importante ter uma poltica para controlar questionrios incoerentes ou incompletos. Se a
maioria dos respondentes atendeu a todas as perguntas, podemos tomar a deciso de rejeitar questionrios
incompletos. Porm, temos que investigar as caractersticas dos questionrios rejeitados da mesma forma
que ns investigamos no-respostas para assegurar que no introduzimos nenhuma parcialidade
sistemtica. Alternativamente, podemos achar que a maioria dos respondentes se omitiu em algumas
perguntas especficas. Neste caso, mais apropriado remover essas perguntas da anlise.

s vezes podemos usar todos os questionrios, at mesmo quando alguns esto incompletos. Neste caso,
temos tamanhos de amostra diferentes para cada pergunta que analisamos e temos que nos lembrar de
informar o tamanho de amostra atual para cada amostra estatstica. Esta aproximao satisfatria para
anlises como clculo de amostras estatsticas ou comparao de valores mdios, mas no para correlao
ou estudos de regresso. Sempre que a anlise envolve duas ou mais perguntas ao mesmo tempo,
precisamos definir um procedimento para tratar valores perdidos.

Em alguns casos, possvel usar tcnicas estatsticas para "imputar" os valores de dados perdidos (Little e
Rubin, 1987). Porm, tais tcnicas so normalmente imprprias quando a quantidade de dados perdidos
for excessiva e/ou os valores so categricos em vez de numricos.

importante para reduzir a chance de questionrios incompletos quando ns projetarmos e testamos
nossos instrumentos. Uma justificao muito forte para pesquisas de piloto poder detectar aquelas
perguntas enganosas e/ou instrues incompletas antes de realizar a pesquisa principal.

Precisamos freqentemente dividir nossas respostas em subgrupos mais homogneos antes da anlise. A
diviso normalmente baseada em informao demogrfica. Podemos comparar as respostas obtidas de
subgrupos diferentes ou simplesmente informar os resultados separadamente para cada subgrupo. Em
alguns casos, a diviso pode ser usada para aliviar alguns erros do projeto inicial.

4.2 Codificao de dados

s vezes necessrio converter dados de escalas nominais e ordinais de nomes de categoria para
contagens numricas antes de serem inseridos nos arquivos de dados. A idia da traduo no analisar
dados de escala nominais e ordinais como se eles fossem valores numricos simples. Isso realizado
porque muitos pacotes estatsticos no suportam categorias representadas por uma seqncia de
caracteres. Em muitos casos, so colocados cdigos no questionrio junto com nomes de categoria, desse
modo a codificao realizada durante o projeto ao invs de ser realizada durante anlise de dados.

Um problema de codificao mais complexo surge para perguntas abertas. Neste caso, categorias de
resposta precisam ser construdas depois que os questionrios forem devolvidos. Identificar se duas
respostas diferentes so equivalentes ou no exige percia humana. Nesses casos, sbio pedir a vrias
pessoas diferentes que codifiquem respostas e compararem os resultados, de forma que a parcialidade
no seja introduzida pela categorizao.




4.3 Anlise de dados padro
A anlise de dados especfica, que voc precisa, depende do projeto de pesquisa e o tipo de escala de
respostas (nominal, ordinal, intervalar, etc.). As estatsticas de populao mais comuns para valores
numricos so:

Populao Total:
=
=
N
i
i T
X X
1


Media da Populao:

=
=
N
i
i
N X X
1
^
/ ) (

Varincia da Populao:

= N X X
i x
/ ) (
^
2
o


onde N o tamanho da populao.

Para variveis de dicotmicas (Sim/No ou 0/1), as estatsticas de populao mais comuns so:

Proporo:
=
=
N
i
i Y
N Y P
1
/ ) (


Varincia de uma proporo:
) 1 (
2
Y Y Y
P P = o


onde Y
i
uma varivel dicotmica que leva o valor 1 ou 0 e N o tamanho da populao.

Se tivermos uma amostra aleatria de tamanho n obtida de uma populao de tamanho N, podemos
calcular as estatsticas de populao de nossa amostra utilizando as seguintes equaes:

Total:
|
|
.
|

\
|
=

=
n
x N
X
n
i
i
T
1
^


Mdia:
n x x
n
i
i
/
1
|
.
|

\
|
=

=


Varincia:
( )
2 2
1
x x
s
N
N
|
.
|

\
|
= o
onde:
( ) ( )( ) 1 /
1
2
2
=

=
n x x s
n
i
i x


O erro padro da estimativa do total :
N
n N
n
s
N
x

|
.
|

\
|



O erro padro da estimativa da mdia :
N
n N
n
s
x

|
.
|

\
|

Para a proporo
n
y
P
n
i
i
Y

=
=
1
^
e o erro padro da estimativa da proporo :
( )
1
1

n
P P
N
n N
y y



Estas podem no ser as frmulas que voc estaria esperando ao ler um livro bsico em estatstica e
anlise de dados. Os erros padres incluem o termo
( ) N n N /
que ser chamado de correo de
populao finita (fpc)(Levy e Lemeshow, 1999). O fpc pode ser re-escrito como
) / ( 1 N n
onde se
pode observar que se N tender ao infinito, o fpc se aproxima de 1 e as frmulas de erros padro se
aproxima das frmulas habituais. Se n = N, as condies de erro padro so zero porque os valores da
mdia, total e de proporo so conhecidos e portanto no sujeito a erro.

Nota. A equao que ns demos por determinar tamanho de amostra ignora o fpc, e se usada como est
resultar em um resultado sobreestimado do tamanho de amostra exigida. Porm, melhor para ter mais
do que menos em uma amostra.

4.4 Analisando dados ordinais e nominais
A anlise de dados numricos relativamente direta. Porm, h problemas adicionais se seus dados forem
ordinais ou nominais.

4.4.1 Dados ordinais

Um grande nmero de pesquisas solicita que as pessoas respondam a perguntas numa escala ordinal. Por
exemplo, so pedidos aos respondentes que especifiquem at que ponto eles concordam com uma
determinada declarao. Aos respondentes so oferecidas as seguintes opes: concordo totalmente,
concordo, no concordo nem discordo, discordo ou discordo totalmente. uma prtica comum converter
a escala ordinal em um valor numrico correspondente (por exemplo: nmeros 1 a 5) e analisar os dados
como se eles fossem dados numricos simples. H ocasies em que essa abordagem razovel, mas viola
as regras matemticas para a anlise de dados ordinais. Usando uma converso de ordinal para vnculos
numricos um risco que anlise subseqente dar resultados enganosos.

Figura 1 representa uma pesquisa com trs perguntas, cada uma com uma escala ordinal de 5 opes de
resposta (rotuladas SP1, SP2, SP3, SP4, SP5) onde temos 100 respondentes. A Figura 3 apresenta as
respostas relacionadas a cada ponto da escala; por exemplo, para pergunta 1, os respondentes escolheram
SP1 10 vezes, SP2 20 vezes, SP3 40 vezes, SP4 20 vezes e SP5 10 vezes. Se convertemos o que a escala
aponta para um equivalente numrico (de 1 a 5) e determinar o valor mdio, chegaremos a uma mdia
igual a 3 para todas as trs perguntas. Porm, no podemos concluir que todas as respostas so
equivalentes. No caso da pergunta 1, temos uma distribuio simtrica com um nico pico. Isso pode ser
considerado como prximo de uma distribuio Normal com um valor mdio de 3. No caso de pergunta
2, temos uma distribuio bimodal. Para distribuies de bimodal, os dados no so Normais. Alm disso,
no h nenhuma tendncia central, assim a mdia no uma estatstica til. No caso da terceira pergunta,
temos um nmero igual de respostas em cada categoria, tpico de uma distribuio uniforme. Uma
distribuio uniforme no tem nenhuma tendncia central, e novamente o conceito de mdia no til.


Figura 3 - Respostas a trs perguntas com uma escala ordinal de 5 pontos

Em geral, se os dados possurem um nico pico e se aproximarem de uma Normal, os riscos de uma
anlise incorreta so baixos se convertermos em valores numricos. Porm, devemos considerar se tal
converso necessria. H trs abordagens que podem ser usadas se quisermos evitar violaes de escala:
1. Podemos usar as propriedades da distribuio multinomial para calcular a proporo da
populao em cada categoria e ento determinar o erro padro da estimativa.

2. Podemos talvez converter uma escala ordinal em uma varivel dicotmica. Por exemplo, se
estamos interessados em comparar se a proporo de quem concorda ou concorda totalmente
maior em um grupo que outro, podemos re-codificar nossas respostas em uma varivel
dicotmica (por exemplo, podemos codificar "concordo totalmente" ou "concordo" como 1 e
todas as outras respostas como 0) e usar as propriedades da distribuio binomial. Essa tcnica
tambm til se quisermos avaliar o impacto de outras variveis em uma varivel de escala
ordinal.

3. Podemos usar a correlao de postos de Spearman ou o tau de Kendall (Siegel e Castellan, 1998)
para medir a associao entre variveis de escala ordinal.

H duas ocasies onde no h nenhuma alternativa real a violaes de escala:

1. Se quisermos avaliar a confiana de nosso instrumento de pesquisa usando a estatstica de alfa de
Cronbach (Cronbach, 1951).

2. Se quisermos adicionar conjuntamente medidas de escala ordinais de variveis relacionadas, para gerar
contagens totais para um conceito.

Porm, em ambos os casos, se no tivermos uma resposta prxima de uma Normal, os resultados da
analise dos dados podem estar errados. importante entender o tipo de escala utilizado em nossos dados
e analis-los adequadamente.

4.4.2 Dados nominais

A forma mais comum de anlise aplicada a dados nominais determinar a proporo de respostas em
cada categoria. Assim, a menos que haja s duas categorias, no h nenhuma escolha exceto o uso das
propriedades da distribuio multinomial (ou possivelmente o hipergeomtrico) para determinar erros
padres das propores. Porm, ainda possvel usar tabelas multi-modo (multi-way) mesas e testes chi-
quadrados para medir associaes entre variveis de escalas nominais (veja (Siegel e Castellan, 1998),
Seo 9.1).

5. Concluses

Espera-se que ao longo deste trabalho o leitor tenha compreendido a importncia do planejamento na
realizao de um questionrio. Todas as indagaes quanto ao contedo, forma, redao e seqncia
devem ser feitas para cada questo. Esse planejamento no se limita ao desenvolvimento das questes,
mas tambm a realizao de pr-testes, determinao da populao alvo e da amostra, e analise dos
dados. Tudo isso deve ser realizado antes de se questionar toda a amostra com o propsito de no perder
todo trabalho empenhado.

6. Referncias

AAKER, ET AL (2001) Marketing Research (7th Ed.), New York: John Wiley & Sons, Inc

CRONBACH, L. J. (1951) Coefficient alpha and internal structure of tests, Psychometrika, 16(2), pp.
297-334.

GOODE, Willian J.; HATT, Paul K. (1972) Mtodos em Pesquisa Social. 4a ed. So Paulo: Nacional.

KITCHENHAM, B. and PFLEEGER, S. (2002a). Principles of survey research: part 2: designing a
survey. ACM SIGSOFT Software Engineering Notes, 27(1):4445.

KITCHENHAM, B. and PFLEEGER, S. (2002c).Principles of survey research: part 6: data analysis.
ACM SIGSOFT Software Engineering Notes, 28(2):2427.

LEVY, P. S. and LEMESHOW, S. (1999) Sampling and Populations, Third Edition, Wiley Series in
Probability and Statistics, John Wiley & Sons, New York.

LITTLE, R. J. A. and RUBIN, D. B. (1987) Statistical Analysis with Missing Data, Wiley, New York.

MATTAR, F. N. (1994) Pesquisa de marketing: metodologia, planejamento, execuo e anlise, 2a. ed.
So Paulo: Atlas, 2v., v.2.

SELLTIZ, Claire et al. (1974) Mtodos de pesquisa nas relaes sociais. 3 a . ed. So Paulo: E.P.U.

SIEGEL, S. and CASTELLAN, N. J (1998) Nonparametric Statistics for the Behavioral Sciences, 2nd
Edition, McGraw-Hill Book Company, N.Y.