Questions to Ask When Evaluating Qualitative Research: 

General Questions: 

• What is the purpose of the study? (exploration, description, explanation or a 
combination?) 
• What motivated the study? 
• What’s the research question? 
• What new information does the study provide? 
Methodology Questions: 

• Is the methodology used appropriate for the research question? 
• What is the unit of analysis? 
o Are the conclusions appropriate for the unit of analysis. For example, did the 
researcher set out to understand cities as the unit of analysis, and wound up 
making conclusions about individuals instead? 
• What are some of the concepts being studied? 
• What indicators have been chosen to measure the concepts? 

Sampling Techniques: 
• What population does the researcher want to make conclusions about? 
• Is a random sample appropriate or feasible? 
• What specific sampling techniques did the researcher use? (purposive sampling, cluster 
sampling etc.) 
• How large of a sample was selected? 
• Ultimately, do the study participants (or other unit of analysis) represent the larger 
population?  
• Were subjects selected in a way that provided a broad and rich overview of the subject 
matter? 
• Did the researcher pay attention to deviant or non‐conforming cases? 

Survey Research: 

• What is the purpose of the survey? (preliminary data, larger study etc.) 
• Does the study stand up to all relevant questions regarding sampling? 
• What questions were asked of respondents? 
• What was the precise wording of the questions? 
• If closed‐ended questions were asked, were the answer categories appropriate, 
exhaustive and inclusive? 
• Are all the questions clear? Could they have been misinterpreted? 
• Were there any bias issues in the questions? 
• Were the respondents capable of answering all the questions? 
Field Research and Interviews: 

• Has the researcher set out to test hypotheses or to generate new theory from the 
observations? 
• What did the researcher focus on observing? Does that match the research question? 
 • How reliable are the observations? Would another researcher observe and classify events 
in a similar way? 
• Are there any problems of validity? 
• How much can the study’s findings be generalized to a broader sector of society? What 
claims does the researcher make in this regard? 
• How much did the researcher participate in the events being studied? How much might 
that have effected the events themselves? 
• Did the research reveal his/her identity? What influence would that have had? 
• If people were interviewed, how were selected? Do they represent all possible types? 
• What kinds of questions were asked of the interviewees?  
o Were they appropriate for the research question?  
o Did they contain any biases? 
• Does the researcher indicate any personal feelings—positive or negative—about the 
observations? If so, what effect might that have had on the research and conclusions? 
• How has the researcher’s own cultural identity and background affected the 
interpretations of what was observed? 

Content analysis: 
• What are the key variables (categories and themes) in the analysis? Are the appropriate 
for the research question? 
• What is the source and form of data being analyzed? Is it appropriate for the research 
question? 
• What was the sampling technique used? 
• What is the unit of analysis? 
• Is the time frame of the data appropriate for the research question? 
• Has an appropriate range of data been examined? 
• Are the researcher’s conclusions logically consistent with the data presented? 
Data analysis: 
• Did the purpose and design of the study call for quantitative or qualitative analysis (or 
some of each)? 
• How was coding completed? 
• Were the codes generated from the data, or taken from other research? 
• Has the researcher undertaken all relevant analyses? Have all appropriate variables and 
themes been examined? 
• Are there any causal relationships? Are there possible intervening variables in these 
relationships? 
• Does a particular research finding help to answer the research question? 
• Has the researcher gone beyond the actual findings to draw conclusions? 
• Are there logical flaws in the analysis and interpretation of data? 
• Has the study revealed new patterns of relationships, or new understandings of 
processes?  
• Has the researcher looked for disconfirming cases that would challenge their findings?