Dr.

 Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Introduction: Judging for Ourselves 
It’s too bad that we don’t celebrate, “Thank A Scientist Day”. After all, we get to enjoy the benefits of 
thousands of scientific advances every day. Once‐dreaded communicable diseases like polio and 
smallpox are now relegated to the history books. We have immense knowledge available at our 
fingertips and the technology to adapt our world to our needs. Thanks is well‐deserved, but perhaps 
what would be more beneficial is to seriously consider the price we should pay for this technology – 
increased responsibility as stewards for our own health as well as the health of our environment. From 
deforestation and over‐fishing to climate change, humanity has contributed to a host of environmental 
issues, and it’s time we started addressing them. Scientific advances and knowledge can inform our 
choices, but we must also grapple with the ethical and moral uses of science. This chapter is designed to 
help you consider the scientific information that is available to you, consider the methods used to 
generate that knowledge, and evaluate its quality and trustworthiness so that you can use it to make 
these decisions. 
 
Section 1.1 Making Sense of Scientific News 
Learning Objectives:  
1. Describe characteristics common to science that help distinguish science from other endeavors. 
2. Explain how hypotheses are generated and what distinguishes a hypothesis from a guess or a 
theory. 
At a fundamental level, scientific findings should be able to help us make personal decisions about our 
own lives. Whether we choose to use that knowledge, well, that’s another matter. The average 
American doesn’t seem to be choosing to use scientific evidence very well, certainly as far as our health 
is concerned. After all, 20% of Americans still smoke cigarettes, more than 30% of Americans are 
obese, and 70% of Americans don’t get regular exercise. These are all personal choices, though, made 
with full knowledge of the consequences, right? And, how can we really know what the outcome of our 
actions will be? That’s where science and scientific research are supposed to be helping us.  
 
What is science?  
The biggest challenge that we may have as consumers of scientific information is that the status of 
scientific knowledge is tentative, meaning it changes. Not only does the information change, but the 
methods for gathering information and thus the conclusions made from that information change as 
well. Let’s consider how the scientific view of obesity has changed over time. For thousands of years, 
humans existed in an environment where famine and malnutrition were common, and obesity was a 
desirable state that few could aspire to. Over the past 200 years, the large‐scale use of technology led 
to increases in our food supply. Public health improved as a result, and human height, weight, and 
lifespans have subsequently increased.  
 
Scientific knowledge relies heavily on observations of the natural world. In the case of human weight, 
observations and data collected from new industries brought a different perspective to the issue. In 
particular, financial researchers working for life insurance companies in the end of the 19th century 
began studying factors that influenced human longevity. Insurance companies wanted to make sure 
that they took in more money from policy‐holders than they would have to eventually pay out when 
they died. In order to do this, they needed to be able to predict how long a policy‐holder would live. 
Much of the early data on the hazards of obesity came from these observational studies conducted by 
actuarial researchers. They found that people who died younger were more likely to have certain 

1

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

characteristics, parents who died young, high blood pressure, as well as being under or overweight 
(depending on age).  
 
From this information, physicians began to infer that being extremely overweight would lead to 
premature death as an explanation for what that they saw in the data. From this, scientists and 
physicians began to make hypotheses to explain these observations. A hypothesis is an initial 
explanation for a scientific problem based on the existing knowledge of that problem. It is well 
informed by knowledge already, so it is not a guess. Rather, it is a useful way to clarify the exact nature 
of the question so that it can then be further addressed with more observations and/or experimental 
evidence. For a hypothesis to be useful, it should be testable, meaning it is feasible to collect relevant 
information. Another confusing term that is peculiar to science is the word theory. In science, a theory 
is not how we describe something we have a guess about. Instead theories are explanations of the 
world based on enough accumulated evidence that they are universally accepted. One piece of 
contradictory evidence, if confirmed, is enough to overturn a theory. How would one go about 
collecting that evidence, that’s where methods come in. 
 
Obviously, science is not just a series of facts, nor does it use one single method to investigate 
phenomenon. Instead, scientists use a variety of methods to seek answers to questions. As we saw 
from the actuarial data on obesity, this method may involve observation and investigations of 
correlations (trends in which some characteristic seems to be often present, such as obesity and 
shorter life spans.) In the case of obesity in humans, when the initial observations were more carefully 
examined, these correlations were found to hide additional factors, known as confounds. For example, 
many of the early deaths of underweight people in the 19th century were because they suffered from 
wasting diseases like Tuberculosis (TB) infections. Having TB caused people to be thin, and TB also 
shortened their lives. Researchers will often say, “Correlation does not equal causation,” and scientists 
began looking more carefully at the observational data for these type of confounds. Experimentation is 
another common method to test hypotheses. The results of experiments can support a hypothesis 
rather than being described as proving hypotheses (often confusing the science consumer who just 
wants to know what they should do with the results.) 
What is Not Science? 
There is an enormous amount of news out there that sounds scientific. But, how can the average person 
identify trustworthy information from information best relegated in the junk folder. Think about the 
aspects of science that we listed earlier. We mentioned that science is tentative, based on observations 
about the natural world from which researchers can begin making inferences and constructing 
hypotheses that can be addressed by further observation or experimentation. Scientific questions can 
be tested. They are NOT based on assumptions, beliefs, and correlations unsupported by evidence or 
experimentation. Scientific investigations are meant to be duplicated so the methods are clearly 
described so that the results can be corroborated by other researchers. As we mentioned, the methods 
often help quantify relationships and often clearly investigate the underlying mechanisms that are 
responsible for an observation. 
Section 1.2 Features of a Scientific Argument 
Learning Objectives: 
1. Recognize the parts of an argument (claims, evidence, and warrants). 
2. Critique arguments and identify flaws in reasoning. 
 

2

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Let’s consider how science has been used in an interesting argument surrounding obesity and public 
health in the news. In this case, the argument is over large sweetened beverages and their role in 
obesity. According to New York City’s Mayor Michael Bloomberg, the crippling costs associated with 
diabetes and heart disease (often associated with obesity) have converted what was once an issue of 
private choice (your right to suck down a 32 oz. Coke with its ½ a cup of sugar) into one that involves 
public health. In response to this public health crisis, his administration has introduced a measure to 
ban the sales of large‐sized sweetened beverages. In the future, if you want to purchase a Big Gulp in 
NY City, you are going to have to make it “diet”.  
 
Interestingly, Harvard biologist Daniel Lieberman, who studies how evolutionary insights can be used 
to prevent illnesses, agrees with Bloomberg’s type of coercive action. Obesity is a biological issue, he 
argues, that requires an evolutionary perspective to solve. We evolved in a world where caloric‐rich 
sugar was in short supply. Sugar was such a great source of valuable calories, Lieberman argues, that 
having a sweet tooth was beneficial to our hunter‐gather ancestors. “Simply put, humans evolved to 
crave sugar, store it and then use it,” Lieberman writes. In essence, we retain stone‐aged cravings 
trapped in a space‐aged pudgy package. We can blame that package on the modern convenience store 
that we just aren’t designed to resist. These artificial regulations, Lieberman believes, are just the ticket 
to put humans back in balance now that we have removed the natural selective forces that shaped our 
genes for millions of years.1  
 
In terms of coercion, we can imagine several different initiatives that might nudge us to make healthier 
decisions to replace the natural pressures that we’ve lost. These include penalties like Mayor 
Bloomberg’s ban on sugary beverages as well as financial incentives like the program he started in 2006 
to provide conditional cash transfers to families of at‐risk youngsters to encourage them to engage in 
healthy behaviors like staying in school. If you were having a hard time quitting smoking, would you 
benefit from incentives to snuff out that butt? On the other hand, what if you had to pay higher 
premium on your health insurance if you failed to stay away from cigarettes? Several health care groups 
have begun to test these strategies. Just in time, too, since employers will even be allowed to offer 
rewards or exact penalties in higher premiums as part of the Affordable Health Care Act of 2010.  
 
Let’s use this incentives issue to tease apart the scientific argument behind these initiatives. You may 
have experienced an incentives or penalty program yourself if you have ever contracted a gym 
membership. Researchers wondered if signing up for a membership would encourage greater use of the 
gym and thus save money compared to people who had to pay a fixed cost per visit. Economists 
Stefano Della Vigna and Ulrike Malmendier conducted an observational study in which they examined 
data from attendance and enrollment decisions for U.S. health clubs2. We can use Stephen Toulmin’s3 
model for making and evaluating arguments to tease apart the aspects of their findings. 
 
Parts of an Argument: 
Claims are the statements that you are asking another person to accept. In the example of Della Vigna 
and Malmendier’s study on gym membership and exercise, the claim might be that people who pay 
ahead of time for unlimited access to the gym would actually use the gym more and so pay less per visit 
than people who had to pay for each individual visit. This claim should be stated as an unambiguous 
statement with all the aspects of a hypothesis. You can tell from the title of Della Vigna and 

1
Daniel Lieberman, (2012) “Evolution’s Sweet Tooth” NY Times June 5, 2012.
2
Della Vigna and Malmendiet (2006) “Paying Not to Go to the Gym.” American Economic Review, 96(3), 694-719.
3
Stephen Toulmin (1969) The Uses of Argument, Cambridge, England: Cambridge University Press.

3

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Malmendier’s research paper, “Paying Not to Go to the Gym,” that they found the opposite: people 
overestimated their likelihood of going to the gym, paying more and attending less than if they had just 
paid individually for each visit rather than buying unlimited access. 
 
Evidence provides the grounds for someone to accept your claim. In “Paying Not to Go to the Gym” the 
researchers provided numerical evidence –data from 7,752 members at three large U.S. Health Clubs 
over three years. This data was interpreted and explained by the researchers and included attendance 
rates for each gym member and average monthly and per visit fees. The researchers interpreted the 
evidence by describing that members paid an average of $70 per month for their contract. Members 
actually only attended 4.3 times a month, so their average visit to the gym cost them substantially 
more ($17) than if they just paid ($10) for each visit.  
 
Warrant statements provide justification that shows the claim is valid (a good one) and some 
explanation of why the evidence supports the claim. These warrants can include several different 
aspects that all support the claim but they should all include a description of how the data that are 
presented relate to the claim that is made. In the “Paying Not to Go to the Gym” study the 
researchers collected data on actual attendance rather than just surveying people at random about how 
many times they went to the gym that month. Warrant statements also need to include rigorous 
methods. In this study, the researchers collected data from a large number of members from three 
different gyms rather than just one; they also collected data over a 3‐4 year period to insure that they 
weren’t reporting anomalies that were simply due to things like special promotions. They compared 
attendance over different months of the year at each club as well as the methods the staff at the health 
clubs used to measure attendance to insure they were accurate. They also compared the gender ratios, 
ages, and frequency of corporate members or students at each club. Warrant statements also need to 
include a description of the quality of the source of the information (where it came from, who did the 
work, who paid for the study, etc.) Della Vigna is a professor of economics at U.C Berkeley and 
Malmendier a graduate student at Stanford.  Their paper was published in an academic journal, 
American Economic Review, one of the oldest and most respected journals in economics. The journal 
uses peer‐review in which experts in the field critically reviewed the methods and conclusions before 
publication.  
 
All aspects of arguments should be evaluated when you are considering whether to trust a scientific 
source. In the next section, we will analyze the types of sources that you will encounter. We will 
consider the motivation and perspective of the researchers as well as how corroboration and similarity 
of evidence presented come into play in judging the trustworthiness of a source.  
 
Section 1.3 Sources of Evidence: Where to find trustworthy information. 
Learning Objectives: 
1. Distinguish between the types of sources of information used to communicate scientific findings.  
2. Compare and contrast the reporting of science in the popular press and scientific journals.  
The Internet ensures that we have millions of facts and studies at our fingertips, but we must confirm 
that we can both understand as well as judge the quality of the evidence we find. If you are like the 
average American, you probably access the information equivalent of 100,000 words each day. When 
asked where they go to find assistance of information dealing with a health or medical issue, 86% of 
American adults will ask a health professional, but 57% of those adults look online for that information. 
But, would you say you were able to distinguish between reliable information and misinformation? How 

4

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

would you decide which conflicting finding to trust? Findings are necessarily abbreviated and 
incompletely explained by the news media. Just considering our example of paying for good behavior 
like quitting smoking or losing weight, we can find conflicting information from a variety of sources.  
We will first investigate the types of sources, and then you can practice your skills recognizing these 
types of sources and evaluating sources that you find online. 
 
Types of Sources 
There are three major types of sources that you will encounter in your Internet searches: Primary, 
Secondary, and Tertiary Sources. Let’s start with the one you are most familiar with, tertiary sources.  
Tertiary Sources: Articles in the news or from popular magazine are known as tertiary sources because 
their information is thrice removed from the original source. Instead of being written by the researcher, 
these media reports are written by identified journalists – not posted anonymously. These media 
reports rarely contain complete citations or references with names of all researchers and exact source 
of publication but will usually report the names of primary researchers and often refer to the publisher. 
Tertiary sources can also include Government warnings such as consumer updates often posted to U.S. 
Department of Health and Human Services Websites.  Encyclopedia entries such as Wikipedia that 
contain some citations and references are another example of tertiary sources. It is important to 
remember with Encyclopedic entries that the content of the article may or may not have been fact 
checked.  
 
An example of a tertiary source that describes the issue of incentivizing good health behaviors is from 
Lenny Bernstein of the Washington Post, 10/06/2011. “Do programs that pay people to lost weight 
really work?”   
Bernstein writes,  
“What if someone would pay you to lose weight? Not a token amount from your meddling fitness freak brother‐
in‐law, but serious cash, say $10,000? Would you try it? 
But what if you had to put some skin in the game, 60 of your hard‐earned dollars for the chance to win that 
$10,000 or smaller prizes of $5,000 and $3,000? 
And what if you had to do this at the office, with a team of co‐workers who would monitor your progress, or lack 
thereof, and whose chances at a payoff depended on you? Deal breaker or motivator? 
As you might have guessed, such elaborate wagers are underway at companies across the country, perhaps the 
most innovative variation in the growing trend of offering overweight Americans — and those with other 
unhealthful habits, such as smoking and drug use — financial incentives to change.4 
 
Bernstein then proceeds to describe financial businesses like websites that arrange competitions for 
employers as well as individuals. His writing is humorous, with lots of personal quotes. He does describe 
research studies conducted by behavioral economists and statements from the spokesperson for the 
American Dietetic Association. But, he presents them as a broad range of viewpoints in a medium that 
is easy for the average person to understand. This is a great place to start, but if we really wanted to 
know more about the exact studies conducted, we’d have to go back to our search engine. 
 
Secondary sources: Very often, media articles will mention something called reviews. These reviews, 
called secondary sources, are often written by experts in the field and are designed to provide a 
summary of the state of current research studies about the topic. As such, they contain descriptions of 
all the original research conducted. They also provide all references in complete form so that the reader 
can identify who did the research as well as when, where, and how the research was conducted. These 

4
 http://www.washingtonpost.com/lifestyle/wellness/do‐programs‐that‐pay‐people‐to‐lose‐weight‐really‐
work/2011/10/06/gIQAiIABbL_print.html 

5

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

review articles can appear in academic journals or they can also appear in online journals or from 
government agencies. But, in all cases they will have been critiqued by experts in the field for accuracy 
(called peer‐review). Imagine these review articles are an opportunity to sit down with an expert in the 
field and ask them which studies they find most important and why. They will give you all the details 
you want, but often they give you more than you can understand. 
 
In the case of our incentives for weight loss, we might find the excellent secondary source in the review 
published in Obesity Reviews by researchers Paul‐Ebhohimhen and Avenell at the University of 
Aberdeen in the United Kingdom. Obesity Reviews is not the type of magazine you’ll find on the coffee 
table at the dentist’s office, and it won’t come up in your average Google search. However, if you use 
google scholar with the search term: “review of use of financial incentives in treatments of obesity”, it’ll 
be your first hit. 
 
Drs. Paul‐Ebhohimhen and Avenell describe an exhaustive search they conducted to find any and all 
research on their topic and then summarized their findings, 
“Results from meta‐analysis showed no significant effect of use of financial incentives on weight loss or 
maintenance at 12 months and 18 months.5 
Granted, this account is not as easy to digest as the media report, but it doesn’t have the same hype 
attached to it. These authors conducted a careful analysis of published research projects, but they did 
not repeat them. They received no financial incentives for writing the article and so they don’t have a 
particular reason to present one side of the story in a favorable light. They also evaluated the methods 
that were used in the original research projects, also known as primary sources. 
 
Primary sources: These sources consist of research studies performed, written, and then submitted for 
peer‐review to a scientific journal. These studies build upon and include references to previous research 
studies. They also include original data in the form of graphs or data tables. 
 
For our incentives for weight loss example, Dr. Kevin Volpp and colleagues at the Center for Health 
Equity Research and Promotion, Philadelphia Veterans Affairs Medical Center, Philadelphia published 
an original research study in 2008. This research followed 57 obese people assigned to three different 
treatment conditions over the course of 16 weeks.6 They found that participants lost the most weight if 
they contributed 0.01 to $3.00 a day into a deposit account that they could only collect if they kept the 
weight off by the end of the month. It is not surprising that his method worked better than control 
participants given a scale and a one‐hour consultation. It was interesting to note that the collection 
group also lost more weight than participants who were given the scale and consultation but with the 
incentive of wiring money in a daily lottery if their weight stayed at or below their goal. 
 
So, you can see that often finding an original research study can be very like following a trail of 
breadcrumbs. You start with the easy media articles then continue to find the heart of the information 
in an exhaustive review that explains each of the original research studies that provided data for the 
story. 
 
 

5
 Paul‐Ebhohimhen, V. V., & Avenell, A. A. (2008). Systematic review of the use of financial incentives in treatments for obesity and 
overweight. Obesity Reviews, 9(4), 355‐367. doi:10.1111/j.1467‐789X.2007.00409.x 
6
 Volpp KG, John LK, Troxel AB, Norton L, Fassbender J, Loewenstein G. Financial incentive–based approaches for weight lossa randomized 
trial. JAMA. 2008;300(22):2631‐2637. 

6

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Section 1.4 Evaluating Sources of Evidence 
Learning Objectives: 
1. List and describe the questions you should ask when evaluating sources of information that you 
find. 
2. Identify and evaluate valid sources of scientific information that provide evidence for or against the 
claim. 
There are clearly a variety of sources of information that can be used as evidence to support or refute 
claims (as you can see from the last section.) When you encounter a news item on a new science 
finding, you may be curious to find out more online. Doing an Internet search can bring up many 
websites, but how do you know which sites are best in helping you make a decision?  
There are several things to consider in evaluating the reliability of sources. How current and reliable is 
the information? How well does the source explain the information? Who is the author? And, what is 
the motivation behind presenting information on the site? These will all be important questions to ask 
yourself when you evaluate a source. 
 
Testing the Reliability of Sources – the C.R.A.P. Test 
Below are some ideas to help you answer these questions about the sources you find. We will be using 
the easy to remember acronym (C.R.A.P. test) because that’s what we want to avoid. 

 (Currency) 
1) One of the easiest things you can think about is how recently the work was conducted. If you 
find a source from 20 years ago, additional research may have been conducted in the 
meantime. It is always a good idea to see if any of the original ideas have changed over that 
time by reviewing some more current sources. For websites it may be a bit tricky to find when 
the information was last updated. Often the webmaster will include the information or a 
copyright on the bottom of the web page, but if they don’t you can try typing, 
“javascript:alert(document.lastModified)” into the browser window and a pop‐up will come up 
with the last time the page was updated. 

 (Reliability) 
2) Is scientific evidence given to support the claims?  Remember that personal opinion, beliefs, or 
anecdotes are not considered part of science.  Instead, evidence needs to be reported that 
supports the claims. It is helpful if informed researchers  have also evaluated the evidence, and 
that other scientific studies are cited. 
3) Is there similar information given across reliable sources? If multiple sites or authors give the 
same information, it is more likely to be accurate than if the sites or authors disagree. But, 
make sure that the source isn’t omitting facts that other reliable sources mention, and consider 
the affiliations of the researchers to determine if they are trustworthy.  
4) How well is the information explained in the source? Ask yourself if you can understand what 
the authors are describing and if this explanation fits with what you already know from other 
reliable sites.  

 
 

7

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

 (Authority) Who is the author? 
5) Who is providing this information? Does the author have the credentials and knowledge to 
provide reliable information? Check on the background and expertise of the author and ask 
yourself if they have the appropriate training and job experience. Sometimes you can tell this 
from the institution with which the page or author is affiliated (e.g., National Institute of 
Health, Fitness Centers Incorporated). Affiliation is sometimes shown in a logo or copyright 
statement on the page. Finally, the URL (web address) for a site lets you know whether the site 
is a profit making operation (.com), and educational institution (.edu), a government sponsored 
site (.gov) or an organization, usually non‐profit (.org) or (.net). 

 (Purpose)  
6) What is the motivation for providing this information? Do you think the source has an ulterior 
motive? If you think that they have a specific political agenda, are trying to sell you something, 
or are eliciting donations it might not benefit them to provide the whole story. As you read the 
source, make sure to examine information provided about the author to figure out their 
motivations and possible biases as well as the intended audience. 

Section 1.5: Elements of research design and how they impact scientific findings 
 
Learning Objectives 
1. Describe the features of a controlled experiment (controls, Independent and dependent 
variables). 
2. Explain why researchers want to use larger sample sizes or random selection of participants in 
their studies. 
3. Explain how the presence of confounds can limit the conclusions of a research study. 
4. Identify aspects of research methods that can negatively affect the strength of the conclusions 
made from data from a scientific study. 
As you collect evidence to support your claim, you may notice important differences even among the 
primary research studies that you read.  In fact, the strength of the evidence provided by the findings in 
a research study depends largely on the methods used to conduct the study. Though you might find 
evidence from qualified sources, it doesn’t necessarily mean that evidence is strong. Expert evaluators 
are supposed to examine the studies carefully to insure that the methods are rigorous enough to 
eliminate additional factors that could confuse the issue and make it difficult to tell if the conclusions 
are accurate. We’ll put some more details into the rigorous methods that were discussed as one type of 
warrant statement that we mentioned in section 1.1. 
Let’s consider an excerpt from the secondary source (review article) that we mentioned in the last 
section. In the Paul‐Ebhohimhen and Avenell study7 in Obesity Reviews the authors describe the criteria 
that they used to choose studies with high‐quality methods: 
“Nine studies met the criteria for inclusion in this systematic review of randomized controlled trials of treatments 
for obesity and overweight involving the use of financial incentives, with reported follow‐up of at least 1 year. All 
included trials were of behavioural obesity treatments. Justification of sample size and blinding procedure were 

7
 Paul‐Ebhohimhen, V. V., & Avenell, A. A. (2008). Systematic review of the use of financial incentives in treatments for obesity and 
overweight. Obesity Reviews, 9(4), 355‐367. doi:10.1111/j.1467‐789X.2007.00409.x 

8

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

not mentioned in any study. Attrition was well described in three studies and no study was analysed on an 
intention to treat basis. Participants were mostly women recruited through media advertisements. Mean age 
ranged from 35.7 to 52.8 years, and mean body mass index from 29.3 to 31.8 kg m‐2.”  
 
Although it is confusing and dense, the authors clearly describe the qualifications they looked for in 
determining useful studies (using words like randomized and controlled trials). They also describe how 
the participants were recruited and the type of participant found in the studies (mostly middle‐aged 
women with a BMI that would classify them as obese (>30kg/m2). Finally, sample size and something 
called blinding procedures and attrition are mentioned. The casual reader could probably benefit from a 
little more description of these terms as well as why they are so important. 
 
Variables and Controls in Experimental Research 
All the studies mentioned above were experiments designed to test whether giving people financial 
incentives would help them lose weight. Financial incentives in this case would be considered the 
treatment condition (also known as the independent variable). What we are measuring is how much 
weight the participants lose over time. This is also known as the dependent variable; you can think of it 
as depending on (or an outcome) of the treatment. The whole reason we are doing this experiment is so 
that we can determine exactly how much of the weight loss was due to financial incentives. It is possible 
that the participants lost weight for other reasons, and researchers want to be as confident in possible 
that they have a way of accounting for those reasons. That is the purpose of the control group in 
experimental studies like these. They match in every way with the treatment group except they are not 
given the treatment – in this case financial compensations. The methods that the researchers use to 
select participants and assign them to treatment and control groups (sample selection) are clearly very 
important to insure this equivalence.  
 
Sample selection 
Let’s say U.S. citizens wanted to decide if financial incentives should be offered in our health care plans 
instead of penalties to encourage weight loss.  In order to make that decision, they would first need to 
know that these incentives worked. Then they would need to know that they worked for people of 
different ages and income levels so that we could infer that they would work for everyone in the U.S. It 
is usually not feasible to collect data on everyone in the population; therefore, researchers typically 
select a smaller portion of the population to study, called a sample.  In doing so, researchers accept a 
major assumption about the data they are collecting: that this sample is representative of the entire 
population.  This means that the sample selected does not differ from the overall population in terms 
of relevant characteristics, such as age, life style, income, etc.  Sample selection procedures, in 
particular random selection and sample size both help insure that the sample is representative of the 
entire population. 
 
 
  Population
 
 
  Sample
 
 
Graphic 1: How Samples Relate to the Entire Population 
 

9

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Random Selection: Random selection means that everyone in the population has an equal chance of 
being included in the study’s sample. Samples that are selected at random have a better chance of 
being representative of the population that you are making inferences about.  
 
Consider the studies described in Paul‐Ebhohimhen and Avenell review article. To obtain these 
samples, researchers recruited obese participants through media advertisements. In this case, the 
researchers failed to select study participants randomly from the population. Instead they used a 
convenience sample. This procedure resulted in a group of subjects that were obese and between the 
ages of 35 and 53. This range is clearly not representative of the entire population, but it may be 
representative of the population most at need for financial incentives to lose weight. We will need to 
keep this in mind, though when describing the findings. Why do the researchers describe the samples 
as being randomized? Here they are referring to random assignment – meaning that once the 
participants were recruited they were randomly assigned to either the control or the financial incentives 
treatment group. 
 
Sample size (n): In general, bigger is better when it comes to sample size. If we compare two individuals 
from our example, even if they are treated identically, they are never going to lose weight at exactly the 
same rate because they have individual differences (variations) between them.  When we use large 
samples the average size of these variations is smaller. Building upon the example above, let’s pretend 
for a moment that researcher chose 4 subjects, and randomly assigned 2 to be given financial 
incentives to lose weight and the other 2 were just given information about dieting and exercise. What 
if the 2 given financial incentives lost less weight than the control group? Would you feel confident that 
this study was representative of what would occur if you were to replicate it in a larger, more 
representative sample? 
 
To illustrate the relationship between sample size and representativeness, imagine that you have a jar 
filled with 100 colored marbles; this is your population. There are five different colored marbles in this 
jar, each making up 20% of the total population. If you choose 5 marbles at random from the jar (n=5), 
chances are, you will not pick one of each color and your sample will not adequately represent the 
characteristics of the population. The more marbles you select, however, the closer that the colors in 
your sample will reflect the distribution of colors in the population, as can be seen in the table and 
figure below. 
 
Table 1.  Frequency distribution of marble colors present in population and various sample sizes 
Marble Color  Population (%)  Sample (n=5)  Sample (n=20)  Sample (n=50) 
red  20 (20%)  1 (20%)  3 (15%)  9  (18%) 
orange  20 (20%)    4 (20%)  11 (22%) 
yellow  20 (20%)  2 (40%)  6 (30%)  10 (20%) 
green  20 (20%)  2 (40%)  3 (15%)  8  (16%) 
blue  20 (20%)    4 (20%)  12 (24%) 
 

 
Graphic 2.  Proportion of marble colors present in the population compared to various sample sizes. 

10

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Confounds 
As we mentioned in section 1.1, confounds are alternative explanations that can explain a research 
finding. The presence of an undetected confound can cause a researcher to make faulty conclusions 
about the results of their study. To further illustrate the importance of considering confounds, let’s 
examine an example from another study on the use of the dietary supplement, Hydroxycut. Results 
from the study suggested that, over a 12 week period, individuals taking Hydroxycut experienced more 
weight loss compared to those who were not taking the drug. Researchers concluded that the drug was 
effective (Graphic 3)! 
 

 
Graphic 3. A faulty assumption based upon the relation between  
Hydroxycut use and weight loss. 
 
Upon further investigation, researchers learned that individuals who were already taking Hydroxycut 
were also more likely to diet and exercise compared to those not taking the drug, thus introducing a 
confound (Graphic 4). In this case, additional studies would be necessary to determine if the difference 
in weight loss between the two groups was due to diet and exercise, the use of Hydroxycut, or some 
combination. As you can see, random selection is one way to guard against confounding variables. 
 

 
Graphic 4. A more likely assumption based upon the relation between  
Hydroxycut use, exercise, and weight loss. 

11

Dr. Peggy Brickman, PAL  Chapter 1      July 2, 2012 

Researcher Bias 
 
Researcher bias occurs when a researcher’s beliefs about an expected result influence the outcome of 
the study.  Bias is especially likely to occur when a researcher has a vested interest in the study’s 
outcome (e.g., financial gain, reputational gain).  When bias occurs, researchers may intentionally or 
unintentionally manipulate an aspect of the study (e.g., study procedures, data recorded, interpretation 
of findings) that increases the probability of producing the desired results. 
 
There are many procedures researchers can use to eliminate researcher bias.  For example, 
investigators can hire outside researchers, blind to the purpose of the study, to collect data for the 
study.  Researchers can also report procedural fidelity, a measure of how closely the study procedures 
were followed, to avoid bias.  
 
Summary 
 
As you can easily see, all evidence is not weighted equally. As you collect evidence to support your 
claim, you should aim to find research studies that have rigorous research methods, thus providing 
stronger evidence for your argument. If the findings you presenting come from overly flawed studies, it 
will be difficult to convince others of your claim.   
 
  Weak Evidence Strong Evidence
 
  Small sample size Large sample size
Non‐random sample Random sample
  Researcher Bias Present No Researcher Bias Present
  Significant Confounds Insignificant Confounds
 
Graphic 5. Factors Contributing to the Strength of Evidence 
 
 

12