You are on page 1of 28

-0-

PLANEAMENTO DE EXPERINCIAS E
INVESTIGAO
DOE
VOL 1
Edies UAB

Novembro 2012

Carla Noronha; Fernando Correia; Jorge Xavier; Maria Marques; Paula Barroso
Pg.1

1 Introduo
Este trabalho foi realizado no mbito da Unidade Curricular Planeamento de Experincias e Investigao, integrado na
1 edio do mestrado em Bioestatstica e Biometria, da Universidade Aberta. Os objectivos a que nos propomos so
fazer uma breve resenha histrica e percorrer de forma sucinta as tcnicas e modelos do Planeamento de
Experincias. Depois de uma primeira fase em que foram efetuadas investigaes e pesquisa exaustiva sobre o tema,
o grupo trabalhou num frum criado pela docente, tendo no final elaborado este trabalho, que foi estruturado com vista
a responder s competncias que se pretendiam desenvolver relativamente ao tema proposto. Assim faremos uma
breve abordagem histria do Planeamento de Experincias e os seus principais campos de aplicao. Dada a sua
importncia ser feita uma anlise do impacto que o Planeamento de Experincias tem tido no desenvolvimento das
outras cincias, mostrando-se a sua aplicabilidade em alguns estudos realizados. No querendo nem podendo fazer
uma exposio exaustiva, iremos focar trabalhos em vrias reas distintas, salientando-se a Gentica, Botnica,
Indstria e Engenharia Qumica.
Para contextualizar este tema, tivemos que investigar os fundamentos e as generalidades das tcnicas usadas, assim
com os vrios tipos de planeamentos experimentais. Dedicaremos uma grande parte do trabalho Estatstica utilizada
nos diversos estudos e experincias, salientando-se os Teste F e os pressupostos e as tcnicas da ANOVA.
Por fim ser feito um comentrio sobre a pertinncia dos sites escolhidos pelos elementos do grupo. Esperamos que
este trabalho atinja o fim a que nos propomos e tambm que se abra uma janela de oportunidade na perspectiva de
investigaes futuras sobre o tema.

2 - Histria e primeiros campos de aplicao


Nem sempre a cincia recorreu a este processo como forma de alargar o conhecimento sobre determinado assunto. O
conceito atual de experincia como mtodo de pesquisa cientfica recente. A evoluo do mtodo experimental foi
paulatina e lenta, at chegar aos dias atuais. Pensamos que de facto interessante compreender como foi que a
cincia evoluiu neste sentido. O que pensariam os cientistas ao longo dos sculos at sentirem haver necessidade de
estruturar os seus estudos de forma cuidada e percorrer uma srie de etapas que hoje todos conhecemos fazerem
parte de um verdadeiro planeamento. Os marcos dessa evoluo e as contribuies mais relevantes podem ser
resumidos da seguinte forma:

Sc. II a.C

No sculo II antes de Cristo, o astrnomo e matemtico Cludio Ptolomeu de Alexandria, desenvolveu uma teoria do
universo a partir das ideias de Aristteles. Atravs de argumentos geogrficos, Ptolomeu afirmou que a terra era uma
esfera e, sendo imvel, devia ser o centro do universo, porque, se assim no fosse, o ar mais leve seria deixado para
trs, por causa de sua acelerao mais lenta. Essas teorias foram aceites sem controvrsia e assim permaneceram at
a Idade Mdia.

Sc V a.C

Aristteles (384-322 a.C.) fez diversas descobertas referentes ao mundo natural. Com base em experincias, axiomas
e argumentos filosficos, Aristteles concluiu, por exemplo, que a acelerao de um corpo em queda livre depende da

sua massa, e que a terra devia ser uma esfera, j que a esfera o slido mais "perfeito" existente.

Sc. XVI

A origem da pesquisa experimental frequentemente atribuda ao filsofo ingls Francis Bacon (1561-1626), no sculo
XVII. Bacon sustentou que o ponto de partida de toda cincia devem ser factos observados empiricamente e que toda
teoria confivel na medida em que seja derivada desses factos.
Pg.2
O matemtico, astrnomo e fsico florentino Galileu Galilei (1564-1642) tambm considerado um dos fundadores do
mtodo experimental.

Sc. XVII

Outras contribuies importantes para o mtodo experimental tiveram origem nos sculos XVII e XVIII, principalmente
com as obras do matemtico e filsofo francs Ren Descartes (1596-1650), do fsico e matemtico ingls Isaac
Newton (1642-1727) e do cientista francs Antoine-Laurent de Lavoisier (1743-1794). A consolidao do mtodo
experimental tambm teve a influncia relevante do trabalho do renomado mdico e fisiologista francs Claude Bernard
(1813-1878), que consolidou sua obra em seu clebre livro "Introduction la mdicine exprimentale".

Sc. XVIII

O desenvolvimento da experimentao agrcola teve incio no final do sculo XVIII, na poca do desenvolvimento
agrcola, originado pela revoluo industrial e pela necessidade de alimentar uma populao urbana em rpido
crescimento. A qumica estava no incio da sua forma moderna e j era reconhecida a sua importncia para a
compreenso da nutrio e do crescimento de plantas. Foram criadas cadeiras de agricultura em Oxford, Inglaterra, em
1790, e em Edimburgo, Esccia, em 1797. Na Alemanha, o renomado qumico agrcola Justus von Liebig (1803-1873)
foi nomeado Professor de Qumica da Universidade de Giessen, em 1824. Dessa forma, a agricultura, com uma base
firme em qumica, tornou-se aceite como uma rea acadmica. A origem da cincia moderna da gentica aplicada
agricultura creditada aos trabalhos experimentais de cruzamentos com ervilha desenvolvidos pelo monge austraco
Johann Gregor Mendel (1822-1884). A hoje conhecida "teoria mendeliana da herana" foi apresentada em seu artigo
"Experiments with plant hybrids", publicado em 1866.

Sc. XIX

Em Inglaterra, John Bennet Lawes (1814-1900) aps a morte de seu pai, em 1834,decidiu interromper seus estudos de
qumica em Oxford e dirigir suas propriedades em Rothamstead. Obteve condies para trabalhar nos laboratrios de
qumica do Colgio da Universidade de Londres e, em seguida, instalou um laboratrio em Rothamstead, onde iniciou
experincias com fertilizantes de superfosfato derivado de ossos e de fosfatos minerais. Foi no sc. XIX que Lawes
obteve a patente para a produo do superfosfatos e iniciou a primeira indstria de fertilizantes. Em 1843, Lawes
associou-se ao qumico ingls Joseph Henry Gilbert (1817-1901). Em 1843, Lawes e Gilbert fundaram, em
Rothamstead, a primeira estao experimental agrcola organizada do mundo. At 1900, durante mais de meio sculo,
esses dois cientistas trabalharam juntos em pesquisa experimental em nutrio de plantas e de animais, tornando o
trabalho de Rothamstead famoso em todo o mundo. Pela importncia desse trabalho, Lawes e Gilbert tm sido
referidos como os pais do mtodo cientfico na agricultura. bvio que as primeiras experincias conduzidas em
Rothamstead no teriam sido aceites hoje, pois no adotavam os princpios fundamentais do Planeamento
Experimental, ou seja, casualizao, repetio e controle local. Isso apesar da necessidade da repetio j ser
reconhecida na metade do sculo passado. Para alm disso, embora os tratamentos de algumas dessas experincias
revelem aparncia de estrutura fatorial, os nveis e as combinaes de nveis so muito irregulares. Mesmo com as
suas imperfeies, essas experincias foram valiosas como ponto de partida para o desenvolvimento da pesquisa
experimental.
Os planeamentos experimentais sistemticos tm uma longa histria em agricultura.

Sc. XX

Quadrados latinos sistemticos foram usados na Alemanha e na Frana no sculo XIX, e vrias formas de esquemas
de rede, especialmente esquemas baseados no movimento do rei em xadrez, foram usados na Escandinvia no ltimo
quarto do sculo XIX. Esses planeamentos reconhecem, claramente, a necessidade da repetio e de alguma forma
de equilbrio. No incio de 1900, foram criados departamentos de agricultura em diversas universidades e colgios, e
foram fundadas novas instituies de pesquisa agrcola, principalmente em Inglaterra e nos Estados Unidos.
Pg.3
O Pai da Estatstica Fisher

No ambiente propiciado por Rothamstead, Fisher conseguiu a aplicao prtica de sua teoria da inferncia estatstica e
alcanou concluses relevantes para a pesquisa cientfica. Uma dessas concluses que a quantidade de informao
gerada pelas inferncias de uma pesquisa no pode ser maior do que a contida nos dados. Consequentemente, o
processo de gerao dos dados e, particularmente, o planeamento da pesquisa, passaram a assumir importncia
fundamental. Fisher compreendeu logo que, enquanto o mais elaborado procedimento estatstico de anlise de dados
poderia incrementar a preciso de uma experincia em alguns pontos percentuais, um plano experimental mais
apropriado, envolvendo praticamente o mesmo esforo, podia aumentar a preciso em dobro ou muitas vezes mais,
podendo, alm disso, fornecer informao adicional sobre questes suplementares importantes. Ao fim dos 14 anos de
trabalho na pesquisa agrcola, as ideias de Fisher j eram reconhecidas e sua metodologia moderna do planeamento e
anlise de experincias estava em pleno uso. Fisher enfatizou o papel fundamental da repetio como uma base para
a estimao do erro e por consequncia para a avaliao da evidncia em favor da realidade dos efeitos. Lanou a
noo inovadora da casualizao e elaborou vrias formas de delineamentos casualizados, particularmente o
planeamento em blocos casualizados, que se tornaram de uso comum em experincias agrcolas de campo. Fisher
tambm salientou a importncia de experincias fatoriais, argumentando que a natureza prefere responder questes
propostas conjuntamente em vez de questes isoladas. A sua contribuio mais relevante para a pesquisa
experimental foi condensada no seu segundo livro, "The design of experiments", publicado em 1935.
As principais caractersticas da abordagem introduzida por Fisher so as seguintes:

Requisito que a prpria experincia fornea uma estimativa da variabilidade atribuvel a caractersticas estranhas a
que esto sujeitas as respostas aos tratamentos;
Uso da repetio para prover essa estimativa da variabilidade e da casualizao para lograr sua validade;
Uso do controle local com o propsito de controlar e reduzir essa fonte de variao estranha;
Princpio de que a anlise estatstica dos resultados determinada pelo modo como a experincia conduzida;
Conceito de experincia fatorial, ou seja, da pesquisa dos efeitos de duas ou mais caractersticas explanatrias numa
nica experincia, em vez de uma nica experincia para cada uma dessas caractersticas.

O trabalho de Fisher em Rothamstead teve uma extraordinria influncia no desenvolvimento da metodologia da


pesquisa experimental e da estatstica em todo o mundo. Frank Yates (1902-1994) juntou-se equipe de Fisher em
1931 e o sucedeu em 1933. Yates continuou a construir as ideias de Fisher, notadamente no desenvolvimento de
esquemas fatoriais com o planeamento em blocos incompletos e reticulados, que se tornaram especialmente valiosos
em experincias de melhoramento gentico de plantas e em situaes em que o tamanho do bloco necessariamente
limitado. Muitas outras contribuies relevantes para a experimentao agrcola foram originadas da escola de Fisher,
em Rothamstead, na dcada de 30, principalmente atravs de Frank Yates, John Wishart (1898-1956) e William
Cochran (1909-1980). A metodologia moderna da pesquisa experimental, desenvolvida a partir dos fundamentos e
ideias lanados por Fisher para a pesquisa agrcola, teve muitos contribuintes em diversos pases e passou a aplicar-
se aos demais ramos da cincia e da tecnologia, tais como biologia, medicina, engenharia, indstria e cincias sociais.
Os desenvolvimentos cientficos e tecnolgicos nas diversas reas exigiram, por sua vez, novas metodologias
particulares que tambm se tornaram, em geral, aplicveis s demais reas. Como consequncia da origem da
pesquisa experimental na agricultura, muito da terminologia ainda hoje utilizada compreende termos prprios da
pesquisa agrcola. Assim, por exemplo, as designaes "tratamento", "parcela" e "bloco" perderam suas conotaes
particulares da agricultura e so amplamente usadas na pesquisa experimental em muitas reas da cincia.

2 - Impacto no desenvolvimento das outras cincias


A cincia um processo lgico de investigao para a soluo de problemas e a busca de respostas a questes
referentes a fenmenos naturais. Atravs do mtodo cientfico, os cientistas tentam a gerao de um corpo de
conhecimento livre de crenas, percees, valores, atitudes e emoes pessoais. Isso logrado atravs de verificao
emprica de ideias e crenas por procedimento aberto inspeo pblica. A confiabilidade do conhecimento cientfico
deriva de sua base em evidncia provida por observao objetiva.
Pg.4
O conhecimento cientfico no um conhecimento absoluto e definitivo. Pelo contrrio, ele tende a aperfeioar-se e,
em consequncia, levar, por exemplo, criao de novos mtodos, tcnicas e procedimentos mais adequados e
convenientes. Esse progresso conseguido atravs da permanente atividade de indagao a que se dedicam os
pesquisadores. Assim, a cincia uma fonte de gerao de conhecimento que se renova para solucionar problemas,
responder questes, e desenvolver procedimentos mais efetivos para solucionar problemas e responder a questes.
O planeamento de experincias tem aplicaes na Medicina.
Se antigamente se aceitava prticas empricas, baseadas em prticas tradicionais, hoje, com a constante diminuio
dos recursos econmicos, so necessrios mtodos que permitam rapidamente estabelecer protocolos de tratamentos
de patologias, bem como a utilizao racional de frmacos. Entenda-se a utilizao racional de frmacos como sendo a
forma de tratar doenas de maneira correta e com o menor custo possvel. aqui que entra o planeamento de
experincias pelo conjunto de ferramentas que aporta quer estruturao das experincias quer ao tratamento dos
dados obtidos.
Sero exemplos, os inmeros trabalhos na rea do tratamento da hipertenso arterial, face aos riscos de morte sbita
e s sequelas que podem deixar os AVC, e os custos astronmicos com os frmacos que so utilizados no seu
tratamento.

Tem aplicaes na indstria, em especial na criao de novos produtos a partir de produtos j existentes, bem como no
controlo da qualidade de fabrico dos mesmos.
A constante procura de produzir ao mais baixo custo sem afetao da sua qualidade, necessita de usar os
procedimentos e tcnicas que o planeamento de experincias criou.
Sero exemplos, os inmeros trabalhos na rea da qualidade das embalagens para alimentos congelados, na
utilizao de mquinas de corte, etc.

Tem aplicaes na agricultura, com o constante aumento da populao mundial e os recursos no serem inesgotveis,
urgente encontrar novos mtodos de produo agrcola que sejam facilmente implementados e que levem ao
aumento das culturas. Nestes tempos conturbados em que existem milhes de pessoas em todo o mundo que morrem
fome ou esto subnutridos, leva-nos produo cada vez maior de produtos alimentares mas deparamo-nos com um
problema, os terrenos, a gua etc., no so ilimitados. Isto leva-nos a descobrir novas maneiras de rentabilizar os
recursos disponveis, como o uso racional de pesticidas, da gua para rega, a rotatividade dos solos, etc. Tudo isto
utiliza os conhecimentos do planeamento de experincias.

Tem aplicaes nas cincias sociais, como a sociologia. Atravs de inquritos e sondagens, permitem um
conhecimento cada vez maior sobre as populaes e a sua forma de pensar. Permitem tambm influenciar de alguma
forma, comportamentos futuros das mesmas.

Em resumo, no h certamente nenhuma rea do conhecimento cientfico e tecnolgico atual, que no utilize de
alguma forma, todas os procedimentos e ferramentas do planeamento de experincias, pela forma rpida como permite
a organizao e interpretao dos resultados obtidos.
Foi certamente e com certeza, um dos fatores que permitiu e permite a rpida evoluo tecnolgica dos nossos dias.
Nunca as populaes humanas evoluram tanto e em to pouco tempo como nos dias de hoje. O progresso tecnolgico
e cientfico evolui a um ritmo alucinante nunca antes visto.

Diagrama que ilustra o mtodo cientfico


Pg.5

Questes naturais dizem respeito ao domnio de conhecimento do mtodo estatstico que os pesquisadores nas
diversas reas devem possuir para que possam cumprir suas funes apropriadamente, demanda de especialistas
em estatstica nas equipas multidisciplinares de pesquisa, e organizao institucional dessas equipas. Para que
possam ser eficazes no cumprimento de suas responsabilidades, essas equipas tm que ter o domnio do
conhecimento de sua rea de atuao. No que diz respeito estatstica, em particular, devem ter condies e
capacidade para utilizar os mtodos estatsticos mais modernos e apropriados para cada situao particular, incluindo
o uso dos recursos exigidos para a implementao desses mtodos, como os recursos de computao.
Os pesquisadores especialistas das diversas reas de pesquisa devem ter domnio de conhecimento da metodologia
da pesquisa cientfica que seja indispensvel para a compreenso e a tomada de decises e de aes referentes aos
aspetos usuais do planeamento e da conduo das pesquisas sob suas responsabilidades, e para a execuo da
anlise, interpretao e difuso de seus resultados. Esse domnio de conhecimentos deve abranger os mtodos
estatsticos e os recursos de computao estatstica, incluindo os "pacotes" para anlise estatstica. Cabe aos
especialistas em estatstica a complementao do domnio de conhecimento das equipas de pesquisa, com o
conhecimento dos mtodos mais sofisticados que demandem capacitao especializada e que requeiram base terica
mais avanada em matemtica e estatstica. Tambm compete ao estatstico a capacitao para a execuo de
estudos e pesquisas visando a adaptao e o desenvolvimento de novos mtodos e tcnicas.

3 - Exemplos de aplicao na resoluo de problemas recentes em


diversas reas.
Enquanto que o objetivo de uma sondagem o de recolher informao acerca de uma populao selecionando
e observando uma amostra da populao tal qual ela se apresenta, pelo contrrio, uma experimentao impe um
tratamento s unidades experimentais com o fim de observar a resposta. O princpio base de uma experimentao o
mtodo da comparao, em que se comparam os resultados obtidos na varivel resposta de um grupo de tratamento
com um grupo de controlo.
Exemplo (Moore, 1997) Ser que a aspirina reduz o perigo de um ataque cardaco? O estudo conhecido por
Physicians Health Study, foi uma experimentao mdica levada a cabo com o objetivo de responder a esta questo
especfica. Metade de um grupo de 22000 mdicos (homens) foram escolhidos aleatoriamente para tomar uma aspirina
todos os dias. A outra metade dos mdicos tomou um placebo, que tinha o mesmo aspeto e sabor da aspirina.

Depois de vrios anos 239 mdicos do grupo que tomou placebo, contra 139 do grupo que tomou aspirina, tiveram
ataques cardacos. Esta diferena suficientemente grande para evidenciar o efeito da aspirina na preveno dos
ataques cardacos.

Unidades experimentais, tratamento, varivel resposta, variveis explanatrias.


Unidades experimentais so os objetos sobre os quais incide a experimentao e a quem aplicado uma condio
experimental especfica, a que chamamos tratamento. Varivel resposta a varivel cujo comportamento
pretendemos estudar. As variveis explanatrias so as variveis que explicam ou causam mudanas na varivel
resposta.

No estudo considerado anteriormente temos:

Unidades experimentais 22000 mdicos Tratamentos aspirina ou placebo


Varivel explanatria se o indivduo tomou aspirina ou placebo
Varivel resposta se o indivduo teve ou no ataque cardaco.

Sem a comparao de tratamentos os resultados de experimentaes em medicina e em cincias do


comportamento, duas reas onde estes mtodos so largamente utilizados, poderiam ser muito influenciados pela
seleo dos indivduos, o efeito do placebo, etc. O resultado poderia vir enviesado. Um estudo no controlado de uma
nova terapia mdica quase sempre enviesado no sentido de dar ao tratamento um maior sucesso do que ele tem na
realidade (efeito placebo).
Pg.6
Exemplo (Moore, 1997) - Um tratamento utilizado durante vrios anos para tratar lceras do estmago consistia em
pr o doente a aspirar, durante uma hora, uma soluo refrigerada que era bombeada para dentro de um
balo. Segundo o Journal of the American Medical Association, uma experimentao levada a efeito com este
tratamento permitiu concluir que o arrefecimento gstrico reduzia a secreo de cido, diminuindo a propenso para as
lceras. No entanto, veio-se a verificar mais tarde com um planeamento adequado, que a resposta dos doentes ao
tratamento foi influenciada pelo efeito placebo efeito confounding. O que acontece que h doentes que respondem
favoravelmente a qualquer tratamento, mesmo que seja um placebo, possivelmente pela confiana que depositam no
mdico e pelas expectativas de cura que depositam no tratamento. Num planeamento adequado feito anos mais tarde,
um grupo de doentes com lcera foi dividido em dois grupos, tratando-se um com a soluo refrigerada e o outro grupo
com um placebo, constitudo por uma soluo temperatura ambiente. Os resultados desta experimentao permitiram
concluir que dos 82 doentes sujeitos soluo refrigerada - grupo de tratamento, 34% apresentaram melhoras,
enquanto que dos 78 doentes que receberam o placebo - grupo de controlo, 38% apresentaram melhoras.

Num planeamento experimental, uma vez identificadas as variveis e estabelecido o protocolo dos tratamentos, segue-
se uma segunda fase que consiste na atribuio de cada unidade experimental a um tratamento. Esta segunda fase
deve ser regida pelo princpio da aleatoriedade. Este princpio tem como objetivo fazer com que os grupos que vo ser
comparados, tenham partida constituio semelhante, de forma que as diferenas observadas na varivel resposta
possam ser atribudas aos efeitos dos tratamentos. Assim, a atribuio de cada indivduo ao grupo de tratamento ou de
controlo feita de forma aleatria. Combinando a comparao com a aleatoriedade, podemos esquematizar da
seguinte forma o tipo de planeamento mais simples:

Ao comparar os resultados temos de ter presente que haver sempre alguma diferena que se tem de atribuir ao facto
de os grupos no serem perfeitamente idnticos e algumas diferenas que se atribuem ao acaso. O que se pretende
averiguar se as diferenas encontradas no sero "demasiado grandes" para que se possam atribuir a essas causas,
ou seja, verificar se no tendo em linha de conta a diferena entre os tratamentos, a probabilidade de obter as
diferenas observadas no seria extremamente pequena. Se efectivamente esta probabilidade for inferior a um
determinado valor (de que falaremos mais tarde) dizemos que a diferena estatisticamente significativa, sendo de
admitir que foi provocada pelos diferentes tratamentos.
Convm ainda observar que numa experimentao os indivduos selecionados para cada grupo no devem saber qual
o tipo de tratamento a que esto a ser sujeitos, nem o investigador que est a conduzir a experimentao e a medir os
resultados deve saber qual o tipo de tratamento que cada indivduo seguiu. Temos o que se chama uma
experimentao duplamente cega. Esta precauo uma forma de evitar o enviesamento, quer nas respostas, quer
nas medies (um mdico ao observar o efeito de um tratamento que provoque, por exemplo, uma mancha vermelha
na pele, pode estar condicionado na interpretao da gravidade dessa mancha se souber qual o tratamento a que o
doente foi sujeito).
Em muitas situaes os investigadores tm de se cingir aos estudos observveis, j que no possvel conduzir uma
experimentao controlada. Por exemplo, para estudar o efeito do tabaco no cancro do pulmo, o investigador limita-se
a observar grupos de indivduos que fumam ou no, no podendo ser ele prprio a selecionar um conjunto de
indivduos e depois p-los aleatoriamente a fumar tabaco ou um placebo.
Seria sempre muito difcil conseguirmos transmitir neste trabalho a grandiosidade da abrangncia do Planeamento de
Experincias em tantas, tantas reas das diversas cincias. Desta forma, achmos por bem apresentar uma sntese
destas aplicaes , mostrando alguns estudos que destacamos pela sua relevncia. Esses exemplos encontram-se
esquematizados no quadro seguinte:
Pg.7

rea de Link Descrio


Estudos
Este trabalho demonstra uma aplicao do
Indstria http://www.dcf.ufla.br/cerne/artigos/ planeamento de experiencias no processo de fabrico
de 13-02-20097730v6_n2_artigo%2001.pdf de fibra de placas de madeira e da melhoria de
madeiras qualidade deste produto.
http://ambientes.ambientebrasil.com.br/ A engenharia gentica, uma nova cincia que tem
Gentica biotecnologia/artigos_de_biotecnologia/engenh possibilitado a realizao de experimentos na rea da
aria_genetica_(a_ciencia_da_vida).html gentica, com resultados surpreendentes sobre a vida
http://www.usgs.gov/blogs/features/usgs_scien Como o clima aqueceu, muitas plantas esto a
ce_pick/experiments-underestimate-climate- comear a crescer folhas e a florescem mais cedo. Um
Botnica change-impacts-to-plants/ novo estudo publicado na revista Nature, sugere que a
maioria dos experimentos de campo pode subestimar
o grau de alteraes em que o tempo de folhear e
florao sofre com o aquecimento global.
Indstria http://www.spmet.pt/Eventos/Conferencia1/JM O Desenho de Experincias (DOE) como uma das
endonca_Dias.pdf tcnicas mais valiosas para melhorar continuamente a
qualidade de produtos e processos. Controlo
Metrolgico de Contadores de Gs
http://www.google.com/url?sa=t&rct=j&q=&esrc Realizao de um desenho de experincias para obter
=s&source=web&cd=1&ved=0CB8QFjAA&url= filmes a partir de quitosano, com incorporao de um
http%3A%2F%2Fwww.repository.utl.pt%2Fbits reticulante (Etileno glicol diglicidil eter), nisina e
Engenharia tream%2F10400.5%2F3141%2F1%2Fdesenvo glicerol.
Qumica lvimento%2520de%2520filmes%2520bioactivo
s%2520a%2520partir%2520do%2520quitosan
o.pdf&ei=6PyoUOSbMo-
ShgfJuoHgAg&usg=AFQjCNGImupX6XXe3iPo
HWKwfukwFGjNwA&sig2=nvxjAI8D_uVK97BT
oUAbVQ
http://www.fpce.up.pt/docentes/acpinto/artigos/ Categorizao de itens verbais: medidas de frequncia
Fontica 06_categorizacao_de_itens.pdf de produo e de tipicidade.

4- Fundamentos e generalidade das suas tcnicas.


Os principais elementos de uma experincia so as unidades experimentais (pessoas, animais, pacientes, matrias-
primas, parcelas de terreno, etc.), os fatores (que por vezes so
subdivididos em nveis ou tratamentos) e a varivel-resposta (que pode ser
uma ou vrias). Em esquema, pode-se imaginar uma experincia como um
conjunto de diferentes tratamentos aplicados pelo investigador a cada
unidade experimental do sistema em estudo, aps o que se mede a
resposta. independentemente dos efeitos dos outros fatores experimentais
e dos fatores de unidade. Essa propriedade garantida se o delineamento
ortogonal. de todo o interesse do investigador que o Planeamento e
Anlise de experincias sigam alguns passos:
Pg.8
1) Antes do planeamento propriamente dito, deve-se identificar e definir o problema, escolher os fatores e nveis e
selecionar a varivel-resposta;
2) Escolher o plano experimental;
3) Realizar a experincia;
4) Analisar estatisticamente os resultados;
5) Elaborar concluses ou recomendaes.

Os requisitos mais importantes para o planeamento duma experincia podem resumir-se aos seguintes:

Evitar os erros sistemticos ou enviesamentos;


Minimizar os erros aleatrios ou "erros naturais";
Deve ser possvel estimar a magnitude dos erros aleatrios;
Os resultados devem ser o mais preciso possvel;
Por fim, deve aproveitar-se uma eventual estrutura especial dos dados atravs da combinao de fatores.

Os requisitos do planeamento experimental exigem e respeitam algumas propriedades habitualmente denominadas


princpios bsicos do delineamento experimental, so as seguintes:

Repetio ou replicao
Controle local,
Casualizao,
Ortogonalidade,
Equilbrio,
Aleatorizao
Eficincia.

Estes princpios bsicos so essenciais para que a relao entre a estrutura das condies experimentais e a estrutura
das unidades assegure a capacidade para a deteo de efeitos relevantes de fatores experimentais de modo sensvel
e no tendencioso.

1- Repetio ou replicao

Um efeito de fatores experimentais uma funo dos nveis ou das combinaes dos nveis desses fatores. Inferncias
referentes a um efeito de fatores experimentais requerem uma estimativa do erro que afeta esses efeitos.
Uma estimativa da varincia do erro que afeta um efeito de fatores experimentais provm de unidades experimentais
com um mesmo nvel ou uma mesma combinao dos nveis desses fatores. Assim, essa estimativa requer pelo
menos duas unidades experimentais com um mesmo nvel ou uma mesma combinao de nveis desses fatores.
Essas unidades experimentais constituem repeties desse nvel ou dessa combinao de nveis.
A repetio ou unidade experimental a unidade de informao do erro experimental. Portanto, sua definio
apropriada um requerimento do delineamento da experincia. A identificao da repetio para os nveis ou
combinaes de nveis de fatores experimentais requer a caracterizao correta das correspondentes unidades
experimentais.

2 - Controle local

Consiste na classificao das unidades de observao em grupos de unidades segundo os nveis de uma ou mais
caractersticas estranhas e na considerao dessa classificao na atribuio dos tratamentos s unidades
experimentais de modo que a variao entre esses grupos devida a essas caractersticas estranhas no afete efeitos
relevantes de fatores experimentais e seja separada da variao atribuvel ao erro experimental que afeta esses
efeitos. O controlo local permite que, mesmo com material experimental apropriadamente heterogneo para lograr a
representao da populao objetivo, a experincia possa ser suficientemente sensvel para detetar efeitos importantes
dos fatores experimentais.
Pg.9

3 - Casualizao

A casualizao um requisito experimental introduzido por Fisher, sendo, segundo muitos, uma de suas maiores
contribuies pesquisa experimental. A casualizao na atribuio de tratamentos o processo de assinalao
aleatria de unidades experimentais da amostra aos tratamentos atravs de algum procedimento objetivo de sorteio
que atribua a todas as unidades a mesma hiptese de receber qualquer desses tratamentos. Como consequncia, os
tratamentos e as unidades da amostra tm chances iguais de serem favorecidos ou desfavorecidos pelas
caractersticas estranhas afetadas pela casualizao, Dessa forma, as diferenas atribuveis s caractersticas
estranhas casualizadas no afetam tendenciosamente as respostas aos diferentes nveis dos fatores experimentais de
tratamento submetidos casualizao. A casualizao a nica forma de garantir efetivamente a no
tendenciosidade.
Assim, a casualizao cumpre dois propsitos bsicos:

Evitar que a manifestao de caractersticas estranhas possa implicar em confundimento tendencioso dos
efeitos dos tratamentos sobre caractersticas respostas;
Propiciar estimativas no tendenciosas do erro experimental, apropriadas para as inferncias derivadas da
amostra.

A casualizao deve ser to ampla quanto possvel. Idealmente, ela deveria abranger todas as caractersticas
estranhas no controladas. Na prtica, entretanto, a consecuo desse ideal apenas aproximada j que, em geral, a
manifestao de muitas caractersticas estranhas, particularmente de caractersticas relacionadas ao ambiente, est
fora do controle do pesquisador.
A casualizao como um seguro contra perturbaes que possam decorrer da manifestao de caractersticas
estranhas na amostra. Ela uma precauo contra essas perturbaes que podem ou no ocorrer e que podem ou
no ser srias, se ocorrerem. O trabalho da casualizao recomendvel sempre que houver alguma suspeita de que
uma ao possa implicar em alguma tendenciosidade, caso no seja efetuada. Naturalmente, como habitualmente h
um grande nmero de operaes fsicas envolvidas numa experincia, a aplicao da casualizao na implementao
de cada uma dessas operaes exigiria muito tempo e seria demasiadamente trabalhosa. Assim, o pesquisador deve
utilizar o seu julgamento para omitir a casualizao onde exista conhecimento real de que os resultados no sero
viciados. A importncia da casualizao na atribuio dos tratamentos s unidades frequentemente reconhecida.
menos compreendida sua importncia em qualquer outra interveno importante durante a conduo da experincia
que possa implicar em alguma fonte de variao sistemtica, ou seja, que implique em alguma forma da variao
estranha que no possa ser considerada aleatria.

4 - Ortogonalidade

Uma propriedade importante do planeamento de experincias permitir a derivao de inferncias referentes a cada
efeito de fatores experimentais separada.
A ortogonalidade uma propriedade altamente desejvel por garantir ausncia de confundimento de efeitos de fatores
experimentais e permitir inferncias independentes sobre esses efeitos. Entretanto, a no ortogonalidade no um
defeito grave de um delineamento, desde que possa ser obtido um ajustamento apropriado de cada efeito relevante de
fatores experimentais para eliminar o confundimento com efeitos de outros fatores experimentais e de fatores de
unidade. Uma consequncia da ortogonalidade a simplicidade dos clculos envolvidos nos procedimentos de anlise
estatstica. Esse facto foi muito importante antes do advento da computao. Atualmente, esse benefcio da
ortogonalidade est bastante reduzido. Consequentemente, diminuiu a convenincia do uso de planeamentos com
blocos completos e tornou-se mais vantajosa a formao de blocos naturais mais apropriados para o controle da
variao estranha cujos tamanhos muito frequentemente no so exatamente iguais ao nmero de tratamentos.
Planeamentos no ortogonais podem resultar da desconsiderao de unidades experimentais para contornar
confundimento decorrente de caractersticas estranhas perturbadoras. A unidade experimental desconsiderada nessas
circunstncias usualmente designada unidade perdida. Isso ocorre com certa frequncia em algumas reas de
pesquisa; por exemplo, em pesquisas com animais, em consequncia de morte ou prejuzo a animais ocasionado por
doena no atribuvel a efeitos de tratamentos, e em pesquisas com plantas, quando ocorre prejuzo ou morte de
plantas por efeitos no devidos a tratamentos.
Pg.10
5 Equilbrio/Balanceamento

Os planeamentos equilibrados so apropriados para situaes em que se torna ou inconveniente ou impossvel o uso
de planeamentos ortogonais. Um planeamento diz-se equilibrado se conseguir prever igual preciso para todas as
comparaes simples de tratamentos, ou seja, para todas as comparaes individuais.

6 Aleatorizao

A aleatorizao o processo pelo qual cada participante tem a mesma probabilidade de ser integrado num dos dois
grupos (de interveno ou controlo).A aleatorizao desempenha seguramente um papel fundamental. A razo desta
sua importncia fundamenta--se em trs aspetos essenciais:

1) Remover potenciais enviesamentos de alocao;


2) Produzir grupos comparveis em relao a fatores de prognstico (conhecidos e desconhecidos);
3) Garantir que os testes estatsticos tenham nveis de significncia vlidos.

Um enviesamento existe quando ocorre um desvio sistemtico da verdade. O enviesamento de alocao ocorre se o
processo de aleatorizao for previsvel, visto que a deciso de incluir e posteriormente definir a alocao de um
participante, ficaria partida viciada e condicionada por inmeros fatores. Assim, a aleatorizao permite que a seleo
e a alocao dos elementos de uma amostra pelos diferentes grupos se dem de tal modo que seja dificultada toda e
qualquer influncia consciente ou inconsciente praticada por parte do investigador ou do participante. A aleatorizao
tenta criar grupos passveis de serem comparados no que respeita a fatores de risco, sejam eles conhecidos ou no.
Ela faz com que o prognstico de base dos diferentes grupos seja o mais semelhante possvel, pois, em princpio,
permite uma distribuio aleatria dos fatores de prognstico que influenciam os resultados. Nos ensaios clnicos, por
exemplo, embora os grupos comparados nunca sejam totalmente homogneos em relao s suas caractersticas de
base, o processo de aleatorizao que permite o uso de testes estatsticos especficos garantindo a comparao
probabilstica dos mesmos, atribuindo deste modo nveis de significncia estatstica aos resultados do estudo.
De notar que nem todos os autores consideram a aleatorizao essencial, apesar de, para a maioria, esta constituir a
base da inferncia estatstica. Em concluso: a aleatorizao condio indispensvel para que os resultados de um
Estudo reflitam com o mximo da verosimilhana os efeitos de uma dada interveno.Ela essencial para a validade
interna do estudo, segundo a qual as eventuais diferenas encontradas se devam, apenas e s, ao efeito da
interveno, no existindo o risco de sub ou super-estimao dos resultados em virtude da presena de erros devidos
ao acaso, enviesamento (alocao e seleo) ou confundimento, como se verifica mais frequentemente em estudos
no aleatorizados.
Que tipos de aleatorizao existem? Hoje em dia existem vrios mtodos para distribuir os indivduos de um estudo de
forma aleatria. Deve-se assumir a no ser que haja indicao em contrrio que a estratgia de aleatorizao vai
alocar os participantes para 2 grupos: interveno e controlo, ainda que alguns dos mtodos possam ser usados para
gerar mais do que dois grupos.

Tipos de Aleatorizao:

Aleatorizao com alocao fixa


Simples
Em bloco
Estratificada
Aleatorizao adaptativa
Moeda enviesada
Urn design
Da resposta

7 Eficincia

Os princpios considerados anteriormente so propriedades de delineamentos experimentais individuais. A eficincia


uma propriedade referente preciso de um delineamento comparativamente a outros delineamentos para as mesmas
Pg.11
circunstncias de material experimental. Um delineamento mais eficiente do que outro delineamento se a quantidade
de informao que ele prov maior do que a provida por este delineamento alternativo. Assim, a eficincia uma
propriedade referente preciso que um delineamento pode propiciar relativamente a outros delineamentos
alternativos. Essa uma propriedade altamente importante que deve ser levada em conta na escolha entre
delineamentos alternativos apropriados para uma mesma situao experimental.

O Planeamento de Experincias (em ingls Design of Experiments, DOE) uma tcnica utilizada para se planear
experincias, ou seja, para definir quais dados, em que quantidade e em que condies devem ser adquiridos durante
uma determinada experincia, tentando, basicamente, satisfazer dois grandes objetivos: a maior preciso estatstica
possvel na resposta e o menor custo. A sua aplicao no desenvolvimento de novos produtos muito importante,
onde uma maior qualidade dos resultados dos testes pode levar a um projeto com desempenho superior seja em
termos de suas caractersticas funcionais como tambm sua robustez.
O domnio do problema de fundamental importncia. O conhecimento do especialista sobre o problema conjugado
com a tcnica (em casos especiais somando-se ainda o auxlio de especialistas em estatstica, mais concretamente,
planeamento de experincias) que ir permitir bons planeamentos de experincias, ou seja, planeamentos mais
rpidos (menos pontos), de menor custo e que possibilitem aos seus idealizadores responderem, baseado em
inferncia estatstica, a resposta a seus problemas.
Apesar de novas, as principais tcnicas de planeamento de experincias j existiam e potencialmente, poderiam estar
sistematicamente a ser aplicadas na indstria desde h muitos anos. Porm, a grande maioria destas tcnicas requer
uma quantidade exaustiva de clculos tornando fundamental o emprego dos recursos informticos. Um fator que tem
impulsionado a aplicao industrial do planeamento de experincias so as ferramentas computacionais de anlise
estatstica e solues corporativas que cada vez mais facilitam a realizao das anlises e manuteno e gesto de
dados. Neste sentido a tendncia que tais tcnicas tornem-se cada vez mais prximas de aplicaes prticas e,
portanto, cada vez mais utilizadas.
preciso estar claro tambm que, em estatstica, Planeamento de Experincias toda uma rea de estudos que
agrega tcnicas distintas e vastas. H atualmente todo um arsenal de tcnicas, com vrios nveis de sofisticao e uma
quantidade no menor de livros sobre o assunto.
Por forma a entendermos melhor a terminologia que se utiliza em Planeamento de Experincias, tentemos entender
cada conceito pra uniformizarmos definies. Sugira-se um Glossrio de Planeamento de Experincias:

Glossrio

Fatores ou Tratamentos: so as variveis de controlo ou entrada.


Nveis: correspondem s faixas de valores das variveis de controlo.
Varivel resposta: parmetro de sada, resultante de uma variao nas variveis de entrada.
Aleatorizao: a prtica de realizar a escolha das corridas (ou pontos experimentais) por meio de um
processo aleatrio (tal como dados ou sorteio). Esta prtica simples em muitos casos garante as condies de
identidade e independncia dos dados recolhidos e evita erros sistemticos.
Blocos: so agrupamentos de dados para eliminar fontes de variabilidade que no so de interesse do
espectador;

Tipos de Planeamento de Experincias

Tratamento em pares;
Tratamento em blocos;
Quadrado Latino;
Quadrado Greco-Latino;
Quadrado Hiper-Greco-Latino ;
Experincias Fatoriais;

No quadro seguinte referimos um resumo no qual se mostram as principais diferenas entre os vrios tipos de
planeamento experimental:
Pg.12
Tipos de Planeamento Experimental
Classificao do Planeamento Aplicao Estrutura Informaes obtidas
de Experincias

Apropriado quando estudamos O efeito do fator estudado por meio da Estimativa e comparaes dos
apenas um fator experimental alocao ao acaso das unidades experimentais efeitos dos tratamentos
Completamente Aleatorizado aos tratamentos (nveis do fator). Os ensaios so
com um nico fator realizados aleatoriamente.

Apropriado quando vrios fatores Em cada repetio completa todas as Estimativas e comparaes dos
devem ser estudados em dois ou combinaes possveis dos nveis dos fatores efeitos dos fatores
mais nveis e as interaes entre (tratamentos) so estudadas. A alocao das
Fatorial
os fatores podem ser importantes unidades experimentais aos tratamentos e a
ordem de realizao dos ensaios so feitas de
modo aleatrio.

Apropriado quando o nmero de O conjunto completo de tratamentos divido em Fornece as mesmas estimativas do
ensaios necessrios para o subconjuntos de modo que as interaces de planeamento fatorial, excepto
planeamento em k fatores em 2 ordem mais alta so confundidas com os blocos. algumas interaces de ordem
nveis muito grande para que So tomadas observaes em todos os blocos. mais alta que no podem ser
Fatorial 2k em blocos sejam realizados sob condies Os blocos surgem geralmente como estimadas porque esto
homogneas consequncia de restries de tempo, confundidas com os blocos.
homogeneidade de materiais, etc.

Apropriado quando existem muitos Vrios fatores so estudados em dois nveis, Estimativas e comparaes dos
fatores (k muito grande) e no mas somente um subconjunto do fatorial efeitos de vrios fatores
Fatorial 2k fraccionrio possvel recolher observaes em completo executado. A formao dos blocos
todos os tratamentos algumas vezes possvel.

Apropriado quando o efeito de um So tomadas observaes correspondentes a Estimativas e comparaes dos


fator est em estudo e todos os tratamentos (nveis do fator) em cada efeitos dos tratamentos livres dos
necessrio controlar a variabilidade bloco. Habitualmente os blocos so efeitos do bloco
provocada por fatores considerados em relao a um nico fator
Blocos aleatorizados
pertubadores conhecidos. Estes pertubador.
fatores pertubadores (material,
tempo, pessoas, etc.) so divididos
em blocos ou grupos homogneos

Apropriado quando todos os Os tratamentos testados em cada bloco so Idntico ao planeamento em


tratamentos no podem ser seleccionados de forma equilibrada: dois blocos aleatorizados. Os efeitos de
Blocos Incompletos inseridos num nico bloco tratamentos quaisquer aparecem juntos em um todos os tratamentos so
Equilibrados
mesmo bloco o mesmo nmero de vezes que estimados com igual preciso
qualquer outro par de tratamentos

Apropriado quando um Alguns pares de tratamentos aparecem juntos n1 Idntico ao planeamento em


planeamento em blocos vezes, outros pares aparecem juntos n2 blocos aleatorizados, mas os
Blocos Incompletos incompletos equilibrados necessita vezes,..., e os pares restantes aparecem juntos efeitos dos tratamentos so
Parcialmente Equilibrados
de um nmero de blocos m vezes. estimados com diferentes
excessivamente grande precises

Apropriado quando um fator de O quadrado latino um arranjo para permitir dois Estimativas e comparaes dos
interesse est a ser estudado e os grupos de restries de bloco. Os tratamentos efeitos dos tratamentos livres dos
resultados podem ser afectados so distribudos em correspondncia s colunas efeitos das duas variveis bloco.
por duas outras variveis e linhas de um quadrado. Cada tratamento
Pg.13
experimentais ou por duas fontes aparece uma vez em cada linha e uma vez em
de heterogeneidade. suposta a cada coluna. O nmero de tratamentos deve ser
ausncia de interaces igual ao nmero de linhas e colunas do
quadrado. Os blocos so formados em relao a
Quadrados Latinos
duas variveis pertubadoras, as quais
correspondem s colunas e linhas do quadrado.

Similares aos quadrados latinos, Cada tratamento ocorre uma vez em cada linha. Idntico ao planeamento em
mas o nmero de linhas, colunas e O nmero de tratamentos deve ser igual ao quadrados latinos
tratamentos no precisam ser nmero de colunas. Os blocos so formados em
Quadrados de Youden
iguais relao a duas variveis perturbadoras

Experincias com vrios fatores em Os nveis do fator B esto aninhados abaixo dos Estimativas e comparaes dos
que os nveis de um fator (B) so nveis do fator A efeitos dos fatores
similares mas no idnticos para
diferentes nveis de outro fator (A).
Hierrquico
Ou seja, o j-simo nvel de B
quando A est no nvel 1
diferente do j-simo nvel de B
quando A est no nvel 2 e assim
por diante

O objectivo consiste em fornecer Os nveis dos fatores so vistos como pontos no Mapas que ilustram a natureza e a
mapas empricos ou grficos de espao de fatores (muitas vezes forma da superfcie de resposta
contorno. Estes mapas ilustram a multidimensional) no qual a resposta ser
forma pela qual os fatores, que registada
Superfcie de resposta
podem ser controlados pelo
pesquisador, influenciam a varivel
resposta

Quadro retirado de http://www.portaldeconhecimentos.org.br

5-Conhecer e investigar modelos clssicos do Planeamento de


Experincias

Os verdadeiros projetos experimentais incluem:

Planeamento grupo de controle Pre-test/Post-test


Planeamento quatro grupos
Planeamento de grupo de controle nico Ps-teste

Planeamento de grupo controle Pre-test/Post-test tambm chamado o Planeamento experimental clssico controlado
e projeto randomizado pre-test/post-test porque:

1) Controla a atribuio de assuntos para experimentar (tratamento) e os grupos de controle atravs do uso de uma
tabela de nmeros aleatrios.
Este procedimento garante que todos os indivduos tm a mesma mudana de estar no grupo experimental ou controle.
Devido atribuio aleatria dos sujeitos, presume-se que os dois grupos sejam equivalentes em todas as dimenses
importantes e que no existem diferenas sistemticas entre os dois grupos. Pesquisadores podem substituir
correspondente para a atribuio aleatria. Assuntos dos dois grupos so combinados numa lista de caractersticas
que podem afetar o resultado da investigao (por exemplo, sexo, renda, raa). Isto pode ser mais barato, mas
correspondente a mais do que 3 ou 4 caractersticas muito difcil. E se o pesquisador no sabe quais as
caractersticas a combinar, compromete a validade interna
Pg.14
2) Controla o tempo da varivel independente (tratamento) e o grupo que exposto a ela.
Ambos os grupos experimentam as mesmas condies, com a exceo do grupo experimental, o qual recebe a
influncia da varivel independente (tratamento), para alm das condies comuns aos dois grupos.

3) Controla todas as outras condies em que a experincia se realiza.


A interveno da varivel independente (tratamento) assumida para produzir as alteraes observadas nos valores
da varivel dependente

Etapas da experimentao clssica controlada:

1) Designar aleatoriamente sujeitos a tratamento ou grupos de controlo;


2) Administrar o pr-teste a todos os indivduos de ambos os grupos;
3) Assegurar que ambos os grupos experimentam as mesmas condies, exceto o grupo experimental que recebe o
tratamento;
4) Administrar o ps-teste a todos os indivduos de ambos os grupos;
5) Avaliar a quantidade de mudana no valor da varivel dependente a partir do pr-teste para o ps-teste, para cada
grupo separadamente.

Estes passos so esquematizados como se segue:

R O1 X O2
R O1 O2

Este diagrama pode ser representado como na tabela seguinte:

Atribuio aleatria 1 observao (medio) da Exposio ao 2 Observao (medio) da


cientfica de temas varivel dependente Tratamento (X) (varivel varivel dependente
para: O1 = Pr-teste independente) O2 = Post-teste

Grupo Experimental Pontuao mdia do Grupo X Pontuao mdia do Grupo


Experimental sobre a Experimental sobre a varivel
varivel dependente dependente

Grupo de Controlo Pontuao mdia do Grupo Pontuao mdia do Grupo de


de Controle sobre a varivel controle sobre a varivel
dependente dependente

A diferena na pontuao do grupo de controlo a partir do pr-teste para o ps-teste indica a alterao no valor da
varivel dependente, que se podia esperar que ocorresse sem exposio ao tratamento (independente) varivel X.
(pontuao pr-teste G.controle - pontuao ps-teste G. controle = diferena da varivel dependente G.controle)

A diferena na pontuao do grupo experimental a partir do pr-teste para o ps-teste indica a alterao no valor da
varivel dependente, que se podia esperar que ocorrer com a exposio ao tratamento (independente) varivel X.

(pontuao pr-teste G.experimental - pontuao ps-teste G. experimental = diferena da varivel dependente


G.experimental)
Pg.15
A diferena entre a alterao no grupo experimental e a alterao no grupo de controlo a quantidade de mudana no
valor da varivel dependente, que pode ser atribudo exclusivamente influncia das variveis independentes
(tratamento) varivel X.
(Diferena grupo controle - diferena grupo experimental = diferena atribuvel a X)

O projeto controlado ou verdadeiros planeamentos experimentais permitem ao pesquisador controlar ameaas


validade interna e externa do estudo. Ameaas validade interna comprometem a habilidade do pesquisador para
dizer se existe um relacionamento entre as variveis independentes e dependentes. Ameaas validade externa
comprometem a habilidade do pesquisador para dizer se os resultados deste estudo so aplicveis a quaisquer outros
grupos

6 Testes F e situaes experimentais


A distribuio F de Snedecor tambm conhecida como distribuio de Fisher frequentemente utilizada na inferncia
estatstica para anlise da varincia. Dizemos que uma varivel aleatria contnua X tem distribuio F de Snedecor
com n graus de liberdade no numerador e m graus de liberdade no denominador se sua funo densidade de
probabilidade for definida por:

( )( )
( )
( ) ( )( )

Ao realizarmos um teste F temos que nos certificar que alguns pressupostos se verificam:

As amostras so aleatrias para cada populao (ou tratamento)


As populaes seguem uma distribuio Normal:
- testar o ajuste Normal para cada tratamento
- o teste mostra alguma robustez perante pequenos afastamentos da Normal
As populaes so homogneas:
- necessrio testar a igualdade de varincias para cada tratamento
- maior robustez a este pressuposto se as amostras tiverem igual dimenso

Interpretao do P-valor

Obtemos um nvel de significncia (ou P-valor) para o teste F, por exemplo, comparando o valor F0 com o quantil da
distribuio F, A maioria dos programas computacionais, que ajustam modelos de regresso incluem o clculo do na
tabela ANOVA. Quando o p-valor aproximadamente zero significa que, se a hiptese nula (H0) for verdadeira, a
hiptese de F exceder o valor observado F0 praticamente nula. Esta uma evidncia muito forte, contra H0..O p-valor
uma probabilidade condicional de observar um valor da estatstica computada, nesse caso como maior do que o
valor observado, sob H0. Um p-valor pequeno fornece evidncias contra H0.Em algumas reas de pesquisa, adotado
um nvel de significncia fixo para examinar o p-valor. Por exemplo, se fixarmos um nvel de significncia ( ), ento
poderemos dizer que uma hiptese nula rejeitada a este nvel, quando o p-valor menor do que esse nvel. A
escolha mais comum para 0,05, isto significa que quando verdadeira encontraremos evidncias contra essa
hiptese em aproximadamente 5% dos elementos da amostra. Denominamos significncia estatstica a observao de
um P-valor suficientemente pequeno, porm essa significncia necessita de outros mtodos para ser determinada,
alm do P-valor.

A distribuio F formada pela proporo de duas independentes do qui-quadrado variveis divididos pelos seus
respectivos graus de liberdade.
Pg.16
Como F formado por qui-quadrado, muitas das propriedades do qui-quadrado transitar para a distribuio F. Eis
algumas caractersticas da distribuio F :

Os F-valores so todos no-negativos


A distribuio no-simtrica
A mdia de aproximadamente 1
Existem dois graus de liberdade independentes, uma para o numerador, e um para o denominador.
Existem muitas distribuies F diferentes, um para cada par de graus de liberdade.

O F-teste desenhado para testar se duas varincias populacionais so iguais. Isso consegue-se atravs da
comparao do rcio de varincias. Assim, se os desvios forem iguais, a proporo das varincias ser 1, conforme a
seguir se indica:

sendo que ( ) ( )

Todos os testes de hiptese so conduzidos sob a suposio de que a hiptese nula verdadeira. Se a hiptese nula
verdadeira, ento o teste estatstico F dado acima pode ser simplificado. Esta razo de varincias amostrais ser
estatstica de teste utilizado. Se a hiptese nula falsa, ento vamos rejeitar a hiptese nula de que a relao era igual
a 1 e nossa suposio de que eles eram iguais.

Existem vrias tabelas F diferentes. Cada uma tem um nvel diferente de significado. Assim, devemos encontrar o nvel
correto de significado primeiro, e depois olhar para os graus de liberdade do numerador e os graus de liberdade do
denominador para encontrar o valor crtico.

Em todas as tabelas da distribuio F s surge um nvel de significncia para os testes de cauda direita. Como a
distribuio F no simtrica, e porque no existem valores negativos, se pretendermos encontrar o valor critico
esquerda deveremos reverter os graus de liberdade.

7 ANOVA Pressupostos e tcnicas


O objetivo principal da anlise de varincia (analysis of variance - ANOVA) a comparao de mais do que dois grupos
no que diz respeito localizao da sua mdia. A Anlise de Varincia (Anova) , provavelmente, o mtodo estatstico
de maior repercusso na pesquisa cientfica, especialmente na experimentao agrcola, de onde surgiu como uma
das muitas provas do gnio de Fisher. A ANOVA uma tcnica estatstica que foi desenvolvida por Fisher e que
permite ento a comparao simultnea de k mdias com recurso distribuio F de Fisher. A Anova pode ser
aplicada de formas distintas sendo que, quando s existe um interesse em estudo, denominamos Anlise de varincia
a um fator (One way Anova). Em muitas situaes h mais do que um fator a influenciar os resultados das observaes
- neste caso, falamos em Anova a 2 fatores (Two way Anova). Se existirem mais do que dois fatores a condicionar os
resultados tambm podemos falar em Anova a 3 fatores (Three way Anova) ou multifatorial.Por outro lado dizemos que
a anlise de varincia tem tantos nveis ou efeitos quantos grupos distintos se considerem. Por vezes usamos a
expresso tratamento em vez de grupo. Na maior parte dos casos, os grupos so determinados partida dizemos
ento que estamos perante uma Anova com efeitos fixos. Em alternativa, os grupos podem ser retirados
aleatoriamente de entre um conjunto alargado de possibilidades. Neste caso estamos perante uma anlise de varincia
com efeitos aleatrios.
Em muitas experincias interessa estudar o efeito de mais do que um fator sobre uma varivel de interesse. Quando
uma experincia envolve dois ou mais fatores diz-se que temos uma ANOVA mltipla. Uma ANOVA em que todas as
combinaes de todos os nveis de todos os fatores so consideradas diz-se ANOVA fatorial. Na maioria das
situaes, quando estamos interessados em estudar a influncia de dois ou mais fatores numa varivel, utilizamos uma
ANOVA fatorial.
Pg.17
Vimos que numa ANOVA simples o fator em causa podia ter os efeitos fixos ou os efeitos aleatrios. O mesmo se vai
passar com os modelos de ANOVA com dois ou mais fatores.
Quando um modelo tem todos os fatores com efeitos fixos diz-se que temos uma ANOVA de efeitos fixos ou um
Modelo I de ANOVA. Quando um modelo tem todos os fatores com efeitos aleatrios diz-se que temos uma ANOVA de
efeitos aleatrios ou um Modelo II de ANOVA.
Quando um modelo tem alguns fatores com efeitos fixos e outros com efeitos aleatrios diz-se que temos uma ANOVA
de efeitos mistos ou um Modelo III de ANOVA.
Antes de conduzir uma anlise de varincia (Anova) , os investigadores devem assegurar-se que se verificam os
pressupostos inerentes a este tipo de estudo, que so, a saber:

i. as componentes do erro associadas varivel dependente so independentes


ii. os erros distribuem-se normalmente
iii. as varincias nos vrios nveis dos grupos da varivel independente so iguais

Existem vrios testes que podem ser utilizados, seja manualmente ou com recurso a softwares adequados, para a
verificao destes pressupostos. Eis alguns exemplos:

1 para verificar a Normalidade :

Teste de Kolmogorov-Smirnov
Teste DAgostino-Pearson
Teste de Shapiro-Wilk

2 - Para verificar a homogeneidade das varincias:

Teste de Hartley
Teste de Cochran
Teste de Bartlett

3.ANLISE DE VARINCIA A UM FATOR E EFEITOS FIXOS

Em experincias com um fator os dados consistem em k grupos/tratamentos independentes de amostras e em cada


grupo so feitas ni medies. Se todas as amostras tiverem o mesmo nmero de medies (a mesma dimenso)
dizemos que se trata de um caso equilibrado

Notao a adotar:

Yij Resposta observada para cada tratamento, com i= 1,2,3,k ; j=1,2,3n i


N total de observaes , com N= k.ni

Modelo Yij = i + ij = + i + ij

Em que
i - mdia de cada grupo
- mdia de todos os grupo (mdia global)
ij o erro aleatrio de cada observao, sendo estes erros independentes entre si
i - parmetro nico para o tratamento i (efeito do i-simo tratamento)

Pressupe-se que ij N(0,2) , pelo que Yij N(i,2)


Isto significa que cada grupo provm de uma populao Normal com uma certa mdia i, mas todos com a mesma
varincia.
Pg.18
Pressupostos

1. Temos k grupos/tratamentos de observaes independentes, sendo os grupos independentes entre si


2. Cada grupo de observaes deve provir de uma distribuio Normal
3. A varincia das populaes deve ser a mesma (homocedastecidade)

Hipteses a testar

H0 : 1= 2= = k = vs H1 : i j para pelo menos um par (i,j)

Representao

Yio soma total das observaes do i-simo tratamento

Yimdia das observaes do i-simo tratamento

ymdia global das observaes

Assim, temos que

Yio= , Yi = , i =1,2,,k

Yoo= , y = , n=

A Soma de Quadrados Total , SQT , mede a variabilidade global dos dados. Assim, temos que

SQT= ( )

A variabilidade total pode ser expressa como uma partio:

( ) = ( ) + ( )

SQT = SQA + SQE

Em que

SQT representa a soma de quadrados total


SQA representa a soma de quadrados entre amostras (devido aos tratamentos)
SQE representa a soma de quadrados no erro/resduo

Para podermos efectuar o estudo da Anova com maior facilidade habitual representarmos todos os dados numa
tabela Anova como a que se segue:
Pg.19
Origem de Graus de Soma de Quadrados Razo de
variao Liberdade Quadrados Mdios Varincia
Entre k-1 SQA QMA=
tratamentos
Entre erros n-k SQE QME=

total n-1 SQT

Tomada da deciso:


Ao calcularmos a razo de varincias , F 0= = , esta ter distribuio F de Fisher-Snedecor,

com k-1, n-k graus de liberdade. A regra da deciso que devemos adoptar

Rejeitar a hiptese nula ao nvel de significncia , se F0 > Fk-1,n-k (%)

ANLISE DE VARINCIA A UM FATOR E EFEITOS ALEATRIOS

possvel haver necessidade de realizar experincias em que esto envolvidos um grande nmero de nveis ou
tratamentos. Nesse caso, torna-se impossvel para o investigador estud-los todos, pelo que dever proceder a uma

seleco aleatria de alguns. Este o modelo de efeitos aleatrios. Como a seleco feita aleatoriamente, possvel
extrapolar as concluses para a populao.

Modelo Yij = + i + ij , i= 1,2,t ; j= 1,2,, r ,

Yij Resposta observada para cada tratamento, com i= 1,2,3,k ; j=1,2,3n i


- representa a mdia de todos os grupo (mdia global)
ij representa o erro aleatrio de cada observao, sendo estes erros independentes entre si
i - representa o parmetro nico para o tratamento i (efeito do i-simo tratamento)

Pressupostos

i Normal e identicamente distribudos, independentes e com mdia 0 e varincia

ij - Normal e identicamente distribudos, independentes e com mdia 0 e varincia 2

i e ij so independentes

Hipteses a testar

H0 : = 0 (no h variabilidade entre tratamentos)

H1 : (h variabilidade entre tratamentos)


Pg.20

Representao

Yio soma total das observaes do i-simo tratamento

Yimdia das observaes do i-simo tratamento

ymdia global das observaes

Yio= , Yi = , i=1,2,,kYoo= , y = , n=

A Soma de Quadrados Total , SQT , mede a variabilidade global dos dados. Assim,

SQT= ( )

E a variabilidade revela-se na forma de uma partio:

( ) = ( ) + ( )
SQT = SQA + SQE


Neste caso, a razo de varincias pode ser definida por , F 0= = e o quadro resumo deste modelo

desta forma:

Origem de Graus de Soma de Quadrados Razo de


variao Liberdade Quadrados Mdios Varincia
Entre t-1 SQA QMA=
tratamentos
Entre erros n-t SQE QME=
total n-1 SQT

Tomada da deciso:

A regra da deciso que devemos adotar

Rejeitar a hiptese nula ao nvel de significncia , se F0 > Fk-1,n-k (%)

ANLISE DE VARINCIA EFEITOS MISTOS

Em alguns estudos poder ser conveniente que uns fatores sejam fixos e outros aleatrios. Um modelo misto aquele
que apresenta tanto fatores de efeitos fixos como aleatrios, alm do erro experimental e da constante .
Quando um modelo considerado misto, sua anlise de varincia apresenta algumas peculiaridades, como a
composio das esperanas matemticas dos quadrados mdios, cujo conhecimento permite o estabelecimento
correto dos testes de hipteses.
Pg.21
Outro motivo de se adotar um modelo linear misto a possibilidade de se fazer a predio de efeitos aleatrios, na
presena de efeitos fixos, atravs dos BLUPs (best linear unbiased prediction) que so de grande valia na rea da
gentica, por exemplo.

Modelo

- a observao referente k-sima repetio do nvel i de uma fonte de efeitos fixos ao


nvel j de uma fonte de efeitos aleatrios;
- uma constante inerente a todas observaes;
o efeito do nvel i do fator fixo; i = 1, ..., p;
- o efeito do nvel j, do fator aleatrio, no nvel i do fator fixo, j = 1, ..., q;
- erro aleatrio associado a observao

Pressupostos

Neste modelo assume-se que :


( )

As somas dos quadrados e os quadrados mdios so calculados do modo habitual, e os valores esperados so dados
pelas expresses:


( ) ( ) ( ) ( )

As estatsticas de teste sero :

As estimativas dos efeitos e as respetivas componentes da varincia so dados da seguinte forma:

Matricialmente, possvel descrever o modelo misto, uma vez que existem 2 fatores em estudo:

Em que

vector das observaes


matriz de incidncia dos efeitos fixos
vetor de efeitos fixos
matriz de incidncia dos efeitos aleatrios
vetor de efeitos aleatrios

vetor dos erros aleatrios

E n = nmero de observaes p= nmero de parmetros q=nmero de efeitos aleatrios


Pg.22
Assume-se que os efeitos aleatrios e os erros (ou residuos) tm ento uma distribuio Normal, com mdia 0 e so
no correlacionadas, com matrizes de varincias e covarincias, respetivamente G e R, matrizes positivas definidas,
por hiptese e, portanto no singulares, dadas por:

Var ( ) ( )
Var ( ) ( )

Na sua forma matricial teremos ento que

[ ] [ ]

Assim, poderemos ento escrever as seguintes relaes:

( ) ( ) ( ) ( ) ( )

E, deste modo, assumindo que V no singular e ( ) ( )

E desta forma se conclui que ( )

No ser difcil compreender que de fato trabalhoso efectuar estudos com recurso a este modelo, mas existem
muitas situaes especficas em que o investigador considera profcuo recorrer a este modelo.

8 A pesquisa e as escolhas
O GOOGLE continua a ser o motor de busca favorito da maioria de ns. A nossa busca comeou com palavras-chave
simples : planeamento de experincias, planejamento de experincias e encontrmos vrios artigos interessantes ,
da termos referido essas escolhas no frum. Ainda assim, muitas destas pesquisas se mostraram repetitivas e
insuficientes, pelo que , muitos de ns tivemos que alargar a busca em ingls, usando como palavras chave Design of
Experiments. O nosso leque de escolhas era de fato muito vasto e pensamos termos recorrido a quase todas na
segunda parte da actividade. Alguns de ns no participaram na primeira fase de recolha, mas, posteriori acabaram
por se alargar nas buscas, j que as solicitaes eram muitas. Foi um rduo trabalho de pesquisa e seleco, e, muitos
dos exemplos de aplicao que buscmos revelaram-se infrutferos pois no referiam os mtodos aplicados.
Outro dos motores de busca utilizados foi o Schoolar Google que sempre uma ajuda na pesquisa de estudos
cientficos, mas, mesmo esse, devolveu poucos estudos em que fossem referidos os mtodos aplicados. Ainda assim,
foi um trabalho fantstico, em que aprendemos imenso, pusemos em prtica algumas das aprendizagens passadas e
alguns de ns aprenderam a trabalhar com novas ferramentas. O espirito de entreajuda esteve sempre presente e o de
sacrifcio principalmente.
Eis as justificaes das nossas escolhas:

Site : http://thequalityportal.com/q_know02.htm
Descrio : por ser um portal muito completo com indicaes importantes sobre DOE

Site: http://www.moresteam.com/toolbox/design-of-experiments.cfm
Descrio: porque apresenta um roadbook sobre DOE

Site: http://www.pedro.unifei.edu.br/download/cap4.pdf
Descrio: um powerpoint engraado e muito til onde se traam as guidelines do planeamento de experincias

Site: http://www.stats.gla.ac.uk/steps/glossary/anova.html
Descrio: um super til glossrio de estatstica que pode ajudar nas tarefas mais simples
Pg.23

Site: http://www.jhuapl.edu/techdigest/TD/td2703/telford.pdf
Descrio: como o prprio nome indica, um guia sobre planeamento de experincias, com os seus princpios
fundamentais, repleto de informaes preciosas para quem tem um trabalhinho deste para fazer

Site: https://onlinecourses.science.psu.edu/stat503/node/6
Descrio: breve histria do planeamento de experincias - d sempre jeito

Site: http://www.ehow.com/about_5463828_history-experimental-design.html
Descrio: tambm refere-se histria do planeamento de experincias

Site: http://pt.scribd.com/doc/33385/A-Brief-Overview-of-Design-of-Experiments-for-High-School-Math-and-Science-
Students
Descrio: tambm sobre a histria do planeamento de experincias, complementa as duas escolhas anteriores

Site: http://www.portalaction.com.br/content/14-an%C3%A1lise-de-vari%C3%A2ncia
Descrio: o portal action j nos habituou sua simplicidade. Apresenta os conceitos bsicos na sua essncia

Site: http://www.statsoft.com/textbook/anova-manova/
Descrio: da StatSoft, bastante completo no seu percurso-com indicaes sobre o que planeamento de
experincias, categorias, softwares utilizados, etc...

Site: http://cpdee.ufmg.br/~fcampelo/files/disciplinas/EEE933/2012-/Referencias/Livros%20e%20Guias/Silva2007%20-
%20Estat%EDstica%20Experimental%20-%20%20Planejamento%20de%20Experimentos%20.pdf
Descrio: Este pdf fez parte das escolhas pois pareceu um bom manual de planeamento de experiencias,
uma vez que abordava toda a temtica proposta.

Site: http://www.dcf.ufla.br/cerne/artigos/13-02-20097730v6_n2_artigo%2001.pdf
Site: http://www.usgs.gov/blogs/features/usgs_science_pick/experiments-underestimate-climate-change-impacts-to-
plants/
Descrio: Estas duas escolhas so o exemplo de estudos na problemtica recente de reas como o clima e na
qualidade de produtos de consumo humano

Site: http://w3.ualg.pt/~eesteves/docs/PlaneamentoExperimental.pdf
Descrio:Esta escolha teve a ver com uma boa maneira (explicita, sistematizada e resumida) de apresentar a realizar
um planeamento experimental.

Site: http://www.itl.nist.gov/div898/handbook/pri/section1/pri11.htm
Descrio: Esta escolha mostra-nos toda esta metodologia a adotar na obteno e planeamento do modelo
Experimental

Site: http://run.unl.pt/bitstream/10362/1983/1/Silva_2009.pdf
Descrio: Esta escolha teve como objectivo recolher informao sobre a histria do planeamento de experincias

Site: http://w3.ualg.pt/~eesteves/docs/PlaneamentoExperimental.pdf
Descrio: O porqu do planeamento de experincias

Site:
http://run.unl.pt/bitstrehttp://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=21&ved=0CB8QFjAAOBQ&u
rl=http%3A%2F%2Fwww.inf.ufsc.br%2F~ogliari%2Fblocosquadradolatinoeoutros.ppt&ei=smiVULu7CYe2hQf0hYD4AQ
&usg=AFQjCNHqQYRfYtXYYapSC9zQGEz-
yPB47g&sig2=YpTc12J26ee725B_6yHq6wam/10362/1793/1/Mascarenhas_2008.pdf
Descrio: esta escolha esteve relacionada com os vrios tipos de modelos existentes
Pg.24
Site:http://www.estv.ipv.pt/PaginasPessoais/psarabando/Estat%C3%ADstica%20%20CA%202009-
2010/slides/Anova/ANOVA.pdf
http://www.est.ufpr.br/ce003/material/cap7.pdf
http://www2.mat.ua.pt/pessoais/ahall/Bioestat%C3%ADstica/ANOVAcontinua.pdf
Descrio: pginas sobre Anova

Site: http://www.corwin.com/upm-data/29173_Millsap___Chapter_2.pdf
http://www.csulb.edu/~msaintg/ppa696/696exper.htm#Pre-test/Post-test

Descrio: a estatstica propriamente dita


Pg.25
BIBLIOGRAFIA

[1] Corra da Silva, Joo Gilberto, Planejamento de experincias, Pelotas, 2007

[2] Oliveira, Teresa Paula C., Estatstica Aplicada, Universidade Aberta, 2002

[3] Montgomery, Douglas, Design and Analysis of Experiments, 5th Edition, 1997

[4] Gamst, Glenn, Meyers, Lawrence, Guarino, AJ, Analysis of Variance Designs, Cambridge, 2008

[5] Dean, Angela, Voss, Daniel, Design and Analysis of experiments,1999

[6] Correia, Helga, Anova na Educao, Tese de Mestrado, Universidade Aberta, 2010-2011

WEBGRAFIA

[7] http://rtutorialseries.blogspot.pt/2011/03/r-tutorial-series-anova-pairwise.html

[8] http://www.portalaction.com.br

[9] http://thequalityportal.com/q_know02.htm

[10] http://www.moresteam.com/toolbox/design-of-experiments.cfm

[11] http://www.pedro.unifei.edu.br/download/cap4.pdf

[12] http://www.stats.gla.ac.uk/steps/glossary/anova.html

[13] http://www.jhuapl.edu/techdigest/TD/td2703/telford.pdf

[14] https://onlinecourses.science.psu.edu/stat503/node/6

[15] http://www.ehow.com/about_5463828_history-experimental-design.html

[16] http://pt.scribd.com/doc/33385/A-Brief-Overview-of-Design-of-Experiments-for-High-School-Math-and-Science-
Students

[17] http://www.portalaction.com.br/content/14-an%C3%A1lise-de-vari%C3%A2ncia

[18] http://www.statsoft.com/textbook/anova-manova/

[19] http://thequalityportal.com/q_know02.htm

[20] http://www.moresteam.com/toolbox/design-of-experiments.cfm

[21] http://www.dcf.ufla.br/cerne/artigos/13-02-20097730v6_n2_artigo%2001.pdf

[22]http://www.tecnicelpa.com/files/Utilizacao%20do%20planeamento%20de%20experiencias.pdf

[23] http://path.web.ua.pt/file/Ana%20tavares%20tese.pdf

[24] https://dspace.ist.utl.pt/bitstream/2295/152389/1/Tese_NunoMoitaN45753.pdf

[25] http://www.spmet.pt/Eventos/Conferencia1/JMendonca_Dias.pdf

[26] http://run.unl.pt/bitstream/10362/5644/1/Figueiredo_2011.pdf
Pg.26
[27]http://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CB8QFjAA&url=http%3A%2F%2Fww
w.repository.utl.pt%2Fbitstream%2F10400.5%2F3141%2F1%2Fdesenvolvimento%2520de%2520filmes%2520bioactivo
s%2520a%2520partir%2520do%2520quitosano.pdf&ei=6PyoUOSbMo-
ShgfJuoHgAg&usg=AFQjCNGImupX6XXe3iPoHWKwfukwFGjNwA&sig2=nvxjAI8D_uVK97BToUAbVQ

[28] http://www.fpce.up.pt/docentes/acpinto/artigos/06_categorizacao_de_itens.pdf

[29]http://ambientes.ambientebrasil.com.br/biotecnologia/artigos_de_biotecnologia/engenharia_genetica_(a_ciencia_da
_vida).html

[30] http://www.biologo.com.br/experiencia.html

[31] http://www.moresteam.com/toolbox/design-of-experiments.cfm

[32] http://www.portaldeconhecimentos.org.br
Pg.27

DOE

DOE

2012

You might also like