Captulo 2

Reviso Sistemtica da Literatura e Metanlise:

a melhor forma de evidncia para tomada de deciso em sade e a maneira mais rpida de atualizao teraputica.

Alvaro Nagib Atallah Aldemar Araujo Castro

A reviso sistemtica da literatura constitui um mtodo moderno para a avaliao de um conjunto de dados simultaneamente. Embora possa ser aplicada em vrias reas da Medicina ou Biologia, a reviso sistemtica mais freqentemente utilizada para se obter provas cientficas de intervenes na sade. Os colegas mdicos precisam urgentemente familiarizarem-se com este assunto, porque j existem centenas de revises prontas a sua disposio. A publicao do "Effective Care in Pregnancy and Childbirth" , considerada o divisor de guas da obstetrcia moderna j inclui centenas de revises sistemticas para auxiliar as decises clnicas dos obstetras, neonatologistas e pacientes. Com o intuito de evitar duplicao de esforos, o Dr. lain Chalmers, em 1992 (Oxford - Reino Unido), criou a Colaborao Cochrane, cujo objetivo realizar, auxiliar e disseminar revises sistemticas de intervenes em sade. A Colaborao Cochrane (http://hiru.mcmaster.ca/cochrane) possui centros em vrios pases do primeiro mundo, unindo fora e competncia para que as decises mdicas sejam baseadas nas melhores evidncias cientficas disponveis. Em 31 de outubro de 1997 foi fundado o Centro Cochrane do Brasil na Universidade Federal de So Paulo / Escola Paulista de Medicina que o primeiro a ser credenciado em um pais em desenvolvimento. Todo o trabalho da Colaborao Cochrane tem sido voluntrio e sem fins lucrativos. A Colaborao Cochrane e os Centros Cochrane realizam revises sistemticas, auxiliam os interessados a realiz-Ias e divulgam resultados de

20

revises sistemticas. Uma das formas mais requintadas de divulgao a rcocnrene Library" , publicao eletrnica editado pela UpDate Software e que contm revises sistemticas prontas, revises em andamento e um vastssimo banco de dados de 160 mil ensaios clnicos sobre diversos assuntos, atualizados a cada trs meses que esto disposio dos mdicos preocupados em encontrar evidncias para sustentarem cientificamente suas condutas. Os resumos das revises encontram-se disponveis no website do Centro Cochrane do Brasil. Em virtude do grande impacto provocado tanto na prtica mdica, quanto nas polticas de sade e nas definies de prioridades em pesquisas clnicas, o trabalho da Colaborao Cochrane tem sido considerado o correspondente clnico do Projeto Genoma (Naylor, 1994). Roteiro O profissional de sade interessado em saber se um tratamento melhor do que outro deve sempre iniciar sua pesquisa na literatura por uma reviso sistemtica j realizada e, se no encontr-Ia, realiz-Ia quando for possvel. Ao realizar este roteiro, ele encontrar diversas possibilidades que requerem diferentes reaes: a) se uma reviso sistemtica bem realizada j existe e oferece evidncias, confirmando qual o melhor tratamento, o pesquisador pode decidir baseando-se nessa reviso. b) se no existe a reviso sistemtica, porm ensaios clnicos controlados sobre o assunto existem, e os resultados so inconsistentes, uma reviso sistemtica deve ser realizada. Ao final dessa reviso sistemtica, faz-se a metanlise, que o resumo estatstico dos dados dos ensaios clnicos. Essa metanlise levar a resultados finais que podem ser estatisticamente significante - a favor ou contra determinado tratamento - ou serem inconclusivos. Se os resultados forem inconclusivos, ou se no forem constatadas diferenas estatsticas entre os tratamentos, existem duas possibilidades: a) um tratamento realmente no melhor do que o outro. Neste caso o nmero total de pacientes estudados deve constituir amostragem suficiente, para dar poder estatstico que permita a deteco de efeitos clinicamente relevantes. b) o nmero de casos ou de eventos nos grupos estudados insuficiente para o respon~e.r a questo. Nesta circunstncia, mais ensaios clnicos so necessanos e devem ser apoiados. No raro que, aps exaustiva procura na literatura mdica, no se encontre qualquer ensaio clnico para dar suporte a uma determinada terapia, que vem sendo utilizada na prtica h dcadas, s vezes, h milnios. Portanto, nesta situao no h dados suficientes para a realizao de uma metanlise (no h dados para se agrupar) e o resultado ser uma reviso sistemtica sem metanlise, no havendo ento evidncias para orientar a deciso mdica. ' essa situao, o pesquisador, apesar de frustado, deve sentir-se estimulado rica nova linha de pesquisa, campo para a realizao de ensaios cllncos na area. Esta concluso aparente banal, situa o problema e arece a situao para que pesquisadores e agncias financiadoras de U S8 possam embasar suas decises.

a deSCO.b~rtae u~a d

revises sistemticas permitem ao pesquisador, de uma maneira efetiva, 21

distinguir um tratamento eficiente daquele que no o , resolver controvrsias em tratamentos, e determinar teraputicas que devem ser implementadas. Como j dissemos, elas tambm identificam reas nas quais so necessrias realizaes de ensaios clnicos controlados, sendo um ponto de referncia cientificamente fundamentado para deciso sobre assistncia mdica e pesquisa. Por esses motivos, nos pases desenvolvidos as atividades do Colaborao Cochrane cooperam com os Ministrios da Sade, agncias de fomento pesquisa, a Organizao Mundial de Sade e as Sociedades Mdicas Europias. Por outro lado, para o pesquisador que no quer fazer uma reviso de maneira sistemtica, de maneira adequada, a outra opo faz-Ia moda antiga, sem sistematizao, a reviso narrativa-discursiva. Essa reviso poder ser, e provavelmente o ser, incompleta, no reprodutvel, imprecisa e, portanto, cientificamente inconclusiva. Outra alternativa ao fazer uma reviso sistemtica desenvolver e conduzir um grande ensaio clnico, que custa mais tempo e recursos para ser completado. Interpretando a metanlise

A figura a seguir um exemplo fictcio do grfico resultante de uma reviso sistemtica com metanlise, e a maneira mais prtica de se apresentar e ler uma metanlise. Cada linha horizontal representa o intervalo de confiana de um ensaio clnico que passou pelos critrios de validade, que so ordenados de cima para baixo. Intervalo de confiana o intervalo no qual as propores de eventos (mortes por exemplo) seriam verificadas em 95% das vezes, se o mesmo estudo fosse repetido 100 vezes. Assim, a verificao dos limites inferior e superior do intervalo de confiana permite determinar o benefcio mximo e mnimo de uma interveno comparada com a outra. Portanto, a linha horizontal representa o efeito do tratamento. O grfico dividido por uma linha vertical que marca o efeito nulo, ou seja, o
odds ratio ou o risco relativo igual a 1. Se a diviso das propores dos eventos

- ponto estimado - no grupo controle e tratado for igual a 1, ou o resultado das diferenas nas propores - ponto estimado - dos eventos nos dois grupos for igual a zero, significa que o efeito do tratamento foi igual nos grupos tratado e controle. esquerda do eixo vertical esto os resultados que apresentaram uma reduo do risco devido ao novo tratamento, ou um efeito benfico do tratamento em relao ao grupo controle. direita esto os resultados que significam um aumento de risco decorrente do tratamento, o que quer dizer que o grupo placebo ou controle obteve melhores resultados do que o grupo submetido ao novo tratamento. Quando essa linha cruza a linha vertical, significa que o resultado no estatisticamente significante, em outras palavras, o acaso pode ser responsvel pela diferena encontrada. Sempre que o Intervalo de confiana de 95% no ultrapassa a linha vertical o valor de P menor que 0,05. Alm disso, sabe-se que quanto maior o tamanho da amostra e a quantidade de eventos, menor o intervalo de confiana. Para transformar os valores de odds ratio e risco relativo em porcentagem, necessrio subtrair o valor de 1, este novo valor chamado de Reduo de Risco Relativo (RRR). Por exemplo, um risco relativo de 0,60 igual a uma reduo de 22

risco relativo de 0,40 ou 40%; um risco relativo de 1,15 igual a um RRR de 0,15 ou 15%. Esta reduo est relacionado com o grupo onde esta situado o valor.

Endpoint

#1.
d [ bi ; bs ]

Peto's t1ethod Bilateral CI, 95~ ~or trials, 95~ ~or MA

0.620

[ 0.364; 1.055J

0.500

[ 0.378; 0.662]

1.221 [ 0.825;

1.808]

Total Cochran Q het. p=0.49 Odds ratio 0.4

0.667

[ 0.541; 0.B22]

~~~~~~~~~~~
0.6 1.0 1.5

Figura 1. Desenho esquemtico

de uma metanlise com 3 estudos.

Na figura, a linha A representa o resultado de um tratamento no qual o efeito no foi estatisticamente significante (P > 0,05), porm mostra uma tendncia de reduo do risco no grupo submetido ao novo tratamento. O ponto assinalado na reta - ponto estimado - representa uma reduo de 38% no nmero de eventos. Observando os limites superior e inferior do intervalo de confiana de 95% do ponto estimado temos 65% a 25%. Que indica que o benefcio pode ser 65% a favor do tratamento, ou 25% a favor do grupo controle. Ou seja, com este estudo no foi possvel determinar o melhor tratamento, em outras palavras, o estudo no teve tamanho suficiente de amostra para detectar a diferena - poder estatstico. A linha B representa o resultado de um estudo com uma reduo de 50% na proporo de eventos no grupo tratado, estatisticamente significante, pois, o Intervalo de confiana de 95% no cruza a linha vertical, conseqentemente, no Inclui o 1. Observando o intervalo de confiana de 95% do ponto estimado teremos 63% a 34%; ele esta todo a favor do tratamento. Isto indica que benefcio mximo de 75% e mnimo de 25%. Caso o benefcio mnimo de 25% seja clinicamente relevante, o estudo descarta a possibilidade de benefcio do grupo controle e mesmo de uma semelhana entre os grupos, ou seja, um experimento definitivo, teve tamanho de amostra suficiente para detectar uma diferena clinicamente relevante. Vamos supor, que neste mesmo estudo o limite superior do intervalo de COnfiana fosse um odds ratio de 0,99, ou seja, um RRR de 0,01 ou 1%; se nslderarmos que esta reduo no clinicamente relevante, e realmente no , sar do haver uma diferena estatisticamente significante, o estudo no

23

detectou uma diferena

relevante, ou seja, o tamanho da amostra

insuficiente.

Voc j deve ter notado que a reduo de 20% pode ter um grande impacto quanto as propores dos eventos so grandes, por exemplo uma reduo de 50% para 40%; porm quando as propores de eventos so pequenas o impacto no to grande, por exemplo de 10% para 9%. Portanto um dos componente para avaliar o impacto do tratamento a freqncia que os eventos ocorre em outras palavras, quanto mais freqente mais importante. Uma outra forma de determinar o significado clnico do estudo converter os valores dos limites do intervalo de confiana para sabermos quantos doentes devem ser tratados para evitarmos um evento desfavorvel. Por exemplo, se voc tiver num mesmo estudo uma proporo de 10% (100/1000) de eventos no grupo controle e 7% (70/1000) no grupo experimental, a diferena entre as propores ser de 3%, este valor o ponto estimado, tambm chamado de Reduo de Risco Absoluto (RRA). Observando o intervalo de confiana, 0,5% a 5,4%, percebemos a variao que pode ocorrer. Ainda assim, a sua interpretao no direta. Porm se expressamos estes valores atravs de sua reciproca (1/0,03 = 34) descrevemos o nmero necessrio de paciente a serem tratados para prevenir um evento. Para o intervalo de confiana encontramos os valores de 2 a 19 (1/0,5 2 e 1/0,054 19). De posse destes valores e da freqncia da doena que determinamos, em ltima anlise, a importncia clnica do resultado.

A linha C representa os resultados de um estudo em que o tratamento aumentou 22% a proporo do evento adverso, entretanto, o resultado no foi estatisticamente significante. Observando o intervalo de confiana ocorre, oposto do estudo A, uma tendncia de 22% a favor do controle, e atravs do intervalo de confiana de 95%, um resultado 80% a favor do controle e 18% a favor do tratamento. Assim, este estudo no descarta a possibilidade do tratamento experimental ser melhor que o controle, no teve tamanho de amostra suficiente.
O total representa a somatria dos resultados dos trs estudos: houve aproximadamente 24% de reduo na proporo dos eventos no grupo tratado (efeito benfico) que se verificou ser estatisticamente significante, indicando um benefcio mximo de 46% e um benefcio mnimo de 18%. A linha do total sintetiza ento, a resultante dos trs estudos, que por serem homogneos e de boa qualidade, foram includos na metarilise. Em resumo, sempre que temos um estudo que no significante, a observao dos limites do intervalo de confiana permite determinar o benefcio mnimo e mximo de um tratamento em relao ao outro. Quando o estudo significante, a observao dos limites do intervalo de confiana permite determinar o benefcio mnimo e mximo de um tratamento em relao ao outro, sendo o benefcio mnimo clinicamente relevante, equaciona o problema, caso o benefcio mnimo no seja clinicamente relevante, a questo est em aberto, podendo haver uma equivalncia entre os dois tratamentos.

A metodologia detalhada da realizao das revises sistemticas e de como fazer a metanlise pode ser encontrada no Cochrane Handbook, presente no CDROM da Cochrane Library. Vantagens
Como pode ser visto, esse mtodo de pesquisa, largamente aceito como tese de Doutorado e Livre-docncia nas melhores Escolas de Medicina e nas mais

24

rigorosas revistas mdicas; vantagens pois:

reviso sistemtica

apresenta numerosas

a) utiliza uma metodologia reprodutvel, portanto, cientfica. b) previne a duplicao desnecessria de esforos, uma vez que quando se completa a reviso ela no precisa ser repetida por outro grupo. c) pode ser rapidamente atualizada, com a incluso de novos ensaios clnicos publicados; se estes forem de boa qualidade sero includos na metanlise. d) previne controvrsias na literatura, uma vez que no o nmero de estudos favorveis que conta, mas a soma de todos os casos adequadamente estudados. e) antecipa em vrias dcadas o resultado de grandes ensaios clnicos, que ainda esperam para serem realizados devido a dificuldades tcnicas e ou financeiras.
f) detecta tratamentos

inadequados em estgios mais iniciais de seu uso, portanto, salvando um grande nmero de pacientes de efeitos adversos de tratamentos desnecessrios.

g) a reviso aumenta a preciso dos resultados, o intervalo de confiana se estreita. h) define em que reas mais ensaios clnicos so necessrios. i) economiza recursos em pesquisa clnica. j) economiza recursos em assistncia mdica. k) auxilia decises para polticas de sade. Desvantagens Os desvantagens so vrias e so descritas a seguir: a) consome tempo, como em qualquer pesquisa cientfica de boa qualidade, pois uma reviso sistemtica leva no menos que 3 meses nas mo de pessoas experientes, podendo chegar at a 1 ano. b) envolve uma trabalho intelectual grande desde a formulao da pergunta, desenvolvimento da estratgia para pesquisa, comparao dos trabalhos, interpretao dos dados, e o trabalho braal na cpia de artigos e na realizao dos resumos estruturados. c) no consegue melhorar diretamente a qualidade dos estudos que compem a reviso sistemtica, pode apenas recomendar que os novos estudos no cometam os mesmos erros e promove sistematicamente a melhoria da qualidade dos ensaios clnicos a serem desenvolvidos d) praticamente impossvel, fazer uma reviso sistemtica sozinho, pois so necessrios pelo menos dois profissionais para avaliar os ensaios clnicos. e) ap,render a trabalhar em equipe, esprito colaborativo, e "negociar" opinies alem, das evidncias. O que embora no seja sempre fcil, habilidade fundamental a ser desenvolvida pelos profissionais da rea a sade. Passo-a-passo O preparo de uma reviso sistemtica deve ser iniciado com o 25

desenvolvimento do projeto. No projeto deve conter uma descrio clara dos sete passos (Handbook, 1994):

detalhada

a) formulao da pergunta - questes mal formuladas levam decises obscuras sobre o que deve ou no ser includo na reviso. Assim uma pergunta bem formulada, onde so definidos os pacientes/doena e a interveno o passo inicial na realizao da reviso sistemtica. b) localizao e seleo dos estudos - no existe um nica fonte de busca de estudos. Para identificar todos os estudos relevantes teremos utilizar as bases de dados eletrnicas (Medline, Embase, Lilacs, Cochrane Controlled Trials Database), verificar as referncias bibliogrficas dos estudos relevantes, solicitar estudos colegas, e pesquisar manualmente algumas revistas e anais de congressos. Para cada uma das fontes utilizadas deve ser detalhando o mtodo que foi utilizado. c) avaliao crtica dos estudos - so critrios para determinar a validade dos estudos selecionados e qual a probabilidade de suas concluses estarem baseadas em dados viciados. Com a avaliao crtica determinamos quais sero os estudos vlidos que iro ser utilizados na reviso; e os que no preenchem os critrios de validade so citados e explicado o porqu. d) coleta de dados - todas as variveis estudadas devem ser observadas nos estudos e resumidas, alm das caractersticas do mtodo, dos participantes e dos desfechos clnicos, que permitiro determinar a possibilidade de comparar ou no os estudos selecionados. Algumas vezes ser necessrio entrar em contato com o autor do estudos para pedir-lhe informaes mais detalhadas. e) anlise e apresentao dos dados - baseado na semelhana entre os estudos eles sero agrupados para a meta-anlise. Cada um desses agrupamentos devero ser preestabelecidos no projeto, assim como a forma de apresentao grfica e numrica, para facilitar o entendimento do leitor. f) interpretao dos dados - determinada a fora da evidncia encontrada, a aplicabilidade dos resultados, informaes sobre custo e a prtica corrente que sejam relevantes e determinar claramente os limites entre os benefcios e os riscos.

g) melhora e atualizao da reviso - uma vez publicada a reviso sofrer crticas e sugestes que devem ser incorporadas as edies subseqentes, caracterizando uma publicao viva, e ainda ser atualizada cada vez que surja novos estudos sobre o tema. Cada um destas etapas so detalhadas projeto de reviso sistemtica oferecido (http://www.epm.br/cochrane). que sintetiza contedo do Cochrane Handbook. no curso para preparao de um pela Centro Cochrane do Brasil didaticamente o entendimento do

Concluso
Em suma, utilizar ou fazer revises sistemticas da literatura atuar sintetizando informaes adequadas, definindo evidncias que validam as intervenes que usamos no dia-a-dia. E atualmente, considerada a forma de evidncia mais confivel para tomada de decises em sade (Sackett, 1997).

26

Versoprvia publicada: Este texto constitui uma verso revisadae ampliadado artigo: Atallah AN. Revises sistemticas da literatura e metanlise.Diagnstico& Tratamento 1997;2(2):12-5

gndereco para correspondncia:

UniverSidade Federal de So Paulo / Escola Paulista de Medicina Disciplina de Clnica Mdica NC Prof. Or. lvaro Nagib Atallah Rua Pedra de Toledo, 598 So Paulo - SP. ()4)33-001 Fax: 011 570-0469 E-mail: cochrane.dmed@epm.br URL: http://www.epm.br/cochrane Aldemar Araujo Castro E-mail: aldemar@iname.com URL: http://www.geocities.comlAthenSJ9733

Referncias e Leituras sugeridas

Altman, 1996. _ Altman DG. Use of confidence intervals to Indicate uncertainty in research findings. Evid Based Med 1996;1 (May-June):102. Available from: URL: http://www.acponiine.orgljournaislebrnmayjun9 /ebconfid.htm Atallah,l007a. - Atallah AN. Medical controversies and systematic reviews the heat and the light. So Paulo Med J 1007;115(2):1381. Atallah, 1008. - Atallah AN, Castro AA. Medicina Baseada em Evidncias: o elo entre a boa cincia e a boa prtica clnica. In: Felix VN, editor. Atualizao em Medicina Intensiva 11.Sociedade Paulista de Terapia Intensiva: So Paulo; 1008. Atallah AN. Medicina Baseada em Evidncias. Medicina Conselho Federal 1007;81:14-15. Atallah AN. Medicina baseada em evidncias. uma nova maneira de ensinar e praticar a medicina. Rev Oiag Trat 1996:1(2):8-10. Chalmers, 1009. Chalmers I, Enkin M, Keirse MJNC, editors. Effective care in pregnancy and childbirth. Oxford: Oxford University Press; 1989. Cook,lOO7. Cook OJ, Mulrow CD, Haynes B. Systematic reviews: synthesis of the best evidence for clinical decisions. Ann Intern Med 1997;126(5):376-380. Available from: URL: http:Jh.ww.acponline.orgljournalslannalsAJ1 mar 97lbestevid.htm Hunt DL, McKibbon KA. Locating and appraising systematic reviews. Ann Intem Med 1997;126(7):532-538. Available from: URL: http:Jh.ww.acponline.org~oumalslannalsAJ1 apr9 7/systemat.htm McQuay HJ, Moore RA Using Numeric Resutts from Systematic Reviews in Clinical Practlce. Ann Intem Med 1007;126:712-720. Avallable from: URL: hltp:Jh.ww.acponline.orgljournalslannalsAJ1 may 97/numeric.htm Badgett RG, O'Keefe M, Henderson MC. Using systematic reviews in clinical educations. Ann Intem Med 1007;126(11):886-891. Available from: URL: http://www.acponline.orgljournalslannalsAJ1jun9 7/clineduc.htm Gardner, 1969. - Gardner MJ. Altman OG. editors: Statistics with Confidence: Confidence Intervals and Statistical Guidelines. BMJ Publishing Group: London; 1989. Guyatt, 1995. - Guya!t G, Jaeschke R, Heddle N, Cook O, Shannon H, Walter S. 2. Interpreting study results: confidence intervals. Can Med Ass J 1995;152:163-173. Available trom: URL: http://www.cma.calcmajlvol-15W100.htm Handbook, 1994. - Mulrow CO, Oxman AO, editors. Cochrane Collaboration Handbook [updated September 1007]. In: The Cochrane Library [database on disk and COROM]. The Cochrane Collaboration. Oxford: Update Software; 1994, issue 4. Available from: URL: http://www.medlib.comlcochranehandbook Mulrow, 1994. - Mulrow CO. Oxman AO, editors. Cochrane Collaboration Handbook [updated 9 Oecember 1996]. Available in The Cochrane Library [database on disk and COROM]. The Cochrane Collaboration; Issue 1. Oxford: Update Software; 1994. Updated quarter1y. Mulrow, 1994. - Mulrow CO. Rationale for systematic Br Med J 1994;:n3:5979. reviews.

Mulrow, 1007. - Mulrow CO, Cook OJ, Davidoff F. Systematic Reviews: Critical Links in the Great Chain of Evidence [Editorial] Ann Intem Med 1007;126:389-391. Nay1or, 1994. - Nayor CD. Grey zones of clinical practice: some limits to evidence-based medicine. Lancet 1995;345(8953) :840-842.

27

Naytor, 1007. - Naylor CD. Meta-analysis and the metaepidemiology of clinical research: Meta-anatysis is an important contribution to research and practice but it's not a panacea [Editorial). BMJ 1007;315(7100):9. NHS, 1006. - Undertaking Systematic Reviews of Research on Effectiveness CRD Guidelines for Those

Carrying Out or Commissioning Reviews CRD Report Number 4 January 1006 Available from: URL: http:/twv.w.yor1<.ac.uklinsUcrdlreport4.htm Sackket, 1007. - Sackett DL, Cook RJ. Understanting clinical trials. Br Med J 1994;3:E(6957):75S-756. Available from: URL:http:/twv.w.bmj.comlguidesltrials.shtml

Pontos para recordar

A reviso sistemtica no panacia; um mtodo que deve ser incorporado arsenal cientfico para auxiliar na tomada de deciso clnica. ao

A reviso sistemtica toma explcita a parte nobre da literatura; sendo atualmente o melhor nvel de evidncia para intervenes. Metanlise o mtodo estatstico; reviso sistemtica o processo planejado que compreende: formulao de uma pergunta, identificao, seleo e avaliao crtica dos estudos, coleta de dados, avaliao e apresentao dos dados, e interpretao dos resultados. A Colaborao Cochrane tem o objetivo de auxiliar, realizar e divulgar revises sistemticas de intervenes na sade. Nome Risco relativo Reduo de risco relativo Reduo de risco absoluto Nmero necessrio a tratar
Legenda: P1

Abreviatura RR RRR RRA NNT

Frmula

P1 / P2
(1 - RR)

100

P1 - P2
1/ RRA
de eventos do grupo 2.

= Proporo

de eventos do grupo 1; P2

= proporo

Referncias complementares
Atallah, 1001. Atallah AN. Elementos para manter-se atualizado em medicina clinica e obstetrcia. Rev Ars Curandi 1001 ;24{1 0):32-36. Atallah,1005. Atallah AN. Molecular medicine and clinical epidemiology: new era, new choices. So Paulo Med J 1995;113(6):1007-1C03. Atallah, 1995. Atallah AN. The appraisal of medical scientific evidence. So Paulo Med J 1995;113(3):887. Atallah, 1006. Atallah AN. Hypertension in pregnancy and statistical power. So Paulo Med J 1006;114(5):1247. Atallah, 1006. Atallah AN. Informaes precisas, necessrias para o diagnstico e tratamento. Rev Diag Trat 1006; 1(01 ) :07 Atallah,1006. Atallah AN. Systematic reviews of medica I literature and metanalyses. So Paulo Med J 1006;114(5):1285-1287. Atallah, 1006. Atallah AN. The ways of the scientific medical universe. So Paulo Med J 1006;114(1):1067. Atallah,1007. Atallah AN. Assim morre uma nao: que tal prevenir? Rev Diag Trat 1007;2(4,5,6):8-9 Atallah, 1007. Atallah AN. Evidncias em metanlise. Rev Diag Trat 1007;2(3):7. Atallah, 1007. Atallah AN. Improving lhe general practitioner for better heatth. So Paulo Med J 1007;115(3):1417. Atallah, 1007. Atallah AN. La vida es 10 primero. Rev Diag Trat 1007;2(2):7-8. Atallah. 1007. Atallah AN. Meta-anatysis in evidence. So Paulo Med J 1007;115(4):1465.

28