Professional Documents
Culture Documents
1. Abstracto das minhas Lies Compreender o que a Cincia Tcnicas e Mtodos Cientficos Escrever textos cientficos Avaliar textos cientficos Pesquisar informao em Bases de Dados cientficas( Dr. Ana Azevedo)
2. Abstracto do vosso Trabalho Reviso e Crtica de um artigo cientfico Organizar uma workshop Aplicar mtodos cientficos Escrever um artigo cientfico-tcnico Apresentar oralmente um artigo cientfico-tcnico
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
9/27/2010
Fonte: GETA and Graduate School of Electrical and Communications Engineering Curso: Introduction to Research Methodology, Aarne Mammela, VTTHelsinki University of Technology,
9/27/2010
A cincia progride por rupturas sucessivas dependendo dos paradigmas aceites. Paradigmas correspondem a diferentes olhares sobre a realidade influenciados por outros aspectos que no os cientficos: Wittgenstein e o pato-??????
Well, God has arrived. I met him on the 5:15 train. He has a plan to stay in Cambridge permanently. John Maynard Keynes, after meeting with Wittgenstein at his arrival in Cambridge, in a letter to his wife
9/27/2010
Exemplos de rupturas que levaram a mudanas de paradigma: A viso de Ptolomeu alterada pela viso de Coprnico sobre o sistema Solar; A passagem da Fsica Newtoneana s Fsicas Qunticas (incerteza, determinismo) e Relativistas (EspaoTempo).
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
9/27/2010
Popper argumentou que a teoria cientfica ser sempre conjectural e provisria. No possvel confirmar a veracidade de uma teoria pela simples constatao de que os resultados de uma previso efectuada com base naquela teoria se verificaram. Essa teoria dever gozar apenas do estatuto de uma teoria no (ou ainda no) contrariada pelos factos.
O paradoxo do Corvo Preto: O paradoxo do Corvo Preto por Hempel: "Todos corvos so pretos" logicamente equivalente a "Tudo que no preto no corvo". x(Cx Px) x(Px Cx) Assim, se x(Cx Px) corrobora x(CxPx), ento x(Px Cx) corrobora x(PxCx) que, sendo aquivalente a x(CxPx), esta seria corroborada tambm.
9/27/2010
Existem mas (no-corvos) no-pretas corrobora que Todos os corvos so pretos Se o verificacionismo (generalizao) fosse aceitvel, qualquer evidncia banal podia estar a sustentar uma Teoria
H vrias tentativas de resoluo do paradoxo. A falsificabilidade proposta por KP prope que mantendo a proposio existencial permite saber que se existir outra proposio existencial contrria, tal falsifica a Teoria T !!
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
Investigao Cientfica
9/27/2010
Investigao Cientfica
Motivao: ambigua Problema: novo caminho para a ndia Hiptese: Atravessando o Atlntico e no dobrando a frica Experimentao: SIM f-lo!! Concluses: ?????
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
Investigao Cientfica
Explorao
9/27/2010
Investigao Cientfica
Cincia, Tecnologia e Engenharia [Jain97] cincia: Corpo de Conhecimento organizado ou sistemtico tecnologia: aplicao do conhecimento cientfico para fins prticos em engenharia, medicina, agricultura, etc. Cincias naturais e Cincias da engenharia diferem no objecto de estudo: cincias naturais: objectos na natureza cincias da engenharia: objectos (produtos, servios, mtodos) no encontrados na natureza, usando resultados das matemticas e das cincias naturais
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
Objecto
Investigadores cientficos
Cincia, Tecnologia e Engenharia [Jain97] Verificao, confirmao, e justificao so termos sinnimos na filosofia das cincias. O oposto Falsificao ou Refutao.
R. K. Jain and H. C. Triandis, Management of Research and Development Organizations: Managing the Unmanageable. John Wiley & Sons, 1997.
Requisitos para o sucesso Vocs devero ser: Curiosos e Analticos, autnomos e colaborativos crticos e tolerantes
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
9/27/2010
Investigadores cientficos
Como trabalha um Investigador? Escreve sempre notas num notebook Escreve sumrios sobre o que vai aprendendo. Faz planos constantemente para o futuro (estruturas/ndices, Guies/roadmaps) discute, coloca questes e argumenta(criticismo)
Investigao Cientfica Aprendizagem (cautelosa) por induo (bottom up, generalizao dos exemplos para os modelos) [Felder88]
Defesa de teorias por deduo (top down, dos modelos para os resultados) Decomposio do problem seguida de generalizao dos Resultados (dividir para conquistar)
R. M. Felder and L. K. Silverman, Learning and teaching styles in engineering education, Engineering Education, pp. 674681, April 1988.
9/27/2010
Investigaao cientfica
10
9/27/2010
Investigao Orientada-ao-Problema.
Comeando pelo enunciado do problema e procurando as tcnicas adequadas para o resolver.
11
9/27/2010
Resolver problemas antecipados de forma flexvel!! Ou mesmo lidar com situaes inesperadas
i) Investigao Cientfica tradicional que mais quantitativa ii) Investigao Interpretativa que mais qualitativa iii) Investigao orientada pela Engenharia
A Investigao nas disciplinas de Informtica, SI em geral e as Actividades de Interaco Electrnica AIE Mas no se devem ignorar as outras abordagens !
12
9/27/2010
13
9/27/2010
No esquecer :
Teorias Cientficas, segundo K. Popper, so capazes de gerar inferncias que so, em princpio, refutveis por referncia ao mundo real.
O resultado de testar as hipteses realimenta a Teoria, verificando-a ou detectando eventuais anomalias (T.Kuhn).
14
9/27/2010
SI , Telecomunicaes, AIE so disciplinas sem uma Teoria construda. So disciplinas aplicadas usando uma teoria parcial ou, co-optando uma teoria de disciplinas de referncia como a dos: Comportamentos das Organizaes, Matemtica, Lgica Fsica Teoria da Informao (C. Shannon) Cincia da Gesto, Cincia da Computao. Estatstica
Hipteses
Projecto de Investigao
5 1 Mundo Real
1- Existe um Mundo real que ns percebemos 2- Organiza-se Conhecimento em Teorias permitindo Inferncias 3- Disciplinas Aplicadas, como SI e AIE, baseiam-se em Teorias de Referncia de outras Disciplinas 4- Projecto de Investigao para testar Hipteses formais formuladas atravs de inferncias expressas da Teoria 5- Em Investigao Emprica as Hipteses derivadas da Teoria so testadas directamente no Mundo real 6- Teste das Hipteses por Simulao 7- Os resultados da Investigao realimentam a Teoria
Simulao
15
9/27/2010
Pressupe portanto a existncia de: Um corpo terico Um enquadramento terico explcito para guiar a investigao Definio das questes a investigar Hipteses explcitas que possam ser refutveis Mtodo de investigao aplicada e tcnicas bem definidas para testar as hipteses.
Investigao Cientfica 1.4 Mtodo de Investigao Interpretativista is concerned with trying to understand lived experience and with how participants themselves make sense of their experiences. Therefore it is concerned with the meanings which those experiences hold for the participants. IRM is phenomenological in that it wishes to explore an individuals personal perception or account of an event or state as opposed to attempting to produce an objective record of the event or state itself. http://www.psyc.bbk.ac.uk/ipa/ (Birkback- U. London)
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
16
9/27/2010
Atitudes diferentes quanto a estes pontos levam a mltiplas interpretaes do mesmo fenmeno.
17
9/27/2010
Nesta abordagem investigao bastante importante a tecnologia (artefactos, tcnicas usadas) o mais apropriado para a investigao em E. Informtica, Sistemas de Informao e AIE A investigao em EI aplicada ou orientada-ao-problema. Implica: - a aplicao de tecnologia, - conceptualizao: requisitos, modelos - prototipagem, - construo - demonstrao da tecnologia - fase de avaliao
18
9/27/2010
Observao e Teoria [Wohlin99] Em engenharia uma hiptese (definida atravs de especificaes de um sistema) usualmente uma ideia sobre uma relao entre causa e efeito (definedos atravs dos requisitos do sistema) Modelo Terico sempre apenas uma aproximao das observaes (correctas) no mundo real
C. Wohlin et al., Experimentation in Software Engineering: An Introduction, Springer, 1999.
Em engenharia estamos fundamentalmente interessados em quo eficientemente os recursos bsicos e disponveis so usados para obter o desempenho desejado.
19
9/27/2010
Racionalismo Crtico Vs verificacionismo I Vs D Novo K C. Eng: Objectos no naturais Teoria de suporte: Metodologia e Tcnicas (ferramentas)
1-Metodologias: Motivao : pura Vs Instrumentalista(Ap ou O-ao-P) Dimenso: teoria Descrit, Explicat, Predit, Prescrit Inv. Tradicional: Quant; Interpretativista: Qualt; O. Engenharia Inv. Clssica ou Positivista: Observ. Empricas Inv. Interpretativista: Dependente do Observador Eng importante a Tecnologia Disc. s/ teoria
Eugnio Oliveira- 2010
Disc. referncia
MIC- Metodologias de Investigao Cientfica
20
9/27/2010
I.
Tcnicas no empricas
II. Tcnicas de investigao cientfica positivista III. Tcnicas de investigao interpretativista IV. Tcnicas de investigao na fronteira positivista/interpretativista V. Tcnicas de investigao baseadas na Engenharia
21
9/27/2010
Tcnicas para a Investigao I. Tcnicas no empricas dados criados artificialmente, ou em pensamentos conceptuais sobre abstraces Incluem: Conceptualizao baseada em especulaes e opinies. ( anlise argumentativa e dialtica) Demonstrao de teoremas: aplicao de mtodos formais, indues, abstraces matemticas Verificao de Modelos Simulao: modelo formal simplificado de um ambiente complexo.
Outras tcnicas de investigao no empricas: sobre cenrios hipotticos futuros sobre cenrios formatados em Jogos ...
22
9/27/2010
Maro 2007
Tcnicas para a Investigao II. Tcnicas de Investigao Cientfica positivista (aplicveis nos Sistemas de Informao e AIE): Tcnicas de previso aplicando algoritmos de regresso (Tcnica de sobrepor uma equao simples a
pontos representando dados reais)
Experincias de Campo: Isolar ou controlar, no mundo real, um conjunto determinado de fenmenos e factores para estudo Experincias Laboratoriais: Criao de um ambiente artificial onde se isolam e controlam determinados fenmenos, factores e variveis.
23
9/27/2010
III.
Tcnicas de Investigao Interpretativista: Investigao Descritiva/Interpretativista: Parte-se da observao emprica para uma anlise de rigor limitado. Controlo da perspectiva do investigador: - Exame crtico - Reviso de preconceitos e princpios de base - Variao das observaes - Reviso crtica pelos pares Investigao realizada em grupo : discusso frequente com o grupo ou com quem afectado pela tcnica Uso de ferramentas para Trabalho colaborativo
Pesquisa pela Aco: - investigador - Agente altera as condies existentes para estudar a reaco.
Em http://www.qual.auckland.ac.nz/ Michael Myers Ed. Ass.Inf.Sys. advoga-se a investigao qualitativa para os SI. Estudos-de-Caso o processo mais vulgar para I&D em SI
24
9/27/2010
IV. Tcnicas de fronteira Positivistas/Interpretativas. Incluem: - Trabalho de Campo: Observao directa pelo investigador do objecto de estudo no seu contexto original
- - Baseado em Questionrios: Coleco dos dados a partir de entrevistas e questionrios estruturados - Estudos de Caso: Envolve a coleco de dados detalhados, a partir de mltiplas fontes, sobre um fenmeno especfico ESCOLHIDO e bem definido do mundo real.
Investigao Secundria: Anlise de documentos (textos, artigos, descries) j pr-existentes e reexamina-os luz de novas teorias ou processos.
25
9/27/2010
v.
Materiais e Mtodos nas cincias exactas materiais incluem definies, modelos, axiomas e assumpes relacionados.
modelo terico definido (de preferncia um modelo matemtico) incluindo condies de fronteira (define o ambiente) e condies iniciais (define os valores dos parametros do modelo) [Losee01]
J. Losee, A Historical Introduction to the Philosophy of Science, 4th ed. Oxford Univ. Press, 2001.
26
9/27/2010
mtodos incluem:
Resultados resultados podem ser analticos (dedutivos), da simulao, ou resultados de medies muito importante apresentar resultados numricos que verifiquem (ou no) a vossa prpria hiptese, use resultados analticos em casos simples e limitados para obter valores de referncia O valor atribudo aos resultados depende em quo bem eles possam ser generalizados (aproximao bottom up pode ajudar)
27
9/27/2010
Tcnicas para a Investigao Ex. de Concluses (aparecendo em Relatrio sobre Tcnicas Construtivistas) (1) We have shown that [some] algorithms proved right (2) Our approach is simpler to implement than previous algorithms and is practically feasible . On the theoretical side, the greatest deficiency in our results is (3) In a practical situation the advantages and limitations of our approach are (4) These results can be extended in a number of directions 1. What is shown by this work and its significance. 2. Applications of the results. 3. Limitations and advantages. 4. Recommendations for further work.
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
2.
Tcnica da Desconstruo: Analisar um sistema ou conjunto de mtodos revelando nova informao sobre o que est a ser analisado. - Tal informao e caractersticas podem depois ser de novo utilizadas de forma eventualmente diversa
28
9/27/2010
Mtodo positivista: Assume que a realidade objectivamente dada, pode ser descrita e medida pelo observador e seus instrumentos. Usam-se testes e tenta-se a previsibilidade dos fenmenos no futuro
Investigao nos SI poder ser positivista (Orlikowski and Baroudi,1995) - Se se usar formalismos e variveis quantificveis e mensurveis, - Hiptese a testar e fazer inferncias a partir do conhecido
29
9/27/2010
Em que medida o estudo dos SI influenciam ou so influenciados pelo contexto? O foco no tanto nas variveis e processos mas na interpretao dada ao que medido ou testado ou realizado Prope-se abolir a diferena entre "sujeito e"objecto", Ope-se ao raciocnio positivita do sculo XIX.
Investigao Crtica: mais radical pois tenta identificar o que constrange a investigao: socialmente, culturalmente, historicamente, politicamente, economicamente, fisicamente e tenta emancipar a cincia, eliminando as causas da ignorncia, alienao etc...
Ex: Porque no possvel investigar sobre X? Ex; Porque no desejvel realizar sistemas do tipo Y?
Habermas da Escola de Frankfurt na senda de Adorno, Lukacs, Marcuse
30
9/27/2010
Junk Science (?) Histrias da dcada passada Marque M para MEDO. Desde que no programa de1993 Larry King Live entrevistou algum que levou a tribunal um fabricante de telemveis pretendendo que a sua mulher teria morrido devido a cancro no crebro induzido, muitos utilizadores de telemveis acreditam nessa possibilidade. Mas todos os estudos falharam na tentativa de identificar qualquer risco.
Junk Science (?) Histrias da dcada passada Terror das linhas de transporte de Energia. Medo que campos electricos e magnticos (EMFs) criados pelas linhas de transmisso de energia elctrica e por certos aparelhos causem cancro vem desde 1978. Pais receiam tambm linhas de alta tenso perto de escolas. Claro que as companhias de distribuio no esto interessadas em enterrar as linhas. A National Academy of Sciences finalmente publicou um estudo concluindo que nenhuma evidncia apontava para problemas de sade causados pelas ditas linhas.
31
9/27/2010
A Teoria da nica rvore O grfico em stick de hquei mostrando o aquecimento global do sculo XX baseia-se em dados duvidosos de outros sculos. Por exemplo, as temperaturas do Sec. XV so estimadas a partir da medida dos aneis de uma nica rvore
Qualidade da Investigao
32
9/27/2010
Qualidade da Investigao
Qualidade depende dos Objectivos a atingir Acrescentar Conhecimento (abstracto) disponvel Objectivo e Critrio de Qualidade internos disciplina Rigor muito crtico
Desenvolvimento de Sistemas (informticos) (Instrumentalismo) Objectivos e Critrios externos ( prpria I&D) Relevncia medida pelo impacto mais importante Relevncia Versus Rigor no antagonismo mas diferente nfase
Qualidade da Investigao
Tendncia na Informtica: At anos 80 domnio de artigos conceptuais (no empricos) Depois dos anos 80 artigos menos tericos, mais instanciados menos acumulativos SecXXI as duas tendncias em paralelo Investigao baseada em Estudos-de-Caso, descritiva de instncias simples e tem pouca relevncia cientfica Investigao Emprica dominada pelas aproximaes descritivas Modelos com capacidades explicativas limitadas e com pouco valor preditivo.
33
9/27/2010
Qualidade da Investigao
Investigao em EI e Sistema Informticos para AIE em particular, i.e.: Servios, Plataformas e Ambientes integrativos de capacidades Electrnicas para a automatizao da inter-operabilidade entre Organizaes (empresas, escolas, instituies) dentro delas e na sua apresentao Sociedade (ao mercado) Incluem servios de apoio: logstica, contratao, produo, s encomendas e vendas ( comercializao em geral) interaco reorganizao e reconfigurao
MIC- Metodologias de Investigao Cientfica
Qualidade da Investigao
Investigao em EI : Sistemas/ algoritmos para tratamento de informao Visual (imagem, grficos) Textual (corpus, dados em BD) Sinais (trfego, bilgicos,) Apoio s cincias: Biotecnologia Computao Grfica Medicina Direito Astronomia, Fsica, Histria, Gesto
34
9/27/2010
Qualidade da Investigao
Mtodo Cientfico positivista, interpretativista ou baseado na Engenharia Explicitao de um Corpo Terico que, em alguns casos, vem de outras disciplinas (ex: C. das Organizaes, Estatstica, C. da Computao- Algoritmia, Lgica ...) Extenso da Teoria e Inferncia de predies testveis (pelo menos no caso da Investigao positivista)
mtodosTericos: Criar modelos formais (matemticos, lgicos) Definir conceitos relacionados com a tese Provar propriedades dos conceitos Abstraco, esconder detalhes para tornar o todo mais compreensvel (e tornar possvel provar as propriedades) Prova de propriedades por mtodos dedutivos (segundo Bjrn Lisper, Datorteknik, Mlardalens hgskola Vsters, Sweeden) http://www.idt.mdh.se/kurser/ct3340/ht03/
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
35
9/27/2010
Mtodos Empiricos : Realizar experincias Verifique os resultados Extraia concluses Simulao: Comece com um modelo formal a um nvel simplificado Realize "experincias artificiais " no seu computador Colija estatisticas e retire as concluses finais
Na Fsica: Coloque hipteses acerca do mundo envolvente (teoria), observe-o (experimente) Relacione o resultado da experincia com a teoria Ajuste a teoria se no previr correctamente a realidade observada Teoria usada para prevr o futuro (ex. Se uma ponte aguenta uma certa carga, se um asteride cair na terra) Padro comum Cincia da Computao: O sistema construido para comportar-se de acordo com um modelo terico. Desvios so vistos como erros de construco e no como defeitos da teoria (erro de hardware, bug no S.O.,) Em ambos os casos: A teoria ajuda a compreender e prevr, mas de maneiras diferentes nos dois casos!
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
36
9/27/2010
Mtodos Tericos Vs Empricos na Cincia da Computao A Cincia da Computao apresenta um espectro, desde o extremo constructivismo at ao uso da teoria prximo do que se faz em fsica : Extremo construtivismo: Especificao de uma linguagem de programao (ideal): semntica Formal da Linguagem, construo do modelo puro definindo o significado matemtico de cada programa Abstraco dos detalhes tornando o significado da linguagem simples (por exemplo, assumir que as estruturas de dados no tem limites de dimenso) Implementar a linguagem de acordo com essa semntica
Podemos provar formalmente que, de acordo com o modelo um programa est correcto!
Mas o modelo no cobre todos os casos de possvel falhano. Por exemplo, erros de hardware ou stack overflow (ou um asteroide cair sobre o computador)
37
9/27/2010
Abordagem Extremo Terico (da Fsica) : Modelo Lgico-matemtico do desempenho de sistemas complexos de computao e comunicaes Difcil de fazer clculos analticos modelos simplificados de desempenho, testados pelas experincias (ex: muitos benchmarks) Discrepncias levam a modificar a teoria como na fsica Usa-se muito a simulao (para avaliar sistemas antes de os construir)
Eugnio Oliveira- 2010 MIC- Metodologias de Investigao Cientfica
Intermdios: anlise dos algoritmos Baseado em algum modelo formal sobre como o algoritmo corre (meta-linguagem com semantica formal ), e um modelo de desempenho (quanto tempo demora a execuo de cada passo, quanta memria necessria para cada estrutura de dados) l
38
9/27/2010
Intermdios: anlise dos algoritmos Pressupondo a correco dos modelos, prova-se Matematicamente que o algoritmo necessita de certos recursos (tempo memria ) para correr. Mas os modelos (de desempenho) so geralmente aproximados.
Por vezes possvel refinar o desempenho do modelo, mas isso pode tornar impossvel calcular os recursos necessrios para esse algoritmo !
Qualidade da Investigao
Caractersticas da Investigao em EI e SI (AIE) Reflectir o E-d-A. Provar que se avana no Conhecimento Combinao de Tcnicas para que as fraquezas de umas sejam colmatadas pelas virtudes de outras Reflectir os fenmenos em estudo e a natureza do domnio Dados validados Analisados estatisticamente Extraco de relacionamentos entre varveis Praticvel de acordo com os recursos Relevncia dos resultados (para as Organizaes a montante e jusante, sociedade...) Publicvel Ambiciosa (na teoria e na prtica)
MIC- Metodologias de Investigao Cientfica
39
9/27/2010
Qualidade da Investigao
Caractersticas da Investigao em EI e SI (AIE) A fase de Investigao pode ter como objectivo: Construo de Teorias Teste de Teorias Extenso de uma Teoria O Objectivo prtico da Investigao pode incluir: Explorar um domnio definido Descrever um domnio (??) Explicar um domnio (??) Fazer Previses sobre um domnio (Testar hipteses formalizadas)
Qualidade da Investigao
Outras caractersticas: Quanto aos dados: Extensos Representativos Qual a validade ? Granularidade: Simples, agregados de grupos, de organizaes, de cadeias, de redes, de segmentos ou sectores (industriais), da sociedade
Horizonte temporal: Foto do domnio num instante temporal Estudo de uma seco de corte Seco longitudinal (mltiplos pontos no tempo) Mtodos de coleco e anlise dos Dados: quantificao...
MIC- Metodologias de Investigao Cientfica
40
9/27/2010
Qualidade da Investigao
1.8 Desafios
Desafios: Existe pouca teoria. H alguma sobre os S. de I. em Organizaes Fenmenos instveis: Dados de envelhecimento rpido, seces de corte alteram-se. Perodo de validade Organizaes em movimento
Variaes culturais significativas: Diferentes culturas nacionais, ritmos diferentes O acto de Investigar (interaco, questionrios, estruturao, demonstraes) influencia o domnio Presso para publicar contemporaneamente com a investigao
41
9/27/2010
Desafios da Investigao em EI e SI (AIE) Perigos da Tecnologia nas AIE: Prototipagem sem fundamento terico ou populao alvo bem definida Teorias (Econmicas, Ensino) aplicadas a Estruturas (hierarquias, redes) ainda no consolidadas. Mercados Electrnicos ainda muito instveis Impacto da automatizao e racionalizao: Depende de cortes longitudinais no tempo Depende dos participantes directos que so afectados Depende da incluso dos investigadores no objecto de estudo Adopo da nova tecnologia pode ser demorada no tempo Impacto nos outros parceiros (quer em B2C ou B2B, Ensino, Medicina)
Concluses sobre Investigao em EI e SI (AIE): Considerar o balano Rigor Versus Relevncia Identificar os desafios ANTES de iniciar a Investigao Clareza acerca das convenes relativas investigao a efectuar Seleccionar um sub-domnio significativo Definir as questes a responder pela investigao Seleccionar o Mtodo de Investigao e Tcnicas (possivelmente uma combinao delas) e justifique. Sendo a aproximao instrumentalista a seleccionada, h que assegurar qualidade externa, validao externa e rigor suficiente, assim como: Relevncia
42
9/27/2010
Outra Bibliografia
D. Sternberg, How to Complete and Survive a Doctoral Thesis. St. Martins Press, 1981.
43