Raes 5 Ribeiro

PARA QUE SERVE A AVALIAO DA PS-GRADUAO. A VISO DA CAPES.
Renato Janine Ribeiro, Universidade de Sao Pablo
O texto que se segue rene os artigos que publiquei semanalmente, em 2007, entre 18 de julho e 18 de outubro, enquanto se desenrolava o processo de Avaliao Trienal de todos os cursos de ps-graduao stricto sensu isto , mestrados com defesa de dissertao e doutorados do Brasil. Uma primeira verso deles, sem a atualizao que agora recebeu, saiu em 2008,publicada pela EdiPUCRS, a editora da Pontifcia Universidade Catlica do Rio Grande do Sul, em ingls.1 Os artigos, a esta data (26 de agosto de 2012), continuam disponveis no portal da Capes. Na ocasio, eu era diretor de Avaliao da Capes, o rgo federal que incumbido de autorizar, avaliar e fechar cursos de ps-graduao stricto sensu no Pas. Importa dizer que esta srie representa a avaliao como era concebida em 2007, incluindo porm as metas que ento existiam. Vrias dessas metas foram abandonadas depois, assim como novas polticas foram adotadas, mas j fogem minha responsabilidade ou testemunho. Algumas polticas que esto assinaladas no texto no foram implementadas depois da sada da equipe com quem trabalhei, mas importante registr-las, porque elas mostram quais eram os pontos principais que tnhamos em mente. Deixei a Capes em outubro de 2008. Fica aqui meu agradecimento equipe de que dispus, a quem homenageio destacando o nome da profa. Rubia Silveira, minha adjunta, que infelizmente faleceu em julho de 2008.
Primeiro artigo: A Capes e a Avaliao Trienal.
A Capes uma agncia de fomento e, como tal, concede vrias modalidades de bolsas e auxlios. Sozinha, ela responde por perto de 60% das bolsas de mestrado e doutorado no Brasil. Somada ao CNPq, atende 85% das bolsas nesses dois nveis de formao ps1
J. L. AUDY e M. C. MOROSINI (org.), Innovation and quality in the University Inovao e qualidade na Universidade. O artigo est s pp. 127-169 (em ingls). Infelizmente, a verso em portugus incompleta.
RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012
63
graduada. Alm disso, seu Portal de Peridicos um dos maiores e melhores do mundo. Mas o que distingue a Capes das outras agncias de fomento, como o CNPq e as Fundaes estaduais de Amparo Pesquisa, sobretudo que ela tambm um rgo de avaliao. Seu fomento est vinculado avaliao dos programas de ps-graduao, a qual, alis, tambm serve de referncia para as demais agncias, bem como para a Finep e as prprias instituies de ensino superior.
Sem o fomento, a avaliao corre o risco de ser apenas um exerccio acadmico. Mas, sem a avaliao, o fomento pode ser cego. A relao virtuosa entre os dois assegurada pela tradio brasileira da avaliao dos cursos de ps-graduao, iniciada pelo ento diretor-geral Cludio de Moura Castro, em 1976, e que vista pela maior parte dos especialistas como o fator que assegura que na ps-graduao stricto sensu (e, infelizmente, apenas nela), a educao brasileira tenha qualidade internacional.
A avaliao dos cursos de mestrado acadmico, mestrado profissional e doutorado realizada uma vez cada trs anos. Ela gera notas, que vo de 1 a 7. As notas (ou conceitos) 1 e 2 implicam o descredenciamento do curso. Seus diplomas deixam de ter validade nacional. Na prtica, isso significa que o curso fechado, embora a Capes no tenha papel de polcia. As notas 3 a 5 valem respectivamente regular, bom e muito bom. Alm disso, h tambm os conceitos 6 e 7, que expressam excelncia constatada em nvel internacional. Somente os programas que tm doutorado podem aspirar s notas 6 e 7.
1. As bases da avaliao. A avaliao tem por principal base o Coleta Capes, que anualmente recolhe a informao, fornecida pelos programas, de seu desempenho. So dados detalhados, que constituem uma das mais importantes bases de ensino superior do mundo. Essa base, por sua vez, trabalhada pela informtica da agncia, atendendo ao que cada rea define como necessrio para avaliar a qualidade do seu programa. importante notar que, se h critrios gerais de avaliao (ela leva em conta essencialmente a produo cientfica dos docentes e discentes, a formao do corpo docente, a qualidade da formao dos alunos e, agora, tambm o impacto social do programa), cada rea tem bastante liberdade para
64
definir como vai operar a sua avaliao.2
2. Para que serve a avaliao.
H vrias utilidades da avaliao: - ela permite assegurar ao aluno de mestrado ou doutorado que ele ter aulas e ser orientado por professores competentes, cientificamente produtivos e reconhecidos por seus pares. Portanto, o principal beneficirio dela o futuro mestre ou doutor; - garante a qualidade dos cursos e, pelo poder que legalmente tem de fechar cursos fracos e deficientes (apenas 2% , em 2004), assumiu uma autoridade moral que faz que os demais cursos concorram para assegurar sua qualidade; - extremamente econmica, porque com cerca de 7 milhes de reais anuais se garante a avaliao trienal e, nos anos do intervalo, o acompanhamento anual dos cursos, evitando que percam sua qualidade e estimulando-os a crescer; - d ao poder pblico e s fundaes privadas condies de selecionar quais os grupos melhores aos quais conceder recursos de fomento: aqueles que tero maior efeito multiplicador tanto para fazer cincia, quanto para formar pesquisadores; - permite que as prprias instituies avaliadas (universidades, centros universitrios e faculdades) tenham uma anlise sria e gratuita que as ajudar a definir suas polticas de aprimoramento interno; - oferece ao graduado que se interesse em cursar um mestrado ou doutorado elementos seguros para escolher o lugar mais adequado para ele disputar uma vaga. (Veremos isso mais adiante, no terceiro artigo da srie, sobre a transparncia da avaliao em que examinaremos a questo das fichas de avaliao, da recomendao de que cada programa tenha um site na Internet, e da determinao de que sejam publicadas as teses e dissertaes na rede internacional de computadores).
Uma de minhas ltimas iniciativas, baldada, foi tentar fazer que os critrios de cada rea fossem expostos, discutidos e aprovados no Conselho Tcnico Cientfico da agncia, para dar-lhes maior transparncia e validade.
65
Segundo artigo: A avaliao: quem faz, quem decide
1. Os representantes de rea da Capes. A Capes tem 44 representantes3, todos eles com mandato de trs anos, sendo cada um responsvel pelo que chamamos uma rea do conhecimento. Os seus nomes esto disponveis na Internet. Pode-se notar que, em alguns casos, uma rea referida por numero: p. ex, h trs Cincias Biolgicas (I, II e III) e quatro Engenharias (I, II, III e IV), cada uma com um representante prprio. Olhando-se na pgina apropriada e nos seus desdobramentos, isto , clicando o nome de cada Grande rea, pode-se ver no pormenor quais so as reas cobertas pelos representantes. Assim, por exemplo, nota-se que Engenharias I cobre Engenharia Sanitria, Engenharia Civil e Engenharia de Transportes.
Tudo isso deixa bastante dinmico o sistema e assegura que todas as reas do conhecimento sejam devidamente avaliadas, por pessoas que entendem bem o seu andamento. Novas reas podem ser criadas e o so, quando necessrio.
Os representantes so nomeados segundo regras estabelecidas pelo Conselho Superior. Seu mandato de trs anos e vence poucos meses depois de concluir-se a Avaliao Trienal. As regras, em resumo, estipulam uma consulta aos programas de ps-graduao e s sociedades cientficas mais importantes de cada rea. Com base nessas indicaes, o Conselho Superior forma listas trplices, que so encaminhadas ao Presidente da Capes, para escolha e nomeao. (Nas gestes anteriores, embora estivesse prevista a lista trplice, o presidente nomeava o nome preferido pelo Conselho Superior.) Os critrios principais para escolha incluem qualidade cientfica do nome, seu envolvimento com a ps-graduao, representatividade cientfica e, ainda, a preocupao de que o conjunto final dos nomeados represente adequadamente a diversidade das regies e instituies de ensino superior que respondem pela nossa ps-graduao.
2. Comisses de rea. Nenhuma deciso da avaliao tomada por indivduos isolados. Embora o representante tenha mandato (o que, por sinal, os membros da Diretoria no tm), ele
3
Dados de 2007.
66
no pode deliberar sozinho sobre os assuntos mais importantes, como a avaliao de cursos. Para cada caso, deve constituir uma comisso, que aprovada pela Diretoria de Avaliao.
Os critrios para compor a comisso incluem: 1) qualidade cientfica de seus membros; 2) engajamento com a ps-graduao; 3) representatividade das sub-reas que compem a rea e da diversidade que nelas exista; 4) representao das regies do pas em que h programas naquela rea.
A Capes no trabalha com comisso fixa. Isso significa que possvel alterar a composio, em funo da demanda que est sendo apreciada, em especial no caso de cursos novos; do desempenho dos membros da comisso, sendo assim possvel substituir quem for necessrio; da importncia de envolver mais membros da comunidade na tarefa de avaliao, bem como de evitar que se constituam feudos no interior da rea. Os conceitos emitidos durante a Avaliao Trienal so sempre formulados pela comisso, por maioria de votos. Isso quer dizer que o representante de rea pode ser derrotado na votao, o que efetivamente acontece em alguns casos. Nosso sistema, portanto, impede decises que em Direito so chamadas de monocrticas (tomadas por um s).
O mesmo vale para as propostas de cursos novos (APCNs). Tambm elas so apreciadas por comisses. Neste caso, a demanda tem um papel mais importante na definio da comisso, porque enquanto a Avaliao Trienal lida com a diversidade de toda a rea os APCNs apresentados num ano podem estar mais concentrados numa sub-rea do que em outra. Evidentemente, se em Engenharias I no houver nenhuma proposta de curso novo em Engenharia de Transportes, a comisso dos APCNs no precisa incluir um especialista dessa sub-rea. Mas o importante que a deciso sempre coletiva.
3. O Conselho Tcnico Cientfico. A Capes tem dois conselhos, o Superior e o Tcnico Cientfico4. O Conselho Superior se
4
Atualmente, Conselho Tcnico Cientfico da Educao Superior, porque depois de 2007 foi criado um CTC para a Educao Bsica e a agncia passou, tambm, a lidar com a formao de professores para o ensino bsico.
67
rene menos vezes e representa um olhar em larga medida externo sobre a agncia. J o CTC se rene com maior frequncia e define o olhar interno da Capes, isto , o que os representantes de rea tm sobre ela. ele que toma a deciso final sobre a avaliao dos cursos, ao fim do Trinio, bem como aprova ou recusa propostas de cursos novos. Nenhuma deciso que envolva aprovao ou rejeio de cursos novos, atribuio de nota a curso existente ou seu descredenciamento tomada pela Diretoria. Todas elas so competncia do CTC.
O CTC um colegiado composto de: - membros representando as grandes reas da Capes, com mandato de trs anos; - o presidente do Frum de Pr-Reitores de Ps-Graduao, cujo mandato usualmente renovado, pelo seu Frum, a cada ano; - um representante da Associao Nacional de Ps-Graduandos, cujo mandato tambm costuma ser renovado anualmente; - Diretores da Capes.
Portanto, no CTC cerca de dezoito cientistas tm mandato de trs anos; um dirigente universitrio e um aluno tm mandato de um ano; os diretores da Capes no tm mandato. Isso mostra que, nas decises, a diretoria da Capes tem bem menos quatro que os vinte outros membros, todos eles com mandatos que no dependem da Diretoria.
4. Como o CTC delibera. Como dissemos, a nota da Avaliao Trienal atribuio do CTC. Numa primeira etapa, cada comisso de rea avalia os cursos e atribui notas. A ficha de avaliao de cada programa, bem como os documentos de rea (1. critrios do Qualis; 2. critrios que presidiram avaliao trienal; 3. balano da avaliao da rea), so remetidos ao CTC. Na verdade, no um envio fsico, porque essa documentao, a partir de 2007, acessada on line pelos membros do CTC. Mas, de todo modo, vai a eles. No CTC, desde 2004, introduzi um sistema forte de relatoria dos cursos. O modo de relatar o seguinte: - cada rea tem um relator de todos os seus cursos (de nota 1 at 7), que um conselheiro do CTC proveniente de uma grande rea afastada daquela. Assim, por
68
exemplo, um curso de Medicina no ser relatado por um conselheiro da sua mesma grande rea, que Sade, nem mesmo de uma grande rea prxima, como Cincias Biolgicas, mas por algum p. ex. - da grande rea de Humanas ou de Exatas; - alm disso, os cursos que receberam 1 e 2 das respectivas comisses de rea e portanto esto sendo propostos para o descredenciamento so relatados, todos eles, por um par de relatores especiais, que comparam portanto o que uma rea e outra acham no merecer continuar no sistema; - j os cursos propostos para notas 6 e 7 so relatados, adicionalmente, por uma comisso em princpio, de cinco conselheiros que procura fazer que s recebam essas notas aqueles programas que tm um valor equivalente; - ademais, desde 2007 houve cuidados suplementares. Por exemplo, sempre que o curso de um representante de rea ou de seu adjunto tiver promoo de nota, haver um relator adicional sobre o mesmo. E em princpio, na discusso do programa ao qual pertence um membro do CTC, sugere-se que ele deixe a sala de reunies e que no vote no caso do mesmo.
Em nenhum caso de curso novo ou de avaliao trienal os diretores relatam. A relatoria sempre confiada aos demais conselheiros.
Esse sistema assegura, portanto, que no julgamento do CTC cada programa seja acompanhado com ateno por: - um relator externo, no caso dos cursos com nota 3 a 5; - esse relator externo e mais dois, no caso dos cursos com notas 1 e 2; - o relator externo mais uma comisso de cinco membros, no caso dos cursos com notas 6 e 7; e ademais, - em todos os casos, pelos dois conselheiros que, no CTC, representam a grande rea qual pertence o programa que est sendo avaliado, e que portanto seriam os seus defensores, se entendermos que os relatores tm o papel de criticar.
Em suma, isso implica que cada curso seja acompanhado com ateno por um nmero entre trs e oito conselheiros (de um total de 24, sendo que [em 2007] dos quatro conselheiros-diretores dois no costumavam comparecer nem votar, o que reduzia a
69
soma final a vinte). difcil imaginar um sistema de avaliao e julgamento que envolva a participao ativa de um porcentual to significativo dos seus membros entre 15 e 40%, portanto.
5. Reconsiderao e recursos. Terminado o julgamento dos programas pelo CTC, divulga-se a relao dos cursos que tiveram nota 3 ou superior. Isso deve ocorrer em fins de setembro ou comeos de setembro. J os cursos com nota 1 ou 2, que foram portanto descredenciados, tm um prazo de trinta dias para pedir reconsiderao do resultado. A informao transmitida s respectivas pr-reitorias, que tm acesso online ficha de avaliao, instrumento indispensvel para se saber quais foram as crticas. Na verdade, tambm os cursos com nota 3 a 6 podem recorrer, para pedir que suba seu conceito (logicamente, no se espera que os cursos de nota 7 recorram, por ser essa a nota mxima). Em 2004, foram descredenciados num primeiro momento 54 cursos. No julgamento do recurso, 18 se viram alados nota 3 e se mantiveram no sistema. Foram, portanto, fechados 36 cursos, ou seja, 2% dos 1816 submetidos Trienal 2004. Para comparao, em 2001 o descredenciamento afetou 5% dos cursos. Conclui-se que entre 2001 e 2004 se reduziu o porcentual de cursos com desempenho fraco ou deficiente. No julgamento das reconsideraes, a Capes muda as comisses de rea. Elas devem ser renovadas pelo menos na metade, para que seja uma equipe diferente que vai ver se a nota inicial era ou no correta. O CTC finalmente aprecia as ponderaes das comisses e toma a deciso final. No prprio CTC h, nesse estgio, uma mudana na relatoria. Voltando a nosso exemplo, um programa de Sade, que foi relatado da primeira vez por um conselheiro de Humanas, no ser relatado pelo mesmo na fase das reconsideraes. Assim, aumenta o nmero de pessoas que, no CTC, tm conhecimento do curso que pleiteia a reviso de sua nota. O porcentual deles que era de 15 a 40% - passa a pelo menos 20 a 45%.
Resumindo, a avaliao um empreendimento coletivo. Ela no decidida pela Diretoria, embora esta procure proporcionar os melhores meios. As notas so atribudas por dois colegiados em sucesso, primeiro a comisso de rea, depois o CTC. esse
70
controle uma das razes para fazer que ela escape a manipulaes e seja respeitada.
Terceiro artigo: Avanos na transparncia
A Capes est avanando no apenas na questo dos indicadores, como vimos nas semanas anteriores, mas tambm na transparncia do sistema. Este assunto ser explicado aqui, com nfase nas polticas seguidas estes ltimos anos.
A ficha de avaliao. H vrios anos as fichas de avaliao que resumem a apreciao da Capes sobre um programa e concluem atribuindo-lhe um conceito (ou nota) esto disponveis na Internet, cada uma na entrada do respectivo curso. Introduzimos algumas inovaes. A primeira a forte recomendao para que sejam muito claras e didticas. Um curso, sobretudo quando pode melhorar (e sempre pode), tem tudo a ganhar se receber conselhos e comentrios claros. Os cursos confiaro mais nos resultados da avaliao se virem que as fichas foram bastante objetivas e diretas. E os alunos, que so os principais beneficirios da avaliao, podero escolher melhor o curso em que desejam matricularse ou cobrar, do curso em que esto, as melhoras necessrias. A segunda mudana importante foi a incluso, na pgina de cada curso novo, da respectiva ficha de recomendao. A ficha de avaliao preenchida na Avaliao Trienal e examina um curso em funcionamento. J a ficha de recomendao expressa a aprovao, ou no, de uma proposta de curso novo. A terceira alterao a mais importante de todas. As fichas antes tinham sete quesitos, dos quais seis valiam para a atribuio do conceito final. Uma comisso do CTC, em 2003, analisou longamente essas fichas e props a reduo dos quesitos a quatro. A idia foi atualizar os critrios, porque se mencionavam pontos que se tinham tornado pacficos: por exemplo, hoje, em todos os cursos acadmicos de mestrado e doutorado, os docentes so doutores. Por isso, o item que dava pontos conforme os docentes fossem ou no doutores tinha cumprido seu papel. A nova ficha eliminou assim vrios itens superados ou realizados. Numa discusso que tomou boa parte de 2004 e 2005, e que envolveu o CTC, os representantes de rea que no so seus membros, e ainda os coordenadores de dois mil
71
cursos de ps-graduao, foram introduzidas alteraes na ficha proposta. Este assunto, por sua importncia, ser desenvolvido em artigo posterior. Conclumos a questo da ficha dizendo que ela foi convertida num aplicativo gil, moderno e elegante, que inclui todas as etapas da avaliao, at o julgamento final dos pedidos de reconsiderao. E, sobretudo, fcil de entender. importante que todos os docentes e alunos da ps-graduao compreendam bem por que foram avaliados com um conceito e no outro, e que tenham a viso do conjunto tanto de sua rea como das outras.
Portaria de teses e dissertaes. Pesquisa realizada pela nossa estatstica constatou que parte significativa da produo da ps-graduao (em algumas reas, mais que dois teros das teses e dissertaes defendidas) no era dada a pblico. A portaria CAPES 13/2006 tornou a publicao delas pela Internet um elemento importante para a avaliao trienal dos programas, caso elas no tenham sido editadas em formato de livro ou artigo nem estejam sendo submetidas para publicao num desses formatos. A ideia obviamente a de tornar disponvel, aos interessados, nacionais e estrangeiros, o conhecimento cientfico gerado nos programas de mestrado e doutorado. Hoje, em fins de julho [de 2007], temos mais de 12 mil teses e dissertaes no site Domnio Pblico, onde elas esto disponveis a todos os interessados. Uma delas, a mais acessada, j foi baixada quase quatro mil vezes o que muito mais do que uma edio universitria vende. Assim, qualquer pesquisa Google hoje atrs de um tema tratado em tese ou dissertao brasileira pode trazer, para o interessado, uma pesquisa de nossa psgraduao. Esta inovao traz dois ganhos adicionais. O primeiro que o prprio aluno, quando escolher seu tema de pesquisa, j saber o que foi defendido no Pas, mesmo que no tenha sido convertido ainda em artigo ou livro e se evitar a duplicao de esforos, sobretudo no mestrado. O segundo ganho est na credibilidade da avaliao. Torna-se fcil qualquer interessado, ao receber os resultados do seu programa e de outros, verificar quais deles esto produzindo teses boas e quais, teses fracas. Um dos principais resultados da psgraduao, portanto, que so as teses e dissertaes ou melhor, os autores destas passa a ser exposto, podendo ento se ver quais programas tm os melhores e quais produzem os menos bons. Evidentemente, se um programa com conceito elevado
72
produzir vrias teses de baixa qualidade, a prpria comunidade notar isso e alertar para esse fato.
Sites dos programas de ps-graduao.
Desde o incio da atual gesto, tem-se estimulado os programas a criar sites. Uma nota de orientao nossa foi publicada j em 2004. Os programas so estimulados a colocar em seus stios tanto a informao digamos tcnica sobre si prprios quanto o contedo propriamente cientfico do que fazem. H uma informao que estamos chamando de tcnica. a apresentao do programa, sua proposta, suas reas de concentrao, suas linhas de pesquisa, seus docentes com os respectivos currculos, em formato Lattes ou no, as disciplinas ministradas com suas ementas e bibliografias. Sempre que possvel, a produo docente (e discente) deve ser linkada para o seu endereo eletrnico, isto , se ela estiver disponvel na Internet. Da mesma forma, os ttulos da bibliografia dos quais houver edio eletrnica devem ter um link para a mesma. Alm disso, importante estarem expostos os critrios de seleo de novos alunos, com a bibliografia do exame a que sejam submetidos e as exigncias do programa. Sempre que possvel, convm tambm indicar os recursos de financiamento que o programa recebe e como tm sido aplicados. Mas o fundamental, como se percebe, no apenas essa lista de informaes, e sim o contedo cientfico, filosfico, artstico do que o programa fez. |Na medida do possvel, importante disponibilizar textos e produtos dos docentes. Evidentemente, o que estiver sob copyright tem problemas. Mas o link para um artigo, mesmo que o peridico seja de acesso restrito, vivel. No caso de livros, frequente as editoras permitirem que uma pequena parte deles seja colocada no ar, at porque serve de atrativo para a sua venda mas a permisso tem que ser obtida. Alm disso, muitos professores fazem conferncias, power-points e outros tipos de produo que, com frequncia, no esto impedidos de publicar. Finalmente, no caso de livros esgotados, alguns autores os tm deixado gratuitamente online. Desnecessrio insistir na importncia desses sites: eles so modernos, so atraentes e promovem uma grande difuso do conhecimento. Mais que isso, por gentileza da Universidade Federal de Pernambuco, de seu reitor
73
Amaro Lins e seu ento pr-reitor Celso Pinto de Mello, um aplicativo gratuito foi montado para se criar, facilmente, um site. A Coordenadoria Geral de Informtica da Capes ajudou na sua concluso, e temos hoje um aplicativo que s lida com softwares livres, sem requerer custo de licena para sua implantao.
A transparncia alcanada Poderamos e deveramos falar ainda do Qualis o sistema de avaliao de peridicos, eventos, produo tecnolgica e livros mas isso ficar para adiante. Por enquanto, o que queremos, a ttulo de concluso, mostrar como tudo isso se liga para maior transparncia do sistema. Podemos comear por qualquer perna do trip que expusemos, mas o mais interessante iniciar pelo site do curso, sempre que ele o tiver (ainda no obrigatrio, mas fortemente recomendado, e est previsto na ficha de avaliao como fazendo parte da gerao de nota). Vemos como o programa se apresenta, qual a sua produo, seus docentes, seus resultados. Da passamos para o site Domnio Pblico e vemos suas teses e dissertaes. No caso de algumas instituies, elas tm seus sites prprios com teses, o que torna mais fcil a visita. Teses e dissertaes online no s constituem contribuio para o conhecimento cientfico, como permitem ver na prtica se um programa produz trabalhos excelentes ou medocres. Finalmente, a ficha mostra como o programa foi avaliado, com seus pontos fortes e fracos. Este trajeto expe a avaliao mais do que antes e caracterstica da avaliao que ela sempre melhore, de modo que tudo o que conseguimos se baseia no trabalho dos que nos precederam. Se uma rea porventura fizer uma avaliao equivocada, dando notas altas a cursos que no o merecem, isso estar cada vez mais objetivado nas informaes dadas a pblico. Antes disso, quase certo que o CTC j perceba isso e corrija a avaliao da rea. Mas a melhor prova de que confiamos em nosso sistema que estamos colocando em pblico um volume de informaes que, cruzadas, explicitam com muita clareza o que fazemos e se estamos acertando ou no. Quarto artigo: Os critrios da avaliao
Cada uma das reas do conhecimento em que atua a Capes tem seus critrios de avaliao, mas h uma filosofia comum a todas. Como aqui h muita confuso e bastante
74
equvoco, este um assunto fundamental.
1. Produo cientfica. Podemos dizer que o primeiro critrio na Capes que, para algum orientar ou mesmo lecionar na ps-graduao, decisivo que seja pesquisador. Na graduao, entende-se e necessrio que um professor seja um bom didata, mesmo que no se dedique pesquisa inovadora (mas precisa atualizar-se com os resultados da pesquisa de ponta). Na ps-graduao, o volume de aulas melhor e por isso mesmo a questo da boa didtica menos importante do que a da qualidade da pesquisa que o docente faz e na qual leva seu aluno a mergulhar. Em outras palavras, s ensina a pesquisar quem pesquisa. Isto requer um primeiro ponto, que como se mede a pesquisa. Uma das maiores iluses sobre a Capes a do assim-chamado produtivismo, isto , a ideia de que a agncia s quer saber se e quanto voc produz. No verdade. O mais importante a qualidade do que se produz. Evidentemente, s podemos saber da produo cientfica quando ela publicada. quando ela se torna fecunda, quando se expe a crticas, que podem ser devastadoras mas quase sempre tm um efeito construtivo, e quando pode influenciar leitores e levlos a cit-la em suas prprias pesquisas. Publicar ento o meio de difundir a produo, de socializ-la. Como se mede a qualidade da pesquisa publicada? Em vrias reas, h o fator de impacto. Em princpio, este se mede tomando-se uma revista cientfica, verificando quantas citaes revistas cientficas qualificadas fizeram de um nmero dela e dividindose esse total de citaes pela quantidade de artigos publicados naquele exemplar. Assim, se a revista A publicou 20 artigos, que foram citados 100 vezes, seu fator de impacto 5. Mas, se nas outras publicaes saiu apenas 1 referncia a algum daqueles artigos, e nada mais, o fator 0,05 (ou seja, 1 dividido por 20). Esta uma medida bastante sofisticada. Ela significa que no se mede apenas a qualidade da revista, mas o seu impacto, ou seja, sua fecundidade. Um trabalho pode ser muito bom, eventualmente, mas no repercutir em nenhuma pesquisa nova. No ser citado, ento, e ter sido de certa forma estril. Mas essa no uma deficincia do fator de impacto. que este mede como uma publicao contribui para constituir uma comunidade cientfica, no apenas a qualidade de artigos isolados. Se h citaes, sinal de que se est construindo um ambiente de dilogo, uma massa crtica, que permitir que
75
a rea avance. O fato de um artigo sair numa revista de impacto maior ou menor no quer dizer que ele, individualmente, v ter aquele nmero de citaes. O fator uma mdia. Mas indica que h uma probabilidade maior de ele ser lido e, assim, influir na pesquisa e ser citado. V-se ento a importncia de uma poltica editorial seletiva e rigorosa. Quanto melhores os artigos que saem numa revista, maior a chance de ser lida, e por a vai.5 Como temos cinco tipos principais de produo em peridicos, em anais de eventos, em livros, em patentes e em produo artstica cada um coloca seus desafios especficos. O que falei vale para os peridicos, basicamente. Cada rea do conhecimento estabelece a sua hierarquia de revistas (e de outras produes) e publica um Qualis, isto , sua classificao delas. J temos Qualis de peridicos, de eventos e de produo artstica. Este ano, pela primeira vez, as reas que tm seu forte na produo de livros vo fazer a classificao de qualidade e/ou impacto desse outro tipo de publicao. Mas falaremos do Qualis adiante.
2. Distribuio da produo cientfica. Mas adiantaria muito se, num programa, um, dois ou trs docentes respondessem pela produo cientfica, enquanto os outros dessem aulas e orientassem? O que se deseja um equilbrio na produo intelectual, respeitada evidentemente a diferena entre seniores e juniores, entre docentes mais maduros e mais novos, que leve um aluno a sentir segurana de que ser orientado por um pesquisador de verdade, e no por algum sem experincia de pesquisa. Isso o que se chama distribuio da produo cientfica. As reas fixam faixas distintas, mas digamos que razovel supor que dois teros do corpo docente de um curso, pelo menos, atendam a um ritmo de publicao de determinada qualidade, para a Capes poder dar uma nota que indica, com pequena margem de erro, que o aluno ser orientado no patamar daquele curso (que pode ter nota regular, boa, muito boa ou excelente). Ou seja, um curso muito bom no aquele que tem dois ou trs professores excelentes e vinte apenas regulares. um curso que tem sua linha de equilbrio no muito bom, e portanto assegura a seus alunos uma chance elevada de ter
5
H outros indicadores, como o ndice-h, que tentam ser mais apurados, mas a lgica basicamente essa: como medir a qualidade.
76
professores e orientadores desse quilate.
3. Formao de mestres e doutores. Mas, se parssemos a, estaramos fazendo a avaliao dos grupos de pesquisa. O CNPq, Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico, a outra grande agncia federal de fomento cincia, tem um importante diretrio de grupos de pesquisa. Mas h algo que falta ao conceito de grupo de pesquisa: ele no forma pessoas. Como o Brasil faz sua avaliao dos cursos de mestrado e doutorado a partir da Capes, que tem no nome o aperfeioamento do pessoal de nvel superior, seu principal produto no so os artigos e livros, nem mesmo as teses e dissertaes, mas os mestres e doutores que vo utilizar o conhecimento e a experincia adquirida para atuar quarenta, talvez cinquenta anos na pesquisa ou na sua profisso. Por isso, fundamental ver como se d esta formao. Algumas reas exigem que a tese ou dissertao resulte em publicaes de um determinado nvel de qualidade. A Qumica, alis, radical: ela s computa a produo cientfica do professor quando ele tem, como coautor, um aluno de ps-graduao. Uma obra prima solo no valeria. V-se como a rea est longe do produtivismo! Contudo, nas reas em que no h a tradio da coautoria, como nas Humanas, seria difcil importar esse critrio. Outras reas leem algumas teses e dissertaes, geralmente enviadas pelo programa (o que traz o risco de distorcer o resultado, porque somente so remetidas as melhores). Com a divulgao de teses pela Internet, possvel apreciar a qualidade de maior nmero delas e tambm se torna vivel esse julgamento por parte da comunidade.
4. Equilbrio na formao de mestres e doutores. Da mesma forma que no bom ter a produo intelectual de qualidade concentrada em poucos membros do programa, tambm negativo ter a orientao conduzida apenas por pequena parte deles. Adaptemos o exemplo acima: imaginemos ento que dois ou trs professores concentrem a maior parte das orientaes de um curso, enquanto vinte tm um desempenho pequeno. Ora, o que se quer que o professor que pesquisa seja o mesmo que orienta. Se houver uma especializao de uns na orientao, outros na docncia e outros, ainda, na pesquisa, o resultado ser que os orientados no tero tido experincia real de pesquisa.
77
Repetindo: cada rea tem ampla autonomia na definio de seus critrios, o que ela faz com o representante de rea se reunindo com sua comisso e discutindo, geralmente, com os coordenadores dos cursos de mestrado e doutorado e ainda com as sociedades cientficas. Mas os principais critrios tm sua filosofia acima exposta. Faltou um, ao qual chegaremos mais tarde: o do impacto social. Este uma novidade. Quinto artigo: Os aplicativos da Avaliao
Ao longo de sua histria, a Capes foi aprimorando os instrumentos de avaliao, que inicialmente era feita em papel mas tem, desde alguns anos, na informtica um componente essencial. Aqui, trataremos de alguns dos aplicativos utilizados.
1. Coleta Capes. um grande aplicativo, que coleta os dados pertinentes da produo de cada programa credenciado pela Capes. bom esclarecer que, na Capes, se evita usar o termo programa para os softwares, porque j h os programas que so clientela da Diretoria de Avaliao cursos de mestrado e/ou doutorado e tambm os programas que so financiados pela Diretoria de Programas; j bastam dois sentidos de programa, em duas diretorias, para haver ainda um terceiro, que ficaria na Informtica, que est na Diretoria de Administrao... O Coleta rene, portanto, o que avaliado (ver artigo anterior), permitindo verificar como est sendo a formao de mestres e doutores, a produo cientfica, o impacto social do curso. Desde 2005, outro aplicativo, o Cadastro de Discentes, recebe informao constantemente atualizada e que depois aproveitada pelo Coleta, no sendo necessrio enviar duas vezes a mesma informao. Alm disso, desde 2007 o Coleta Capes fica aberto em permanncia, de modo que no mais preciso esperar o ano seguinte para mandar os dados do ano passado. Finalmente, o Coleta permite importar os dados do currculo Lattes, de modo que quem tem este ltimo atualizado no precisa preencher o Coleta nos campos cabveis. O Coleta a base da qual so gerados os Cadernos da Avaliao, que sistematizam a informao de cada programa e j organizam a produo cientfica segundo o Qualis da rea.
78
2. Qualis ou Webqualis. Faz vrios anos que cada rea de conhecimento da Capes estabelece seus critrios de qualidade de peridicos. A ideia inicial a do fator de impacto das revistas cientficas, mas este existe sobretudo nas Cincias Exatas, Biolgicas e da Sade. reas que no trabalham com o fator de impacto, porque publicam muito em livros, podem ento fazer o Qualis dos seus peridicos sem ter de considerar esse fator, que aparece em algumas bases, mas sem fundamentao suficiente. Tnhamos um problema no Qualis, que era muita informao errada: revistas com dois ou mais ttulos diferentes, ISSNs errados ou variados, em suma, muitos problemas. Uma mudana de rota na agncia fez que se limpasse essa base, assegurando que praticamente todos os peridicos listados tm ISSN. O prximo passo, quanto aos peridicos, incluir, na pgina da Capes, a URL de cada um, para quem quiser acess-los poder faz-lo sem dificuldade. O Qualis de uma rea geralmente tem seus critrios delineados no comeo do mandato do representante e atualizado a cada ano, com base naqueles princpios. Como hoje pode ser atualizado online, pela comisso de consultores, pode ser chamado de Webqualis. um instrumento essencial no s para dar transparncia avaliao, mas tambm para orientar os pesquisadores sobre onde melhor publicar: nas revistas mais respeitadas, onde sua obra tem mais chances de ser lida e criticada.
3. Outros Qualis. H tambm um Qualis de anais, que vai passar a chamar-se de Eventos. Ele permite, nas reas que do importncia a textos apresentados em congressos, simpsios, encontros, avaliar a qualidade dos mesmos. Est igualmente disponvel na pgina do Qualis. J em 2007, as reas que consideram livros como publicao cientfica significativa, esto elaborando seus respectivos Qualis. H pelo menos trs modelos que, autonomamente, adotaram. Devero explicar seus critrios no documento conclusivo da Avaliao Trienal e depois a agncia promover uma discusso para aprimor-los. Pode haver outros Qualis. A rea de Artes elaborou um de produo artstica. Espera-se que tenhamos, na prxima Avaliao Trienal, um Qualis de produtos tecnolgicos, patentes e aes de inovao.
79
4. Planilhas especficas. As comisses de reas podem pedir planilhas especficas para seu trabalho de avaliao. Um exemplo simples seria: quantas foram as produes de cada programa, j devidamente ponderadas pelo Qualis, e quantos so os docentes responsveis por elas? claro que essa planilha vai tambm incluir a diviso dos produtos pelos produtores, isto , uma espcie de per capita de produo se no fosse assim, os programas com muitos professores sempre estariam frente dos pequenos. H muitas outras planilhas. Pretendemos divulgar todas, na pgina da Capes, quando terminar cada Avaliao Trienal.
5. Ficha de avaliao. Os pontos cruciais da qualidade de um curso so apreciados na ficha de avaliao (no confundir com a ficha de recomendao, que emitida quando um curso novo examinado e aprovado ou no). At 2004, tivemos uma ficha com seis quesitos, incluindo a formao do corpo docente, a qualidade das teses e dissertaes, a produo dos discentes e a dos docentes; mas ela estava defasada. Por exemplo, perguntava sobre a proporo de docentes doutores; ora, com exceo de alguns mestrados profissionais, todos os professores atuais da PG tm doutorado. Casos como este mostravam que a ficha estava desatualizada e, por isso, embora cada quesito tivesse um peso, a nota final podia no ser a resultante das notas parciais e respectivos pesos. O CTC criou ento, em 2003, uma comisso que, ajudada por funcionrios da Capes, elaborou uma proposta de ficha. Ao longo de 2004, 2005 e at meados de 2006, ela foi amplamente discutida, at entre os coordenadores de programas. mais simples. Os seis quesitos antigos foram sintetizados em trs: Corpo Docente, Produo Intelectual e Produo Discente, Teses e Dissertaes. Um novo quesito Impacto Social foi criado, com peso pequeno (10% no final da nota). A nota final tem agora que ser a resultante das notas parciais com suas totalizaes. Duas ressalvas, apenas. Se a nota final estiver numa zona de fronteira (digamos, a meio caminho entre 4 e 5) a comisso pode escolher qual considera mais adequada. Segunda ressalva: o CTC pode mudar as notas das comisses, no exerccio de seu poder de conferir as avaliaes de rea e de procurar que sejam convergentes e harmnicas. Na verdade, cada rea tem autonomia para definir peculiaridades dentro de sua ficha,
80
de modo que a rigor temos quase 45 fichas diferentes. Por exemplo, apenas Artes considera a produo artstica. Se o leitor quiser consultar uma ficha de avaliao, o melhor caminho entrar no site www.capes.gov.br, escolher Cursos selecionados e ir seguindo (Grande rea ou Regio > rea ou Instituio de Ensino Superior > Programa) e abrir este ltimo. Ver ento a rubrica Dados, que mostra o que o programa enviou para o Coleta, e Resultados, onde pode abrir as fichas dos ltimos anos. A nica diferena que a nota s dada na Avaliao, que trienal, e nos outros anos se faz acompanhamento. s consultar uma ficha da rea ou das reas de seu interesse que o leitor perceber o que cada uma delas considera merecer maior destaque.
Ficha de avaliao, 2008 Uma vez terminada a Avaliao Trienal de 2007 para a qual foram escritos estes artigos propus ao Conselho Tcnico Cientfico a reviso do Qualis e da Ficha de Avaliao. Foram formadas duas comisses mistas, uma para cada tema, sempre compostas de alguns representantes de rea cujos mandatos estavam cessando e de outros que continuavam. O objetivo era, aproveitando a experincia da Avaliao recmconcluda, verificar que aperfeioamentos poderiam ser introduzidos tanto no Qualis quanto nas fichas. No caso destas ltimas, notamos que davam mais importncia do que se devia aos quesitos relativos a meios ou inputs, em detrimento dos quesitos referentes a fins ou outputs. Por exemplo, a qualificao do corpo docente de um programa um input. A formao de mestres e doutores, bem como a produo cientfica, so outputs ou resultados. mais correto avaliar um programa pelos seus resultados, do que pela sua capacidade instalada. Alis, pode-se tambm avali-lo pela relao de seus outputs a seus inputs: um programa com mais recursos financeiros tem de formar mais e melhores doutores do que um curso com financiamento limitado. Demos importante passo, na ficha, para fortalecer esta perspectiva.
81
Sexto artigo: Insero social
Desde a preparao da Avaliao Trienal 2007, a Ficha de Avaliao dos cursos de ps-graduao stricto sensu inclui um novo quesito, Insero social. Ele tem um peso fixo de 10% na avaliao dos mestrados acadmicos e dos doutorados (que so, todos, considerados acadmicos). No caso do mestrado profissional, a rea de avaliao pode fixar esse peso entre 10 e 20%, considerando-se que esse nvel de titulao pode e deve se caracterizar por um impacto social maior. Essa inovao muito importante, porque significa o reconhecimento oficial, pela Capes, de que a ps-graduao tem uma responsabilidade social e deve assim, no apenas melhorar a cincia, mas tambm melhorar o pas e, por que no?, sobretudo se pensarmos em termos de ecologia e meio ambiente, o mundo. Dizendo de outro modo, o pressuposto da avaliao que os docentes sejam pesquisadores de qualidade. A exigncia de boa pesquisa, que causa reclamaes injustas (porque um mau pesquisador no vai formar um bom mestre), a pr-condio para a ps-graduao funcionar. O eixo da ps, por sua vez, a formao de bons mestres e doutores. Sabe-se que, se bastasse avaliar a excelncia do grupo, seria suficiente o timo Diretrio de Grupos de Pesquisa do CNPq. Mas o que se quer vai alm disso: como esses pesquisadores formam mestres e doutores. E, com a introduo do quesito Insero social, d-se um passo adiante: quer-se tambm ver como esses mestres e doutores, bem como a pesquisa deles e de seus orientadores, atuam em termos de desafios decisivos para a sociedade.
Autonomia Cada uma das reas do conhecimento define como entende a insero social. A ttulo de exemplo, dou aqui quatro exemplos de impacto e as indicaes, bastante livres, que a Capes formulou a respeito de cada um deles.
1.
Impacto tecnolgico/econmico contribuio para o desenvolvimento microrregional, regional e/ou nacional destacando os avanos produtivos gerados; aumento da produtividade; disseminao de tcnicas e
82
conhecimentos que melhorem o desempenho econmico, respeitando e considerando seus efeitos sociais e ambientais. 2. Impacto educacional: contribuio para a melhoria do ensino bsico, mdio, graduao, tcnico/profissional e para o desenvolvimento de propostas inovadoras de ensino. Um exemplo de contribuio nesse campo, passvel de ocorrer em algumas reas, seria a gerao pelo programa de livros-textos para a graduao e de livros didticos para o ensino fundamental e mdio. Contudo, recomendamos tambm que esses trabalhos sejam pontuados positivamente, apenas quando forem excelentes ou muito bons. O objetivo desta ideia estimular a produo de tais trabalhos s quando forem excelentes, uma vez que, se forem de qualidade mdia, no traro nada de novo e, sempre, representam um esforo que afasta o professor de outras atividades prioritrias para o desempenho do programa, como a produo cientifica e orientao de alunos. 3. Impacto propriamente social formao de recursos humanos qualificados para a Administrao Pblica ou a sociedade civil que possam contribuir para o aprimoramento da gesto pblica e a reduo da dvida social, ou para a formao de um pblico que faa uso dos recursos da cincia e do conhecimento; 4. Impacto cultural formao de recursos humanos qualificados para o desenvolvimento cultural e artstico, formulando polticas culturais e ampliando o acesso cultura e s artes e ao conhecimento nesse campo;
Extenso Numa universidade de ponta, frequente a extenso ser a prima pobre dentre
83
as principais atividades da instituio. Compreende-se. O segredo de uma boa instituio de ensino superior est na ps-graduao. ela que, articulando a pesquisa com a formao de alunos j graduados, assegura a qualidade do ensino superior e que faz que ele no seja, apenas, ensino. No h dvida de que a extenso importante, mas muitas vezes ela pulverizada. No isso o que interessa no novo quesito, embora se tenha o maior respeito pelas atividades de extenso. O que se est valorizando uma extenso de impacto, planejada, eficaz na consecuo de objetivos que transformem a sociedade. Vamos a alguns exemplos. O atendimento de doentes, p. ex., pode ser uma extenso preciosa em termos sociais. Mas, para a ps-graduao, o que importa p. ex. se um programa de Sade Coletiva revolucionou a rede de atendimento, e no quantos doentes foram atendidos. O que se considera o poder de transformao social que a ps tem. Isso significa que aes de rotina, ou aes socialmente meritrias, mas que no modifiquem, no sero consideradas para a avaliao da ps-graduao. Que no modifiquem, afirmei acima; mas modifiquem o qu? H vrios objetos diretos para este verbo. Podem modificar o atendimento de sade, como far um bom mestrado (talvez mais profissional do que acadmico). Podem modificar o ensino de cincias, como tem feito a rea deste nome, sobretudo com seus mestrados profissionais. Mas devem tambm modificar o conhecimento. No se trata de mera aplicao de um conhecimento pronto a realidades que clamam por ele. Para a ps, importante que esses trabalhos retroalimentem a pesquisa e a formao. Um curso de ps-graduao, assim, no pode entrar no piloto automtico e de maneira repetitiva, como numa linha de montagem, difundir boas prticas pelo Pas. Essa atividade legtima e deve ser executada, mas no a misso do mestrado e do doutorado. Um curso que no se modifica, que no se autocritica, no ser um bom curso de mestrado ou doutorado. Por isso, tambm no caso de aes macro, planejadas, bem sucedidas, se elas entrarem num ritmo de cruzeiro em que no h mais o que alterar, mas simplesmente aplicar um modelo que deu certo ento, o mais adequado no mais estarem no cerne da avaliao da ps-graduao, e sim fazerem parte de polticas pblicas. Nessa hora, a universidade poder e dever cooperar com a sociedade, sejam os poderes eleitos, sejam ONGs e instituies comunitrias ou privadas, para dar carter duradouro ao impacto que a pesquisa e a formao geraram. Ou, como se diz, dar escala. A ps ter conseguido
84
um fruto importante, mas seu papel como ps ser continuar se questionando e mudando.
Stimo artigo: Mestrado profissional, mestrado acadmico e doutorado
O mestrado profissional foi regulamentado pela Portaria 80/1998 da Capes. Isso no quer dizer que ele no existisse antes. O esprito do Parecer Sucupira, que o texto fundador da ps-graduao como hoje existe no Brasil, era o de incentivar a pesquisa. Por conseguinte, tinha um vis acadmico. Mas havia, j em 1998, vrios cursos de mestrado cuja perspectiva era mais profissional. A Diretoria tem estimulado o surgimento de mestrados profissionais assim, na 97a reunio do Conselho Tcnico Cientfico, em julho de 2007, aprovou-se um recorde de 30 mestrados profissionais, quando na pgina constavam poca, como reconhecidos, 201 desta modalidade. Qual a diferena entre o mestrado acadmico e o profissional? A Capes organizou em 2005 o seminrio Para alm da academia a ps-graduao a servio da sociedade, que chegou a vrias definies, que esto publicadas na Revista Brasileira de Ps-Graduao, em sua maior parte. Vamos resumi-las. Antes de mais nada, o mestrado profissional um ttulo terminal, que se distingue do acadmico porque este ltimo prepara um pesquisador, que dever continuar sua carreira com o doutorado, enquanto no MP o que se pretende imergir um ps-graduando na pesquisa, fazer que ele a conhea bem, mas no necessariamente que ele depois continue a pesquisar. O que importa que ele (1) conhea por experincia prpria o que pesquisar, (2) saiba onde localizar, no futuro, a pesquisa que interesse a sua profisso, (3) aprenda como incluir a pesquisa existente e a futura no seu trabalho profissional. Nada disso trivial. O terceiro ponto , por sinal, razoavelmente difcil. Por isso, o MP no pode ser entendido como um mestrado facilitado. Importa salientar a diferena entre o MP, que pertence ps-graduao stricto sensu, avaliada pela Capes, e a ps-graduao lato sensu, ou especializao, que no passa pelos critrios rigorosos da Capes. Nota-se que praticamente ningum faz dois mestrados ou dois doutorados, ao passo que muitos cursam trs, quatro especializaes. Um dos sentidos da especializao ser uma atualizao de conhecimentos. J o mestrado, de qualquer espcie que seja, exige que a pessoa pesquise e uma mudana
85
que ela faz em sua vida, em sua relao com o conhecimento, como o que os antroplogos chamam uma passagem.
Prioridades Em princpio, so dois os eixos de prioridades nos mestrados profissionais. O primeiro o que agrega competitividade e produtividade a nossas empresas, pblicas ou privadas. Inserem-se aqui muitos MPs oferecidos nas Engenharias e na Administrao. O segundo o que melhora a gesto dos setores sociais do governo e, por que no, de ONGs e de outras organizaes de esprito pblico, ainda que no estatais. o caso dos MPs em gesto de sade, ou de sade coletiva, que esto crescendo. Poder ser o caso de mestrados em gesto da educao, da cultura, do esporte e da segurana pblica e direitos humanos, que ainda praticamente no existem. Entende-se assim que se acrescenta qualidade, seja produo de bens e servios, seja ao esforo de nossa sociedade para reduzir a injustia social e acabar com a misria. A Diretoria da Capes e vrios de seus representantes tm procurado estimular a apresentao de propostas nessa modalidade. Mas elas so sempre apreciadas com o mesmo rigor de qualquer outro projeto.
Dificuldades A grande dificuldade est no MP oferecido por instituies pblicas. Como a Constituio Federal de 1988 determina pela primeira vez na histria brasileira a gratuidade do ensino superior, entende-se que no se pode cobrar do aluno o curso de mestrado profissional, mesmo que este seja bastante vantajoso para o seu formado em termos financeiros. Contudo, o entendimento do Conselho Nacional de Educao, endossando o esprito da Portaria 80 j citada (art. 6o: Os cursos da modalidade tratada nesta portaria possuem vocao para o autofinanciamento), que os mestrados profissionais, em instituies pertencentes ao Estado, podem ser financiados, desde que o sejam por empresas ou mesmo por outras organizaes do Estado, como secretarias de Sade, no caso dos MPs em Sade Coletiva. No deixa de ser verdade, porm, que mais fcil para as instituies privadas criar e manter um MP do que para as pblicas, que a cada seleo necessitam negociar patrocnios. O que a Capes recomenda, no caso, que em vez de ter um MP por mera seleo, as instituies pblicas que o desejem estabelecer procurem criar um pacote:
86
1) um diagnstico do problema que se pretende enfrentar (p. ex., a baixa produtividade num setor da indstria ou a ineficincia numa secretaria de Sade); 2) com base no diagnstico, a oferta do curso, visando a resolver o problema mediante a mencionada imerso na pesquisa, procurando-se selecionar alunos que em seus trabalhos de concluso busquem tratar dos vrios aspectos do problema; 3) um curso paralelo de formao de tcnicos que sirvam depois de transmissores e colaboradores para os mestres profissionais que o curso vai formar.
Alerta Talvez convenha sugerir que o MP no seja cursado imediatamente aps a concluso da graduao. O aluno se beneficiar mais dele se j tiver alguma maturidade adquirida pela vivncia na profisso. Dialogar mais em funo do que aprendeu no mercado ou no rgo estatal em que trabalha.
Novidade Em 2004, a Diretoria da Capes j indicou s comisses de rea que procediam Avaliao Trienal que pretendia que os mestrados profissionais fossem examinados em seus prprios termos, e no em decorrncia automtica da avaliao do programa acadmico ao qual pertencessem. Nestes trs anos, a Diretoria de Avaliao criou as condies para a avaliao dos mestrados profissionais em funo do que eles so e no do que eles no so: 1) Uma ficha de avaliao especfica, na qual p. ex. o quesito de Insero Social pode chegar at a 20% do valor final, contra 10% nos cursos acadmicos, e em que se valoriza em especial o trabalho de concluso de curso do aluno; 2) Uma subcomisso especfica, dentro da rea, incluindo sempre que possvel um representante da clientela dos mestrados profissionais, para avali-los; 3) Em suma, o MP deve ser avaliado na escala Capes de mestrados que d notas de 3 a 5 para os cursos autorizados mas deve s-lo naquilo que ele .
Cursos acadmicos Mestrado profissional, mestrado acadmico e doutorado (que sempre considerado acadmico) so conhecidos como nveis ou cursos ou, ainda, modalidades (subentende-se: de curso), na linguagem da Capes. Os cursos acadmicos
87
visam a formar pesquisadores, sendo o mestrado a via usual para depois se passar ao doutorado. Admite-se, porm, o doutorado direto, quando o aluno tem um desempenho particularmente bom. Mas ser que certos mestrados acadmicos ou mesmo alguns doutorados no tm um vis profissional? Esse um assunto em discusso. Quando o aluno termina sua vida ps-graduada com o mestrado, mesmo acadmico, e com isso consegue realizar-se melhor na sua profisso, de se perguntar se esse mestrado no seria, na verdade, profissional. um ponto que a Capes deve continuar a debater.
Oitavo artigo: Solidariedade e cooperao na avaliao da ps-graduao
A ps-graduao e sua avaliao pela Capes sempre foram entendidas pelo vis mais competitivo do que cooperativo. H uma metfora que alguns usam, a da olimpada, na qual a cada edio se exige mais dos competidores: o sarrafo, na prova de salto, est sempre subindo. Como o mesmo vale na produo cientfica, natural que as exigncias constantemente cresam e que um curso que estaria bem situado na sua nota, seja ela 3 ou 7, se no tiver o cuidado de se atualizar, de aumentar sua qualidade, de produzir mais, corre o risco de perder o conceito em um ou dois trinios. Alm disso, como a avaliao forosamente comparativa, o momento da Trienal causa um certo nervosismo, pelo qual as reas e no interior delas os programas se comparam e se defrontam. Portanto, o elemento competitivo existe e faz parte do sistema, que procura gerar uma classificao hierrquica que tem vrios efeitos positivos: 1) estimula o melhor desempenho, mediante uma avaliao externa; 2) atribui maior autonomia na gesto e obteno de recursos aos programas que esto se saindo melhor no seu desempenho; 3) orienta os candidatos a procurar os melhores cursos. Contudo, a atual Diretoria se mostrou sensvel a uma preocupao que equilibra a competio. Na verdade, so duas preocupaes importantes e que de algum modo convergem. A primeira, de que j tratamos, consiste em entender que a avaliao, sendo de cursos de ps-graduao, deve levar mais em conta a formao de recursos humanos altamente qualificados, equilibrando assim o critrio, que continua fundamental, da produo cientfica de qualidade. A segunda que o elemento competitivo deve ser moderado por um incentivo cooperao.
88
O item cooperao No quesito Corpo Docente, da ficha de avaliao, h um item que trata da cooperao. Com ele, se pretende valorizar tanto o programa mais qualificado que ajuda um iniciante ou que enfrenta mais dificuldades quanto, tambm, este ltimo, sempre que ele, reconhecendo suas limitaes, procurar a melhor parceria para sanar suas dificuldades e expressar suas potencialidades. Portanto, o item cooperao vale para os dois lados.
O item solidariedade No quesito relativo s exigncias para cursos 6 e 7, est estipulada a questo da solidariedade. J no ano de 2007, levou-se em conta ainda moderadamente se o curso proposto para essas notas mximas manifesta solidariedade em relao a cursos de nota 3, ou eventualmente 4, de preferncia situados em regies geogrficas menos desenvolvidas e que pertenam mesma rea ou a uma rea do conhecimento afim ou que se beneficie do aporte do curso mais desenvolvido. Ser preciso, nas prximas avaliaes, desenvolver as ferramentas que permitam mensurar a solidariedade. Os instrumentos para pratic-la existem: Procad, PQI, casadinho, associaes, Minters, Dinters. Tambm o recebimento de alunos de outras regies para o doutorado pode ser levado em conta. Contudo, o importante que essa solidariedade se inscreva numa poltica do programa, se possvel fortalecido pela rea do conhecimento e/ou pelas IESs envolvidas. totalmente diferente o rendimento de uma ao de solidariedade conforme esta seja apenas pontual (o que provavelmente no ser valorizado na Avaliao) ou atenda a uma estratgia de fortalecimento de rea do conhecimento e/ou regio geogrfica. Tambm ser preciso definir o que se entende por regies geogrficas menos desenvolvidas. At o presente momento, a CAPES tem lidado muito com a noo de Estado. Disponibiliza dados sobre os programas por Estado, e indica no site quais Estados contam com programas em que reas e com que nota. Contudo, dos 27 Estados mais o Distrito Federal, podemos dizer que cinco dos primeiros tm uma distribuio razovel da ps-graduao em seu territrio bem como o DF, pelo seu pequeno tamanho. Mas h 22 Estados em que a PG est fortemente concentrada na rea da capital.
89
As excees so, ento, na ordem, So Paulo, Rio de Janeiro, Minas Gerais, Rio Grande do Sul e Paran. Podem dever-se ao fato de que dois desses Estados (MG e RS) so os que mais instituies federais de ensino superior possuem, enquanto os demais so os que administram as universidades estaduais de melhor qualidade e com boa disperso pelo respectivo territrio. Mesmo assim, esses Estados contam com subregies menos desenvolvidas, em termos de PG no s as bvias, como o Jequitinhonha mineiro, mas tambm outras bem menos evidentes, como as Baixadas Santista e Fluminense, que, em que pesem fatores positivos de variada ordem, contam com PGs ainda em nmero pouco suficiente para enfrentar os problemas e desenvolver as potencialidades da sub-regio.
Nono artigo: Transparncia Neste momento em que as comisses de rea concluram seu trabalho e se prepara a homologao de suas propostas pelo Conselho Tcnico Cientfico, preciso insistir na transparncia do sistema que a avaliao sintetiza. De vrios temas j tratamos, mas convm uma sntese dos tpicos que apontam o esforo de transparncia.
Verdades e enganos sobre a avaliao O autor deste artigo detesta a expresso verdades e mentiras, simplesmente porque mentira supe uma inteno, enquanto engano ou mesmo inverdade apenas um erro, o mais das vezes ingnuo e involuntrio, Vamos listar alguns casos: 1. O produtivismo. tenaz a crena de que a CAPES prestigia o publish or perish medido numericamente isto , quanto mais artigos voc publicar, mais o seu status. Esse engano geralmente fatal. Quem imagina que 52 artigos em jornal valero um artigo internacional A corre para a prpria perda pelo menos em chances de valorizar seu programa de ps-graduao e, atrevo-me a mencionar a agncia irm, em chances de ter uma bolsa de produtividade em pesquisa no CNPq. Para medir a qualidade dos artigos (e livros, eventos, patentes etc.) existe o Qualis. Ele significa que uma produo cientfica melhor vale mais do que uma soma de produes menores. Mais que isso, vrias reas limitam o nmero de produes de menor qualidade que levam em conta. Suponhamos, p. ex., que num programa sejam publicados 50 artigos Locais C, cada um valendo 1 ponto na avaliao da Capes, enquanto o
90
artigo Internacional A, naquela rea, vale 25 pontos. Parece ento que os 50 produtos mencionados que esto na escala mais baixa dos nove estratos do Qualis equivaleriam a dois artigos Int. A, que se situam no topo da mesma escala. Engano: em vrias reas, e na prxima avaliao provavelmente em todas, adota-se um limite mximo para os produtos de menor qualidade. Digamos que no haja limites para os artigos Internacionais, enquanto os Locais seriam computados no mximo de 1 por docente/ano. Os limites podem variar, mas expressam uma filosofia muito clara: a quantidade s vale quando expressa a qualidade.6 2. Quantidades. Por isso mesmo, o que a avaliao faz, quando mensura e gera indicadores, no diferente do que a cincia moderna iniciou no sculo XVII: tornar as qualidades em quantidades, fazer o mundo comensurvel. Comparar alhos com peras difcil, mas se formos aos seus componentes qumicos, ou a seus efeitos para a alimentao, conseguimos comensurar uns e outros. Em nosso caso, o ponto de referncia para construir escalas comparativas a formao de mestres e doutores, a cargo de pesquisadores produtivos. Por mais diferentes que sejam as reas, elas esto formando (mal/medianamente/bem/muito bem) seus mestres e doutores, e esto produzindo cientificamente (mal/medianamente/bem/muito bem). o que permite o cotejamento, bem como a comparao internacional entre o desempenho de nossos programas e os melhores do mundo. 3. Carter pblico da avaliao. A avaliao dada a pblico. Estes anos, envidamos esforos em vrios de seus pontos. Primeiro, a ficha de avaliao est mais didtica e indica com clareza cada vez maior os pontos a melhorar de cada programa. Segundo, as teses e dissertaes esto, em grande nmero, no portal www.dominiopublico.gov.br, de modo que possvel acess-las e apreciar sua qualidade. Terceiro, estamos incentivando a construo de
Na poca, a Capes distinguia a produo cientfica, sobretudo em peridicos, em Internacional, Nacional e Local, cada nvel desses se subdividindo em A, B e C. No comeo de 2008, contudo, nos ltimos meses de minha gesto como Diretor de Avaliao, comisses por ns institudas modificaram o sistema, para torna-lo mais transparente e eficaz, adotando como estratos A-1 e A-2 (os mais elevados) e, ainda, B-1 at B-5. Contudo, para o leitor que queira entender a filosofia da avaliao, basta considerar que tanto o sistema anterior quanto o novo so nveis de valorizao.
91
pginas web dos programas, inclusive mediante um aplicativo gratuito disponvel no site da agncia. 4. O pblico da avaliao. Estamos procurando ampliar o pblico de nossa avaliao. Durante muito tempo, ela teve por principal interlocutor uma elite altamente especializada que foi construindo a cultura Capes de avaliao. Desde o advento da era eletrnica, porm, o prprio meio de difuso pela Internet aumentou muito quem pode conhecer a avaliao. As fichas esto no ar h vrios anos. O que faltava, contudo, era um conhecimento melhor dos instrumentos para l-las. Com o Webqualis, com os textos explicativos, com planilhas que estaro disponveis, temos hoje o texto e seu dicionrio, por assim dizer. Com isso, queremos que a pgina da Capes seja referncia constante para os grupos de pessoas que elencamos a seguir. Quem tem interesse em ler nossa pgina? O primeiro grupo que tem interesse o conjunto inteiro dos docentes da psgraduao, que so hoje em torno de 38 mil. A avaliao no pode ser uma cultura da competncia apenas dos coordenadores e de um pequeno grupo. Seus princpios precisam ser conhecidos e aprimorados por toda a comunidade acadmica e cientfica. Um segundo grupo so os alunos de mestrado e doutorado. Eles tm todo o interesse em que seus cursos sejam os melhores. Para isso, a sua avaliao no deve, nem pode, ser entendida como punitiva. Se um curso cai de nota na Capes, porque ele caiu de qualidade. Portanto, seus alunos no devem se revoltar contra o termmetro, mas se preocupar com a febre (ou, mais grave, com a infeco...). preciso que eles aprendam melhor como funciona a avaliao, porque ela a grande ferramenta que legitima sua atuao cobrando e exigindo dos seus programas. O terceiro grupo o dos futuros. Os futuros mestrandos e doutorandos tm, no conjunto ficha de avaliao + teses e dissertaes + pgina web dos cursos, um instrumental fabuloso para escolher o curso mais adequado para o prosseguimento de seus estudos. J as instituies de ensino que querem propor cursos novos devem ter, no mesmo elenco de dados, elementos que favoream a proposta de programas de cada vez maior qualidade. O quarto grupo o dos cidados em geral. A ps-graduao um esforo de toda
92
a sociedade. Proporcionalmente, ela recebe mais dinheiro pblico do que a graduao. Mesmo os cursos privados tm recursos da Unio e eventualmente dos Estados, sob forma de bolsas, auxlios, taxas de bancada, Proap. Por isso, devem ser prestadas contas constantemente de tudo o que feito.
Dcimo artigo: A ps-graduao e os gnios A antroploga Eunice Durham, minha colega na Faculdade de Filosofia, Letras e Cincias Humanas da USP, foi presidente da Capes. No exerccio desse cargo, visitou a Congregao da Faculdade e criticou os professores no produtivos. Um professor presente, pessoa a quem respeito muito, argumentou: Eunice, mas deste jeito Espinosa [que publicou pouqussimo em vida] nunca teria sido aceito pela Capes como professor! E a profa. Eunice respondeu: O problema que todos os que no publicam acham que so Espinosa. Poderamos transformar esta questo num silogismo errado: Scrates no escreveu nada (primeira premissa); Scrates foi um gnio (segunda premissa); Quem no escreve nada gnio (concluso). Mesmo intuitivamente, d para perceber que aqui h um erro lgico srio. Quando muito, poderamos concluir que mesmo quem no escreve nada pode ser um gnio. No mais que isso. Podemos tambm mostrar as mudanas na forma pela qual se d a produo cientfica. No sculo V a.C., quando viveu Scrates, ou mesmo no sculo XVII, quando floresceu Espinosa, os custos da pesquisa cientfica eram bastante baixos, ela se fazia por indivduos mais do que por grupos (embora houvesse escolas e discpulos em Atenas, e Espinosa fosse contemporneo da criao da Royal Society que, por sinal, no aceitou entre seus membros Thomas Hobbes). Hoje, sem uma rede de interlocutores, boas bibliotecas e laboratrios, pouco se faz em termos de cincia ou de gerao de conhecimento de qualidade. Mas cabe a questo: um sistema que se baseia na avaliao externa por pares e privilegia a produo cientfica nos melhores peridicos ou editoras de alguma forma facilita ou dificulta a emergncia de gnios? Creio que, nos artigos anteriores, ficou bastante claro que certas crticas avaliao da Capes, como o publish or perish, o produtivismo e outras, s podem ser feitas por quem no tem a menor ideia do que essa avaliao. Por isso, passamos aqui a outro patamar.
93
O dado preliminar : hoje temos um sistema cientfico de alta qualidade, que em larga medida confere a qualidade do trabalho novo que entra. Mas h trabalhos que esse sistema recusa. Muitos dos que se opem aos sistemas de avaliao, de reviso por pares e outros, alegam que o sistema enviesado e privilegia, por exemplo, quem j est dentro (os insiders) em detrimento dos outsiders. Isso pode, claro, ocorrer. Cabe a todo sistema de avaliao reduzir ao mnimo o peso dos preconceitos na entrada do novo. Todo cientista responsvel capaz de reconhecer a qualidade de trabalhos com os quais no concorda ou deveria ser capaz de aceit-la, isto , de distinguir muito bem o acordo/desacordo e a qualidade/falta de qualidade. E o dado emprico que, da cincia rejeitada, dos trabalhos propostos publicao e recusados, ou, de modo geral, dos trabalhos que a academia no aceita, uma frao mnima tem mesmo qualidade. Por mais que uma vertente romntica goste da ideia do gnio incompreendido, o silogismo Sou incompreendido. Um grande cientista, artista ou pensador foi incompreendido. Portanto, todos os incompreendidos so grandes (cientistas, artistas ou pensadores). falso. No procede.
Gnios No entanto, h um nmero de pessoas, difcil de quantificar, que efetivamente rompem com os padres vigentes e conseguem produzir uma obra de destaque. O mito romntico no seria to forte se no tivesse uma base de realidade. H exageros, como o que diz que Einstein foi mau aluno e de repente se tornou bom: na verdade, apenas mudou o sistema de notas no seu pas natal, de modo que a escala se inverteu e quem era bom aluno (como ele) continuou sendo, embora a nota de um ano para outro passasse de 1 para 10, ou de 10 para 1. Mas o novo tambm rejeitado, ainda que depois se imponha. A nossa questo ento : um sistema de avaliao por pares facilita, ou dificulta, a emergncia do gnio? Ou a do novo? Podemos responder nas duas direes. Podemos supor que, formando uma grande massa de pesquisadores em fsica, ou filosofia, que dialogam entre si, que conhecem cada vez mais, ns facilitamos que alguns deles se despontem pela sua originalidade e se alcem condio de gnios ou que, pelo mesmo processo, ns os tornamos homogneos e pouco abertos novidade. Tendo mais a acreditar na primeira opo, mas so assuntos abertos discusso. E, de todo modo, o advento da novidade, ou da genialidade, nunca fcil.
94
Ento, poderamos deslocar a questo e formular duas hipteses. Alis, as ideias expostas neste artigo so claramente pessoais e nada tm de institucional. No so as ideias de um diretor de avaliao, mas so hipteses de um professor que aprendeu na e com a Capes. No empenham a agncia, nem a mim mesmo: so como as ideias que o sobrinho de Rameau, no livro de Diderot, manda passearem. Caminhar sempre foi til para pensar. A primeira que, talvez, o gnio no dependa tanto de sua formao. Se pensarmos no gnio, num sentido bastante exigente, como algum que faz o balano entre respeitar as convenes (que so to necessrias at para o convvio social) e criar o novo pender para o segundo lado, ento poderamos pensar que o gnio ter dificuldades de convvio, ser obcecado, talvez seja uma pessoa de poucas (mas excelentes) ideias 7. Esta uma hiptese, que poderia ser reforada com a teoria do desafio, desenvolvida por um historiador hoje pouco lembrado, A. J. Toynbee, em seu A Study of History. Toynbee sustentava que uma civilizao se desenvolvia mais quando tinha de enfrentar um desafio (por isso, em lugares muito aprazveis a civilizao no chegou a um grande avano), mas no um desafio excessivamente grande (da que, nos desertos e nos gelos extremos, ela tambm no tivesse seus melhores escores). Pode ser que o gnio tenha a ver com o desafio e, por isso, escolas para gnios no sejam a melhor maneira de faz-los desenvolver suas potencialidades. Talvez seja mais eficaz a dificuldade (se no extrema) do que a facilidade. Talvez. A segunda questo se a misso da avaliao e por extenso das agncias estatais de fomento formar gnios. Pelo que sugeri acima, gnios no so formados de fora para dentro. Podem ser ajudados (talvez, ao serem dificultados). Eles se formam a si mesmos (com alguma ajuda/dificuldade). Mas o que um projeto de Estado, ou de sociedade, pode realizar possivelmente a formao de uma massa significativa de pessoas bem capacitadas a desenvolver pesquisas e a adiantar o conhecimento. Por isso Eunice Durham tinha razo: no qualquer improdutivo que um Espinosa; e
7
Aqui h uma histria e uma referncia bibliogrfica. Conta-se que Einstein, visitando o Brasil, foi acompanhado por um acadmico ilustre que de tempos em tempos retirava uma caderneta do bolso e escrevia alguma coisa. O cientista lhe perguntou: O que o senhor tanto escreve assim? O nosso acadmico: Cada vez que uma ideia nova me ocorre, eu a anoto, para no a esquecer. O senhor no faz a mesma coisa? E a resposta de Einstein teria sido: No, eu s tive uma ideia na vida. A referncia bibliogrfica ao livro de Isaiah Berlin, The Fox and the Hedgehog, que obviamente no a fonte da historieta acima. Berlin distingue os pensadores ourios, que perseguem uma nica idia na vida, dos pensadores raposas, que percorrem um sem-fim de idias. Hegel seria um ourio, Nietzsche uma raposa. Tolstoi, a cujo estudo Berlin dedica o livro, seria uma raposa que se esforou a vida toda por ser ourio.
95
poderamos acrescentar: e no est em nossas mos o segredo de como formar Espinosas e Scrates. Tudo isso posto, e neste mais pessoal de meus artigos na presente srie, o que precisamos no apenas formar pessoas capacitadas, mas gerar constantemente a capacidade de elas criticarem o prprio sistema em que se formaram. Estes anos, temos discutido muito a avaliao. Acreditamos que, com isso, ela avanou. preciso repor em xeque as frases e ideias aceites. Isso deveria estar mais na agenda da pesquisa do que est. Sempre zombei de todo pensador que no zombou de si mesmo, assim comea Nietzsche seu livro A gaia cincia. Uma autocrtica sempre enriquecedora.
Dcimo-primeiro artigo: Autoridade e poder na avaliao 1. Autoridade e poder na avaliao Rousseau, numa pgina clebre do Contrato Social (1762), ataca o suposto direito do mais forte. O que um direito, pergunta ele, que muda quando muda o detentor da fora? A palavra direito nada acrescenta, ento. O Contrato Social uma obra sobre o poder; onde Rousseau diz direito, poderia dizer poder. Ou seja, poder no fora. Exerce-se a fora quando algum forado a fazer alguma coisa. H poder quando algum obrigado a fazer algo. Ser forado implica o uso da fora, geralmente bruta. Estar obrigado significa que a pessoa tem um dever, uma obrigao, mas que so de ordem moral, legal mas que ela no est forada a fazer. Em outras palavras, somente somos obrigados a fazer aquilo que no somos forados a fazer. Se eu sou forado, no tenho alternativa. People always do what they must do, because they have no other alternative: uma necessidade fsica. No o mesmo que ought to ou should, que enunciam obrigaes que, portanto, podem ou no ser acatadas, que apelam liberdade do sujeito. O poder s existe quando h um consentimento que, de algum modo, as pessoas lhe conferem. A fora, no. Nosso poder hoje democrtico. Mesmo assim, poder como dizia um tradicional poltico do Estado de Minas Gerais8, poder poder de prender e soltar, nomear e demitir. O poder tem a ver com a assinatura. Algum manda. Os outros escolhem obedecer ou no, mas sofrem sanes em caso de desobedincia. No mundo atual, embora democrtico, o poder se efetua de modo muito forte. Tem efeitos econmicos significativos.
8
Um Estado que deu importantes lideranas polticas ao Brasil, e que geralmente associado a uma habilidade muito grande na poltica.
96
Autoridade Mas h algo que se chama autoridade e com frequncia confundido com poder. Porm, no a mesma coisa. A autoridade geralmente moral, religiosa, est ligada a alguma caracterstica da pessoa que lhe confere respeito. No est no cargo que ela ocupa, exceto quando este decorre exatamente de uma qualidade realada: o Dalai Lama, os Prmios Nobel, os membros de academias prestigiadas, por exemplo. Tudo isso para distinguir o que poder acadmico e o que autoridade acadmica. O poder na universidade disputado s vezes at com aspereza, mas o curioso, e que muitos perdem de vista, que ele com frequncia uma caixa vazia. Sem dvida, um reitor pode nomear, dar recursos, favorecer, prejudicar. Porm, se ele no tiver respeito acadmico, se no for prestigiado pelo que faz, corre o risco de no obter apoio junto comunidade cientfica e de deixar sua instituio enfraquecida. Esse respeito, que se adquire pela qualidade dele como pesquisador ou por outras qualidades, como foi no passado o herosmo ante a ditadura o que se chama autoridade. A autoridade acadmica assim curiosa: no se atribui por herana, por dinheiro nem por eleio. O poder pode ser conferido por qualquer uma dessas formas, a autoridade no. Ela muito mais difusa. Perde-se ou se ganha por algo que reconhecido como positivo. No o mesmo que a fama, que pode se basear em qualidades mais externas pessoa. Um clebre e famoso pode s-lo porque aparece na televiso, em revistas etc.; a autoridade no a mesma coisa. Um exemplo interessante que, mesmo quando Xuxa9 vendia toda sorte de produto com sua grife, foi um fracasso de vendas o seu Dixionrio da Xuxa, porque os pais acreditaram que as palavras estariam grafadas com erros... Ou seja, mesmo no pblico mais afeito ao mundo do espetculo, quando se entra no conhecimento o que se espera autoridade, no a mera fama.
A avaliao O que legitima qualquer avaliao de mrito a qualidade. Ela se espraia por vrios campos. Depende da qualidade cientfica do pesquisador que avalia. Depende de ele ter mostrado que no movido por interesses menores ou defesa de grupos. H assim um
9
Apresentadora popular de programas na televiso brasileira. A grafia correta seria Dicionrio; como ela brincava com o X de seu nome, lanou-o como Dixionrio, o que ajudou a... no o vender.
97
forte elemento ligado qualidade das pessoas. O que cabe a um rgo do Estado que avalia cursos, como a CAPES, organizar bem essas pessoas, de modo que mesmo dependendo da reputao cientfica e moral delas a avaliao tenha um ritmo institucional adequado. Como fazer isso? So dois passos. O primeiro, como tenho insistido, que a avaliao deve ser um exemplo de quase-autogesto, porque os avaliadores acabam saindo, por um processo misto de indicao interna e externa, da prpria comunidade. No ser respeitada uma avaliao imposta apenas politicamente. O segundo como organizar isso do ponto de vista da instituio, para que tenha permanncia e para que dependa o mnimo possvel das idiossincrasias individuais. Este segundo ponto conseguimos com forte uso da informtica, da estatstica, da transparncia. Falamos antes de tudo o que foi disponibilizado aos representantes e comisses de rea para, depois, ser repassado ao pblico. Nunca ter havido tanta transparncia no sistema, conquistada ao longo dos tempos, com o devido crdito a nossos predecessores. Mas o que muito positivo que, assim, o sistema se expe a crticas. Minha equipe no tem medo delas. O que desejamos substituir os incmodos pelas crticas. H pessoas que se sentem incomodadas pela avaliao. Agora, elas tero mais elementos para avaliar a prpria avaliao, isto , para perceberem os pontos em que falharam e podem melhorar ou os pontos a contestar. Em outras palavras, a autoridade s pode se adquirir e manter quando se do, aos avaliados, meios para contestar os fundamentos da prpria avaliao. Nas prximas semanas, os programas recebero as fichas de sua avaliao, mas estas ainda no sero pblicas, porque eles podero pedir reconsiderao. Uma vez julgada esta ltima, as fichas sero abertas a todos. Planilhas e outros documentos sero oferecidos. A consulta s pginas web dos programas e ao banco de teses permite tambm julgar quem julgou. E claro que onde tiver havido erros eles sero cobrados. Justamente por isso, podemos orgulhar-nos de nossos acertos: porque exporemos o que possa estar errado. No h melhor modo de aumentar a chance de acerto do que esse, mostrar que pode haver erros.
98
Dcimo-segundo artigo: Terminou a Avaliao Trienal 2007 (1.0)
Terminou a primeira fase da Avaliao Trienal 2007, cobrindo o desempenho dos cursos de mestrado e doutorado brasileiros no perodo de 2004 a 2007. A avaliao comparativa e este o grande desafio que, desde 1998, ela tem enfrentado. A cada edio, avanamos na difcil tarefa de fazer que um curso 6 de Filosofia equivalha a um programa 6 de Engenharia, e por a vai. Sabemos que os saberes so difceis de comparar, como uma ova de esturjo e uma trufa, mas sabemos tambm que mesmo entre uma e outra h elementos comuns, como protenas, lipdeos, vitaminas quem sabe; para ns, os pontos principais de comparao esto na produo intelectual, respeitadas as peculiaridades das reas, na formao de recursos humanos altamente qualificados, como mestres e doutores, e uma novidade entre muitas desta Avaliao o impacto social que a rea considera dever ter. A cada avaliao, sobe o nvel de exigncia, assim como a produo cientfica brasileira cresceu 9 vezes em 20 anos (o mundo, como um todo, apenas dobrou a sua). esse constante aumento de exigncias que fez o Brasil subir na cincia e na formao de seus doutores (que, nos mesmos vinte anos, se multiplicou por cerca de dez). Um curso que, deitado em bero esplndido, esteja hoje no mesmo nvel de produo que era satisfatrio em 2001 provavelmente ter sido descredenciado, porque se ter estagnado. Uma novidade importante nesta avaliao que, com a mudana na ficha, com a introduo de uma srie de planilhas novas, tornou-se possvel levar mais em conta do que no passado a formao de mestres e doutores. Foi necessrio, durante bastante tempo, considerar a produo cientfica de qualidade do corpo docente como o ponto principal da Avaliao, com um peso muito grande. Ora, ela continua sendo necessria, mais que isso, imprescindvel. Mas queremos deixar claro que no mais suficiente, para chegar ao topo da escala, ter uma alta produo cientfica. A Capes avalia a psgraduao e quem no se empenhar na formao de doutores de qualidade pode at constituir um excelente grupo de pesquisa, ter um curso de mestrado incrvel, mas talvez no possa ser considerado, de fato, como um doutorado funcionando a pleno vapor. Esta foi uma das exigncias mais duras que introduzimos, e que foi amplamente discutida no Conselho Tcnico Cientfico estes anos e divulgada junto comunidade. No um diktat da Diretoria. uma deciso expressa em dezenas de debates no CTC, desde o julgamento dos pedidos de reconsiderao da Trienal 2004. Antes, in dubio, entrava a
99
produo intelectual; agora, nos casos de deciso, nos alegramos de saber que exigimos mais: tambm a boa formao de mestres e doutores. Tambm introduzimos, naquelas reas que valorizam o livro como meio de produo intelectual, o respeito a ele e sua avaliao. No foi fcil. Havia consultores que elogiavam o livro, mas no queriam ter a rdua tarefa de avali-lo. bem mais difcil que as revistas, porque no h fator de impacto. Revistas so sries: avalia-se uma e projeta-se para o futuro. Reavaliam-se, claro, constantemente. Mas so sries. Livros so descontnuos: cada um solteiro. Fizemos trs pilotos diferentes na avaliao de livros e efetuaremos o balano deles em breve, para ver como consolidar a melhor anlise dessa produo. Mas o simples fato de avaliar os livros j significa que um nmero superior a 20, das 45 reas de conhecimento da Capes, passou por uma avaliao mais completa do que no passado, atendendo assim melhor a suas peculiaridades. Vejam o nmero: quase metade das reas do conhecimento. Assim como a nfase na formao de mestres e doutores ampliou a gama de critrios, o papel atribudo aos livros alargou a faixa de produtos avaliados. E, embora apenas uma rea de conhecimento considere a produo artstica, que justamente a rea de Artes e Msica, esta se dedicou com empenho constituio de um Qualis da produo artstica, que permite levar em conta a qualidade e o impacto desta ltima, da composio at a interpretao. Melhoramos o Qualis. Hoje, todos os peridicos que figuram nele existem de verdade. No h nomes errados, ISSNs duplicados. Em breve, esperamos que, clicando em qualquer ttulo deles, se possa acessar o respectivo sitio eletrnico. O Qualis se torna pr-ativo. Quando um professor ou aluno, desejoso de saber onde mais difcil e melhor publicar, fizer uma consulta ao Qualis, ele poder ir direto ao site de uma revista de alto nvel e acessar seus contedos ou, pelo menos, seus critrios. Estamos desenvolvendo um Qualis de eventos, que substituir com vantagem o de Anais (isto , em vez de termos os Anais da 56 reunio anual da SBPC, que seria uma entrada diferente da dos Anais da 57, teremos simplesmente o evento Reunio Anual da SBPC e cada edio sua estar subsumida nesse termo mais amplo e mais prtico). Falta agora um Qualis de patentes e de produtos de inovao tecnolgica. Ser feito. Com este, completaremos o leque dos Qualis que permitem aferir toda a produo relevante dos programas: peridicos, eventos, livros, arte, patentes e tecnologia. Planilhas especiais foram elaboradas. O SIR, Sistema de Indicadores de
Resultados, permite por exemplo medir a concentrao de orientaes entre os docentes de um programa: posso perguntar quantos por cento dos professores orientaram 60% (ou 70, ou 80, ou o que quiser) das teses e dissertaes nele defendidas. Apuramos assim se h concentrao excessiva do trabalho de orientao (ou da produo intelectual) ou se ambos esto repartidos de maneira equilibrada. Por hiptese, se 20% dos professores orientam 65% das teses, no est boa a diviso. Quer dizer que boa parte no orienta. Por outro lado, se 65% orientam 65% das teses, quer dizer que no h renovao no programa: todos esto no mesmo patamar de produo. No h juniores. Propores intermedirias podem ser mais positivas. No caso da produo intelectual, o mesmo vale. Se ela est muito concentrada em, digamos, 25% dos docentes, a situao crtica. Se 30% dos docentes no produzem, tambm no positivo. Sabe-se que o nosso propsito que pesquisadores produtivos orientem alunos, portanto uma diviso de trabalho entre quem produz, quem orienta e quem d aula altamente negativa para o beneficirio principal da avaliao que o mestrando ou doutorando. O SIR ajuda a medir isso de maneira muito rpida e inteligente. Outra planilha que usamos na Avaliao Trienal mostra quantos doutores cada programa titulou nos ltimos anos. Outra, ainda, indica quantos dos seus mestres depois se formaram doutores (nele ou em outro programa) isto , permite ver para quantos o mestrado foi um produto terminal (provavelmente de uso profissional) ou um passo para uma carreira de pesquisa. Um dos dados mais ricos o seguinte: para aferir o impacto nacional dos programas, extramos dados que mostram quantos dos seus doutores (titulados a partir de 1997) hoje lecionam em programas de ps-graduao e diferenciamos quem leciona na mesma IES onde se titulou e quem foi para outra. Um dos nossos programas 7, o de Histria Social da USP, tem 106 de seus doutores ps-1997 lecionando em cursos de mestrado e doutorado do pas inteiro. Finalmente, esse sistema se aprimorou na transparncia. As fichas esto mais bem escritas. A Coordenao de Acompanhamento e Avaliao leu, no final de semana aps o julgamento pelo CTC, as 2266 fichas e chegou a me alertar at para a falta de um verbo deve, que um relator esquecera de colocar na justificativa de uma deciso. As fichas esto mais pedaggicas, mais diretas. Foi intensamente recomendado aos cursos, e em algum momento se tornar obrigatrio, que mantenham stios eletrnicos, incluindo
parte de sua produo intelectual. A Capes editou uma portaria em fevereiro de 2006 que manda considerar, para efeito da avaliao, se o programa est divulgando suas teses e dissertaes em formato eletrnico. O que sair em livro ou revista, muito bem; mas o que no sai dessas maneiras deve ser disponibilizado em meio eletrnico para a sociedade brasileira que, com bolsas, PROAP e inmeras outras formas, com recursos pblicos que vm da CAPES mas tambm do CNPq, Finep e vrias FAPs, sustenta a ps-graduao. Em certas reas, como Direito, muito grande o nmero de dissertaes que no geram publicao. Isso deve mudar. Essa trinca fichas melhores, portais de programas e teses on line d ao docente ou discente da ps uma oportunidade indita de conferir a qualidade da avaliao oferecida. Se um curso teve nota 6 ou 7, mas sua produo intelectual mirrada ou suas teses so fracas, a comunidade avaliar isso e nos advertir a respeito. Ampliamos assim o nmero de sujeitos que podem entender a avaliao. Com um uso intenso da informtica, pelo qual agradeo Coordenao de Organizao da Informao e Coordenao Geral de Informtica, abrimos muito do que antes, por fora das circunstncias, acabava sendo examinado s pela comisso de rea. Graas a um uso inteligente da estatstica, pelo qual agradeo ao prof. Ricardo Loureno, aumentamos muito a possibilidade de comparar as reas e de verificar o que cada uma reputa fundamental, dentro dos nossos parmetros bsicos e imexveis: produo cientfica de qualidade, bem equilibrada, orientaes bem repartidas, mestres e doutores de qualidade. H descontentes? Claro. Foram fechados 81 programas por problemas de desempenho (dez outros foram desativados apenas porque j estavam sendo fechados por suas IES). Podem recorrer. Alguns ganharo o recurso e por isso no divulgamos o nome deles. Errar humano. Programas que aspiravam a notas mais altas se viram frustrados, cursos caram de nota? Todos podem recorrer. Mas os critrios foram claros e justos, e atendem s duas misses principais da avaliao. Vamos a elas. Primeira, o foco no aluno. Queremos que ele tenha em nossa avaliao um instrumento que use, de fato, para escolher o curso mais adequado a ele e, uma vez no laboratrio ou na biblioteca, confira o que est errado e cobre dos seus professores. No estamos apenas querendo que ele redija uma dissertao ou tese. Estamos formando pessoas que vo trabalhar quarenta, cinqenta anos talvez, na
produo de conhecimento. Pouqussimas delas faro uma segunda dissertao de mestrado, uma segunda tese de doutorado. Mesmo quem muda completamente de rea o doutor em filosofia que vai para a cincia poltica ou a economia, o veterinrio que se torna bioqumico no faz uma nova tese, mas vai direto a pesquisas ps-doutorais. No precisa redigir uma nova tese por uma simples razo: o salto qualitativo representado pela ps nico, na vida da grande maioria das pessoas. Saram de uma graduao na qual era importante o professor ser um bom didata e entraram num mestrado ou doutorado em que a aula tem menor importncia e eles, alunos, se convertem em pesquisadores ou, se fizerem um mestrado profissional, em profissionais de alta qualidade. Isso no pode ser malfeito. Da que a avaliao tenha de ser dura, porque assegura ao aluno um padro de qualidade num momento decisivo de sua vida. Segunda, o estmulo ao avano na produo de conhecimento. Sem a constante cobrana dos pares, em comisses externas de avaliao, ficaramos confortveis. Repetiramos o que j sabamos. a avaliao, com sua cenoura e seu basto, que incentiva com um oramento mnimo, 7 milhes de reais, um por cento da Capes, 2 mil reais por curso ao ano, 3 mil reais por programa um progresso na cincia que depois vai ser apoiado pelo fomento, mas que nesse estgio muito barato. Quando um curso est surgindo, em especial numa regio menos desenvolvida, e mandamos dois consultores visit-lo para mostrar onde erraram e como podem melhorar, o custo mnimo para o Pas, em comparao com os efeitos que traz. H mestrados e mesmo doutorados que s existem por causa dessas visitas que criamos, regulamentamos, usamos em profuso e que chamamos de pedaggicas. Vamos aumentar seu nmero. Porque a avaliao, para terminar, no pretende punir. Pretende estimular. O ano da Trienal de forte competio, sabemos. Mas a incluso de itens como cooperao, visibilidade e solidariedade equilibra a curta durao competitiva pela longa durao colaborativa. Um curso no ter mais as notas 6 ou 7, em 2010, se no for solidrio com cursos mais jovens ou menos fortes situados em regies (ou microrregies) menos desenvolvidas. A avaliao no um fim em si. o meio, altamente econmico e valioso, que o Brasil inventou para estimular a nata dos seus pesquisadores a formar alunos de alta qualidade, os pesquisadores e os melhores profissionais de amanh. Enfim, por que no ttulo coloquei 1.0? Porque ainda temos os pedidos de
reconsiderao. Vamos a uma segunda rodada, em que os descontentes podem recorrer. Tero os instrumentos a seu dispor. Estamos abrindo material que foi utilizado nas avaliaes para que eles saibam de que se trata. Vero assim se vale a pena recorrer ou se melhor acatar a deciso j tomada, porque solidamente fundamentada. E 1.0 porque, tambm, vamos continuar aprimorando os sistemas e critrios, sempre com o decisivo apoio e participao do CTC e da comunidade cientfica.

Raes 5 Ribeiro

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Raes 5 Ribeiro

Uploaded by

Copyright:

Available Formats

PARA QUE SERVE A AVALIAO DA PS-GRADUAO. A VISO DA CAPES.

Renato Janine Ribeiro, Universidade de Sao Pablo

Primeiro artigo: A Capes e a Avaliao Trienal.

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

definir como vai operar a sua avaliao.2

2. Para que serve a avaliao.

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Segundo artigo: A avaliao: quem faz, quem decide

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Terceiro artigo: Avanos na transparncia

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Sites dos programas de ps-graduao.

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

equvoco, este um assunto fundamental.

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

professores e orientadores desse quilate.

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Sexto artigo: Insero social

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Stimo artigo: Mestrado profissional, mestrado acadmico e doutorado

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Oitavo artigo: Solidariedade e cooperao na avaliao da ps-graduao

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

Dcimo-segundo artigo: Terminou a Avaliao Trienal 2007 (1.0)

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012100

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012101

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012102

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012103

RAES ISSN 1852-8171 / Ao 4 / Nmero 5 / Octubre 2012104

You might also like