Investigao em Educao

e os Resultados do PISA

Seminrios
e Colquios

As opinies expressas nesta publicao so da responsabilidade dos autores e no refletem

necessariamente a opinio ou orientao do Conselho Nacional de Educao.
Ttulo: Investigao em Educao e os Resultados do PISA
[Textos do Seminrio realizado no Auditrio do Conselho Nacional de Educao a 5 de dezembro
de 2015]
Edio: Conselho Nacional de Educao
Direo: Jos David Justino (Presidente do Conselho Nacional de Educao)
Coordenao: Manuel Miguns (Secretrio-Geral do Conselho Nacional de Educao)
Coleo: Seminrios e Colquios
Organizao e edio: Antonieta Lima Ferreira, Paula Flix e Slvia Ferreira
Edio Eletrnica: dezembro de 2015
ISBN: 978-972-8360-95-5
CNE Conselho Nacional de Educao
Rua Florbela Espanca 1700-195 Lisboa
Telefone: 217 935 245
Endereo eletrnico: cnedu@cnedu.pt
Stio: www.cnedu.pt

Secretrio-Geral do Conselho Nacional de Educao

Manuel Miguns

Presidente do Conselho Nacional de Educao

Jos David Justino

Ana Sousa Ferreira

Adriana Ferro
Pedro Freitas
Lus Catela Nunes
Ana Balco Reis
Carmo Seabra

Hugo Reis
Manuel Coutinho Pereira

Cludia Sarrico

Joseph Conboy

Conceio Portela
Susana Faria

Maria Eugnia Ferro

Presidente do Conselho Nacional de Educao

Jos David Justino

O Conselho Nacional de Educao atribui a maior importncia ao

tratamento e anlise de dados sobre o sistema educativo, na perspetiva de
obter a melhor evidncia para suporte dos pareceres e recomendaes que
emite com vista a apoiar a deciso sobre polticas educativas.
Os estudos internacionais proporcionam um importante acervo de
informao, a partir do qual possvel desenvolver investigao que
concorra para um melhor conhecimento do sistema educativo, para uma
avaliao das polticas educativas e para a identificao de tendncias
evolutivas do prprio sistema, num quadro de comparao internacional.
deste modo que se podero construir as bases de conhecimento que
apoiam e fundamentam as recomendaes sobre as polticas educativas.
Os responsveis por estas polticas e pela administrao do sistema, a
sociedade portuguesa no seu todo, evoluram significativamente nas
ltimas dcadas na forma como encaram os resultados escolares das
nossas crianas e jovens e no modo como refletem sobre o desempenho
dos alunos em programas de avaliao internacional como o PISA, o
TIMSS e o PIRLS.
No final dos anos noventa do sculo passado e no incio deste sculo ainda
se procuravam justificaes para resultados desanimadores em fatores
externos como a natureza das questes colocadas, a preparao prvia dos
1

Secretrio-Geral do Conselho Nacional de Educao

alunos em pases que mostram desempenhos elevados, as diferenas

culturais entre os diferentes pases. Hoje em dia, os responsveis, os
professores, as famlias e a sociedade em geral parecem focados no que
podem fazer enquanto decisores polticos, enquanto dirigentes, pais ou
professores para que o Pas melhore o seu posicionamento nos rankings e
os jovens apresentem cada vez melhores desempenhos nos estudos
internacionais de avaliao.
precisamente no sentido de o Pas conhecer mais e compreender melhor
os fatores que afetam o desempenho dos seus alunos, das suas escolas e do
prprio sistema educativo, o de se conhecer mais e compreender melhor
os efeitos das medidas de poltica educativa que se implementam, que
importa usar os dados disponveis, estudar, investigar e refletir para obter
evidncia fivel que apoie a deciso politica.
Nesta perspetiva, o Conselho Nacional de Educao iniciou, em meados
de 2014, a preparao de um projeto, com a participao de investigadores
externos, com o objetivo de disponibilizar ao grande pblico, de forma
simples e acessvel, informao sobre o sistema educativo e o desempenho
dos jovens de 15 anos, a partir da anlise dos dados do PISA.
O projeto aQeduto Avaliao, Qualidade e Equidade do Sistema
Educativo Portugus, que viria a merecer o envolvimento da Fundao
Francisco Manuel dos Santos, visa explicar as variaes dos resultados
dos alunos portugueses nos testes PISA, tendo em conta trs eixos
fundamentais: os alunos (alteraes nas condies sociais, econmicas,
culturais, comportamentais e motivacionais dos alunos e das famlias), as
8

escolas (mudanas na organizao escolar) e o Pas (variaes nas

condies econmicas a nvel macro).
Ao longo dos ltimos doze anos, desenvolveram-se diversos estudos
decorrentes dos dados gerados pelo PISA relativamente evoluo do
desempenho dos alunos portugueses nos domnios de leitura, da
matemtica e das cincias.
A apresentao pblica do projeto aQeduto e dos seus objetivos e
metodologias, e a comunicao de outros estudos e investigaes em
curso, foram as principais finalidades da realizao do seminrio
Investigao em Educao e os Resultados do PISA, que o Conselho
Nacional de Educao organizou em dezembro de 2014, e cujas atas ora se
publicam.
Esta iniciativa permitiu juntar no CNE os principais investigadores
portugueses com obra publicada sobre o tema em apreo, que
apresentaram e debateram os seus projetos e os resultados das
investigaes j realizadas, refletindo sobre os caminhos j percorridos e
sobre os trabalhos que se propem desenvolver. Como salienta o
Presidente do CNE na sua interveno de abertura, o Conselho pretendeu
tambm reunir numa mesma sesso investigadores e estudantes com
interesse nestes temas, proporcionando desta forma um estmulo e uma
oportunidade de partilha do trabalho cientfico que se desenvolve em
Portugal neste domnio.
A presente publicao rene os textos apresentados no citado seminrio,
exceo feita apresentao de Joo Marco, Vogal do Conselho Diretivo
9

do IAVE, que optou por disponibilizar a sua apresentao em PowerPoint,

disponvel na pgina do CNE.
Ana Sousa Ferreira, no texto de apresentao do projeto aQeduto,
identifica-o como um estudo de natureza longitudinal sobre o sistema
educativo nacional, com foco particular nas vertentes da qualidade e
equidade, que procurar responder a uma questo central por que
melhoraram os resultados dos alunos portugueses no PISA entre 2000 e
2012?
Ana Balco Reis e Carmo Seabra lideraram uma equipa de investigadores
da Nova School of Business and Economics Universidade Nova de
Lisboa, que assina o artigo Decomposio da melhoria de resultados
evidenciada no PISA: caractersticas dos estudantes versus sistema
educativo. Neste texto, as autoras procuram encontrar explicaes
determinantes para a melhoria de resultados evidenciada pelos alunos das
escolas portuguesas, nas caractersticas dos estudantes e no prprio
sistema educativo, e concluem que essa melhoria de resultados ainda
mais significativa do que mostram os resultados oficiais entre 2006 e
2012.
Hugo Reis e Manuel Coutinho Pereira procuram, a partir dos dados do
PISA, tratar uma questo que o CNE tem elegido como central para a
melhoria do sistema educativo portugus a reteno. Com base na
evidncia apresentada neste artigo, os autores concluem que a reteno
numa fase inicial da vida escolar, prtica que ainda prevalece no nosso
Pas, parece ser prejudicial para o desempenho educativo a longo prazo. E,
10

mesmo quando retidos em anos posteriores do ensino bsico, parece no

existirem efeitos positivos relevantes no desempenho dos alunos, como
vem sendo demonstrado na literatura publicada internacionalmente.
No texto sobre os fatores que fazem a diferena no desempenho das
escolas portuguesas, Cludia Sarrico et al baseiam-se em 12 estudos de
caso para estudar as prticas de gesto do desempenho e compreender o
que medido nas escolas em termos do seu desempenho e o que feito
com tal informao. As autoras concluem que as variveis que a escola
no controla explicam tendencialmente at 40% do desempenho dos
alunos, ficando por explicar o papel da prpria escola no desempenho dos
alunos, sendo certo que o sucesso escolar no depende apenas das crianas
(e das suas circunstncias) que a escola recebe num dado momento.
No seu artigo PISA: Dados e reflexes para Hoje e para o Amanh,
Joseph Conboy apresenta alguns dados e concluses da anlise dos
resultados do PISA e avana com algumas recomendaes particularmente
dirigidas a combater a reteno. Numa reflexo final, prope que, na
anlise dos dados PISA a publicar em 2016, no nos preocupemos tanto
com a Finlndia, mas foquemos antes a nossa ateno nas tendncias de
reteno e equidade em Portugal.
Conceio Portela e Susana Faria centram a sua investigao nos
resultados dos alunos portugueses no teste de Matemtica, PISA 2009.
Aplicando um modelo multinvel de regresso quantlica, as autoras
procuram identificar as principais determinantes dos resultados dos alunos
de escolas portuguesas e compreender em que medida estes fatores
11

influenciam os seus desempenhos. Mostram que a escola frequentada tem

impacto nos resultados dos alunos, analisam os possveis fatores
explicativos desse impacto e concluem, por exemplo, que existem escolas
em que os alunos tm um desempenho superior ao esperado, enquanto
noutras os alunos mostram desempenhos abaixo do esperado.
A reteno escolar dos alunos um tema da maior relevncia tanto na
perspetiva da avaliao do desempenho do sistema educativo, como no
campo da dimenso social. Partindo deste pressuposto e no sentido de
melhor compreender este fenmeno no sistema educativo portugus,
Maria Eugnia Ferro desenvolve uma anlise estatstica com base nos
resultados do PISA 2012. A autora discute a reteno precoce e o seu
efeito potenciador de reteno tardia, o padro de causalidade que
contribui para reforar efeitos cumulativos de desvantagem social e os
parmetros que representam a associao de composio socioeconmica
da escola com a probabilidade individual de reteno.
A publicao deste livro pelo Conselho Nacional de Educao coincide
com a data de apresentao do primeiro Frum aQeduto sobre
educao e economia, o que demonstra bem a importncia que o CNE
atribui investigao e ao estudo aprofundado das questes relativas ao
sistema educativo, bem como divulgao pblica dos resultados, de
molde a podermos aspirar melhoria da educao em Portugal e
melhoria dos desempenhos das nossas escolas e dos nossos alunos. Como
salienta o Presidente do CNE no texto de encerramento deste livro, temos
um considervel potencial de melhoria que s nos pode trazer confiana
no futuro.

12

O nosso objetivo base para este seminrio sobre a investigao em

educao e os resultados do PISA partiu da conscincia de que havia
muita gente a investigar e que eventualmente no sabamos todos uns dos
outros. Fez-se um esforo no sentido de identificar quem que anda a
trabalhar sobre estas questes e espero que no fiquemos por aqui, porque
eventualmente h entre estudantes de mestrado e de doutoramento ainda
alguns estudos de que no temos conhecimento. Aquilo de que
gostaramos que numa prxima iniciativa sobre esta temtica j se
pudesse desenvolver um pouco os resultados que esto neste momento a
ser trabalhados e que pudssemos igualmente ajudar esses jovens
investigadores a integrarem-se numa comunidade cientfica em torno desta
temtica.
Como sabem, h uma tradio muito forte de, quando trabalhamos um
tema, nos calarmos muito bem caladinhos para que os outros no saibam o
que que andamos a fazer. E eu penso que temos de fazer precisamente o
contrrio, ou seja, o que importante que todos saibam o que andamos a
fazer para que no nos atropelemos uns aos outros. E julgo que esse um
passo que o Conselho Nacional de Educao apenas proporciona que se
d, no quer assumir nenhuma funo nem de coordenao nem de
liderana. Somos uma instituio que no uma instituio de
investigao e, portanto, o que ns queremos trabalhar com os
investigadores, sem os substituir, como natural.
tambm nessa perspetiva que o CNE definiu j um conjunto de
seminrios que vo ter lugar no prximo ano (comeamos j aqui em
dezembro), a um ritmo muito assinalvel, sendo que a sua organizao
corresponde igualmente necessidade de que o Conselho tenha uma
agenda prpria quando digo uma agenda prpria, no uma agenda
poltica (as agendas polticas so para quem tem responsabilidades
polticas: a Assembleia, o Governo, os grupos de cidados, os sindicatos.
1

Presidente do Conselho Nacional de Educao.

14

Esses tm uma agenda poltica. A nossa agenda uma agenda das

polticas. O que que isto quer dizer? Como sabem, temos por
incumbncia, quando nos pedem um parecer de, no mais curto prazo,
conseguir emitir esse mesmo parecer ou ento produzir recomendaes,
mas, se a nossa atividade fosse apenas esta, estvamos sempre
dependentes da maior ou menor produo legislativa, o que me parece
fazer pouco sentido. nessa perspetiva que a preocupao que sempre
evidenciei desde que tomei posse foi a de o Conselho ter uma agenda que
nos permita tocar os diferentes setores do sistema educativo e do
fenmeno educativo em geral e estar preparados para em qualquer altura
poder emitir os pareceres, fazer as recomendaes e, acima de tudo,
refletir o trabalho que um pouco por todo o lado se vai fazendo sobre
investigao em educao. Quando eu digo que o CNE deve ter uma
agenda prpria, significa isso que a partir do momento que identifica um
conjunto de problemas ou um conjunto de dinmicas dentro do sistema
educativo dever sustentar a compreenso dessas dinmicas a partir da
investigao e no apenas ficar naquela postura de eu acho que, ou a
minha posio esta ou a minha posio aquela. no sentido de
contrariar essa postura que os pareceres do CNE, com muito poucas
excees, de h um ano para c, tm sido sempre acompanhados por um
relatrio tcnico, ou seja, no nos chega emitir opinio. Temos de
sustentar essa opinio em investigao, em conhecimento, em evidncia,
tanto quanto possvel, cientfica. Desta forma, muitos desses relatrios
tcnicos, que a nossa assessoria produz, acompanhando precisamente o
trabalho que os relatores e os membros do conselho vo desenvolvendo,
tm de refletir o que h de melhor e de mais atual na investigao
cientfica. E esta a minha preocupao, precisamente de que o CNE
tire partido do muito e, em muitos casos, muito bom, que se faz em termos
de investigao sobre diversas temticas.
Os resultados do PISA, os relatrios e a investigao que da decorre,
tambm feita pela OCDE, so muito importantes e por isso nos queremos
associar s instituies e aos servios que tm esta responsabilidade. Por
um lado, os servios do IAVE, por outro lado, os servios da
Direo-Geral de Estatsticas, ou seja, os servios do Ministrio. A nossa
15

postura no a de subtrair competncias aos outros, mas a de termos

uma atitude colaborativa de troca de informao, porque, para alm da
nossa relao com os centros de investigao, com os investigadores,
queremos ter uma relao privilegiada com os servios do Ministrio, uma
vez que so eles em grande parte que produzem informao,
nomeadamente estatstica. E, portanto, para ns tambm decisivo (e eu
vejo aqui muitos tcnicos, muitas pessoas ligadas ao Ministrio da
Educao) termos uma colaborao muito estreita para que no fundo seja a
educao, as escolas, as polticas educativas a beneficiarem dessa
colaborao.
So estes os pontos que gostaria de vos transmitir, justificando um pouco a
razo desta iniciativa, aproveitando para agradecer a todos os
investigadores presentes e que se disponibilizaram a participar nesta
iniciativa e que no so to poucos: vamos ter aqui seis grupos de
investigao, que envolvem 25 investigadores provenientes de vrias
faculdades, institutos superiores, centros de investigao, casos da
Universidade de Lisboa, da Universidade Catlica, da Universidade da
Beira Interior, da Universidade Nova de Lisboa, o Departamento de
Estudos Econmicos do Banco de Portugal (que nos tem prestado uma
colaborao inestimvel), temos um investigador individual (isso tambm
bom) e temos a representao do IAVE e dos servios do Ministrio que
tm maior associao com esta temtica.
Por outro lado, este frum tem o objetivo de fazer uma espcie de estado
da arte e a proposta que vos deixo que, depois do estado da arte, nos
possamos encontrar regularmente, nem que seja uma vez por ano, para
saber como que a arte tem evoludo, ou seja, fazer um ponto da situao:
quem que est a investigar o qu e como tm evoludo os projetos.
Devo igualmente acrescentar que sempre que um grupo de investigadores
quiser desenvolver um projeto de investigao que precise de algum
apoio, no monetrio (esse ser impossvel), mas institucional, do CNE,
ns teremos o maior prazer em nos associarmos a estes projetos, venham
de onde vierem, desde que encaixem dentro do programa do Conselho. O
objetivo precisamente podermos ser teis, em termos de apoio logstico,
16

de realizao de conferncias. Temos esta sala, que simptica, que

disponibilizamos a todos os centros de investigao que queiram trabalhar
fazendo conferncias (h um centro de investigao que na semana
passada fez aqui uma conferncia internacional). A ideia que, sempre
que queiram e precisem, estamos disposio para vos ajudar e para que
se possa concretizar o projeto que lancei no princpio: fazer do CNE a
chamada casa comum da educao. Essa casa comum da educao onde
se discute, onde se pensa, onde se reflete sobre educao.
Quero terminar com uma palavra de grande apreo e de agradecimento a
todos os investigadores que se disponibilizaram a vir aqui apresentar os
seus trabalhos e dar-vos tambm conta de que estamos abertos a repetir
iniciativas deste gnero. Portanto, quando um grupo de investigadores
quiser avanar com uma iniciativa semelhante, temos porta aberta para
pensarmos sobre como a concretizar.
Desejo que os trabalhos decorram da melhor maneira e desejo,
obviamente, que os resultados que viermos a obter aqui possam ser
extremamente profcuos no sentido de no s aumentarmos mas acima de
tudo qualificarmos a investigao que se tem produzido sobre este tema.
Muito obrigado a todos, bom trabalho.

17

O projeto que hoje apresentamos deriva da constatao progressiva de que

a crescente mediatizao dos problemas educativos tem levado a que,
muitas vezes, meras opinies possam ser consideradas como dados
adquiridos em educao, muitas vezes, sem um verdadeiro sustento de
evidncia cientfica.
O projeto de investigao aQeduto constitui-se como um estudo de
natureza longitudinal sobre o sistema educativo nacional, focando-se na
compreenso da sua evoluo no que respeita a vertentes fundamentais
como a qualidade e a equidade. De uma forma transversal a estas duas
dimenses avaliaremos ainda, sempre que possvel e se justifique, a
eficincia da utilizao dos recursos disponveis para prosseguir estes
objetivos. No mbito deste projeto, quando falamos de qualidade
pretendemos responder seguinte questo: Ser que o nosso sistema
educativo tem vindo a assegurar que os nveis de desempenho dos nossos
alunos, relativos s suas aprendizagens, so elevados? Ser que existem
fatores que tenham influenciado essa melhoria das aprendizagens?
Por outro lado, quando falamos de equidade visamos dar resposta
pergunta seguinte: Ser que podemos dizer que o nosso sistema educativo
tem promovido iguais oportunidades para todos, independentemente do
capital familiar, da influncia do nvel socioeconmico das famlias ou do
ambiente em que os nossos alunos vivem?
Para poder analisar a evoluo do sistema educativo nacional, nas
vertentes j referidas, precisamos, obviamente, de instrumentos de
avaliao que tenham, por um lado, uma solidez de conceo e, por outro
1

Faculdade de Psicologia Universidade de Lisboa.

19

lado, que sejam estveis ao longo do tempo, permitindo assim realizar

comparaes ao longo dos anos. Necessitamos ainda que esses
instrumentos de avaliao recolham informaes que permitam
contextualizar a aprendizagem dos alunos relativamente s suas prprias
caractersticas, mas tambm das suas famlias e das escolas em que esto
inseridos. O estudo em que Portugal tem vindo sistematicamente a
participar e que tem, de facto, estas caractersticas , como certamente
conhecido, o PISA (Programme for International Student Assessment).
O PISA um programa internacional da responsabilidade da OCDE
(Organizao para a Cooperao e Desenvolvimento Econmico) que j
conta com cinco ciclos de estudos concludos, tendo Portugal participado
regularmente nesses cinco ciclos. Assim, o projeto aQeduto vai utilizar os
dados decorrentes do projeto PISA desde o primeiro ciclo, em 2000, at ao
ltimo ciclo j concludo, em 2012, para poder avaliar o sistema educativo
nacional ao longo dos anos. O ponto de partida a inquestionvel
melhoria dos resultados dos alunos portugueses demonstrada nos diversos
ciclos do PISA (2000, 2003, 2006, 2009, 2012), programa que avalia a
competncia de alunos de 15 anos, nos domnios de leitura, matemtica e
cincias, em ciclos trienais. A questo ser compreender a que se deve
esta progresso. Neste quadro, procuramos explicaes plausveis dos
fenmenos educativos, no mbito da qualidade e da equidade do sistema,
atravs da identificao de variveis relacionadas com a origem
socioeconmica dos alunos, com a evoluo da organizao escolar ou
com a evoluo do desenvolvimento do pas.
A centralidade das dimenses referidas qualidade e equidade no
plano sustentado de crescimento econmico e de desenvolvimento social
dos pases reiterada no mais recente relatrio da OCDE sobre
concretizao das reformas de poltica educativa (OCDE, 2015): A
growing body of evidence shows that the highest performing education
systems are those that combine equity with quality. [] Across OECD
countries, delivering equity and quality in education remains a key issue.
(OCDE, 2015, pp. 44-45). A importncia de qualquer das perspetivas de
anlise consideradas neste projeto radica no s em questes de natureza
tica, mas naturalmente em aspetos de racionalidade de recursos. De facto,
20

a qualidade, pressupondo eficincia, e a equidade so princpios

estruturantes dos modernos sistemas educativos, sem os quais no
possvel desenvolver todo o potencial dos alunos, e, por conseguinte,
valorizar o capital humano dos pases.
A resposta aos problemas de investigao colocados ser baseada em
tcnicas de anlise de dados e, para isso, utilizaremos uma diversidade de
mtodos, adaptados a cada fase do projeto. Esses mtodos vo desde a
simples representao grfica e estudos correlacionais a outras abordagens
mais complexas no foro da anlise multivariada, tanto exploratria como
confirmatria.
Tendo como principal finalidade alargar o conhecimento cientfico
(sustentado em dados estatsticos internacionalmente reconhecidos e
suscetveis de comparao longitudinal e entre pases), o projeto
ambiciona produzir diversas publicaes cientficas e consequente
informao de suporte deciso de poltica na rea educativa.
Simultaneamente, ser desenvolvida uma estratgia de comunicao
peridica, que visa esclarecer a opinio pblica sobre o desempenho dos
alunos portugueses.
Os desafios impostos por um projeto cujos domnios de estudo so a
qualidade e a equidade convocando dados que exigem complexas
metodologias de anlise impuseram a constituio de uma equipa de
trabalho multidisciplinar.
Este projeto, patrocinado pelo Conselho Nacional de Educao, est
sedeado no CESNOVA, integrando um grupo interuniversitrio de
investigadores.

O PISA um estudo ancorado na idade dos quinze anos, idade que foi
tomada por se considerar que correspondia altura em que, na maioria dos
pases participantes, os jovens concluam o ensino obrigatrio e, muitos
deles passavam vida ativa. Este programa pretende avaliar a literacia dos
jovens de quinze anos e, portanto, a sua capacidade para enfrentar os
desafios que a vida ativa lhes pode colocar. Desenvolve-se em ciclos de
21

trs anos (PISA 2000, 2003, 2006, 2009 e 2012), estando j em curso a
preparao do PISA 2015, e avalia trs grandes domnios, literacia de
matemtica, literacia de leitura, literacia de cincias e, mais recentemente
tambm, a literacia relacionada com a resoluo de problemas. Em cada
ciclo, uma das trs reas principais, matemtica, leitura ou cincias,
eleita com domnio principal desse ciclo, o que quer dizer que a prova tem
uma grande predominncia, quer na avaliao de competncias, quer
mesmo nos questionrios que permitem recolher a tal informao de
contexto, de questes sobre esse domnio principal. Nos estudos PISA tm
estado envolvidos, ao longo dos vrios ciclos, todos os pases pertencentes
OCDE e tambm um conjunto vasto de economias parceiras, que em
2012 constituram sessenta e cinco pases que, como podemos ver na
Figura 1, representam j uma mancha bastante alargada de cobertura a
nvel mundial.
O estudo internacional PISA representa uma fonte de informao sobre
sistemas educativos de inegvel qualidade, quer ao nvel da construo
dos itens de avaliao, quer ao nvel do desenho do plano de amostragem,
possibilitando a avaliao das polticas educativas dos vrios pases
participantes. A OCDE planeia e documenta cuidadosamente todo o
processo de desenvolvimento das provas internacionais, de forma a
garantir a comparabilidade dos dados, definindo procedimentos
padronizados e implementando um exigente controlo de qualidade.
Por exemplo, realizada uma extensa srie de verificaes para garantir a
comparabilidade das tradues dos itens de avaliao e dos questionrios,
fornecida documentao detalhada sobre os padres de amostragem, so
minuciosamente verificadas as taxas de participao das escolas e dos
alunos e foi desenvolvido um ambicioso programa de garantia da
qualidade para monitorizar a recolha dos dados.
O plano de amostragem considerado neste projeto internacional considera
uma amostragem estratificada, em duas etapas. Na primeira etapa,
selecionada aleatoriamente uma amostra de escolas; na segunda, recolhese uma amostra aleatria de alunos das escolas previamente selecionadas.
Todo o processo de amostragem monitorizado pela instncia
22

internacional responsvel pelo estudo, garantindo-se que todos os pases

participantes cumprem os requisitos estabelecidos. Genericamente, nos
vrios estudos, tm sido usadas como variveis definidoras dos estratos a
regio (por exemplo, NUTS II ou NUTS III), a natureza institucional da
escola (pblica versus privada) ou a tipologia das reas urbanas (rea
predominantemente urbana, rea medianamente urbana e rea
predominantemente rural).

Figura 1. Pases da OCDE e economias parceiras participantes no PISA 2012.

Fonte: OCDE, PISA 2012

A anlise dos resultados deste estudo internacional permite comparar o

desempenho entre pases, ou, num mesmo pas, entre regies, por sexo,
segundo a origem imigrante ou de acordo com o estatuto socioeconmico
23

e/ou cultural dos pais. Por outro lado, o desempenho dos alunos pode ser
analisado por valores de referncia internacionais (benchmarks), ou por
contedos e domnios cognitivos, podendo, assim, conduzir reflexo
sobre como melhorar as prticas em sala de aula, a aprendizagem ou a
formao de professores. No Grfico 1 podemos observar a distribuio
dos resultados dos alunos portugueses por nveis de proficincia nos ciclos
com domnio principal de literacia da matemtica (2003 e 2012).
Grfico 1. Distribuio dos resultados de Portugal por nvel de proficincia nos ciclos de
2003 e 2012 em Matemtica.

Fonte: ProjAVI, a partir de OCDE, PISA 2012

Ao ser escolhido um domnio principal em cada ciclo PISA, o programa

avalia com maior detalhe as reas de conhecimento especficas de cada
domnio avaliado. Deste modo, para a matemtica foram definidos, em
2003, quatro contedos matemticos que se mantiveram no ciclo de 2012:
incerteza; quantidade; espao e forma; mudana e relaes. Os resultados
observados para cada contedo avaliado em 2012 e a sua comparao com
2003 podem ser observados no Grfico 2. Portugal melhorou a
performance em todos os domnios considerados, destacando-se no
Espao e forma.

24

Grfico 2. Resultados de Portugal na subescala de Contedos Matemticos nos ciclos

PISA de 2003 e 2012.

Fonte: ProjAVI, a partir de OCDE, PISA 2012

Apesar do grande custo financeiro que a participao num programa como

o PISA implica, os dados PISA so pouco conhecidos em Portugal e
raramente utilizados, para alm dos rankings do pas que so publicados
na imprensa quando o relatrio internacional publicado. H uma falta
efetiva de investigao transversal abordando o desempenho dos alunos
portugueses entre 2000 e 2012 e um grande desconhecimento da opinio
pblica sobre os resultados dos nossos alunos nestes estudos
internacionais.
O projeto aQeduto ser sustentado pela investigao comparada a partir
das bases de dados dos alunos portugueses que participaram nos
sucessivos ciclos de testes PISA. Este instrumento permite uma anlise
diacrnica dos indicadores que refletem o desempenho do sistema
educativo, uma vez que tem elevada solidez concetual e estabilidade ao
longo do tempo e recolhe informao contextual sobre os alunos, as suas
famlias e as suas escolas. Brevemente, o PISA ter tambm um
questionrio dedicado aos professores, alargando ainda mais esta
informao de contexto.
25

O projeto aQeduto constitui uma abordagem inovadora, dado que no

existe em Portugal um outro trabalho com uma abordagem longitudinal e
um objeto de estudo conceptualmente to alargado: Efetivamente, os
domnios da qualidade e da equidade envolvem a mobilizao de um
conjunto vasto de variveis. Por outro lado, o projeto alia a produo de
conhecimento cientfico, ao fornecimento de informao de suporte
deciso poltica e, ainda, divulgao peridica, junto de um pblico
generalista, de informao, em verso concisa, sobre fenmenos concretos
da educao em Portugal.
O desenvolvimento deste projeto implica, pois, encontrar indicadores da
qualidade da educao e da equidade e, quando apropriado, identificar
ainda o uso eficiente dos recursos disponveis.
Segundo a UNICEF, a qualidade na educao abrange as seguintes reas:
(i) alunos (motivao, apoio familiar e comunitrio), (ii) ambiente escolar
(segurana, igualdade, e recursos), (iii) contedo (currculo e materiais
relevantes), (iv) processos (professores competentes, mtodos de ensino
inovadores) e (v) resultados (conhecimentos, habilidades e atitudes)
(UNICEF, 2000).
A qualidade do nosso sistema educativo ser estudada atravs das
pontuaes e nveis de desempenho obtidos pelos alunos nos domnios e,
tambm, nos subdomnios que o PISA considera nos vrios ciclos.
Consideraremos ainda alguma informao proveniente do questionrio ao
aluno sobre o seu aproveitamento.
A eficincia ser tambm analisada, quando apropriado, constituindo uma
preocupao transversal neste estudo, tanto na dimenso da qualidade
como na equidade. A eficincia ser avaliada por meio de indicadores
macroeconmicos, tais como custos salariais ou investimento em
tecnologia e outras informaes de contexto. De acordo com a UNESCO,
a eficincia pode ser definida como a capacidade de atingir um resultado
sem desperdcio de recursos, esforo, tempo ou dinheiro, isto , usando a
menor quantidade de recursos possveis para a obteno de determinado
resultado. Por outro lado, pretende-se tambm estudar a equidade,

26

visando-se averiguar se o nosso sistema educativo tem promovido iguais

oportunidades para todos, independentemente do capital familiar.
De acordo com a OCDE, a equidade na educao tem duas dimenses: a
primeira a justia, ou seja, circunstncias pessoais e sociais no devem
ser um obstculo para alcanar o potencial educativo integral de cada
indivduo, e a segunda a incluso, o que pressupe garantir a todos o
acesso ao sistema educativo (OCDE, 2007).
Na equidade sero examinados vrios aspetos (i) sociais (por exemplo,
contexto familiar e educacional, apoios sociais), (ii) escolares (por
exemplo, a repetio e recorrncia de repetncia e organizao do sistema
educacional), (iii) gnero (diferenas de desempenho entre meninos e
meninas) e (iv) nacionalidade.
Finalmente, sendo o foco do projeto aQeduto a ampliao do
conhecimento em Educao, a produo cientfica esperada neste projeto
diversa, podendo variar entre artigos ou relatrios cientficos, participao
em conferncias internacionais e, com especial destaque, o
desenvolvimento de pequenas brochuras, do tipo factos e figuras sntese,
sobre questes muito especficas que sero periodicamente divulgadas ao
pblico em geral. Nestas brochuras procuraremos responder a perguntas
como: Porque melhoraram os resultados dos alunos portugueses no
PISA? Ser que porque o ensino melhor? Ou porque o nvel de
escolaridade dos pais maior? Ser que porque as condies
socioeconmicas melhoraram? Ou porque h melhores escolas?

A equipa multidisciplinar2 deste projeto constituda, neste momento, por

trs investigadores doutorados e trs investigadoras no doutoradas,
estando a Isabel Flores a preparar a sua investigao de doutoramento.

A informao apresentada sobre a equipa tem por referncia os colaboradores que

desenvolvem trabalho em 2015.
27

Licenciada em Matemtica Aplicada (FC-UL), Doutorada em Matemtica

na especialidade de Estatstica (FCT-UNL). Professora Auxiliar da
Faculdade de Psicologia da Universidade de Lisboa. investigadora na
Business Research Unit (UNIDE-Instituto Universitrio de Lisboa) e o
seu domnio privilegiado de investigao a Anlise de Dados
Multivariados, com particular foco na rea da Classificao
Supervisionada. Foi NPM (National Project Manager) do PISA-OCDE e
NRC (National Research Coordinator) do TIMSS e do PIRLS (2012 e
2013).

Licenciado em Economia e Doutorado em Sociologia (FCSH-UNL),

professor associado com agregao em Sociologia (FCSH UNL) e
leciona nos cursos de Sociologia e Cincias da Educao. investigador
do CICS.NOVA - Centro Interdisciplinar de Cincias Sociais, onde
coordena os estudos de educao. Foi Ministro da Educao do XV
Governo Constitucional (2002-2004), Presidente do Conselho Nacional
de Educao.

Licenciado em Histria (FL-UL) e Doutorado em Sociologia (FCSHUNL), professor Associado com Agregao em Sociologia (FCSHUNL),e atualmente Coordenador Executivo do Departamento de
Sociologia da Universidade Nova de Lisboa. Como investigador do
CICS.NOVA - Centro Interdisciplinar de Cincias Sociais, coordena os
projetos ESCXEL Rede de Escolas de Excelncia e ATLAS DA
EDUCAO Contextos Sociais e Locais do Sucesso e do Insucesso.

Licenciada em Lnguas e Literaturas Modernas (FL-UL), Mestre em

Avaliao Educacional (IE-UL), professora da ES Rainha Dona Amlia e
assessora do Conselho Nacional de Educao. Foi Diretora de Servios de
Exames do GAVE (2010-2013) e coordenadora de provas de exame
28

nacionais e de testes intermdios (2008-2010).

Licenciada (UNL) e Mestre (University of Reading) em Economia.

Ps-graduada em Anlise de Dados em Cincias Sociais (ISCTE-IUL).
Doutoranda em Poltica Pblica (ISCTE). Nos ltimos anos tem-se
dedicado ao estudo e manipulao de dados PISA.

Licenciada em Traduo e com Mestrado em Educao Internacional e

Desenvolvimento, foi Coordenadora Pedaggica em Lisboa e Assistente
Executiva do Diretor Regional da UNICEF WCARO em Dacar.
Desempenha funes de assessoria Presidncia na rea da comunicao
e de assessoria tcnico-cientfica no Conselho Nacional de Educao.

OCDE (2007). No More Failures: ten steps to equity in education. Paris: OCDE.
OCDE (2013, 2014). PISA 2012 Results (International Report), Vols. I, II,III, IV, V & VI.
OCDE (2014). PISA 2012 Results in Focus: What 15-year-olds know and what they can
do with what they know: Key results from PISA 2012.
OCDE (2015). Education Policy Outlook 2015: Making Reforms Happen, OCDE
Publishing.
ProjAVI (2013), PISA 2012. Portugal Primeiros Resultados. Lisboa: ProjAVI MEC.
UNICEF (2000). Defining Quality in Education, artigo apresentado em The International
Working Group on Education, Florence, Documento n. UNICEF/PD/ED/00/02.

http://www.projavi.mec.pt/
http://www.oecd.org/pisa/

29

Globalmente, os resultados de Portugal no PISA evoluram muito

favoravelmente desde a sua primeira participao naquele teste, na sua
primeira edio em 2000. Em particular, a anlise dos resultados desde
2006 mostra um aumento de 17 pontos em Leitura e 21 pontos em
Matemtica, entre os anos de 2006 e 2009. No entanto, os resultados entre
2009 e 2012 foram dececionantes, revelando uma estagnao em
Matemtica e uma deteriorao, ainda que ligeira, em Portugus. A anlise
desta evoluo temporal dos resultados dos alunos portugueses, que se
pode ver na tabela seguinte, a motivao para este trabalho.
Tabela 1. Resultados do PISA para Portugal

Resultados para
Portugal

PISA 2006

PISA 2009

PISA 2012

Leitura

472

489

488

Matemtica

466

487

487

Nova School of Business and Economics Universidade Nova de Lisboa.

30

A melhoria dos resultados dos alunos portugueses verifica-se quando se

olha para a mdia dos resultados, e tambm quando se olha para a
distribuio completa dos mesmos. Os grficos da Figura 1 mostram a
distribuio das notas dos alunos portugueses nos testes PISA de Leitura e
Matemtica, confirmando a indicao dada pela variao da mdia. De
2006 para 2009 toda a distribuio se desloca para a direita, verificando-se
uma melhoria de resultados ao longo de toda a distribuio nos dois
domnios aqui analisados. Em 2009 e 2012 as distribuies so similares.
O objetivo deste trabalho identificar os principais determinantes da
evoluo observada nos resultados dos alunos portugueses, tendo em
conta o processo de amostragem utilizado pelo PISA. Consideram-se
como possveis determinantes desta evoluo trs fatores distintos: i) a
melhoria dos resultados de alunos com iguais caractersticas; ii) a
melhoria nas caractersticas dos alunos; iii) a alterao na
representatividade da amostra.

.003
.001

.002

kdensity amath

.003
.002

.001
0

kdensity aread

.004

.004

.005

Figura 1. Distribuies dos resultados do PISA para Portugal

200

400
x
Leitura 2006
Leitura 2012

600

800

200
Matemtica 2006
Matemtica 2012

Leitura 2009

400
x

600

800

Matemtica 2009

Para a anlise dos determinantes da evoluo dos resultados importante

perceber o processo de amostragem utilizado pelo PISA. O PISA utiliza
uma amostra estratificada representativa dos jovens de 15 anos a
frequentar a escola em cada pas em que o teste realizado.
31

Especificamente, em Portugal, so considerados os alunos que tm entre

15 anos e 3 meses e 16 anos e 3 meses na altura da realizao do teste, de
modo a ter em conta o momento no ano letivo em que o teste aplicado.
O processo de estratificao pode ser sumariado em dois passos. No
primeiro passo, o consrcio que gere os testes PISA escolhe
aleatoriamente as escolas respeitando critrios de estratificao
previamente definidos pelo pas e aceites pelo consrcio. No segundo
passo so escolhidos aleatoriamente 40 alunos dentro de cada uma destas
escolas. No caso portugus, em 2006, as variveis de estratificao
definidas foram a regio, o tipo e a dimenso da escola. Desde 2009, e de
acordo com a informao fornecida pelos Manuais Tcnicos do PISA, a
nica varivel de estratificao considerada regional, sendo a
estratificao feita por distrito. A cada aluno o PISA atribui um peso com
o objetivo de reproduzir a populao de alunos de 15 anos.
A Tabela 2 apresenta os nmeros detalhados para a amostra e a populao
por esta representada nos trs perodos de avaliao, assim como as
variveis de estratificao definidas em cada perodo.
Tabela 2. Amostra PISA e populao

PISA 2006

PISA 2009

PISA 2012

Nmero de observaes

5 109

6 298

5 722

Populao representada

90 079

96 820

96 034

Varivel de estratificao

NUT II,
Dimenso da Escola,
Tipo de Escola

Distrito

Distrito

A realizao dos testes PISA suscitou desde o incio a realizao de vrios

estudos tirando partido dos microdados disponibilizados, que combinam
32

os resultados dos testes com uma informao detalhada sobre as

caractersticas dos alunos que realizaram os testes e das suas escolas.
Hanushek e Woessman (2011) apresentam uma reviso da literatura
baseada nestes dados. Os resultados dos testes PISA tiveram tambm
grande impacto na discusso poltica na rea da educao como analisado,
por exemplo, por Grek (2009) e Baird et al. (2011). O impacto dos
resultados PISA nas decises de poltica educativa tornam fundamental
perceber em que medida os procedimentos de amostragem adotados
condicionam os resultados obtidos.
As implicaes de um processo de amostragem baseado na idade foram j
referidas por OLeary (2001) que chama a ateno para a importncia do
ano de ensino frequentado pelo aluno quando se fazem comparaes
internacionais. Este autor faz notar que esta questo especialmente
relevante em pases onde a percentagem de repetentes elevada, como o
caso portugus. Outros testes internacionais como o PIRLS ou o TIMSS
utilizam processos de amostragem baseados no ano de ensino frequentado
pelos alunos.
A importncia de ter em conta o ano de ensino frequentado pelos alunos e
de garantir a representatividade da amostra em relao a esta caracterstica
dos alunos consequncia dos resultados no PISA dependerem fortemente
do ano de ensino que o aluno frequenta, tal como se mostra na anlise que
em seguida se apresenta.
Coutinho Pereira (2010, 2011) e Coutinho Pereira e Reis (2012), em
trabalhos que usam os dados PISA para responder a outras questes,
tambm mostraram que os resultados no PISA para Portugal dependem
fortemente do ano de ensino que o aluno frequenta. Adicionalmente
mostram que estes resultados no dependem de efeitos regionais puros.

A metodologia utilizada nesta anlise segue trs passos. Comea-se por

comparar as amostras PISA com a populao dos alunos de 15 anos em
2006, 2009 e 2012, de acordo com o que se observa nos dados
administrativos do Ministrio da Educao e Cincia (MEC) para esses
33

anos. Num segundo passo, recalculam-se os resultados PISA utilizando o

peso de cada grupo de alunos na populao, ou seja, nos dados do MEC.
Estes grupos de alunos resultam de se separarem os alunos de acordo com
o ano de ensino, o tipo de curso e o tipo de escola que frequentam. Quanto
ao tipo de curso, no ensino bsico distingue-se entre a via geral e os
Cursos de Educao e Formao (CEF) e no ensino secundrio
distinguem-se os Cursos Cientfico-Humansticos, os Cursos Profissionais
e os Cursos Tecnolgicos (que ainda existiam em 2006 e, de forma
residual, em 2009). Quanto ao tipo de escola, distinguem-se as escolas
pblicas das escolas privadas. Finalmente, no terceiro passo da anlise,
procede-se decomposio da evoluo dos resultados recalculados em
duas componentes: i) a devida alterao no peso de cada grupo de alunos
na populao, sendo os grupos definidos de acordo com o ano de ensino, o
tipo de curso e o tipo de escola; ii) a devida evoluo dos resultados para
cada grupo de aluno, definido de acordo com as mesmas caractersticas j
enunciadas.

Os dados utilizados provm de trs bases de dados: microdados dos testes

PISA dos anos de 2006, 2009 e 2012, disponveis online; MISI, uma base
de dados administrativa do Ministrio da Educao e Cincia com
microdados a partir de 2007 para as escolas pblicas do Continente; e as
Estatsticas da Educao produzidas pelo Ministrio da Educao e
Cincia referentes aos alunos das escolas pblicas em 2006 e alunos de
escolas privadas nos trs anos analisados. Em relao a cada aluno,
utilizou-se a informao relativa ao ano e tipo de curso e ao tipo de escola,
pblica vs. privada.
A populao-alvo do PISA so os estudantes de 15 anos inscritos no 7
ano ou em qualquer ano de escolaridade superior. Nas bases de dados da
populao obteve-se informao sobre o nmero de alunos por anos de
escolaridade, cursos e tipos de escola. Os resultados dos alunos nos testes
esto disponveis nas bases de dados do PISA.

34

Na Figura 2 apresentam-se as distribuies dos resultados do PISA em

Portugus e em Matemtica em 2012 por ano e tipo de curso. Para os
outros anos no apresentamos as distribuies, mas as concluses so
semelhantes.
A anlise das distribuies dos resultados do PISA mostra que os alunos
com pior desempenho so os que frequentam os CEF, seguidos pelos do
7. ano, depois 8., 9. e Cientfico-Humansticos (10. ano de
escolaridade). A particularidade mais interessante o facto de os
estudantes do ensino profissional terem um melhor desempenho do que os
do 9. ano, logo abaixo dos que frequentam estudos CientficoHumansticos. A distribuio dos resultados dos alunos do ensino
tecnolgico tem um comportamento muito diferente da dos restantes
grupos, com uma maior disperso.
Figura 2. Distribuies dos resultados do PISA em Portugus e em Matemtica

.006
.004
0

.002

kdensity aread

.008

Leitura (PISA 2012)

200

400
x

7 ano
9 ano
Tecnolgico
CEF

600
8 ano
Cintfico Humansticos
Profissional

35

800

.002

.004

.006

.008

.01

Matemtica (PISA 2012)

200

400
x

7 ano
9 ano
Tecnolgico
CEF

600

800

8 ano
Cintfico Humanstico
Profissional

A distribuio dos resultados de Matemtica apresenta um padro

semelhante, ainda que os resultados nesta prova apresentem maior
disperso.
As figuras tornam claro que os resultados dependem fortemente do ano e
tipo de curso que o aluno frequenta, sugerindo que um desajustamento
entre a distribuio da populao e da amostra PISA por estas categorias
pode conduzir a enviesamentos na representatividade dos resultados PISA.
Nas tabelas seguintes analisa-se esta questo.
A primeira constatao relaciona-se com o peso dos alunos das escolas
pblicas na amostra PISA: em 2006 e 2012 esse peso encontra-se
ligeiramente sobrevalorizado, enquanto no ano de 2009 se passa o inverso.

36

Tabela 3. Nmero de alunos na populao e representados na amostra PISA em cada ano

PISA
2006

Populao
2006

PISA
2009

Populao
2009

PISA
2012

Populao
2012

N Total
Alunos

90079

94964

96820

105226

96034

105805

Escolas
Pblicas

80936

83777

82808

97989

85905

91178

Escolas
Privadas

9143

11187

14012

13237

10129

14627

%
Escolas
Publicas

90%

88%

86%

87%

89%

86%

A distribuio da populao PISA pelos diversos graus e tipos de ensino

apresenta-se nas tabelas 4 e 5. Em 2006 a principal discrepncia encontrase no peso dos alunos do ensino profissional e tecnolgico: enquanto na
populao essa percentagem corresponde a 6% da populao, na amostra
PISA corresponde a 11%. Esta diferena tende a inflacionar os resultados
revelados no PISA, dado que esses alunos exibem resultados superiores
mdia da populao, conforme se viu.
No ano de 2009 o PISA sobre representa os alunos do 9. e do 10. ano
(mais 10 pontos percentuais) e em contrapartida sub-representa os do 7.
ano (menos 3 pontos percentuais), os do 8. (menos um ponto percentual)
e os alunos dos cursos de educao e formao (menos 3 pontos
percentuais); estes desvios tendem todos a gerar um resultado mdio no
PISA superior ao que decorreria de uma amostra representativa. H nesse
ano um efeito de sentido contrrio na amostra, na sub-representao dos
alunos do ensino secundrio profissional, mas de apenas 2 pontos
percentuais, claramente inferior aos apontados.

37

Tabela 4. Distribuio dos alunos por ano e tipo de curso na populao e representada na
amostra PISA: escolas pblicas
Ano e tipo de curso

PISA
2006

Populao
2006

PISA
2009

Populao
2009

PISA
2012

Populao
2012

7%

8%

2%

5%

2%

4%

13%

14%

9%

10%

8%

7%

29%

29%

28%

20%

27%

20%

Secundrio Cientfico
Humanstico

38%

37%

49%

47%

45%

50%

Secundrio Tecnolgico

11%

6%

1%

1%

0%

0%

Secundrio Profissional

0%

0%

5%

7%

7%

8%

Cursos de Educao e
Formao (CEF)

2%

5%

7%

10%

10%

10%

Em 2012 os desvios mais significativos encontram-se ao nvel do 9. ano

novamente sobre representado, com uma diferena de mais 7 pontos
percentuais para a populao e do 10. ano, mas desta vez tendo o desvio
o sinal contrrio: na amostra PISA h apenas 45% de alunos do ensino
secundrio, enquanto na populao essa percentagem de 50%. A
conjugao destes dois fatores leva a um enviesamento para baixo da nota
mdia do PISA, uma vez que os alunos do secundrio
cientfico-humanstico obtm as notas mais elevadas.
Para a populao das escolas privadas no PISA 2009 e 2012 no possvel
distinguir no ensino secundrio os estudos cientfico-humansticos do
ensino tecnolgico. Sendo assim optou-se por apresentar os resultados em
conjunto tambm em 2006. A amostra PISA de 2006 no incluiu os alunos
inscritos no ensino secundrio profissional ou nos cursos CEF. Em 2009 a
amostra sobre representa muito fortemente os alunos do ensino
38

secundrio, acadmico e tecnolgico, e sub-representa o ensino

profissional. Em 2012 o 9. ano e o ensino secundrio, acadmico e
tecnolgico, esto sobre representados, enquanto os cursos profissionais e
os CEF tm um peso inferior ao que tm na populao.
Tabela 5. Distribuio dos alunos por ano e tipo de curso na populao e representada na
amostra PISA: escolas privadas
Ano e tipo de curso

PISA
2006

Populao
2006

PISA
2009

Populao
2009

PISA
2012

Populao
2012

4%

4%

1%

2%

0%

1%

10%

8%

3%

6%

2%

4%

28%

26%

17%

14%

19%

12%

Secundrio Cientfico
Humanstico +
Tecnolgico

39%+20%

33%+8%

57%+14%

50%

66%+0%

50%

Secundrio
Profissional

0%

14%

13%

19%

10%

21%

Cursos de Educao e
Formao (CEF)

0%

7%

9%

10%

3%

12%

Dadas as distores detetadas, analisam-se agora as alteraes nas notas

do PISA que resultariam de considerar as notas mdias de cada tipo de
alunos, apresentadas na Figura 2, e os respetivos pesos na populao,
constantes das tabelas 4 e 5. Os resultados destes clculos, apresentados
no grfico, revelam notas inferiores s publicadas pelo PISA para 2006 e
2009, enquanto para 2012 as notas recalculadas so praticamente iguais s
publicadas pelo PISA.

39

Figura 3. Resultados PISA recalculados

Leitura

Matemtica

O passo seguinte consiste em utilizar as notas recalculadas para decompor

a evoluo do PISA entre 2006 e 2009 e entre 2009 e 2012. Admite-se que
a evoluo em cada subperodo pode ser decomposta nas seguintes
40

componentes: a) melhoria das notas de cada grupo de estudantes, em que

um grupo de estudantes corresponde a alunos no mesmo ano e tipo de
curso, e b) alterao da distribuio da populao em termos dos pesos
destes grupos. A figura 4 seguinte ilustra o procedimento utilizado.
No primeiro passo (1), calcula-se a nota do PISA para o 1. ano do
intervalo em anlise, considerando a distribuio da populao observada
nesse mesmo ano. No passo 3 faz-se o mesmo, mas para o 2. ano do
intervalo. Entre estes anos, no passo 2, faz-se um clculo intermdio,
determinando as notas que se verificariam no PISA do final do perodo se
a distribuio dos estudantes em termos de ano e tipo de curso se
mantivesse idntica verificada no incio do intervalo. Assim, do passo 1
para o passo 2 determina-se o efeito da melhoria dos resultados de cada
tipo de aluno, enquanto do passo 2 para o passo 3 se isola o impacto das
alteraes na estrutura da populao em termos de ano de escolaridade e
tipo de curso. As notas assim recalculadas apresentam-se na Tabela 6.
Figura 4. Mtodo de decomposio da evoluo dos resultados PISA entre o ano x e o
ano y

Resultado PISA ano x

condicional na
distribuio da populao ano x

Resultado PISA ano y

condicional na
distribuio da populao ano x

(1)

(2)

Resultado PISA ano y

condicional na
distribuio da populao ano y

(3)
(3)

Evoluo dos resultados

mantendo a distribuio dos alunos
por "ano e tipo de curso"

Evoluo dos resultados

devido alterao na distribuio dos alunos
por ano e tipo de curso

Figura 4. Mtodo de decomposio da evoluo dos resultados PISA entre o ano x e o ano y

A anlise da tabela revela que entre 2006 e 2009, dos 18 e 23 pontos de

melhoria verificada nos testes PISA de Portugus e Matemtica,
respetivamente, 7 e 8 pontos se deveram a um efeito populao. Os
restantes 11 e 15 pontos correspondem a melhorias no desempenho de
cada grupo de estudantes. Entre 2009 e 2012, em vez da estagnao
41

reportada pelo PISA, verifica-se um aumento de 7 pontos em Portugus e

em Matemtica, devendo-se 5 pontos da evoluo dos resultados
melhoria dos resultados de cada grupo de alunos e 2 pontos ao efeito de
alterao da distribuio da populao.
Tabela 6. Decomposio da evoluo dos resultados PISA recalculados tendo em conta a
evoluo das notas e os pesos de cada "ano e tipo de curso" e ainda o tipo de escola
(pblicas e privadas)

H diferenas significativas entre as amostras PISA e a populao no que

se refere distribuio dos alunos por ano e tipo de curso.
De acordo com os resultados PISA recalculados, a melhoria nos
resultados dos alunos portugueses ainda mais significativa do que nos
resultados oficiais entre 2006 e 2012. Por outro lado, e ao contrrio do
sugerido pelos resultados PISA, ocorreram melhorias ao longo de todo
este perodo. A decomposio da variao nos resultados mostra ainda que
a evoluo nos resultados se deve fundamentalmente melhoria dos
resultados dos alunos em cada ano e tipo de curso, enquanto a alterao
na distribuio dos alunos por ano e tipo de curso tem um menor impacto.
Estes resultados sugerem ainda que a considerao da varivel ano e tipo
de curso no processo de estratificao da amostra poderia aumentar a
representatividade da amostra em edies futuras do PISA.

42

Baird, J. A., T. Isaacs, S. Johnson, G. Stobart, G. Yu, T. Sprague, & R. Daugherty. 2011.
Policy Effects of Pisa, Oxford University Centre for Educational Assessment.
Grek, S,. 2009. Governing by numbers: the PISA effect in Europe, Journal of
Education Policy, 24(1): 23-37.
Hanushek, E., and L., Woessman. 2011. The Economics of International Differences in
Educational Achievement in Handbook of the Economics of Education, Vol. 3,
North Holland.
OLeary, M., 2001, The Effects of Age-based and Grade-based Sampling on the
Relative Standing of Countries in International Comparative Studies of Student
Achievement, British Educational Research Journal, Vol. 27, No.2, pages 187-200.
Pereira, Coutinho M., 2011, "An analysis of the Portuguese Students' Performance in the
OECD Programme for International Student Assessment (PISA)", Economic
Bulletin, Banco de Portugal.
Pereira, Coutinho M., 2010, "Educational Attainment and Equality of opportunity cost in
Portugal and Europe. The role of school versus parental influence", Economic
Bulletin, Banco de Portugal.
Pereira, Coutinho M., Reis, H., 2012, "What accounts for Portuguese regional differences
in students' performance? Evidence from OECD PISA", Economic Bulletin, Banco
de Portugal.

43

44

Os pases tm abordagens diferenciadas quanto gesto das dificuldades

de aprendizagem dos seus alunos. Em quase todos os pases europeus, de
acordo com a legislao, um aluno pode repetir o ano durante a
escolaridade obrigatria, em particular no ensino bsico.
A repetncia uma prtica que consiste em reter um aluno no mesmo grau
de escolaridade por mais um ano, em vez de o fazer progredir para o
seguinte, no pressuposto de lhe dar uma oportunidade adicional para este
melhorar as suas capacidades e o seu nvel de aprendizagem. Mesmo
quando so fornecidas atividades de apoio durante o ano letivo para
colmatar problemas de aprendizagem, a repetncia proposta como a
medida ltima de apoio. Esta prtica tambm afeta crianas que paream
ser imaturas para a sua idade. A ideia simplesmente dar-lhes uma
oportunidade para obterem o nvel de capital humano necessrio para uma
boa integrao no ano seguinte. A repetncia tambm defendida por
aqueles que advogam que esta torna o sistema de ensino mais eficiente ao
criar grupos de colegas mais homogneos, e garante uma maior
responsabilizao das escolas. No entanto, a existncia de alunos que
repetem o ano implica custos, incluindo a despesa de fornecer um ano
adicional de educao, bem como o custo para a sociedade em atrasar a
entrada do aluno no mercado de trabalho. Alm disso, os opositores da
repetncia enfatizam os efeitos psicolgicos desta poltica. Em particular,
destacam a reduo da autoestima, a deteriorao da relao com os
colegas, o afastamento da escola e, consequentemente, a maior
probabilidade de um abandono escolar. Deste modo, e tendo em conta a
1

O presente artigo um resumo alargado do artigo Reteno escolar no ensino bsico em

Portugal: determinantes e impacto no desempenho dos estudantes publicado no Boletim
Econmico do Banco de Portugal de junho de 2014.
2

Banco de Portugal.

45

literatura sobre os impactos da repetncia, o impacto no desempenho do

aluno e na acumulao de capital humano ainda uma questo em aberto.
Alguns pases europeus, como o caso da Noruega e Islndia, optaram
por instituir uma progresso automtica ao longo de toda a escolaridade
obrigatria, e proporcionam outras medidas de apoio educativo aos alunos
em dificuldades. Nos outros pases europeus, os alunos que no
preencherem os critrios regulamentados tm de repetir o ano. Os critrios
mais comuns prendem-se com no obter os resultados esperados, a
assiduidade e o comportamento. A percentagem de alunos que repete um
ano letivo no homognea nos pases europeus, mesmo entre aqueles
com regras similares. O grfico 1 apresenta uma comparao internacional
sobre a percentagem de alunos que repetiram pelo menos uma vez no
ensino bsico. Para alm de Portugal que apresenta uma taxa a rondar os
30 por cento, destacam-se pases como a Espanha, o Luxemburgo e a
Frana onde esta percentagem atinge valores superiores a 35 por cento.
Em contraste, cerca de metade dos pases apresenta valores inferiores a 5
por cento, o que evidencia uma aprecivel heterogeneidade de prticas
relacionadas com a repetncia. Estes nveis mais baixos evidenciam
tambm, de algum modo, a tendncia europeia de limitao desta prtica,
fomentada por algumas instituies internacionais, nomeadamente a
OCDE (ver, por exemplo, OECD, 2012).
Assim, a repetncia uma prtica comum no sistema de ensino portugus.
Apesar de alguma tendncia de queda na ltima dcada, os nmeros
oficiais do Ministrio da Educao mostram que, no ano letivo 2011/12, a
taxa de reteno e desistncia foi de 15.6 por cento no 3. ciclo, e de 11.2 e
4.4 por cento no 2. e no 1. ciclo, respetivamente.

46

Grfico 1. Percentagem de alunos que repetiram uma ou mais vezes no ensino bsico

Fonte: PISA 2003 e 2009

O nosso artigo estuda as determinantes da repetncia numa fase inicial e

numa fase mais tardia do ensino bsico, e avalia o seu impacto no
desempenho educativo. Esta anlise efetuada para Portugal e para um
conjunto de pases europeus3 em 2003 e 2009, onde a repetncia se
encontra regulamentada e efetivamente praticada, usando os dados do
Programa para Avaliao Internacional de Estudantes (PISA) da OCDE.
As variveis do estudante, da famlia e da escola includas na anlise so
essencialmente as j utilizadas em estudos anteriores com dados do PISA,
como em Pereira e Reis (2012). H, no entanto, algumas variveis que
merecem destaque: i) o indicador de repetncia para o CITE 1 e o CITE 2,
calculado a partir de perguntas includas num questionrio dirigido aos
estudantes; ii) os indicadores da frequncia do ensino pr-primrio; iii) os
indicadores sobre a idade de entrada no ensino bsico e sua relao com a
3

Os pases considerados so a ustria, a Alemanha, a Blgica, a Dinamarca, a Eslovquia, a

Espanha, a Finlndia, a Frana, a Grcia, a Hungria, a Irlanda, a Itlia, a Letnia, o Liechtenstein, o
Luxemburgo, os Pases Baixos, a Polnia, Portugal, a Repblica Checa, e a Sucia para os quais
existe informao para 2003 e 2009. Em 2009 foram ainda considerados a Bulgria, a Eslovnia, a
Estnia, a Litunia e a Romnia.

47

data regulamentada por lei; e iv) o indicador que procura refletir a

maturidade do aluno. A partir dos dados do PISA, constroem-se ainda
variveis que tentam refletir a variabilidade a nvel da escola (colegas) e
da regio. A anlise e lista completa de todas as variveis usadas, bem
como as respetivas mdias, pode ser vista na seco 2 em Pereira e Reis
(2014).
Assim considera-se separadamente a repetncia para dois nveis distintos
do ensino bsico, de acordo com a Classificao Internacional
Normalizada da Educao: o CITE 1 e o CITE 2. Para Portugal, o 1. nvel
corresponde ao 1. e 2. ciclos (1. ao 6. ano de escolaridade) e o 2. nvel
corresponde ao 3. ciclo (7. ao 9. ano de escolaridade)4.
O quadro 1 apresenta para 2003, 2009 e para o conjunto dos dois anos, a
percentagem de alunos na amostra que repetiram apenas no CITE 1,
apenas no CITE 2, nos dois nveis e aqueles que no repetiram durante o
ensino bsico. As colunas 1 a 3 apresentam os resultados para o conjunto
total de pases, e as ltimas trs colunas apresentam os valores para
Portugal. Os resultados para 2003 e 2009 so muito semelhantes, mesmo
verificando-se a incluso de mais pases em 2009 do que em 2003.
Para o conjunto total de pases, a percentagem de alunos que nunca repetiu
ascende a 82 por cento, o que compara com apenas 70 por cento em
Portugal. Esta diferena reflete essencialmente o nmero de repetentes
durante o CITE 1, onde a percentagem em Portugal ronda os 13 por cento,
cerca do dobro da mdia dos restantes pases. No que se refere ao CITE 2,
Portugal apresenta igualmente valores perto dos 13 por cento, mais
prximos da mdia dos restantes pases que atinge valores acima dos 10
por cento.

Para os restantes pases europeus o nmero de anos de escolaridade em cada nvel CITE
semelhante mas no necessariamente o mesmo. Para mais detalhes sobre cada pas, ver Eurydice
(2013).

48

Quadro 1. Repetncia em Portugal e num conjunto de pases europeus

Amostra total

No-repetentes
Repetentes apenas no ISCED 1
Repetentes apenas no ISCED 2
Repetentes no ISCED 1 e ISCED 2
Total
Por memria:
Nmero de pases

Percentagem (%)
2003
2009
Total
81,5
82,5
82,0
6,5
6,4
6,4
10,5
9,7
10,1
1,5
1,5
1,5
100,0
100,0
100,0

20

Portugal
Percentagem (%)
2003
2009
Total
70,5
70,4
70,4
12,8
13,7
13,2
12,6
12,8
12,7
4,1
3,2
3,7
100,0
100,0
100,0

25
Fonte: PISA 2003 e 2009.

Nota: Para Portugal, o CITE 1 equivale ao 1 e 2 ciclos em conjunto e o CITE 2 ao 3 ciclo. Para
os restantes pases europeus, o nmero de anos de escolaridade em cada nvel CITE difere (ver
Eurydice, 2013).

O quadro 2 apresenta a mdia e os desvios-padro das pontuaes do

PISA nos testes de matemtica e leitura, por nvel de repetncia,
comparando Portugal com o total de pases considerados. O quadro
evidencia no s uma diferena entre repetentes e no repetentes, como
tambm heterogeneidade nos resultados dentro do grupo dos repetentes.
Em particular, os que foram retidos no CITE 2 apresentam pontuaes
superiores aos que repetiram no CITE 1, que por sua vez apresentam
resultados melhores do que os que repetiram nos dois nveis de ensino. Ao
comparar Portugal com a mdia dos restantes pases, interessante
constatar que s existem diferenas importantes no grupo dos alunos que
repetiram apenas no CITE 1 ou no CITE 2, onde Portugal apresenta
valores inferiores. No que diz respeito aos alunos que nunca repetiram e
aos que repetiram em ambos os nveis, as pontuaes mdias so muito
semelhantes s dos restantes pases europeus.
Uma questo de relevo quando se pretende avaliar o efeito da repetncia
o facto de ser impossvel fixar simultaneamente a idade e o ano de
escolaridade quando um aluno repete. Os testes do PISA, ao abrangerem
estudantes com cerca de 15 anos, so adequados para medir o primeiro
tipo de efeito, ou seja, comparar o desenvolvimento cognitivo mantendo a
49

idade do aluno fixa (ver Cooley et al. (2011) e Schwerdt e West (2012)
para uma discusso mais detalhada sobre as duas abordagens). Tal
contrasta com a maioria dos estudos nesta rea cuja amostra est
confinada ao mesmo grau de escolaridade.
Quadro 2. Pontuaes nos testes em funo da repetncia - mdia e desvio-padro
Total
No-repetentes
Repetentes apenas no ISCED 1
Repetentes apenas no ISCED 2
Repetentes no ISCED 1 e ISCED 2
Total

Matemtica
508.4
(87.9)
418.0
(81.6)
448.5
(83.5)
378.8
(81.1)
497.6
(91.5)

Portugal
Leitura
505.0
(86.4)
411.2
(83.6)
442.1
(86.5)
373.4
(86.3)
493.7
(91.0)

Matemtica
512.6
(71.2)
396.6
(60.8)
426.2
(59.6)
372.7
(55.4)
481.2
(84.1)

Leitura
520.7
(65.7)
406.4
(66.8)
428.7
(63.0)
371.0
(64.3)
488.4
(82.9)

Fonte: PISA 2003 e 2009

Nota: Este quadro apresenta as mdias das pontuaes dos testes e entre parntesis os desviospadro.

Neste estudo, os efeitos da reteno escolar so estimados utilizando uma

metodologia de efeitos de tratamento, em que a seleo para o tratamento
(isto , a reteno) endgena, ou seja, est correlacionada com o prprio
desempenho. O nosso estudo insere-se na literatura sobre o impacto da
repetncia no desempenho educativo. Em contraste com as contribuies
iniciais que no abordavam questes de endogeneidade e de seleo,
estudos mais recentes fornecem alguma evidncia no sentido de eventuais
impactos positivos, essencialmente no curto prazo. Refiram-se
nomeadamente Jacob e Lefgren (2009) e Schwerdt e West (2012), que
usam abordagem de regresses de descontinuidade, para os Estados
Unidos, e Mahjoub (2012), Elodie (2013) e Gary-Bobo et al. (2014) para a
Frana. De referir tambm Baert et al. (2013) que utilizando um modelo
estrutural de escolha dinmica com dados para a Blgica encontram
igualmente alguns efeitos positivos sobre o desempenho no ano seguinte,
50

bem como alguma persistncia. Todos estes trabalhos realizam

essencialmente uma comparao para o mesmo ano de escolaridade. Com
a base de dados PISA mas usando abordagens um pouco diferentes da
efetuada neste artigo, Dris (2012) e Garcia-Prez et al. (2014) encontram
de uma forma geral efeitos negativos da repetncia para um conjunto de
pases da OCDE e Espanha, respetivamente.
Os resultados deste artigo apontam para a importncia das caractersticas
individuais, da famlia e dos colegas como determinantes da repetncia.
Em particular, em Portugal os alunos com menor maturidade e com piores
condies socioeconmicas tm uma maior probabilidade de repetir.
Apesar de os aspetos socioeconmicos serem importantes no so os
nicos fatores que ajudam a explicar a repetncia. Os resultados sugerem
igualmente a relevncia das caractersticas da escola, diferenas a nvel
regional e diferenas ao nvel do pas (por exemplo, questes de carter
institucional).
Neste artigo estima-se ainda que a reteno escolar durante o CITE 1
produza efeitos negativos sobre o desempenho dos estudantes no longo
prazo (entendido como um horizonte superior a trs anos recorde-se que
os testes do PISA avaliam o desempenho dos alunos no final e aps a
concluso do CITE 2). Numa perspetiva de poltica educativa, parece
existir assim margem de interveno no sentido de substituir, pelo menos
parcialmente, esta prtica por outros procedimentos de apoio aos alunos,
os quais podero ainda revelar-se menos dispendiosos do ponto de vista da
utilizao de recursos.
Os efeitos da repetncia no CITE 2 so positivos no curto-prazo (mais
uma vez, tendo em conta o momento de realizao dos testes do PISA),
no obstante de magnitude reduzida. Embora o nosso exerccio no
permita tirar concluses quanto aos efeitos no longo prazo neste caso, a
evidncia no contradiz a utilizao da reteno em nveis mais avanados
do percurso escolar.

51

A anlise das determinantes da repetncia realizada separadamente para

os alunos que repetiram o ano (uma ou mais vezes) no CITE 1 e no CITE
2, usando para o efeito o modelo probit. Os estudantes que repetiram nos
dois nveis so excludos das amostras5. Alm disso, no resto do artigo,
consideram-se apenas 23 pases, tendo sido excluda a Frana, por no ter
informao sobre a escola, e a Eslovnia por apresentar uma percentagem
de alunos que reprovaram inferior a 1 por cento.

O quadro 3 apresenta os resultados em termos das determinantes da

repetncia para o CITE 1 e CITE 2, em Portugal e para o conjunto dos
pases na amostra.
Em relao ao CITE 1, os resultados nas colunas 1 e 2 mostram de uma
forma clara que tanto as caractersticas individuais, como as de famlia e
dos colegas so determinantes de relevo da repetncia. De uma maneira
geral, todas as variveis so estatisticamente significativas para o total da
amostra; contudo, para Portugal, a frequncia da escolaridade a prprimria no aparece como significativa. De realar que os efeitos tendem
a ser mais fortes em Portugal do que para o conjunto dos pases europeus
na amostra. Em Portugal, a probabilidade de um aluno repetir no CITE 1
diminui em cerca de 3.5 pontos percentuais (p.p.) com um aumento de um
desvio-padro na maturidade. A mesma probabilidade diminui numa
magnitude semelhante se o aluno for do gnero feminino. Para o conjunto
dos pases, o efeito da maturidade tambm o mais importante, mas
menor, atingindo cerca de 2 p.p.. O outro efeito tambm muito relevante
para o total da amostra est relacionado com a frequncia da escolaridade
pr-primria durante pelo menos dois anos, ao diminuir a probabilidade de
repetir no CITE 1 em cerca de 1.4 p.p.
5

O estudo do impacto sobre o desempenho para este grupo de estudantes requereria uma
abordagem metodolgica um pouco diferente, designadamente efeitos de tratamentos mltiplos.

52

Quadro 3. Determinantes da repetncia em dois nveis do ensino bsico

ISCED 1
Total

Portugal

ISCED 2
Total
Portugal

Variveis individuais
Gnero feminino (b)
Pr-primria 1 ano (b)
Pr-primria 2 anos ou mais (b)
Idade de entrada
Entrada tardia
Maturidade

-0,009
(0.001)***
-0,002
(0.002)
-0,014
(0.002)***
-0,008
(0.002)***
0,021
(0.002)***
-0,003
(0.000)***

-0,034
(0.007)***
0,003
(0.011)
-0,008
(0.009)

0,039
(0.023)*
-0,007
(0.001)***

-0,026
(0.002)***
-0,004
(0.003)
-0,011
(0.003)***
-0,028
(0.003)***
0,008
(0.004)*
-0,002
(0.000)***

-0,044
(0.007)***
0,016
(0.012)
0,012
(0.009)
-0,012
(0.019)
-0,006
(0.001)***

-0,011
(0.001)***
-0,015
(0.001)***
0,000
(0.002)
-0,010
(0.002)***
-0,011
(0.002)***
0,008
(0.002)***
0,019
(0.006)***
0,018
(0.003)***
-0,007
(0.001)***
0,004
(0.003)
-0,005
(0.000)***
-0,007
(0.001)***
-0,013
(0.001)***

-0,044
(0.009)***
-0,046
(0.011)***
-0,023
(0.009)**
-0,033
(0.009)***
-0,023
(0.011)**
0,033
(0.012)***
0,000
[0.027]
-0,063
(0.012)***
0,089
(0.058)
-0,017
(0.005)***
-0,015
(0.008)*
-0,04
(0.011)***

-0,013
(0.002)***
-0,019
(0.002)***
-0,002
(0.003)
-0,009
(0.003)***
-0,015
(0.003)***
0,023
(0.003)***
0,027
(0.008)***
0,014
(0.004)***
0,002
(0.004)
0,002
(0.005)
-0,007
(0.001)***
-0,002
(0.002)
-0,006
(0.002)***

-0,015
(0.008)*
-0,032
(0.010)***
0,002
(0.009)
-0,014
(0.009)
-0,027
(0.010)***
0,027
(0.012)**
0,004
(0.024)
0,015
(0.021)
0,033
(0.035)
-0,009
(0.004)**
-0,002
(0.008)
-0,022
(0.009)**

-0,024
(0.013)*
-0,016
(0.017)
-0,018
(0.022)
-0,064
(0.020)***
-0,054
(0.021)***
0,057
(0.013)***
0,065
(0.033)*
0,01
(0.016)
-0,012
(0.004)***
-0,011
(0.014)
-0,04
(0.014)***

-0,235
(0.133)*
-0,503
(0.225)**
0,172
(0.137)
-0,048
(0.140)
0,098
(0.152)
0,615
(0.189)***
0,412
(0.266)
0,3
(0.155)*
-0,132
(0.050)***
0,033
(0.129)
-0,271
(0.141)*

0,000
(0.011)
0,002
(0.014)
0,004
(0.021)
0,002
(0.017)
-0,033
(0.018)*
0,044
(0.014)***
0,079
(0.038)**
0,036
(0.012)***
-0,010
(0.004)**
0,004
[0.013]
-0,010
[0.012]

-0,280
(0.090)***
-0,360
(0.133)***
0,094
(0.101)
0,010
(0.096)
0,192
(0.104)*
0,261
(0.112)**
0,214
(0.199)
-0,053
(0.131)
-0,152
(0.035)***
0,009
(0.090)
-0,109
(0.091)

Variveis de escola Variveis de escola

Variveis regionais Variveis regionais
Efeito-fixo de ano
Efeito-fixo de ano
Efeitos-fixos de pas
-

Variveis de escola
Variveis regionais
Efeito-fixo de ano
Efeitos-fixos de pas

Variveis de escola
Variveis regionais
Efeito-fixo de ano
-

236666

8619

Variveis de famlia
Livros em casa (25-200) (b)
Livros em casa (>200) (b)
Educao secundria inferior (b)
Educao secundria superior (b)
Educao terciria (b)
Famlia monoparental (b)
Sem pais em casa (b)
Imigrante (b)
Lingua falada em casa diferente da ling. do teste (b)
Lingua estrangeira em casa (b)
Recursos educativos em casa
Ocupao intelectual - no especializada (b)
Ocupao intelectual - especializada (b)

Variaveis dos colegas

Livros em casa (25-200) - colegas
Livros em casa (>200) - colegas
Educao secundria inferior - colegas
Educao secundria superior - colegas
Educao terciria - colegas
Famlia monoparental - colegas
Sem pais em casa - colegas
Imigrante - colegas
Recursos educativos em casa - colegas
Ocupao intelectual - no especializada - colegas
Ocupao intelectual - especializada - colegas
Outras variveis de controlo

Nmero de alunos

233935

8620

Fonte: Clculo dos autores.

53

Nota: No quadro mostram-se os efeitos marginais estimados atravs de um modelo probit. As

variveis assinaladas com (b) so binrias. Desvios-padro entre parntesis. * significativo a 10%;
** significativo a 5% e *** significativo a 1%.

No que diz respeito famlia, as variveis mais importantes esto

relacionadas com a educao dos pais e com os livros em casa (varivel
que mede diferenas no rendimento). Tal como nas caractersticas
individuais, os efeitos para Portugal so mais fortes do que os registados
para o total dos pases na amostra. Em particular, a probabilidade de um
aluno repetir no CITE 1 diminui em cerca de 4.5 p.p. para os alunos que
tm mais livros em casa (efeito de cerca de 1.5 p.p. para o total). A mesma
probabilidade diminui em Portugal mais do que 2 p.p., se os pais tiverem
nveis de educao mais elevados (efeito de cerca de 1 p.p. para o total).
Outro fator igualmente importante est relacionado com a estrutura
familiar. Por exemplo, em Portugal, a probabilidade de um aluno repetir o
ano aumenta em cerca de 3.3 p.p., se este pertencer a uma famlia
monoparental.
No que diz respeito ao CITE 2, os resultados nas colunas 3 e 4 mostram
muitas semelhanas face ao CITE 1, apesar de as magnitudes dos efeitos
serem diferentes. Tal como no caso anterior, os efeitos para Portugal so,
em termos gerais, mais fortes do que os observados para o conjunto dos
pases. Em particular, de destacar a importncia das caractersticas
individuais. Em Portugal, a probabilidade de um aluno repetir no CITE 2
diminui em cerca de 3 p.p. com um aumento de um desvio-padro na
maturidade. Para o conjunto dos pases, o efeito da maturidade tambm
o mais importante, mas menor, atingindo cerca de 1.3 p.p.. Para o total da
amostra, a frequncia da escolaridade pr-primria durante pelo menos
dois anos igualmente importante e diminui a probabilidade de repetir no
CITE 2 em cerca de 1 p.p.. Ainda para o total da amostra, outro fator que
se destaca como determinante da repetncia relaciona-se com a idade de
entrada. Assim, os resultados sugerem que entrar no sistema de ensino um
ano mais tarde (independentemente da idade de entrada oficial) diminui a
probabilidade de repetir no CITE 2 em cerca de 3 p.p.. De destacar que
este efeito menor para o CITE 1 (inferior a 1 p.p.). Para Portugal, a
varivel em causa no aparece como significativa, em particular no CITE
54

2, o que se relaciona, em parte, com a no implementao efetiva de uma

regra para a data-limite. Assim, a varivel idade de entrada e entrada
tardia coincidem, no se podendo separar um efeito de entrar com atraso
face idade oficial. Os efeitos das caractersticas da famlia so
igualmente importantes, destacando-se, para Portugal, a educao dos
pais, o nmero de livros em casa e a estrutura monoparental. Todas estas
caractersticas tm um impacto semelhante sobre a probabilidade de um
aluno repetir no CITE 2 (cerca de 3 p.p.).
Os resultados economtricos mostram ainda que os aspetos
socioeconmicos so importantes, mas no os nicos fatores relevantes na
explicao da repetncia. As variveis de colegas, de escola, de regio e
de pas influenciam tambm a reteno nos dois nveis de ensino
analisados.

Os efeitos da reteno escolar so avaliados no quadro de um modelo de

efeitos de tratamento, em que a seleo para tratamento - isto , a seleo
dos estudantes a reter - endgena (ver, por exemplo, Wooldridge, 2002,
Cap. 18, ou Blundell e Costa-Dias, 2009). No modelo considerado, o
impacto das determinantes observadas pelo investigador sobre as
pontuaes difere conforme exista, ou no, reteno do estudante. Cada
um destes casos d origem a uma funo de produo de educao
distinta. Refira-se ainda que, na medida em que o tratamento interage com
as restantes variveis na determinao das pontuaes, est-se na presena
de heterogeneidade observada nos efeitos do tratamento. Por outro lado,
existem fatores que o investigador no observa, por exemplo, as
capacidades e a motivao do estudante, e que determinam igualmente as
pontuaes. Neste modelo, permite-se que repetncia interaja com fatores
no observados ou, de forma equivalente, existe heterogeneidade no
observada nos efeitos da repetncia.

O quadro 4 apresenta as estimativas dos efeitos mdios do tratamento

(ATE) para o conjunto dos estudantes portugueses no PISA, bem como
55

para os repetentes (ATET) e para os no repetentes (ATENT). Considera-se

alternativamente a reprovao durante o CITE 1 e durante o CITE 2, e
como medida do desempenho as pontuaes em leitura e matemtica no
PISA.
As estimativas do impacto da reteno escolar diferem substancialmente
consoante estejamos a considerar a fase inicial do ensino bsico ou uma
fase mais tardia. Estima-se um efeito negativo e estatisticamente
significativo da reprovao no CITE 1 sobre o desempenho em Portugal,
quer para os que foram submetidos a tratamento (ATET), quer para os que
no o foram, se o tivessem sido (ATENT). Ao contrrio do que seria de
esperar, o impacto do tratamento (ligeiramente) mais negativo no
primeiro destes grupos, no obstante a diferena no seja estatisticamente
significativa. Em termos relativos, no caso da leitura, as estimativas no
quadro 4 correspondem a cerca de -19 e -14 por cento da pontuao
mdia, respetivamente, para os repetentes e os no repetentes. Em
contraste, para a reprovao no CITE 2, verificam-se efeitos claramente
diferenciados conforme o grupo que estejamos a considerar. Assim,
estima-se um efeito positivo e estatisticamente significativo da reprovao
no desempenho dos repetentes, embora de pequena magnitude (cerca de 4
por cento da respetiva pontuao mdia, para a leitura). Para os no
repetentes, continua a estimar-se um impacto negativo, caso o tratamento
tivesse ocorrido, mas de menor dimenso (em torno de -4 por cento da
pontuao mdia do grupo, para a leitura). Refira-se, por ltimo, que a
considerao das pontuaes em matemtica ou em leitura conduz de um
modo geral s mesmas concluses.
A evidncia apresentada no quadro 4 complementada com os grficos
2A e 2B em que se mostra a distribuio dos ganhos do tratamento pela
populao estudantil, para os repetentes e os no repetentes - pontuaes
em leitura (os grficos correspondentes para as pontuaes em matemtica
do indicaes semelhantes). Note-se que quando se medem os ganhos
provenientes do tratamento relativamente a um dado estudante prefervel
utilizar a variao relativa das pontuaes do que a variao absoluta. Para
esse fim, para cada um dos grupos de estudantes, toma-se como referncia
56

a situao na ausncia de reprovao (que ser contrafactual ou observada,

consoante o grupo em que nos encontremos).

Quadro 4. Efeitos mdios da reprovao escolar no ensino bsico em Portugal

ISCED 1
Leitura
ATE
ATET
ATENT

-74.3
-76.5
-73.9

(6.2)***
(6.5)***
(6.6)***

ISCED 2
Matemtica
-83.4
-87.9
-82.6

(6.0)***
(5.9)***
(6.5)***

Leitura
-15.7
15.7
-21.4

(4.9)***
(5.3)***
(5.3)***

Matemtica
-21.4
14.0
-27.8

(4.7)***
(5.1)***
(5.1)***

Nota: Entre parntesis encontram-se os desvios-padro. * significativo a 10%; ** significativo a

5% e *** significativo a 1%.

O grfico 2A mostra que a distribuio dos efeitos da reprovao no CITE

1 para os que foram tratados se encontra deslocada um pouco para a
esquerda relativamente distribuio dos efeitos potenciais do tratamento
nos que no reprovaram. Assim, este fenmeno verifica-se no s para a
mdia, como indicado no quadro 4, mas para a distribuio como um todo.
Alm disso, estima-se que a repetncia no CITE 1 tenha um impacto
negativo ao longo de toda a distribuio, para ambos os grupos de
estudantes. Relativamente reteno no CITE 2, o grfico 2B indica
diferenas claras entre as distribuies dos ganhos efetivos do tratamento
para os repetentes e dos ganhos potenciais para os no repetentes.
Enquanto para este ltimo grupo se observam perdas praticamente ao
longo de toda a distribuio, estima-se que os repetentes retirem na sua
maioria benefcios do tratamento.

57

Grfico 2. Distribuio dos efeitos da reprovao no CITE 1 para os repetentes (ATET) e

os no repetentes (ATENT) em Portugal, pontuaes em leitura

Grfico 2B. Distribuio dos efeitos da reprovao no CITE 2 para os repetentes (ATET)
e os no repetentes (ATENT) em Portugal, pontuaes em leitura

58

Os efeitos de tratamento estimados tm subjacente uma comparao entre

estudantes com aproximadamente a mesma idade e que frequentam anos
de escolaridade diferentes. Os estudantes que reprovaram frequentam um
grau acadmico inferior ao que frequentariam na ausncia de reprovao,
o que se reflete negativamente nas estimativas dos efeitos de tratamento
acima apresentadas, fruto de diferenas entre currculos, tempo de
instruo, qualidade dos professores, ou mesmo trajetrias educacionais.
No possvel isolar este impacto especfico por via do grau acadmico
dos outros impactos da reprovao sobre o desempenho no PISA, mas a
sua magnitude dever ser substancial.
As estimativas apresentadas no quadro 4 indicam, em primeiro lugar, um
efeito bastante negativo da reprovao no CITE 1 sobre o desempenho no
PISA. Como provas do PISA so realizadas em torno do final do CITE 2,
trata-se aqui portanto de um efeito de longo prazo (designadamente, entre
4 e 9 anos aps o aluno ter reprovado). Este resultado contraria a perceo
comum de que a reprovao numa fase inicial do trajeto educativo pode
ser benfica (ou, pelo menos, relativamente menos prejudicial) para a
criana, na medida em que confere a esta a oportunidade para atingir um
grau de maturidade compatvel com as exigncias da vida escolar6 (por
exemplo, Tomchin e Impara, 1992, para os Estados Unidos). Refira-se que
a evidncia emprica tende a refutar esta perceo, sendo possvel citar
estudos que encontraram efeitos negativos da reteno precoce no
desempenho de longo-prazo (Baenen, 1988, Pagani et al., 2001, entre
outros). Os resultados neste artigo esto assim, de uma forma geral, em
linha com esta corrente da literatura.
Os resultados economtricos sugerem tambm um baixo grau de
endogeneidade na escolha dos estudantes para a reprovao durante o
CITE 1. Por outras palavras, os fatores no observveis que determinam o
6

Esta perceo por parte dos professores sobre possveis efeitos benficos da repetncia abrange
tipicamente a educao pr-escolar e os graus iniciais da educao bsica.

59

desempenho dos alunos numa fase mais tardia do percurso educativo no

parecem ter um papel importante na escolha dos estudantes a reter numa
fase inicial do mesmo. O facto de as perdas com o tratamento dos que
reprovaram (ATET) serem um pouco superiores s perdas potenciais dos
que no reprovaram (ATENT) indicia tambm uma falha na seleo para
tratamento. Refira-se que este fenmeno no est relacionado com
caractersticas observveis. No que se refere a estas caractersticas,
mostra-se abaixo que os alunos que mais tendem a beneficiar com o
tratamento so regra geral os que tm mais propenso para ser escolhidos.
Em concluso, a evidncia apresentada neste artigo indica que a reteno
numa fase inicial da vida escolar prtica particularmente prevalecente
em Portugal (ver quadro 1) parece ser prejudicial para o desempenho
educativo no longo prazo. Desta forma, poder haver vantagem em
substituir, em parte, esta prtica por programas alternativos de apoio. Em
Portugal, um exemplo deste tipo de aes o Programa Mais Sucesso
Escolar cujo objetivo consiste em apoiar o desenvolvimento de projetos de
preveno e combate ao insucesso escolar no ensino bsico.
Alm disso, os resultados sugerem que o mecanismo de seleo no
consegue escrutinar eficazmente, numa fase precoce vida escolar das
crianas, aquelas que beneficiariam do tratamento em termos do
desempenho escolar no longo prazo. Dois tipos de razes podero explicar
este ltimo resultado. Por um lado, as caractersticas desfavorveis dos
estudantes nas etapas iniciais da vida escolar, por exemplo, imaturidade,
podero ser superadas em etapas mais avanadas, e deixarem de
desempenhar um papel importante no desempenho. Os dados afastam
todavia uma interpretao de que este processo seja uma consequncia do
tratamento, isto , que a reprovao no CITE 1 pudesse ter levado a que os
alunos tivessem alterado traos da sua personalidade com impacto
negativo no desempenho. Com efeito, se tal tivesse acontecido, os
repetentes deveriam retirar mais benefcios (menos prejuzos) do
tratamento do que os no repetentes, o que no o caso. Por outro lado, a
escolha para a reprovao durante o CITE 1 feita com base em menos
informao e tem uma maior componente de julgamento subjetivo por
parte dos intervenientes no processo (designadamente, professores e pais)
60

do que numa fase mais tardia. Recorde-se, por exemplo, que nos graus
iniciais do CITE 1 tal deciso se baseia principalmente na apreciao de
um s professor.
No que se refere reprovao no CITE 2, as estimativas apresentadas no
quadro 4 indicam um efeito positivo de pequena magnitude sobre o
desempenho em Portugal. Neste ponto, os nossos resultados esto em
linha com estudos recentes como por exemplo, Gary-Bobo et al. (2014)
para a Frana e Baert et al. (2013) para a Blgica. Literatura mais antiga,
como o caso de Hagborg et al. (1991) tendia a encontrar efeitos
particularmente negativos da repetncia numa fase tardia). Por outro lado,
as provas do PISA so realizadas em torno do final do CITE 2, pelo que
neste caso a reteno precede o momento de realizao do teste entre 1 e 3
anos. Assim, na interpretao destes resultados no se pode afastar a
hiptese de os efeitos positivos da reprovao escolar se limitarem aos
anos imediatamente posteriores ao tratamento. Existem diversos estudos
que concluram que os ganhos da repetncia em termos do desempenho
esto confinados ao curto-prazo (por exemplo, Mantzicopoulos et al.,
1992, e Roderick e Nagaoka, 2005). O PISA avalia a utilizao dos
conhecimentos escolares, no como um teste formal s matrias estudadas,
mas do ponto de vista prtico. Tal sugere a possibilidade de persistncia
nos ganhos do tratamento, apesar de no ser possvel tirar concluses
firmes relativamente a este ponto.

Nesta seco consideram-se os efeitos da reprovao escolar para alguns

grupos de estudantes submetidos ao tratamento, segundo as suas
caractersticas observveis. Considera-se o impacto da reprovao escolar
no desempenho, em funo do estrato socioeconmico, do gnero e da
situao em termos de coabitao com os pais. Comentam-se apenas os
resultados com base nas pontuaes em leitura, uma vez que as
pontuaes em matemtica do indicaes muito semelhantes.
O estrato socioeconmico dos alunos medido pelo nmero de livros em
casa (um indicador comummente utilizado neste contexto) em trs
61

escales. Os grficos 3A e 3B mostram que os ganhos (perdas) da

repetncia so maiores (menores) para os estudantes provenientes de
estratos mais desfavorecidos nos dois nveis de ensino considerados. Para
o CITE 2, o tratamento produz ganhos de 0.3, 3.2 e 5.6 por cento nas
pontuaes dos estudantes tratados, do escalo mais alto para o escalo
mais baixo. A diferena entre os escales extremos estatisticamente
significativa. Relativamente reteno no CITE 1, os valores
correspondentes so -19.4, -17.5 e -14.7 por cento; neste caso, mesmo
para os estudantes com um contexto familiar mais desfavorecido,
estimam-se efeitos de tratamento negativos ao longo de toda a
distribuio. Os estudantes provenientes de famlias desfavorecidas
tendem a ser escolhidos para a reteno com maior probabilidade; concluise agora que tambm so estes os estudantes que mais beneficiam ou
menos perdem com o tratamento.
Grfico 3. Distribuio dos efeitos da reprovao no CITE 1 segundo o estrato
socioeconmico dos repetentes, pontuaes em leitura

62

Grfico 3B. Distribuio dos efeitos da reprovao no CITE 2 segundo o estrato

socioeconmico dos repetentes, pontuaes em leitura

No que se refere ao gnero dos estudantes, as alunas obtm variaes mais

positivas das pontuaes com a repetncia, quando submetidas a
tratamento, do que os estudantes do sexo masculino (no mostrado). Os
ganhos do tratamento situam-se, respetivamente, em 6.0 e 2.5 por cento
das pontuaes para a reteno no CITE 2 (-14.6 e -17.4 por cento, no
CITE 1). As diferenas entre estimativas no so, contudo,
estatisticamente significativas. Apesar de os estudantes do sexo masculino
tenderem a beneficiar menos (ou a perder mais) com tratamento uma vez
escolhidos, a probabilidade de o serem relativamente maior.
Por ltimo consideram-se os efeitos diferenciados da repetncia sobre as
pontuaes, conforme a situao dos alunos repetentes em termos de
coabitao com os pais (Grficos 4A e 4B). Constata-se que os alunos que
no coabitam com pelo menos um dos pais tm uma variao mais
positiva das pontuaes, sendo os resultados a este respeito mais claros no
63

CITE 1 do que no CITE 2. O tratamento traz variaes de -14.0 e 5.5 por

cento nas pontuaes dos repetentes, respetivamente, no CITE 1 e no
CITE 2 (-16.6 e 3.7 por cento para os que coabitam com ambos os pais).
Em termos gerais, constata-se que a variao dos efeitos da repetncia em
funo das principais caractersticas observveis vai na mesma direo,
quer a repetncia ocorra no CITE 1, quer no CITE 2. Por outro lado, no
que respeita s variveis de famlia, a seleo tende a abranger os que
mais beneficiam (ou menos perdem) com o tratamento. Assim, como se
referiu, a estimativa um pouco mais negativa para o ATET face ao ATENT
que se obtm para o CITE 1 (Quadro 4 e Grfico 2A) parece refletir a
interao com caractersticas no observveis.
Grfico 4. Distribuio dos efeitos da reprovao no CITE 1 segundo a situao dos
repetentes em termos de coabitao com os pais, pontuaes em leitura

64

Grfico 4B. Distribuio dos efeitos da reprovao no CITE 2 segundo a situao dos
repetentes em termos de coabitao com os pais, pontuaes em leitura

Baenen, N. R. (1988). Perspectives after five years Has grade retention passed or
failed? [Comunicao apresentada em] The Annual Meeting of the American
Educational Research Association, New Orleans, LA.
Baert, S., Cockx, B. & Picchio, M. (2013). On Track Mobility, Grade Retention and
Secondary School Completion. Ghent University [texto no publicado].
Blundell, R. & Costa-Dias, M. (2009). Alternative Approaches to Evaluation in
Empirical Microeconomics. Journal of Human Resources, 44 (3), pp.565-640.
Cooley, J., Navarro, S. & Takakashi, Y. (2011). How the Timing of Grade Retention
Affects Outcomes: Identification and Estimation of Time-Varying Treatment Effects.
Centre for Human Capital and Productivity Working Papers 20117, University of
Western Ontario.
Diris, R. (2012). Estimating the Impact of Grade Retention: A Heterogenous Analysis.
[texto no publicado].
Elodie, A. (2009). Is grade repetition a second chance? Toulouse School of Economics
[texto no publicado].

65

Garcia-Perez, J.; Hidalgo-Hidalgo, M.; Robles-Zurita J. (2014). Does grade retention

affect students achievement? Some evidence from Spain. Applied Economics,
46(12), pp.1373-1392.
Gary-Bobo, R.; Gousse, M.; Robin, J.M. (2014). Grade Retention and unobserved
heterogeneity [Cemmap working paper, CWP14/14].
Eurydice (2013). The structure of the European education systems 2012/13: schematic
diagrams. Comisso Europeia.
Hagborg, W. J. et al. (1991). A Follow-Up Study of High School Students with a History
of Grade Retention. Psychology in the Schools, 28(4), 310317.
Jacob, B. & Lefgren L. (2009). The Effect of Grade Retention on High School
Completion. American Economic Journal: Applied Economics, 1(3), pp.33-58.
Mahjoub, M. (2009). The treatment effect of Grade Repetitions, Paris School of
Economics [texto no publicado].
Mantzicopoulos, P. Y. et al (1989). Nonpromotion in kindergarten: The role of cognitive,
perceptual, visual-motor, behavioral, achievement, socioeconomic, and
demographic characteristics. Educational Research Journal, 26(1), 107121.
Ministrio da Educao (2013). Educao em Nmeros - Portugal 2013. Lisboa:
DGEEC.
OCDE (2012). Equity and Quality in Education: Supporting Disadvantaged Students and
Schools. OCDE.
Pagani, L., et al (2001). Effect of grade retention on academic performance and
behavioral development. Development and Psychopathology. 13, 297315.
Pereira, M. C. & Reis, H. (2012). Diferenas Regionais no Desempenho dos Alunos
Portugueses: Evidncia do Programa PISA da OCDE, Boletim Econmico de
Inverno. Banco de Portugal.
Pereira, M. C., & Reis, H. (2014). Reteno escolar no ensino bsico em Portugal:
determinantes e impacto no desempenho dos estudantes. Boletim Econmico de
Junho, Banco de Portugal.
Roderick, M., & Nagaoka, J. (2005). Retention under Chicagos High-Stakes Testing
Program: Helpful, harmful, or harmless? Educational Evaluation and Policy
Analysis, 27(4), 309340.
Schwerdt, G. e West, M., (2012). The Effects of Test-Based Retention on Student
Outcomes over Time: Regression Discontinuity Evidence from Florida. Program on
Education Policy and Governance. Working Papers Series - PEPG 12-09.
Tomchin, E. M. & Impara J. C. (1992). Unraveling teachers' beliefs about grade
retention. American Educational Research Journal, 29, 199-223.

66

Wooldridge, J. M. (2002). Econometric Analysis of Cross Section and Panel Data.

Cambridge, MA: The MIT Press.

67

O tema da minha apresentao o Desempenho de escolas portuguesas:

que fatores fazem a diferena?6. Trata-se de um trabalho que foi feito no
mbito de um projeto financiado pelo programa POAT FSE Programa
Operacional de Assistncia Tcnica do Fundo Social Europeu, e levado a
cabo por uma equipa diversificada de pessoas.
Eu, Cludia Sarrico, sou professora no ISEG, Universidade de Lisboa, mas
temos a Margarida Cardoso, professora da Universidade do Porto, a Isabel
Machado e a Carolina Costa, bolseiras de investigao, que trabalharam
connosco neste projeto, a Maria Joo Rosa professora da Universidade de
Aveiro, a Carla S professora da Universidade do Minho e o Pedro
Teixeira professor da Universidade do Porto. O que nos une a todos que
somos todos investigadores do CIPES Centro de Investigao de Polticas
do Ensino Superior.
Este trabalho vem no seguimento de outros projetos que levmos a cabo
sobre avaliao de escolas. Este mais de aplicao da investigao, os
1

ISEG, ULisboa & CIPES

UP & CIPES
3
CIPES
4
UA & CIPES
5
UMinho & CIPES
2

Equipa de investigao: Cludia S. Sarrico (coord.), Pedro N. Teixeira, Maria Joo Pires da Rosa,
Margarida F. Cardoso, Carla S, Isabel Machado, Carolina Costa Desempenho das Escolas
Portuguesas Que Fatores fazem a diferena?, Centro de Investigao de Polticas do Ensino
Superior, Programa: PO Assistncia Tcnica FSE (QREN), Projeto nmero: 622.402.013, de
01/01/2013 a 31/12/2014.

68

outros eram trabalhos de investigao financiados pela FCT Fundao

para a Cincia e Tecnologia. Representam uma linha de investigao em
torno do tema da medio e gesto do desempenho de escolas portuguesas.
O primeiro projeto Desenvolvimento de um modelo de medio de
desempenho de escolas secundrias portuguesas7 dizia respeito ao
desenvolvimento de modelos quantitativos para medir o desempenho. A
motivao para o realizar, na altura, surge muito por causa dos rankings de
escolas. Os rankings comearam a ser publicados em 2001. Desde o incio
que houve uma certa insatisfao com eles. Na altura o Professor Jlio
Pedrosa era ministro da educao. Ele teve a iniciativa de juntar um
conjunto de investigadores no sentido de procurar outras formas de olhar
para o desempenho das escolas, que fosse para alm da ideia simplista de
desempenho representada nos rankings. A nossa proposta era ter modelos,
no propriamente de valor acrescentado, mas com uma abordagem de
valor acrescentado. Ou seja, queramos olhar para os resultados da escola
tendo em conta variveis de contexto, variveis de input que a escola no
controla. Isto porque admitamos que o desempenho, em termos de output,
ser fruto do esforo da escola, mas tambm est dependente de variveis
que a escola no controla. Assim, o primeiro projeto, iniciado em 2004,
preocupava-se com a medio do desempenho das escolas, com uma
abordagem de valor acrescentado.
Findo esse projeto, e partindo dos seus resultados, desenvolvemos um
segundo projeto denominado Sucesso escolar nas escolas secundrias
portuguesas: a importncia da gesto do desempenho8. Escolhemos uma
amostra de 12 escolas do primeiro projeto. Selecionmos trs escolas que
7

Investigador principal: Cludia S. Sarrico, Equipa de investigao: Cludia S. Sarrico, Maria Joo
Pires da Rosa, Teresa Fidlis, Consultores: Pedro Saraiva, Jlio Pedrosa, Zoe Radnor, Robert
Dyson, Desenvolvimento de um modelo de medio de desempenho de escolas secundrias
portuguesas, Universidade de Aveiro. Financiado pela Fundao para a Cincia e Tecnologia,
Projeto POCI/EGE/58611/2004, de 01/07/2005 a 30/11/2008.
8

Investigador principal: Cludia S. Sarrico, Equipa de investigao: Cludia S. Sarrico, Maria Joo
Pires da Rosa, Margarida F. Cardoso, Consultores: Jlio Pedrosa, Pedro Guedes de Oliveira, Pedro
Saraiva, Zoe Radnor, Sucesso escolar nas escolas secundrias portuguesas: a importncia da
gesto do desempenho, Centro de Investigao de Polticas do Ensino Superior. Financiado pela
Fundao para a Cincia e Tecnologia, Projeto FSE/CED/83520/2008, de 01/10/2009 a 30/09/2010.

69

estavam no topo dos rankings mas tambm tinham bons resultados de

acordo com o nosso modelo de abordagem de valor acrescentado (escolas
que estavam no topo dos rankings e de facto face aos inputs que tinham e
face aos alunos que tinham estavam a ter bom desempenho). Fomos ainda
buscar trs escolas que, apesar de estarem no topo dos rankings, de acordo
com os nossos modelos poderiam fazer muito melhor com os alunos que
tinham, i.e. tinham bom desempenho aparente mas face a maior escrutnio,
o desempenho afinal no era to bom como seria de esperar face aos
alunos da escola. E tambm fomos buscar escolas que estavam mal
posicionadas nos rankings. Escolhemos trs que de acordo com os nossos
modelos poderiam fazer melhor, mas tambm outras trs escolas que
apesar do seu mau posicionamento nos rankings, de acordo com os nossos
modelos, e face aos alunos que tinham, estavam a ter bom desempenho.
Depois de selecionada esta amostra diversificada, fizemos 12 estudos de
caso para estudar as prticas de gesto de desempenho, no sentido de
perceber o que medido na escola em termos do seu desempenho, e o que
feito com essa informao.
Nestes dois projetos que acabei de descrever utilizmos sempre a escola
como unidade de estatstica e no o indivduo. Potencialmente, isto levanta
alguns problemas, sobretudo porque hoje em dia quando falamos de escola
no estamos a falar verdadeiramente de uma escola. Os dados que ns
temos so por unidade orgnica. Ora, a unidade orgnica uma coisa
extremamente heterognea. Assim, quando ns comemos este trabalho
que aqui apresento, queramos olhar para o desempenho utilizando dados
do indivduo. Tambm porque queramos contribuir para um debate que
existe na literatura relativo no s comparao do desempenho das
escolas, mas comear a comparar o desempenho dentro das escolas. O
desempenho mdio entre duas escolas at pode ser idntico, mas a
variabilidade dentro da escola, e sobretudo falando de escola como
unidade orgnica, que um agrupamento de escolas, pode ser muito
diferente.
Quando comemos o projeto, infelizmente os dados ao nvel do indivduo
no estavam disponveis. Esses dados existem: eles so recolhidos ao nvel
70

do indivduo, mas h um problema de proteo de dados e necessrio

proceder anonimizao dos dados antes de eles serem disponibilizados
aos investigadores. Como os dados recolhidos em Portugal, pela DGEEC
(Direo Geral de Estatsticas da Educao e Cincia) no estavam
disponveis, acabmos por utilizar os dados do PISA Programme for
International Student Assessment de 2012.
No me vou debruar sobre a reviso da literatura de desempenho das
escolas e sua importncia, uma vez que essa informao j aqui foi
apresentada. S vou repetir a ideia de que a qualidade da educao
importante. importante para os indivduos, na medida em que tem um
efeito positivo nos seus rendimentos futuros e na qualidade de vida que
podero beneficiar, mas tambm h um efeito coletivo: h uma relao
positiva entre educao e crescimento econmico, o que tem justificado
grandes investimentos em educao feitos pelos mais diversos pases.
Alis, hoje a grande questo tem menos a ver com os anos de escolaridade
a quantidade de educao que foi a grande primeira batalha na rea da
educao, mas mais com a sua qualidade. A este respeito, estou muito
entusiasmada com o novo programa da OCDE. O PISA, de que ora
falamos, mede as competncias de alunos de 15 anos, o novo programa,
PIAAC Programme for International Assessement of Adult Competencies,
mede as competncias dos adultos, dos que esto na fora de trabalho. Os
primeiros resultados do PIAAC mostram coisas interessantes; por exemplo
as competncias dos diplomados do ensino superior em Itlia esto ao
nvel das competncias dos diplomados do ensino secundrio no Japo.
Portanto, hoje importante estudar no s a quantidade de educao, mas
tambm a sua qualidade.
A equipa responsvel pelo trabalho agora apresentado do CIPES, i.e.
trabalhamos sobretudo as questes do ensino superior. Porqu, ento,
olhar para o no superior? Porque o ensino bsico e secundrio precedem
o ensino superior e como tal tem importantes implicaes no capital
humano entrada do superior. Alis, eu, que sou de gesto de operaes,
penso nisto como uma cadeia de fornecimento, ou seja, ns temos a
montante do superior o no superior e depois a jusante, obviamente, o
mercado de trabalho, e tambm fazemos estudos sobre essas questes.
71

Voltando a Portugal, Portugal no exceo face literatura internacional.

Muito da motivao para estudar melhor a questo do desempenho das
escolas aparece com os rankings publicados nos jornais, e da constatao
que hierarquizar escolas com base no desempenho mdio dos alunos nos
exames nacionais, ignorando a importncia do seu background
socioeconmico simplista e pode ter efeitos perversos.
Tenho uma histria que ilustra bem o fenmeno. Fao avaliaes externas
de escolas, como avaliadora externa da IGEC (Inspeo-Geral da
Educao e Cincia). Dizia-me um diretor de escola:
- Eu, provavelmente tenho melhor desempenho quando estou pior nos
rankings, porque levo mais gente a exames, no ?
Esta afirmao muito possivelmente verdade. Uma das coisas que ns
tambm j constatmos que duas escolas podem ter desempenho idntico
nos exames e ter desempenho muito diferente na taxa de concluso e na
taxa de abandono9. Observmos variaes no intervalo de 20% a 80% para
as taxas de concluso do secundrio. , portanto, importante pensar nisso.
Acresce ainda o facto das escolas pblicas no poderem selecionar os seus
alunos. J no primeiro projeto, sobre o desenvolvimento de um modelo de
medio de desempenho de escolas secundrias portuguesas, ns nos
interrogvamos se o desempenho de escolas pblicas e escolas privadas
seria significativamente diferente, levando em considerao os dados de
inputs, i.e. utilizando uma abordagem de valor acrescentado. Na altura no
nos foi possvel responder a essa pergunta, por falta de disponibilidade de
dados para as escolas privadas. No entanto, era algo que ns
questionvamos.
Apesar de desde sempre defendermos que preciso acautelar os dados de
contexto na medio do desempenho da escola, tambm no podemos
pensar este processo em termos determinsticos. Os dados de input, que a
9

SARRICO CS, ROSA MJ (2009). Measuring and Comparing the Performance of Portuguese
Secondary Schools: A Confrontation between Metric and Practice Benchmarking. International
Journal of Productivity and Performance Management 58:8, 767-786.

72

escola no controla, no explicam tudo. Por isso, no h lugar a uma

posio fatalista que s vezes ouo em algumas escolas, que a seguinte:
- Os resultados dos alunos? Isso depende das fornadas; se os alunos
so bons, os resultados so bons, se os alunos so maus, os resultados
so maus.
Esta posio diminui o papel das escolas. No entanto, ns tambm
sabemos que h um papel importante das escolas. O que nos interessa
compreender melhor o que que cabe escola, o que que fruto do
trabalho da escola, e o que determinado por fatores, que a escola no
controla.
Assim, o objetivo do nosso estudo o de identificar os principais fatores
de desempenho dos alunos de escolas portuguesas. Do ponto de vista da
investigao, esta questo no propriamente inovadora, mas a ideia era
contribuir para este debate, e tambm por isso que estamos aqui hoje,
para debater estas questes.
E aqui que, se calhar, vou saltar, a questo da reviso da literatura.
Existe um mar de literatura sobre o desempenho de escolas e sua medio,
e o que ns fizemos foi fazer uma reviso sistemtica da literatura.
Utilizmos algumas medidas bibliomtrica, nomeadamente do nmero de
citaes por artigo, para escolher os artigos a analisar. Como este
procedimento penaliza os artigos mais recentes, que tm menos
possibilidade de ter citaes, adicionalmente repescmos artigos recentes
de autores que so muito citados, e repescmos ainda artigos mais recentes
publicados em revistas com alto fator de impacto e cujos artigos so muito
citados. Quem estiver interessado pode consultar esta reviso da literatura,
bem como o resto do trabalho, no relatrio do projeto10.
Relativamente ao trabalho emprico, como dissemos, utilizmos os dados
do programa PISA 2012. Quando se fala dos resultados a matemtica e a
leitura divulgado um valor. No entanto, o desempenho dos alunos nestas
10

SARRICO CS (COORDENAO), COSTA C, MACHADO I, ROSA MJ, TEIXEIRA P,

CARDOSO M, S C, SANTOS C (2014). Desempenho de Escolas Portuguesas Que Fatores
Fazem a Diferena? Centro de Investigao de Polticas do Ensino Superior: Matosinhos.

73

duas reas medido de uma maneira algo sofisticada, utilizando cinco

medidas, chamadas de Plausible Values, e utilizmos um software prprio
para lidar com isso11.
Voltando aos fatores que so importantes na medio do desempenho das
escolas, temos, ento, os tais fatores que a escola no controla. Temos as
caractersticas do aluno, por exemplo: idade, gnero, etnia, bem como
medidas sucedneas do capital econmico: alunos que recebem refeies
grtis ou a um preo reduzido. Temos ainda caractersticas da famlia,
como o capital cultural, social e econmico, que no PISA medido por
trs variveis separadas, e ainda por uma medida compsita.
Adicionalmente, e ao contrrio dos dados nacionais recolhidos pela
DGEEC, no PISA temos dados no s de escolas pblicas, como de
escolas privadas. Esta disponibilidade de dados permitiu-nos voltar velha
questo de saber se h diferenas significativas entre o desempenho de
escolas pblicas e privadas, quando se adota uma abordagem de valor
acrescentado. Relativamente a esta questo, temos de esclarecer de que
falamos quando falamos de escolas privadas. Na amostra de escolas
privadas, temos as escolas privadas-privadas, no sentido que podem
selecionar alunos e quem as frequenta tem de pagar propinas, e temos as
privadas-pblicas, que so aquelas que tm propriedade privada mas so
financiadas pelo errio pblico.
Temos ainda outros fatores, como as caractersticas dos professores. Na
literatura aparece muito a questo da qualificao dos professores. Este
fator no parece ser importante em Portugal porque ns no temos grande
variabilidade de qualificao dos professores. A literatura refere ainda o
impacto de certas reformas educativas, nomeadamente no que se refere
maior ou menor descentralizao de competncias, alteraes curriculares,
entre outras.
No entanto, ns focmo-nos nos dados do PISA, que era o que estava
disponvel. Obviamente, todos sabemos que o desempenho escolar muita
11

IEA IDB Analyser, verso 3.1.

74

coisa, e mais do que aprender matemtica e portugus. Mas isso que

vamos tratar aqui.
Que variveis exatamente que temos do PISA? Ao nvel do aluno, temos
o gnero, a naturalidade e o ano curricular. Ns sabemos, dos nossos
estudos anteriores que a idade do aluno est fortemente associada ao
desempenho nos exames nacionais. A idade do aluno uma medida de
desempenho passado, porque traduz o nmero de repetio de ano dos
alunos. No PISA, todos os alunos tm a mesma idade, 15 anos; o que os
distingue , de facto, o ano curricular. Ao nvel da famlia, temos uma
varivel agregada do nvel socioeconmico, composta por outras trs: a
educao dos pais como medida do capital cultural, o estatuto profissional
dos pais como medida de capital social e a posse de bens como medida de
capital econmico. Ao nvel da escola, temos informao se ela pblica
ou privada. Finalmente, ao nvel do desempenho escolar temos os
resultados dos testes do PISA a leitura e a matemtica.
A nossa amostra contm 5 209 alunos do ensino regular. Retirmos da
amostra de alunos de 15 anos para Portugal os que estivessem em
diferentes ofertas educativas. Retirmos os alunos dos CEF (cursos de
educao-formao) porque achmos que assim teramos uma amostra
mais homognea. Temos 195 escolas, 51% so raparigas, 92,8% tm
nacionalidade portuguesa, 89,1% frequentam uma escola pblica.
Voltando questo da reteno, verifica-se que s 60,5% frequentam o
chamado ano modal, i.e. o ano que deveriam frequentar quando tm 15
anos. 28,6% frequentam o 9 e o resto frequentar o 8. e o7..
Olhando para a distribuio do nvel socioeconmico, a amplitude no
muito diferente entre o pblico e o privado, mas notamos que no privado a
distribuio claramente est deslocada para a direita, i.e. no sentido de
nvel socioeconmico mais elevado. No entanto, relembramos que temos
aqui duas realidades diferentes: privado-privado e privado-pblico. Ns
no separmos os dados porque as amostras ficariam muito pequenas, no
tendo dimenso suficiente para as tratar do ponto de vista estatstico.

75

Relativamente ao estatuto profissional dos pais, temos tambm amplitudes

idnticas, mas, em mdia, estatuto mais elevado no privado. A diferena
mais acentuada relativamente ao nvel de educao dos pais. Olhando para
a mediana, temos 5 anos de escolaridade de diferena entre o privado e o
pblico.
Finalmente, relativamente posse de bens domsticos, tambm se nota
que o privado tem valores mais elevados.
Relativamente aos resultados, o que sabemos que as raparigas tm
melhor desempenho a leitura e os rapazes melhor desempenho a
matemtica. Como seria de esperar, os alunos portugueses tm melhor
desempenho do que os alunos estrangeiros tanto na leitura como na
matemtica. Os resultados a leitura e a matemtica so mais elevados nas
escolas privadas e mais elevados nos alunos que esto no ano modal, 10.,
e 1.1 ano (h poucos alunos no 11. ano), como esperaramos.
Depois da anlise de estatstica descritiva, fomos ver o grau de associao
de cada uma das variveis com o desempenho a leitura e a matemtica.
Todas as variveis tm um grau de associao estatisticamente
significativo com o desempenho, quer a leitura, quer a matemtica.
A leitura, tm melhor desempenho as raparigas, com naturalidade
portuguesa, de escolas privadas, com nvel socioeconmico mais elevado,
e que frequentam o ano modal.
A matemtica, tm melhor desempenho os rapazes, com naturalidade
portuguesa, de escolas privadas, com nvel socioeconmico mais elevado,
e que frequentam o ano modal.
Quando juntamos as variveis num modelo de regresso, a nica varivel
que cai o pas de naturalidade, i.e. esta varivel no acrescenta mais
informao do que aquela que fornecida pelo gnero, pelo tipo de escola,
pelo ano curricular, e pelo nvel socioeconmico. Os modelos de regresso
utilizando estas variveis tendencialmente explicam cerca de 40% do
desempenho: menos para leitura e mais para matemtica. Estes resultados
do-no algum conforto, na medida em que coincidem com modelos

76

idnticos desenvolvidos pela nossa equipa para a utilizao na avaliao

externa de escolas levada a cabo pela IGEC.
Fizemos este tipo de anlise utilizando os dados da MISI, sistema de
informao onde so recolhidos dados da educao pr-escolar e dos
ensinos bsico e secundrio, das escolas pblicas tuteladas pelo Ministrio
da Educao e Cincia (MEC), para a avaliao externa. No primeiro ciclo
de avaliao externa, de 2007 a 2011, os avaliadores externos j levavam
os dados de contexto para a escola. No entanto, ns fizemos um estudo em
que mostramos que o grau de associao entre os julgamentos dos
avaliadores externos no primeiro ciclo de avaliao e o posicionamento da
escola nos rankings era superior ao grau de associao entre os nossos
modelos de valor acrescentado e os julgamentos dos avaliadores. Face a
este resultado, a nossa tese que os avaliadores, mesmo tendo os dados de
contexto da escola, tm dificuldade em os processar, e lev-los
devidamente em considerao nos seus julgamentos. Assim, no segundo
modelo de avaliao externa, os avaliadores passaram a levar no s os
dados de contexto, mas tambm o resultado de modelos idnticos ao aqui
apresentado. Estes modelos indicam valores esperados do desempenho da
escola nos exames nacionais do 4., 6., 9. e 12. anos, bem como das
taxas de concluso nestes anos terminais de ciclo. Com base nos
resultados dos modelos, possvel dizer se o desempenho observado est
muito aqum, aqum, em linha, para alm ou muito para alm do
esperado.
Voltando ao modelo com os dados do PISA 2012, fomos investigar
modelos com interao entre as variveis, e descobrimos alguns efeitos
estatisticamente significativos para o desempenho a matemtica.
Relativamente interao entre o nvel socioeconmico e o tipo de escola,
verificou-se que o efeito do tipo de escola na nota de matemtica aumenta
com o nvel social do aluno. Para os nveis socioeconmicos mais
elevados, a diferena de notas entre pblico e privado de quase 1 valor
numa escala de 0 a 20, enquanto a diferena para nveis socioeconmicos
mais baixos muito pequena.

77

Relativamente interao entre o nvel socioeconmico e o gnero,

descobrimos que a diferena nas notas a matemtica entre rapazes e
raparigas cada vez menor medida que aumenta o seu nvel
socioeconmico. Notamos que a diferena nas notas entre rapazes e
raparigas cada vez menor medida que aumenta o seu nvel
socioeconmico. Portanto, para nveis socioeconmicos mais baixos a
diferena de notas entre rapazes e raparigas mais do que um valor na
escala de 0 a 20, para nveis socioeconmicos mais favorecidos essa
diferena bastante mais pequena. De alguma maneira, o que parece que
medida que o nvel socioeconmico aumenta, se corrige, vamos buscar a
nomenclatura do Golfe, o handicap das raparigas a matemtica. S vimos
este efeito para a matemtica para as raparigas; o efeito no parece estar
presente na leitura para os rapazes.
Para acabar, e resumindo:
Obtemos resultados idnticos aos da avaliao externa, mas com dados
diferentes, e portanto isso d-nos algum conforto porque valida os
modelos que esto a ser usados na avaliao de escolas.
Ainda fica muito por explicar no desempenho das escolas, uma vez que as
variveis, que a escola no controla, explicam tendencialmente at 40% do
desempenho dos alunos. Fica, ainda, muito por explicar, nomeadamente
relativamente ao papel da escola e eventualmente outras variveis que no
esto presentes no modelo. Isso bom, no sentido que contraria o
fatalismo de fazer depender o sucesso escolar do tipo de fornadas de
alunos que a escola recebe.
Verificmos ainda que contexto tem mais impacto no desempenho a
matemtica do que na leitura. J apresentmos estes resultados
anteriormente, em outros eventos de divulgao, e uma pergunta
interessante que tem sido discutida porque ser assim.
H de facto diferena estatisticamente significativa de desempenho
medido entre pblico e privado, mesmo tendo em considerao as
variveis que a escola no controla, como o nvel socioeconmico dos
alunos. Para mim, que sou uma acadmica da rea de gesto isto
78

importante. No tanto a questo do pblico versus privado, mas a questo

da autonomia de gesto. importante estudar em que medida a autonomia
de gesto tem efeito no desempenho da escola; e de facto o privado tem
maior autonomia de gesto, por exemplo na escolha dos seus professores,
na forma como organiza a escola, etc.
Aquilo que se passa na sala de aula tem, com certeza, muita importncia, e
os nossos colegas das cincias da educao estudam essas matrias. Sendo
da rea da gesto interessa-nos continuar a estudar esta questo da
autonomia de gesto. Para isso seria interessante separar o privado-privado
do privado-pblico, uma questo a que aludimos acima. No o fizemos
porque o tamanho das amostras no nos permitia, mas fica para
investigao futura.

79

Estamos reunidos hoje no sentido de examinar alguma evidncia do PISA

que possa eventualmente ajudar a identificar tendncias evolutivas no
sistema educativo e, assim, promover e apoiar recomendaes respeitantes
a polticas educativas.
Nos prximos minutos vou falar de algumas concluses a que cheguei nos
ltimos anos, e vou partilhar alguns dados que me conduziram a essas
concluses. Os dados e concluses daro origem a algumas
recomendaes especficas. E, finalmente, gostava de refletir convosco
sobre alguns significados do PISA e sobre o que devemos procurar nos
dados que iro sair daqui a dois anos, em dezembro de 20162.

Para comear, ao examinar alguns resultados do PISA ao longo dos

ltimos anos, no encontro evidncia de grandes problemas a nvel de
currculo nem da qualidade do ensino. Estas duas grandes reas de
interveno podem ser os suspeitos usuais levantados na comunicao
social e nos blogues, mas, atravs dos dados do PISA de 2006 a 2012, no
vejo muita razo para preocupao. claro que a qualidade do ensino
pode sempre ser melhorada, e o currculo poder sempre ser alvo de
desenvolvimento. de sublinhar que a anlise de desempenho nas
subreas temticas de Leitura, Cincia e Matemtica pode sugerir a
valorizao de determinadas orientaes curriculares; a minha concluso,
contudo, que o ensino e o currculo no parecem constar entre as causas
principais do desempenho fraco dos alunos (relatado nas ministraes do
1

Unidade de Investigao e Desenvolvimento em Educao e Formao, Instituto de Educao,

Universidade de Lisboa.
2

Esta investigao foi apoiada pela Fundao para a Cincia e Tecnologia (contratos
FSE/CED/83617/2008 e PTDC/CPE-PEC/121238/2010) e pelo Instituto de Educao da
Universidade de Lisboa.

81

PISA anteriormente a 2009), ou do seu desempenho meramente mdio

(nos estudos de 2009 e 2012).
Quais os dados que apoiam essa concluso? Os alunos portugueses que
conseguem avanar no sistema acompanhando o seu grupo de pares, ou
seja, os que aos 15 anos de idade frequentam o ano escolar adequado sua
idade, tm um desempenho perfeitamente aceitvel acima da mdia da
OCDE. Estes alunos so aquilo a que eu chamo os sobreviventes do
sistema. O sistema funciona bem para este grupo. Se houvesse graves
problemas com o currculo, ou com a qualidade do ensino, ento esses
alunos teriam um desempenho pior do que os seus pares internacionais.
Mas no o caso.
Os problemas escolares em Portugal evidenciados nos dados do PISA, e
as lies que devemos aprender a partir desses dados, dizem respeito ao
outro grupo de alunos os que so deixados para trs pelo sistema. Os
problemas evidentes nos dados tm a ver com a falta de equidade no geral
e, mais especificamente, com a reteno acadmica excessiva praticada
em Portugal.
O problema da reteno no nenhuma novidade. Em Portugal, a reduo
do recurso reteno acadmica constitui uma recomendao recorrente
da OCDE e da Eurydice. Ao longo dos anos o problema tem sido
apontado pelo prprio Ministrio da Educao. Portanto, antes de
considerar os dados internacionais, como termo de comparao, podemos
perguntar: qual a situao dentro do pas?
A tendncia geral ao longo dos ltimos anos vem no sentido de taxas
elevadas, mas decrescentes, no uso de reteno3. Observa-se essa
tendncia decrescente entre 1996 e 2009, seguida por um perodo de
estabilizao at 2011. Os dados mais recentes apontam para um novo
aumento nas taxas observadas. Ser que as taxas de reteno nacionais
tm algo a ver com os resultados do PISA? Nos prximos minutos,

Nos dados disponveis do Ministrio da Educao, no sempre possvel separar os casos de

reteno de outros casos de desistncia ou mudana de sistema. Recomendo que a recolha desses
dados seja efetuada com uma maior preciso no sentido de clarificar essas diferenas.

82

gostava de demonstrar alguns efeitos da reteno nacional observados nos

dados PISA. Para tal, vou considerar quatro perguntas:
(a) Como que Portugal se compara com outros participantes PISA
relativamente reteno?
(b) Como que isso influencia a composio da amostra no PISA?
(c) Qual o efeito da reteno nos valores PISA relatados?
(d) Quem fica retido em Portugal? Ser o sistema equitativo?

Ento, como que Portugal se compara com outros participantes PISA

relativamente reteno? H muitas maneiras de abordar essa pergunta
usando os dados do PISA. Perguntemos: em 2009 qual a percentagem de
alunos Portugueses que indicam que nunca foram retidos a nvel do
ISCED 1? Segundo a Tabela 1, em Portugal, 78.2 % dizem nunca. Ser
que existem outros participantes PISA com valores inferiores a esse valor
(e assim, com taxa de reteno maior no primeiro ciclo de ensino bsico)?
A Tabela 1 indica que, entre todos os participantes do PISA 2009, apenas
o Brasil e Macau tm percentagens inferiores a Portugal. (Parece que
estamos em presena de um efeito cultural. Com base nessa observao
proponho o termo Luso-reteno, humorstico, mas s em parte, uma
vez que enderea uma situao algo negativa). A nvel do ISCED 2, o
Brasil continua com um valor inferior ao de Portugal, ao lado de Espanha
e Panam. Para fins de comparao, note-se que o valor mdio para os
participantes membros da OCDE ronda os 88%, com muitos pases tendo
valores superiores a 90%.
Tabela 1. PISA 2009: Percentagem Nunca Retido
Portugal

Brasil

Macau

Espanha

Panam

ISCED 1

78.2

76.1

76.9

--

--

ISCED 2

79.6

73.0

--

73.0

73.2

83

Ser que a situao melhorou nos dados de 2012? Segundo a Tabela 2,

no. Em 2012, entre todos os participantes do PISA (N=65), Portugal
apresenta-se com o valor mais baixo de alunos que indicam que nunca
foram retidos a nvel de ensino bsico (primeiro ciclo). No segundo ciclo,
o Brasil e mais cinco participantes indicam valores mais pequenos (e
assim, reteno maior) que Portugal. Portanto, podemos concluir que
Portugal fica entre os participantes do PISA com maior reteno
(particularmente no primeiro ciclo do ensino bsico), distanciando-se dos
valores normativos de outros pases da OCDE.
Tabela 2. PISA 2012: Percentagem Nunca Retido
Portugal

Brasil

Macau

(+ Cinco)*

ISCED 1

76.7

(77.8)

(77.0)

--

ISCED 2

80.2

79.8

--

(<80.2)

*Argentina, Colmbia, Costa Rica, Espanha, Tunsia.

Como que o nvel de reteno influencia a composio da amostra no

PISA? Primeiro, lembremos que a amostragem no programa PISA tem
por base a idade do aluno: participam alunos de entre 15;3 (anos; meses) e
16;2 (por convenincia fala-se de alunos de 15 anos). Vamos considerar
os dados recentes do PISA.
Como Portugal tem taxas de reteno superiores aos outros participantes
do PISA, logo, tem mais alunos, um maior peso estatstico de alunos, que
tm uma experincia de reteno. Assim, na amostra do PISA, Portugal
tem um grupo de alunos que, apesar de ter 15 anos de idade, frequentam o
7. e 8. anos de escolaridade. Esse grupo proporcionalmente mais
numeroso que os de outros participantes PISA. A Figura 1 compara a
composio das amostras de Portugal e da OCDE em 2012. Nota-se a

84

proporo exagerada de alunos portugueses a frequentar o 7. e 8. anos4.

A proporo da amostra que se encontra no 10. ano semelhante para as
duas entidades (Portugal e OCDE). Em relao ao 9 ano, a OCDE
apresenta maior proporo, mas lembremo-nos que grande parte dos
alunos do 9 ano em Portugal so repetentes (Moreira et al., 2012). A
proporo de alunos em programas especiais (96-ungraded) indicativa
das tentativas nacionais de lidar com o problema de insucesso escolar.
Mas esta abordagem remediativa sem ser uma verdadeira soluo.
Figura 1. PISA 2012: Composio da amostra em funo do ano escolar, Portugal vs.
OCDE; 96-Programas alternativos (e.g. CEF).

E qual o efeito da reteno (e da composio da amostra) nos valores

PISA relatados pela OCDE?

Um problema recorrente nas anlises comparativas dos dados do PISA que, embora
consideremos variveis iguais, o significado dessas variveis pode variar de pas para pas.
Neste caso especfico, notamos que, entre os participantes PISA, o ano escolar normal previsto
para um aluno de 15 anos pode ser, dependendo do pas, o 9., 10. ou 11. ano.

85

Lembramos que, para 2009 e 2012, as pontuaes dos alunos portugueses

de 15 anos relatadas para Leitura, Matemtica e Cincia esto
ligeiramente abaixo do valor mdio da OCDE, mas, ao mesmo tempo,
estatisticamente indistinguveis desse valor mdio.
Apresentam-se na Figura 2, como exemplo, os valores mdios de trs
subgrupos para o teste de Leitura de 2009 (o ano do grande salto de
desempenho para Portugal) e 2012 (o ano de estabilizao das
pontuaes). As linhas tracejadas comparam Portugal e a OCDE, em
2009, em funo do nmero de retenes no 1. ciclo. Analisada dessa
maneira, a relao dos valores que imaginvamos observar fica invertida.
Entre os alunos que nunca foram retidos no 1. ciclo, Portugal sai com um
valor mdio superior ao da OCDE cerca de 20% de um desvio-padro.
Entre os alunos com uma nica reteno no 1 ciclo, Portugal fica, de
novo, cerca de 20% de um desvio-padro acima do valor mdio da
OCDE. Mesmo entre os alunos com duas ou mais retenes, Portugal
revela-se superior. A anlise para a Matemtica e Cincia em 2009 d
resultados semelhantes (Conboy, 2011; 2013).
Ento, como possvel que o valor mdio de Portugal relatado pela
OCDE seja inferior ao da OCDE? possvel precisamente devido
relao observada na Tabela 1 (e implcita na Figura 1): em Portugal
contam-se muitos mais alunos, resultando este facto num maior peso
estatstico de alunos, com uma experincia de reteno.
Estes alunos, alunos com 15 anos que frequentam o 7. e 8. anos, os
deixados para trs, que nunca tiveram acesso ao currculo adequado sua
idade, pesam nos valores relatados pela OCDE para Portugal e fazem
descer os valores mdios da amostra total no nosso pas. Mais uma vez, os
sobreviventes do sistema alunos que frequentam o 10. ano tm
resultados admirveis (e, logo, chego concluso de que os valores do
PISA no so indicativos de problemas a nvel de currculo, nem da
qualidade do ensino). Os deixados para trs, proporcionalmente
superiores em Portugal (Tabelas 1 e 2; Figura 1), fazem baixar os
resultados oficiais.

86

Figura 2. Leitura 2009/2012: Portugal vs. OCDE em funo de nmero de retenes no

primeiro ciclo do ensino bsico.

Os valores globais relatados pelo PISA 2012 para Portugal revelam uma
certa estabilizao aps o grande salto de 2009. Analisando os resultados
para o teste de Leitura em funo do nmero de retenes (Figura 2,
linhas slidas), observa-se uma aproximao das pontuaes entre os
alunos retidos, mas continua a notar-se uma vantagem para os alunos
portugueses que nunca foram retidos no 1. ciclo.
Os resultados dessa analise para a Cincia e Matemtica so semelhantes.
Os sobreviventes do nosso sistema educacional tm sucesso nos testes do
PISA; os deixados para trs porque continuam a ser
proporcionalmente muitos fazem descer os valores relatados pela
OCDE.

87

Apresenta-se na Tabela 3 uma descrio do perfil de reteno em Portugal

segundo os estudos PISA de 2006 a 2012. Cada bloco acompanhado por
uma medida da magnitude de efeito, V5.
Os rapazes so retidos em Portugal mais do que as raparigas. Esta
observao consistente com o que nos diz a literatura internacional. O
efeito relativamente estvel, com pequenas descidas notadas em 2009 e
pequenos aumentos em 2012.
Tabela 3. PISA 2006-2012: Alunos retidos pelo menos uma vez
2006a
Sexo

Lngua

Escola

Rendimento

V*

2009

V*

31.5%

2012

Rapariga

32.2%

Rapaz

45.5%

Portugus

38.2%

Outra

65.0%

Pblico

41.1%

Privado

27.8%

< mil

66.1%

52.0%

38.3%

1 a 15 mil

43.2%

40.6%

39.8%

15 a 20

27.8%

32.7%

36.7%

20 a 25

23.2%

29.5%

36.1%

25 a 30

19.6%

25.3%

42.0%

> 30 mil

13.1%

.116

42.9%

32.8%
.118

36.7%
.079

52.4%

.320

25.5%

10.4%

43.0%

.105

37.2%
.041

39.0%
.088

V*

48.8%

.036

40.8%
.095

.323

12.4%

37.9%

.179

.034

Os dados de 2006 baseiam-se na operacionalizao de Moreira et al. (2012).

Todas as associaes relatadas so estatisticamente significativas (p < .01). Lembra-se o leitor

que a significncia nada tem a ver com a importncia prtica; tem, sim, a ver com o grande
nmero de alunos includos em cada anlise. Recomenda-se cautela nas interpretaes;
recomenda-se maior ateno magnitude do efeito observada e no tanto significncia
estatstica.

88

Para quem fala portugus em casa, as taxas de reteno no 1. ciclo tm

sido estveis ao longo dos anos. Mas para os alunos que no falam
portugus em casa, houve uma evoluo no sentido de maior equidade
(65% em 2006 para 49% em 2012).
N comparao entre escolas pblicas e privadas, observa-se que a
reteno mais prevalente nas primeiras. Em 2009, nota-se uma tendncia
decrescente nas duas modalidades de ensino. Em 2012 nota-se uma
descida profunda, mas somente nas escolas privadas. No tenho uma
explicao definitiva para essa observao, mas a minha hiptese de
trabalho que, devido situao econmica do pas (a crise), alguns
alunos saram de sistema do ensino privado e esses alunos, mais
carenciados, podem ter tido uma maior experincia de reteno do que os
colegas que permaneceram no ensino privado.
Finalmente, a Tabela 3 indica que, em 2006, os alunos provindos de
famlias mais carenciadas foram retidos no 1 ciclo mais frequentemente
que alunos da classe mdia ou mdia alta. Em 2009 ainda se observa a
tendncia linear nos dados; mas os valores dos mais carenciados so
atenuados, enquanto os valores na classe mdia tendem a aumentar. Em
2012 chega-se a uma situao de quase paridade entre as vrias categorias
de rendimento familiar. (No esqueamos que os alunos do PISA 2012
nasceram em 1996-97; as suas experincias com a reteno no 1. ciclo
provm de 2004-2006).
Resumindo o teor da Tabela 3, podemos dizer que existe evidncia (a) da
continuao da falta de equidade na aplicao de reteno (entre rapazes e
raparigas, escolas pblicas e privadas) e; (b) de movimento no sentido de
maior equidade (relativamente a imigrantes e rendimento da famlia).
Nota-se que as redues maiores nas taxas de reteno se verificam,
geralmente, entre os mais desfavorecidos.
Conclumos que Portugal fica entre os participantes do PISA com maior
reteno; os dados do PISA refletem uma tendncia na diminuio da
reteno (2006-9) e estabilizao da reteno a partir de 2009. A
tendncia geral aponta para uma maior equidade no uso da reteno no
que respeita a alguns fatores. No entanto, os alunos retidos continuam a
89

diferir sistematicamente dos no-retidos em relao a outros fatores. O

baixo desempenho no passado , parcialmente, um artefacto do mtodo de
amostragem (baseado na idade), conjugado com a elevada taxa de
reteno.

Tradicionalmente, a metodologia aplicada em Portugal para lidar com

este tipo de problema uma abordagem que podemos caracterizar como
Top Down (de cima para baixo). Encontramos alguns exemplos dessas
tentativas no Decreto-Lei n. 176/2012 de 2 de agosto e na Lei n.
85/2009, de 27 de agosto, que veio () consagrar a universalidade da
educao pr-escolar para as crianas a partir dos cinco anos de idade.
um objetivo louvvel mas, por enquanto, continua a ser um sonho. No seu
artigo 4., o Decreto-Lei n. 176/2012 afirma Sempre que forem
detetadas dificuldades na aprendizagem do aluno, so obrigatoriamente
tomadas medidas que permitam prevenir o insucesso e o abandono
escolares. Segue-se a essa afirmao um elenco de medidas obrigatrias.
So atividades notveis e meritrias que incluem reforo das medidas,
acompanhamento , e mesmo acompanhamento extraordinrio. Mas j
tarde. Normalmente, as dificuldades na aprendizagem so detetadas
atravs de um processo de avaliao sumativa e no antes. O aluno
identificado como um aluno com risco de insucesso, mas, apesar dos
grandes esforos dos professores, somente depois de ter sofrido realmente
o insucesso.
Mudar estruturas organizacionais pode ser um passo importante, mas
relativamente ao problema de reteno, The challenge lies more in
questioning certain assumptions and beliefs rather than regulatory
change (EC/ EACEA/ Euridice, 2011, p. 60).6
Uma abordagem alternativa seria a de bottom-up, ou seja de baixo para
cima. Isto pode desenrolar-se de vrias formas. Trata-se de um programa
descentralizado por natureza e no por decreto. Temos um exemplo de tal
6

O desafio consiste mais em questionar certos pressupostos e crenas do que em mudar

regulamentos.

90

programa na Blgica, segundo o qual se promove oficialmente o

encorajamento dos contactos Professor-Professor, com vista a troca de
ideais sobre alternativas aplicao da estratgia de reteno (Projeto
Piloto Descolagem). Portugal no tem muita tradio nesse tipo de
abordagem. At pode acontecer que nem as estruturas hierrquicas, nem
os professores, apreciem tal abordagem.
A formao de professores tambm uma abordagem bottom-up. Tendo
j afirmado que a qualidade do ensino em Portugal, segundo os dados do
PISA, perfeitamente aceitvel (para os sobreviventes, francamente
louvvel), porque falo de formao de professores? O problema, a meu
ver, no est no prprio ensino, mas sim, na qualidade da avaliao. A
formao de professores necessita de mais nfase em questes prticas de
avaliao. A avaliao tem que ser perspetivada como um fenmeno que
emerge naturalmente do processo de ensinar e no como uma atividade
externa ao ensino que sirva meramente para documentar o insucesso. H
que assumir que o objetivo de assessment no a seriao dos melhores,
mdios e fracos, mas sim, a procura ativa de falhas e lacunas na prtica
letiva. Uma formao de professores que consiga quebrar com as
tradies mal concebidas pode ser a melhor maneira de questionar certos
pressupostos e crenas sobre a eficcia da reteno. (Estou agora
envolvido num projeto de investigao no qual um objetivo central
desenvolver as competncias dos professores no uso de feedback eficaz.
Esse feedback eficaz o cerne da conjugao de ensino e assessment.
Outros palestrantes falaram hoje de fatores no observveis que
explicam parte da varincia na eficcia dos professores. Prefiro caraterizar
esses fatores como ainda no observados. E estou cada vez mais
convencido de que o feedback utilizado pelo professor um fator
determinante na eficcia do seu ensino.)
Existe tambm a possibilidade de integrar as abordagens top-down e
bottom up: No caso do problema de reteno acadmica excessiva, essa
abordagem mista podia tomar a forma de uma alterao da legislao que
regula a idade legal para a entrada na escola.

91

Devemos alterar, aumentar, a idade de entrada na escola? Apresenta-se na

Tabela 4 uma anlise de reteno segundo os dados do PISA 2012, desta
vez analisada em funo do ms de nascimento e considerando apenas
dois subgrupos: os alunos nascidos em dezembro de 1996 e os nascidos
em janeiro de 1997. Assim, existe uma diferena mxima de quatro
semanas de idade entre os dois grupos. Contudo, observa-se uma
diferena substancial nas taxas de reteno: o grupo mais velho exibe
reteno elevada, valores semelhantes aos valores gerais para Portugal; o
grupo mais jovem exibe muito menos reteno, valores semelhantes aos
da OCDE. Porque ser?
Segundo a Lei de Bases do Sistema Educativo (que se encontrava em
vigor aquando da entrada no ensino bsico dos alunos que constituam a
amostra do PISA 2012), "Ingressam no ensino bsico as crianas que
completem 6 anos de idade at 15 de Setembro". Tambm podem
ingressar, a ttulo excecional, as crianas que completem os 6 anos de
idade at 31 de Dezembro.
Assim, usando apenas os dados do PISA, no podemos ter a certeza
absoluta se os alunos nascidos em dezembro de 1996 ingressaram em
setembro de 2003, a ttulo excecional, ou no7. Por outro lado, os alunos
que nasceram em janeiro de 1997 tiveram que esperar nove meses mais
para ingressarem no ensino bsico em setembro de 2004. E anos depois,
com 15 anos de idade, este grupo, que aguardou o seu ingresso, apresentase com uma trajetria diferente, mais feliz que a dos pares, quatro
semanas mais velhos. Os dados so sugestivos sem ser conclusivos, mas
apoiam a necessidade de um aumento na idade de ingresso. Outros
oradores hoje falaram da evidncia da falta de maturidade de alguns
alunos. Aumentar a idade legal de ingresso uma maneira de influenciar
essa maturidade. J foi notada, a nvel da Europa, a associao entre idade
de ingresso e taxas de reteno:
In Belgium, Spain, France, Luxembourg, the Netherlands and Portugal, very few
children who reach the official age of entry have their admission to the first year
7

Recomendo que, em futuras bases de dados, se faa a incluso de informao sobre a idade, em
meses, no momento do ingresso. Pode ser difcil para o PISA obter essa informao, mas para o
Ministrio deve ser uma prioridade.

92

of primary education postponed. However, the number of pupils who have fallen
behind at the end of primary education is very high () a considerable percentage
of pupils must repeat a year at least once during their primary schooling. ()
according to 2009 PISA data, these same six countries show the highest
proportion of repeaters at primary level among the participating European
countries (...). (EC/ EACEA/ Eurydice, 2011, pp. 38-39)

Tabela 4. PISA 2012: Percentagem de Alunos Portugueses por Nmero de Retenes no

Ensino Bsico e Ms de Nascimento
Nunca

Uma Vez

Duas ou Mais

Dez. 1996

74.0

22.3

3.7

Jan. 1997

85.9

11.7

2.5

Dez. 1996

76.1

22.0

2.0

Jan. 1997

90.2

8.7

1.1

1 Ciclo

2 Ciclo

Ser que defendo um aumento na idade de ingresso no 1. ciclo? No

exatamente. Tambm observo nos dados do PISA que existem alguns
alunos mais jovens, nascidos em janeiro, que tm toda a capacidade para
lidar com os desafios do 1. ciclo. Alguns dos mais jovens constam no
grupo de sobreviventes do sistema. No sofrem retenes nas suas
trajetrias escolares, e mais tarde lidam sem dificuldades com os desafios
dos testes do PISA. Aumentar a idade de ingresso seria uma ligeira
injustia para estes alunos: seria uma soluo rpida e barata mas,
necessariamente, parcial.
A soluo mais indicada, mais dispendiosa, mais lenta na sua
implementao, seria modificar o critrio de ingresso, usando no s uma
idade legal mas tambm uma medida de prontido. Este processo ser
mais fcil quando todos os alunos tiverem acesso ao ensino pr-primrio.
At l, penso que vale a pena estudar a possibilidade da implementao da
soluo parcial. Haver muita resistncia a essa medida. Num perodo de
grandes presses financeiras, bem como demogrficas, as escolas
93

precisam do ingresso dos alunos para justificar a sua existncia; os pais

querem poupar, transferindo alguns custos dos cuidados dos filhos dos
seus bolsos para o setor pblico. Mas, pedagogicamente, essa medida
pode ser o caminho mais correto.

Finalmente gostava de refletir sobre alguns significados do PISA e o que

devemos procurar nos dados que iro sair daqui a dois anos, em dezembro
de 2016.
O programa PISA tem agora a mesma idade que os alunos que, de trs em
trs anos, so submetidos ao seu assessment. Neste curto perodo, o
programa permitiu a possibilidade de levantar perguntas e sugerir
respostas para questes que, h 20 ou 25 anos atrs, teria sido impossvel
conseguir. Agora na sua adolescncia, o programa mostra uma certa
maturidade. Com os resultados de 2012, h muito menos nfase nos
rankings, na corrida de cavalos, entre pases. H mais nfase nas
mudanas ao longo do tempo e nos fatores subjacentes ao desempenho,
alis como deve ser.
Os inputs que do origem aos valores de Leitura, Matemtica e Cincia no
PISA incluem tudo o que acontece nas vidas dos jovens durante 15 anos.
Incluem a escola e as reformas educativas, que tero o seu efeito, como
bvio, mas tambm refletem grandes acontecimentos na sociedade por
exemplo uma crise financeira seguida de polticas de austeridade. Na
minha tica, as influncias observveis nos resultados do PISA comeam
mesmo antes do nascimento dos alunos testados atravs das experincias
dos seus pais. Assim, nos resultados do PISA, so refletidos os efeitos da
escola obrigatria para alm da quarta classe, os efeitos sociais do 25 de
abril, os efeitos das experincias de telescola, entre outros. Uma
proporo crescente de pais detentores de ensino secundrio e superior
se esta tendncia continuar ter um efeito visvel em futuras iteraes
dos testes do PISA.
Tudo o que digo sobre o PISA provem de uma perspetiva ps-positivista
realista. Nem todos concordam com os benefcios que eu vejo em tais
94

programas internacionais. Uma grande parte da investigao sobre o PISA

no tem a ver com a anlise dos dados dos testes, mas sim, com tentativas
de desconstruir o programa, demonstrando assim consequncias
perniciosas da centralizao global da educao e de polticas de
performatividade. Os investigadores que se situam numa perspetiva mais
crtica preocupam-se com as relaes de poder na escola e no mundo,
com o perigo de um novo conhecimento global e uniforme, e com a perda
de diversidade cultural em sistemas de educao.
Essas crticas tm a sua lgica e tm a sua validade. O meu contraargumento, ps-positivista realista, o de que o uso dos dados define a
sua utilidade (ou o seu perigo). Os dados usados de forma sensata, e com
respeito por culturas e condies locais, podem trazer benefcios para as
vidas sociais e econmicas de povos diversos.
Assim, na anlise que fizermos dos dados que sero publicados em
dezembro de 2016, no devemos preocupar-nos muito com a Finlndia ou
Singapura. Devemos focalizar a ateno nas tendncias de reteno e de
equidade em Portugal. Devemos analisar os progressos (ou retrocessos)
em Portugal ao longo do tempo, fazendo-o sempre em funo da trajetria
escolar retidos ou no dos alunos. S se deve procurar uma afinao
minuciosa de currculo e qualidade de ensino se as pontuaes dos alunos
no-retidos indicarem perdas em relao aos seus pares internacionais.
Uma cultura de reteno acadmica resulta da ideia de que repetir um ano
escolar benfico para os alunos. Tal crena comum entre os
professores, pais, e, at, entre os prprios alunos. A literatura cientfica
no apoia esta posio. preciso mudar esta convico social. E isso fazse no com legislao bem-intencionada, listando mais obrigaes legais
das escolas e dos professores, mas sim, com mudana de atitudes e
aumento da maturidade dos alunos no momento de ingresso no ensino
bsico.

95

CONBOY, J. (2013, dezembro). O que nos diz o PISA sobre reteno; O que a reteno
nos diz sobre o PISA. Comunicao no Encontro PISA 2012- Divulgao dos
Resultados Nacionais: Desafios para a Investigao em Educao. Caparide,
Portugal, 11 de dezembro.
CONBOY, J. (2011). Retention and science performance in Portugal as evidenced by
PISA. Procedia Social and Behavioral Sciences, 12, 311-321.
CONBOY, J., Moreira, I., Santos, I., & Fonseca, J. (2013). Prticas e consequncias da
reteno escolar: Alguns dados do PISA. In L. Veloso & P. Abrantes (Org.),
Sucesso escolar: Da compreenso do fenmeno s estratgias para o alcanar
(pp. 9-27). Lisboa: Mundossociais.
EC/EACEA/Eurydice. (2011). Grade retention during compulsory education in Europe:
Regulations and statistics. Brussels: Author. doi:10.2797/50570.
MOREIRA, I., Santos, I. & Conboy, J. (2012). A reteno acadmica e performance a
cincias
em
Portugal
evidenciadas
no
PISA
2006.
http://repositorio.ul.pt/bitstream/10451/7782/1/Moreira%20Santos%20Conboy%2
02010.pdf.

96

O Programa para Avaliao Internacional de Estudantes (PISA) visa

avaliar, em ciclos de 3 anos, a capacidade dos estudantes de 15 anos para
utilizarem os conhecimentos adquiridos em situaes que ocorrem no
mundo real. Este programa avalia o desempenho dos alunos em trs
domnios: leitura, matemtica e cincias.
Neste estudo pretende-se analisar os resultados dos alunos portugueses no
domnio da matemtica com base nos dados do PISA 2009
disponibilizados pela Organizao para a Cooperao e Desenvolvimento
Econmico (OCDE).
Dada a estrutura hierrquica dos dados (os alunos esto organizados em
turmas e as turmas em escolas), aplicmos modelos de regresso
multinvel que, na sua construo, incorporam as diferentes hierarquias
observacionais dos dados (Raundenbush & Bryk, 2002). Como estvamos
interessados em identificar os principais fatores que influenciam os
resultados dos alunos portugueses com diferentes nveis de desempenho,
ajustmos um modelo multinvel de regresso quantlica (Geraci & Bottai,
2014). Inicialmente, estimou-se um modelo multinvel de regresso
quantlica apenas com variveis explicativas ao nvel do aluno para
identificar os principais fatores que podem determinar os resultados dos
alunos portugueses. De seguida, estimou-se um modelo de regresso linear
usando como varivel resposta o efeito das escolas para analisar os fatores
que justificam o impacto das escolas nos resultados dos alunos.
1

CEGE - Centro de Estudos em Gesto e Economia, Universidade Catlica Portuguesa do Porto,

Portugal,
2

CMAT Centro de Matemtica, Departamento de Matemtica e Aplicaes, Universidade do

Minho.

97

Os resultados obtidos dividem-se na anlise dos coeficientes

associados aos modelos de regresso quantlica multinvel que revelam a
influncia das variveis nos resultados dos alunos, e na anlise do efeito
escola e dos seus determinantes.

Os coeficientes associados s variveis demogrficas dos alunos (gnero,

imigrante, ano frequentado) apresentam-se na Figura 1.
Figura 1. Coeficientes associados s variveis demogrficas

Este estudo evidenciou que o gnero tem um impacto positivo (os rapazes
(Male na Figura 1) apresentam melhores resultados) e aproximadamente
constante para os vrios quantis de desempenho. A condio de imigrante
do aluno (IMI na Figura 1) leva a que este obtenha piores resultados,
sendo esta condio mais penalizadora para alunos nos quantis de
desempenho mais baixos. O grau frequentado pelo aluno tem um grande
impacto nos resultados sendo este impacto positivo para os alunos que
frequentam o secundrio (secondary educ. (general) na Figura 1) e

98

negativo para os alunos que frequentam o ensino profissional (secondary

educ (professional) na Figura 1).
Relativamente aos fatores familiares, os resultados apresentam-se na
Figura 2.

Figura 2. Coeficientes associados s variveis familiares

As expectativas da famlia e do aluno (Expectations) desempenham um

papel muito importante no sucesso dos alunos bem como o seu nvel
socioeconmico (escs). O impacto do nvel socioeconmico positivo,
mas aproximadamente constante para os vrios quantis de desempenho,
evidenciando que estudantes em ambientes socioeconmicos mais
favorecidos
apresentam
resultados
a
matemtica
superiores
independentemente da sua posio na distribuio dos resultados. O apoio
da famlia nos trabalhos de casa (hmw na Figura 2), bem como o recurso
dos alunos a explicaes (tut na Figura 2) foram variveis que
apresentaram sinal contrrio ao esperado (impacto negativo nos
resultados) devido endogeneidade associada a estas variveis.

99

No que diz respeito s variveis relativas aprendizagem, os resultados

apresentam-se na Figura 3.
Figura 3. Coeficientes associados s variveis cognitivas

A repetio de ano (rep) aparece com um grande impacto negativo nos

resultados dos alunos repetentes. As estratgias de aprendizagem
revelaram-se variveis interessantes e maioritariamente com impacto
positivo nos resultados (e.g. estratgias de elaborao (est), de controle
(cst), de sumarizao (sst), e de compreenso e memria (comrem)), mas
100

as estratgias de memorizao (memor) aparecem com um impacto

negativo nos resultados dos alunos, sendo estas estratgias particularmente
penalizadoras para os alunos que se encontram nos nveis de desempenho
mais baixo.

Este estudo mostrou que as escolas portuguesas desempenham um papel

importante na explicao do sucesso dos alunos em matemtica. O maior
impacto das escolas verificou-se para os alunos do quantil 0.5 onde cerca
de 10% da variabilidade encontrada nos resultados dos alunos pode ser
explicada pela escola que frequentam (medido pelo coeficiente de
correlao interclasse (ICC), representado na Figura 4).

Figura 4. Coeficiente de correlao interclasse

Tendo concludo que escola frequentada tem impacto nos resultados dos
alunos, analisamos possveis fatores explicativos desse impacto atravs de
um modelo de regresso linear onde as variveis dependentes
consideradas foram os efeitos escola para cada quartil. Deste modelo
resultaram apenas dois fatores estatisticamente significativos na
explicao do efeito escola: localizao da escola e sua dimenso (nmero
101

total de alunos). O impacto da dimenso no efeito escola positivo e

aproximadamente constante para os vrios quants de desempenho dos
alunos, enquanto as escolas localizadas em cidades apresentam efeitos
significativamente maiores que escolas localizadas em vilas e aldeias,
sendo o diferencial maior para alunos nos quants mais baixos de
desempenho.
Este estudo permitiu ainda mostrar que h grandes diferenas no
desempenho dos alunos a matemtica nas escolas portuguesas, existindo
escolas em que os alunos tm um desempenho superior ao desempenho
esperado em todos os quantis de desempenho e noutras escolas os alunos
tm um desempenho inferior ao desempenho esperado em todos os quantis
de desempenho.

S. Faria foi financiada pelo Centro de Matemtica da Universidade do Minho com

Fundos Nacionais atravs da FCT no mbito do projeto PEst-OE/MAT/UI0013/2014.

GERACI, M. & BOTTAI, M. (2014) Linear quantile mixed models. Statistics and
Computing 24 (3), 461-479.
RAUDENBUSH, S.W. & BRYK, A.S. (2002) Hierarchical Linear Models (Second
Edition), Thousand Oaks, Sage Publications.

102

Os testes padronizados do PISA aferem os nveis de literacia em

Matemtica, Cincias e Leitura dos jovens de 15 anos de idade. A
comparao entre a mdia do desempenho dos alunos portugueses nesses
testes com a de outros pases da OCDE, indica a melhoria progressiva do
desempenho do Sistema Educativo portugus. No trabalho A Reteno
dos Alunos, a Composio da Escola e o Desempenho em Matemtica:
algumas pistas a partir do PISA (Ferro & Dias, 2010) apresentado e
publicado pelo Conselho Nacional de Educao, associmos tal melhoria
ocorrncia simultnea de dois fenmenos de grande relevncia na
perspetiva da avaliao do sistema educativo: (1) a reduo da reteno 3 e
(2) a evidncia de que a melhoria do fluxo escolar foi acompanhada pela
melhoria das aprendizagens.
Entre o ano 2000 e 2006 maior nmero de alunos atingiu o 10. de
escolaridade na idade certa, sinal da correo do fluxo escolar, e a mdia
do seu desempenho situou-se acima da mdia da OCDE apresentando
tendncia de melhoria, o que se mantm de acordo com a anlise dos
1

Este trabalho foi inicialmente preparado para apresentar no Seminrio sobre Investigao em
Educao e os Resultados do PISA, organizado pelo Conselho Nacional de Educao (CNE) e
realizado no dia 5 de Dezembro de 2014 na sua sede. Alguns dos resultados estatsticos preparados
para o Seminrio foram apresentados como preliminares e no foram objeto de discusso no
Seminrio, uma vez que a publicao do relatrio tcnico do PISA 2012 (OECD, 2014c) aconteceu
no mesmo dia e, portanto, no foi possvel confirmar alguns aspetos tcnicos. Como tal, no so
includos neste captulo. Em data posterior do Seminrio, esse material de investigao foi
reanalisado luz do relatrio tcnico e submetido para publicao. O artigo resultante tem a
seguinte referncia: Ferro, M.E. (2015). Tpicos sobre reteno em Portugal atravs do PISA.
Education Policy Analysis Archives [Arquivos Analticos de Polticas Educativas], 23(X). no prelo.
2

Universidade da Beira Interior.

De acordo com o glossrio de conceitos para fins estatsticos das reas temticas Educao e
Formao, Reteno consiste na manuteno do aluno abrangido pela escolaridade obrigatria,
no ano letivo seguinte, no mesmo ano de escolaridade que frequenta, por razes de insucesso ou
por ter ultrapassado o limite de faltas injustificadas.

104

dados do PISA 2012 (cf. Tabela 2). Tambm se verificou melhoria nos
resultados dos alunos que haviam sido retidos. Em sntese, as estimativas
apresentadas naquele trabalho sugerem que a reduo da taxa de reteno
entre 2000 e 2006, aconteceu sem a deteriorao dos resultados de
desempenho nos testes padronizados. Assim sendo, a ocorrncia
simultnea dos dois fenmenos, pe em causa a defesa da reteno como
sendo a soluo educativa que garante a qualidade da educao.
Dada a relevncia do tema reteno escolar tanto na perspetiva da
avaliao de desempenho do sistema educativo, bem como na perspetiva
da dimenso social, pareceu-me que a circunstncia deste Seminrio
propiciava o regresso ao tema.

A centralidade do tema da reteno reforada pela anlise das estatsticas

oficiais da Educao. De acordo com o relatrio Educao em Nmeros
2013 (DGEEC, 2013a), a taxa de reteno e desistncia no ensino bsico,
bem como a taxa de abandono precoce, mostravam uma tendncia de
queda entre 2000 e 2012 e que, desde ento, a taxa voltou a aumentar
(op.cit. p.45). Concretamente, no 1. ciclo do ensino bsico, a taxa de
reteno e desistncia era 3,3% em 2010/11 e aumentou para 4,9% no ano
letivo 2012/13; no 2. ciclo era 7,4% e passou para 12,5%, ou seja,
retomou valores prximos dos verificados uma dcada atrs; no 3 ciclo a
taxa era 13,3% em 2010/11 e passou para 15,9% em 2012/13.
Adicionalmente, a taxa de reteno e desistncia por ano de escolaridade
no ano letivo 2012/13 varia de 4,3% a 17,7% (em estabelecimentos do
ensino pblico varia entre 4,6% e 19,0%), atingindo o (escandaloso) valor
de 10,5% no 2. ano de escolaridade do ensino pblico (op.cit. p.46).
Encontramos consenso amplo na literatura sobre os efeitos negativos da
reteno, tanto ao nvel individual como coletivo, tais como o fomento do
autoconceito negativo, o congestionamento do sistema educativo e o
desperdcio de recursos (e.g. Brophy, 2006; Gomes-Neto & Hanushek,
1994; Klein & Ribeiro, 1991; Teixeira de Freitas, 1947). Tambm est
demonstrada a associao entre a reteno e o abandono escolar, em
105

particular a associao com a sada antecipada4. Isto , entre os mltiplos

fatores associados ao abandono e sada antecipada, sabe-se que a
reteno um dos seus principais preditores (Ferro, Beltro, & Santos,
2002, 2007; Ferro & Fernandes, 2003; Lyche, 2010; Montmarquette,
Viennot-Briot, & Dagenais, 2007; Roderick, 1994). Segundo o Eurostat,
no espao EU-28 a taxa de sada antecipada dos sistemas de educao e
formao caiu para 12.7% entre 2007 e 2012. A taxa deve ser menor do
que 10% em 2020. Apesar de ainda estar longe de alcanar a meta,
Portugal foi um dos pases onde se verificou maior reduo naquele
perodo de tempo. A taxa passou de 36,9% em 2007 para 20,8% em 2012
(EUROSTAT, 2013a, 2013b). Em 2000, a taxa era de 43,6%.
O Conselho da Unio Europeia nas suas concluses sobre a dimenso
social da educao e da formao, reconheceu que a preveno bemsucedida da sada antecipada exige o desenvolvimento e produo de
conhecimento sobre os grupos de risco a nvel local, regional e nacional,
bem como o desenvolvimento de um sistema para a identificao precoce
dos indivduos em risco (The Council of the European Union, 2010).
Numa outra recomendao (The Council of the European Union, 2011), o
Conselho classificou as causas da ineficcia das polticas concebidas para
a reduo da sada antecipada/precoce em trs categorias, entre as quais a
falta de uma estratgia global; a falta de definio de polticas baseadas
em evidncia (a generalidade dos Estados-Membros no dispe de dados
sobre os alunos em risco e que permitam quer a anlise da incidncia quer
das causas); e a insuficincia das medidas tomadas de modo a evitar os
problemas de segregao e os efeitos negativos da reteno escolar.
Em sntese, amplamente reconhecida a importncia de identificar quais
so os fatores precursores da reteno, tanto os individuais como
contextuais, em particular aqueles que so passveis de interveno e de
mudana, tendo como fim a definio de polticas pblicas fundamentadas
em evidncias de base cientfica.
4

De acordo com o glossrio de conceitos para fins estatsticos das reas temticas Educao e
Formao, Sada Antecipada (Early school leaving) consiste na situao dos indivduos, num
escalo etrio (normalmente entre os 18-24 anos), que no concluram o 3. ciclo do ensino bsico e
no se encontram a frequentar a escola.

106

Em Portugal, os dados que permitiriam proceder anlise de risco de

reteno e de sada antecipada/precoce, quer numa abordagem de
quantificao da sua incidncia quer na da investigao dos fatores
precursores, escala nacional, so os dados recolhidos no mbito do
Sistema de Informao do Ministrio da Educao, abreviadamente
designado MISI (Ministrio da Educao, 2006, 2007). Contudo, os dados
MISI no esto abrangidos pelo conceito open government data, cada vez
mais adotado por outros pases visando, entre outros, os princpios de
transparncia e de responsabilizao-prestao de contas. Tal como consta
no documento Perguntas mais frequentes (DGEEC, 2013b) os seus
principais utilizadores so os estabelecimentos de ensino, os organismos
centrais do MEC e os gabinetes ministeriais.
Assim sendo, a anlise e modelao dos dados do PISA pode contribuir,
parcialmente, para a investigao em Educao, isto , para compreender
melhor alguns fenmenos do Sistema Educativo portugus, em particular
o fenmeno da reteno. Assim, decidimos encetar a anlise exploratria e
modelao de dados do PISA 2012 com o objetivo de identificar grupos
de risco de reteno e de identificar caractersticas, ao nvel individual e
da escola, associadas probabilidade de reteno.
As anlises efetuadas podem dividir-se em trs etapas principais: (1)
Mostramos que a reteno precoce5 tem efeito potenciador de reteno
tardia; (2) por meio do clculo do risco relativo de reteno no primeiro
decil da situao socioeconmica do aluno face ao decil superior,
mostramos um padro de causalidade que contribui fortemente para
reforar os efeitos cumulativos de desvantagem social; (3) pela aplicao
de um modelo de regresso logstica multinvel com varivel resposta
reteno, estimamos os parmetros que representam a associao de
composio socioeconmica da escola com a probabilidade individual de
reteno, controlando por sexo, idade, nvel socioeconmico individual e
tipo de escola. Devido situao descrita na nota 1, este captulo contm
5

No mbito deste trabalho, define-se reteno precoce aquela que ocorre em qualquer dos anos
de escolaridade que integram o nvel ISCED 1 e reteno tardia aquela que ocorre em qualquer
dos anos de escolaridade que integram o nvel ISCED 2.

107

os resultados das etapas (1) e (2) e os resultados da etapa (3) so

apresentados em Ferro (2015).

O PISA (Programme for International Student Assessment) afere em que

medida que os alunos perto do final da escolaridade obrigatria
adquiriram os conhecimentos e aptides que so essenciais para a plena
participao nas sociedades modernas. Trata-se de um inqurito complexo
transversal que envolve amostragem por etapas mltiplas. A populaoalvo em cada um dos pases participantes constituda pelos estudantes de
15 anos de idade que frequentam a escola entre o 7. e o 11. ano de
escolaridade (OECD, 2014b; p.66).
O planeamento amostral do PISA 2012 estratificado em duas etapas em
que a unidade primria de amostragem escola. As escolas so
selecionadas com probabilidade proporcional ao tamanho. A segunda
unidade de amostragem aluno. O tamanho da amostra portuguesa 5722
que representa a populao de 96034 alunos.
A inovao no PISA 2012 recaiu na forma de aplicao do questionrio de
aluno. Este questionrio foi desenvolvido e aplicado em painis rotativos,
tal como tem sido prtica quanto aplicao dos testes padronizados para
a aferio cognitiva nos domnios de Matemtica, Leitura e Cincias
(OECD, 2014a; p.264). As bases de dados do PISA 2012 contm os
resultados (plausible values) da imputao mltipla no que se refere aos
testes de aferio cognitiva. Contudo, tal no acontece para as variveis do
questionrio de aluno resultantes da aplicao em painel rotativo. Cada
uma destas variveis apresenta valores omissos por planeamento (missing
by design), atingindo 1/3 dos casos. Vejamos como exemplo o ndice de
autoconceito em Matemtica que consta da Tabela 1, em que a
percentagem de valores omissos atinge 35%.
Nas fases (1) e (2) da anlise usmos as seguintes variveis da base de
dados:

108

Grade Repetition (REPEAT) Reteno. Com base nos casos vlidos,

34.3% dos alunos ficaram retidos pelo menos um ano ao longo da sua
trajectria escolar.
Repeat - <ISCED 1> (ST07Q01) Reteno <ISCED 1>. Com base nos
casos vlidos, 23.3% dos alunos ficaram retidos pelo menos um ano no 1.
ou no 2ciclo do ensino bsico.
Repeat - <ISCED 2> (ST07Q02) Reteno <ISCED 1>. Com base nos
casos vlidos, 19.8% dos alunos ficaram retidos pelo menos um ano no 3.
ciclo do ensino bsico.
Mathematics Self-concept (SCMAT) Autoconceito. O ndice de
autoconceito em Matemtica foi construdo pelo consrcio PISA de
acordo com a descrio apresentada em OECD (2013; p.95).
Highest parental occupational status (HISEI) ZHISEI. O ndice HISEI
o mximo entre o ndice ISEI (Ganzeboom, De Graaf, & Treiman, 1992;
Ganzeboom, 2010) aplicado aos dados da Me e do Pai do aluno. Para as
anlises deste artigo foi padronizado por referncia aos dados de Portugal
e includo nas anlises e modelao como proxy do nvel socioeconmico
do aluno.
Tabela 1. Estatsticas descritivas
Idade do aluno

Autoconceito
em Matemtica

Zscore:
HISEI

96034
0

62243
33791

91588
4446

Mdia
Desvio padro

15.75
0.29

-0.10
0.93

0.00
1.00

Quartis

15.50
15.75
16.00

-0.52
-0.06
0.41

-0.82
-0.29
0.72

Casos vlidos
Resposta omissa

25
50
75

Fonte: PISA 2012. Elaborada pela autora.

109

A Tabela 1 contm algumas estatsticas descritivas referentes idade do

aluno, autoconceito em Matemtica e nvel socioeconmico. A mdia e
mediana da idade 15,75 anos, 50% dos alunos tm entre 15,5 e 16 anos,
25% tm idade compreendida entre 16 e 16,2 anos e os restantes entre
15,25 e 15,5 anos. Se considerarmos6 os valores omissos por planeamento
como sendo completamente aleatrios (Little & Rubin, 2002), verificamos
que a mdia e mediana do autoconceito em matemtica so negativas
numa escala crescente com mdia 0 e varincia 1 nos pases da OCDE, e
que o ndice de nvel socioeconmico tem distribuio positivamente
assimtrica, denotando maior concentrao de indivduos nos valores
menores do ndice e cauda longa direita. Usando o coeficiente de
variao aplicado escala original de HISEI para a comparao da
variao relativa do nvel socioeconmico entre pases, observa-se que
Portugal ocupa a posio 53., entre 67 pases, listados por ordem
crescente do coeficiente de variao. Entre os pases europeus, Portugal
ocupa a ltima posio da lista, sendo imediatamente precedido pela
Romnia, Polnia, Litunia e Grcia.

A Tabela 2 contm a mdia, desvio padro e coeficiente de variao de

variveis7 que aferem o desempenho em Matemtica, Leitura e Cincias
dos alunos que frequentavam o 10. ano de escolaridade em 2006, 2009 ou
2012, conforme dados do PISA. Verifica-se que a mdia do desempenho
dos alunos que atingiram o 10. ano de escolaridade maior do que a
mdia da OCDE. Dependendo do domnio, a mdia apresenta uma
tendncia de estabilidade ou de aumento no perodo de tempo abrangido.
Apesar de algumas limitaes tcnicas/operacionais na comparao das
mdias de desempenho no PISA ao longo do tempo (e.g. Klein, 2011), no
6

Tudo indica que as anlises que tm sido feitas com estas variveis pelo consrcio PISA, tais
como as que constam do relatrio (OECD, 2013) consideram os valores omissos por planeamento
como sendo completamente aleatrios.
7

Estatsticas descritivas obtidas a partir das variveis Plausible values in math 1 (PV1MATH),
Plausible values in reading 1 (PV1READ), Plausible values in science 1 (PV1SCIE), com peso
amostral W_FSTUWT. As estimativas obtidas com as restantes variveis resultantes do processo
de imputao mltipla (PV*MATH, PV*READ, PV*SCIE) confirmam a afirmao.

110

contexto de progressiva reduo da taxa de reteno que se verificou em

Portugal entre 2000 e 2012, os resultados apresentados indicam que no
houve deteriorao da qualidade da educao. Contudo, ainda h muitas
questes por responder relativamente ao fenmeno da reteno. As
questes endereadas neste trabalho so respondidas com base nas
variveis acima descritas.
Tabela 2. Desempenho dos alunos de 10ano no PISA 2006, 2009, 2012
Domnio
Matemtica

2006

2009

2012

Mdia

519.4

531.09

535.25

Desvio padro

68.77

73.52

73.31

0.13

0.14

0.14

Mdia

531.23

532.24

534.75

Desvio padro

69.39

66.58

69.77

Coeficiente de variao
Leitura

Coeficiente de variao
Cincias

0.13

0.13

0.13

527

531.27

532.28

Desvio padro

66.69

68.56

69.42

Coeficiente de variao

0.13

0.13

0.13

Mdia

Fonte: PISA 2012. Elaborada pela autora.

Considerando os casos vlidos e a definio frequencista, a probabilidade

do aluno nunca ficar retido em algum ano de escolaridade no ISCED 1 (1
e 2 ciclos do ensino bsico) de 0,77 e a de ficar retido pelo menos um
ano de 0,23.
Ao longo do ISCED 2 (3ciclo do ensino bsico), o aluno que nunca ficou
retido no ISCED 1 tem uma probabilidade de 0,95 de assim continuar, e
uma probabilidade de 0,05 de ficar retido pelo menos 1 ano desse ciclo. J
o aluno que ficou retido pelo menos um ano no ISCED 1, tem
probabilidade de 0,49 de no ficar retido no ISCED 2 e probabilidade de
0,51 de ficar retido pelo menos 1 ano nesse ciclo de ensino (cf. Tabela 3).

111

Dito de outro modo, a maioria (51%) dos alunos que reprova no 1. ou 2.

ciclos do ensino bsico volta a reprovar no 3ciclo.
Tabela 3. Probabilidade condicional de reteno ISCED 2 | ISCED 1
Reteno <ISCED 2>

Reteno <ISCED 1>

No

Sim

Total

No

0.95

0.05

1.00

Sim

0.49

0.51

1.00

Fonte: PISA 2012. Elaborada pela autora.

Deve notar-se como a probabilidade de reteno no 3. ciclo difere

consoante se trate de um aluno que foi retido at ao 6ano de escolaridade
ou no. Naquele caso a probabilidade 0.51 enquanto neste 0.05. Estas
estimativas sugerem que a reteno precoce um forte preditor da
reteno tardia.

A Tabela 4 apresenta as probabilidades de reteno calculadas

considerando os dois grupos extremos de nvel socioeconmico (HISEI).
Isto , o grupo de alunos cujo nvel socioeconmico menor do que o 1.
decil da distribuio HISEI e o grupo de alunos cujo nvel socioeconmico
maior do que o 9. decil.
Nas colunas [1] e [2] as probabilidades de reteno para os 10% alunos
mais desfavorecidos e favorecidos, respetivamente. No grupo mais
desfavorecido a probabilidade de reteno 0.593 enquanto no grupo mais
favorecido 0.053. Tais probabilidade calculadas com base na varivel
Reteno <ISCED 1> so, respetivamente, 0.496 e 0.014, e com base na
varivel Reteno <ISCED 2> so 0.329 e 0.042. Qualquer que seja o
nvel ISCED a probabilidade de reteno maior no grupo mais
desfavorecido socioeconomicamente. De notar que o risco relativo de
Reteno <ISCED 1> sugere que a probabilidade de reteno no ISCED 1
35.4 vezes maior no grupo mais desfavorecido do que no grupo mais
112

favorecido. Ligando este resultado ao da subseco anterior, segundo o

qual a ocorrncia de reteno precoce potencia reteno tardia,
encontramos um padro.
Tabela 4. Probabilidade de reteno nos grupos
HISEI menor 1 decil; HISEI maior 9 decil
1. decil
[1]

9. decil
[2]

Razo de probabilidades
[1]/[2]

Reteno

0.593

0.053

11.19

Reteno <ISCED 1>

0.496

0.014

35.43

Reteno <ISCED 2>

0.329

0.042

7.83

Probabilidade

Fonte: PISA 2012. Elaborada pela autora.

Atravs da aplicao de mtodos estatsticos aos dados portugueses do

PISA 2012, mostrmos a influncia do nvel socioeconmico na
probabilidade de reteno, em particular na probabilidade de reteno
precoce. Verificmos que a reteno precoce (ISCED 1) um forte
preditor da reteno tardia (ISCED 2). Os resultados sugerem que entre os
alunos que ficaram retidos no nvel ISCED 1 (1. e 2. ciclos do ensino
bsico), a maioria deles (51%) volta a ter essa experincia no ISCED 2
(3. ciclo do ensino bsico). Entre os alunos que nunca reprovaram no
ISCED 1 apenas 5% fica retido no nvel ISCED 2.
Tais resultados mostram que para os alunos mais desfavorecidos
socioeconomicamente se configura um imenso cenrio de desigualdade de
oportunidades, com incio na escola, a partir dos 7 anos de idade. Note
que, segundo as estatsticas oficiais, no ano letivo 2012/13, a taxa de
reteno e desistncia no 2. ano de escolaridade (crianas com 7 anos de
idade) do ensino pblico atingiu 10,5%.

113

Tendo em mente o debate internacional sobre o efeito de longo prazo da

reteno escolar, por exemplo em termos do mercado de trabalho e dos
salrios (e.g. Eide & Showalter, 2001) e considerando que Portugal se
encontra entre os pases da OCDE com maior grau de desigualdade na
distribuio do rendimento (apenas com posio relativa melhor do que a
Turquia e o Mxico) (OECD, 2008; p. 27), com apreenso que vemos as
taxas de reteno voltar a aumentar.
Tambm mostrmos que a mdia do desempenho dos alunos portugueses
nos testes PISA apresenta uma tendncia de estabilidade ou de aumento
entre 2006 e 2012, na sequncia do que j acontecida desde o ano 2000.
No contexto de progressiva reduo da taxa de reteno que se verificou
em Portugal entre 2000 e 2012, essa tendncia sugere que a correo do
fluxo escolar ocorreu sem deteriorao da qualidade da educao.
Os resultados obtidos obrigam interpelao de governantes e mentores
de polticas pblicas no sentido de garantir que qualquer interveno que
possa inverter as conquistas alcanadas em matria de desempenho do
sistema educativo seja respaldada em estudos de base cientfica. Os
resultados tambm conduzem necessidade de continuar a formular
medidas orientadas a subpopulaes especficas, mais sujeitas ao risco de
reteno
tal como
as
crianas
provenientes
de
grupos
socioeconomicamente desfavorecidos. De facto, h muitos anos que h
consenso generalizado entre investigadores de todo o mundo que a
reteno escolar uma soluo injusta, pedagogicamente ineficaz e
dispendiosa (e.g. Paul, 1997). Por exemplo, a reviso sistemtica da
literatura no que concerne s polticas de reteno baseadas em exames,
apresentada por Huddleston (2014) sobre a realidade nos Estados Unidos,
indica que embora alguns estudos mostrem ganhos na mdia do
desempenho acadmico devido reteno escolar baseada em exames,
existe evidncia crescente de que esses ganhos limitaram as oportunidades
educativas para os alunos mais vulnerveis.
A anlise de dados foi realizada sob o pressuposto de valores omissos
completamente aleatrios, pressuposto esse que pode no ser vlido
perante a realidade. Face inexistncia de open data para fins de
114

investigao cientfica j mencionada na seco dois, a facilidade no

acesso aos dados do PISA um dos aspetos que o investigador portugus
valoriza. No entanto, no devem ser esquecidas as limitaes do PISA
para a investigao cientfica em educao (e.g. Eivers, 2010). Ferro &
Couto (2014) referem que a identificao e diagnstico atempado de
grupos de alunos ou clusters de escolas que exijam a implementao
atempada de programas de melhoria, bem como a avaliao de polticas,
programas ou mtodos especficos, no dispensam dados longitudinais
mensurados na unidade estatstica aluno e que permitam a comparao de
resultados de desempenho escolar dos alunos ao longo do tempo.
A verso alargada deste captulo consta do artigo Ferro (2015).

Brophy, J. (2006). Grade repetition.

http://www.smec.curtin.edu.au/iae/

Paris:

UNESCO.

Retrieved

from

DGEEC. (2013a). Educao em Nmeros - Portugal 2013. (Direo-Geral de Estatsticas

da Educao e Cincia, Ed.). Lisboa: Direo-Geral de Estatsticas da Educao e
Cincia.
DGEEC. (2013b). Perguntas mais frequentes. Lisboa. Retrieved from
http://www.dgeec.mec.pt/np4/179/%7B$clientServletPath%7D/?newsId=213&fileN
ame=MISI_FAQ_siteDGEEC_20130218.pdf
Eide, E. R., & Showalter, M. H. (2001). The effect of grade retention on educational and
labor market outcomes. Economics of Education Review, 20, 563576.
doi:10.1016/S0272-7757(00)00041-8
Eivers, E. (2010). PISA: Issues in implementation and interpretation. The Irish Journal
of
Education,
38(2010),
94118.
Retrieved
from
http://www.jstor.org/stable/20789130
EUROSTAT. (2013a). Smarter, greener, more inclusive? Indicators to support the
Europe 2020 strategy. Luxembourg: European Union. doi:10.2785/11619
EUROSTAT. (2013b). Upper secondary or tertiary educational attainment and early
leavers from education and training, 2007 and 2012.
Ferro, M. E. (2015). Tpicos sobre reteno em Portugal atravs do PISA. Education
Policy Analysis Archives [Arquivos Analticos de Polticas Educativas], 23(X),
Accepted.

115

Ferro, M. E., Beltro, K. I., & Santos, D. (2002). Polticas de no-repetncia e a

qualidade da educao: evidncias obtidas a partir da modelagem dos dados da
4asrie do SAEB-99. Estudos Em Avaliao Educacional, 26, 4773.
Ferro, M. E., Beltro, K. I., & Santos, D. P. (2007). O impacto da politica de norepetncia na proficincia dos alunos da quarta srie: um estudo sobre o Sudeste
brasileiro. Revista Brasileira de Estatstica, 68(229), 6998. Retrieved from
http://biblioteca.ibge.gov.br/visualizacao/monografias/GEBIS - RJ/RBE/RBE 2007
v68 n229.pdf#page=68.
Ferro, M. E., & Couto, A. P. (2014). The use of a school value-added model for
educational improvement: a case study from the Portuguese primary education
system. School Effectiveness and School Improvement, 25(1), 174190.
doi:10.1080/09243453.2013.785436.
Ferro, M. E., & Dias, M. (2010). A reteno dos alunos, a composio da escola e o
desempenho em matemtica: algumas pistas a partir do PISA [Repetition, school
composition and performance in mathematics: some clues based on PISA]. In G.
Ramalho (Ed.), Impacto das Avaliaes Internacionais nos Sistemas Educativos.
Lisboa: Conselho Nacional de Educao.
Ferro, M. E., & Fernandes, C. (2003). O efeito-escola e a mudana -d para mudar?
Evidncias da investigao brasileira. REICE - Revista Electrnica Iberoamericana
Sobre Calidad, Eficacia Y Cambio En Educacin, 1(1). Retrieved from
http://www.ice.deusto.es/rinace/reice/vol1n1/FerraoyFernandes.pdf.
Freitas, M. A. T. (1947). A escolaridade mdia no ensino primrio brasileiro. Revista
Brasileira de Estatstica, 8(30/31), 395474.
Ganzeboom, H. B. G. (2010). A new International Socio-Economic Index [Isei] of
occupational status for the International Standard Classification of Occupation 2008
[Isco-08] constructed with data from the ISSP 2002-2007. In Annual Conference of
International Social Survey Programme. Lisbon.
Ganzeboom, H. B. G., De Graaf, P., & Treiman, D. J. (1992). A standard international
socio-economic index of occupational status. Social Science Research, 21, 201239.
Gomes-Neto, J. B., & Hanushek, E. a. (1994). Causes and consequences of grade
repetition: Evidence from Brazil. Economic Development and Cultural Change,
43(1), 117. doi:10.1086/452138.
Huddleston, A. P. (2014). Achievement at whose expense? A literature review of testbased retention policies in U.S. schools. Education Policy Analysis Archives,
22(18). Retrieved from http://dx.doi.org/10.14507/epaa.v22n18.2014.
Klein, R. (2011). Uma re-anlise dos resultados do PISA: problemas de comparabilidade.
ENSAIO: Aval.Pol.Pbl.Educ, 19(73), 717741.

116

Klein, R., & Ribeiro, S. C. (1991). O censo educacional e o modelo de fluxo: o problema
da repetncia. Revista Brasileira de Estatstica, 52(197/198), 545.
Little, R. J. A., & Rubin, D. B. (2002). Statistical analysis with missing data (2nd ed.).
New Jersey: John Wiley & Sons Inc.
Lyche, C. S. (2010). Taking on the completion challenge: a literature review on policies
to prevent dropout and early school leaving. OECD Education Working Papers, 53.
Ministrio da Educao. Decreto-Lei no213/2006, Dirio da Repblica, 1asrie - no208
(2006).
Ministrio da Educao. Decreto-Lei no88/2007, Dirio da Repblica, 1a srie, no63
(2007).
Montmarquette, C., Viennot-Briot, N., & Dagenais, M. (2007). Dropout, school
performance, and working while in School. Review of Economics and Statistics,
89(4), 752760. doi:10.1162/rest.89.4.752.
OECD. (2008). Growing unequal?: Income distribution and poverty in OECD Countries.
doi:10.1787/9789264044197-en.
OECD. (2013). PISA 2012 Results: Ready to learn: Students engagement, drive and selfbeliefs (vol. III). Paris. Retrieved from http://dx.doi.org/10.1787/9789264201170en.
OECD. (2014a). PISA 2012 Results: what students know and can do student
performance in Mathematics, Reading and Science (vol.I, Revised edition, February
2014). Paris. Retrieved from http://dx.doi.org/10.1787/9789264201118-en.
OECD. (2014b). PISA 2012 Technical Report.
OECD. (2014c). PISA 2012 Technical report Programme for International Student
Assessment
(December
2014).
Paris.
Retrieved
from
http://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf.
Paul, J. (1997). Le redoublement lcole: Une maladie universelle? International
Review of Education, 43(5-6), 611627.
Roderick, M. (1994). Grade retention and school dropout: Investigating the association.
American
Educational
Research
Journal,
31(4),
729759.
doi:10.3102/00028312031004729.
The Council of the European Union. (2011). Council Recommendation on policies to
reduce early school leaving. Official Journal of the European Union, C 191, 16.
Retrieved
from
http://localeducation.eu/Portals/EducationalSystems/Council_
recommendation.pdf.

117

Quero, nesta fase de encerramento, assinalar as ideias que gostaria de

partilhar convosco.
Primeira ideia: estou claramente impressionado pela qualidade da
investigao que se est a fazer sobre este domnio e devo confessar que,
sendo tambm investigador, fico muito feliz pelos excecionais trabalhos
que esto ou j concludos ou em curso. Registo no s a qualidade, mas
tambm a quantidade, porque evidente que j temos aqui muita gente
envolvida em investigao sobre bases PISA.
Em segundo lugar, sobre a riqueza das pistas de reflexo que foram aqui
deixadas no vou enunci-las todas, eventualmente aquilo que poderei
fazer destacar algumas, sem obviamente menosprezar as restantes. Dois
ou trs comentrios, nomeadamente a partir do termo mais utilizado ao
longo do dia: reteno. Tenho andado a falar sobre este problema da
cultura de reteno, porque o fenmeno no uma mera repetio de ano,
o contexto social e cultural que permite, viabiliza, de certa forma,
institucionaliza, uma determinada atitude perante a reteno. Houve uns
amigos, que so sempre muito crticos nos artigos e nos blogues e nos
jornais, que disseram, quando eu falei de cultura de reteno: L est ele
a atacar os professores. bvio que se eu quisesse atacar os professores
falava das prticas de reteno. Quando falo de cultura precisamente
porque isto muito mais do que a prtica de reter um aluno, ou seja, um
contexto de escola, um contexto profissional, mas tambm um
contexto social, que, de certa forma, enquadra esta caracterstica que
uma caracterstica marcante dentro daquilo que o funcionamento do
sistema de ensino. Foi aqui lanado um novo conceito, que a chamada
luso-reteno, e penso que valer a pena pensarmos sobre isso. Julgo que
no h luso-reteno, porque foi analisado aqui o caso de Portugal, o caso
do Brasil, mas as elevadas taxas de reteno em Espanha, em Frana e na
Holanda (j para no falar no Luxemburgo, porque haver uma
1

Presidente do Conselho Nacional de Educao.

119

componente de luso-reteno no Luxemburgo) tero em grande parte a ver

com os valores sociais que esto associados ao valor da educao e ao
valor que se d educao enquanto instrumento de promoo social ou
enquanto instrumento de seletividade social. Este o que penso ser o
ponto, mas, enfim, sei que terei de demonstrar isto melhor, nomeadamente
porque quando se afirma que as prticas de reteno tm muito a ver com
aquilo que a tradio, ou seja, fao assim porque o que se faz, essa
tradio uma tradio claramente punitiva. E, portanto, a reteno
transporta uma espcie de punio por no se ter atingido aquilo que seria
desejvel, quando na verdade, noutros contextos sociais, o que acontece
que aos primeiros sinais de que no se esto a conseguir atingir objetivos,
em vez de se punir, ainda se apoia mais.
O desafio conseguirmos inverter aquela lgica. Foi aqui muito bem
enunciado que a tendncia em termos de longo prazo para a diminuio
da reteno, mas preocupante nestes ltimos dois, trs anos, esta
inverso, esta conteno da tendncia. Esperava que, neste contexto, devo
confessar (e agora vou analisar melhor os dados que foram aqui
apresentados), esse aumento da reteno se tivesse registado nos anos que
tm exame, mas assim no foi. Continua a ser nos anos a seguir
transio de ciclo (tradicionalmente j o era) que o aumento se verifica. E
isto que querer dizer? Que no pelo efeito exame que os midos so
retidos. Isto , o efeito exame sobre a reteno pode ser considervel, deve
explicar uma parte da reteno, mas no explica talvez a maior parte da
reteno. E este um problema que levanto, eventualmente a precisar de
investigao acrescida, porque admiti a hiptese que pudesse haver aqui
um efeito de induo, nomeadamente da introduo dos exames do 4. e
do 6. ano, levando a que esta obsesso pelos rankings conduzisse
algumas escolas a serem mais exigentes e mais seletivas com os alunos
que vo a exame. Ora bem, se isso no se revela quando se faz a anlise
ano a ano, tenho de repensar a minha posio. Portanto, vou tentar ver se
se justifica rever ou no rever a minha posio, porque se assim for, ento
temos um problema que no s da cultura de reteno, tem em grande
parte a ver com a articulao no sistema educativo entre os diferentes
ciclos.
120

Em terceiro lugar, as questes relativas cultura de avaliao interna,

dentro das prprias escolas, e o que eu diria mesmo ser a qualidade e
adequao dos instrumentos de avaliao interna. Vamos ter em janeiro
um novo seminrio, sobre avaliao interna, tambm na sequncia do que
fizemos em abril, sobre avaliao externa. Nessa ocasio, levantei o
problema: criticam tanto os exames e a avaliao externa, mas eu no sei
o que que mais obscuro: se a avaliao externa, se a avaliao
interna, porque as disparidades nos critrios e nos padres de avaliao
so to grandes que se levanta precisamente esse problema: saber como
que se faz avaliao interna. E mais: aceito, dado que sempre fui um
defensor dos rankings, que podem existir efeitos perversos (existem
obviamente) da publicao dos resultados das escolas sob a forma de
rankings, sobre o comportamento das escolas relativamente aos alunos,
entre outros aspetos. Mas h uma coisa que eu sei, h um efeito de
induo do exame sobre o tipo de avaliao que se faz na escola, ou seja,
eu admitiria como situao tima que houvesse uma avaliao sumativa
externa que fosse complementar de uma avaliao formativa interna e que
as duas, no fundo, se influenciassem mutuamente. Essa
complementaridade dava-me as duas grandes dimenses do que deve ser a
avaliao. O que est a acontecer que, ao longo da avaliao feita no
perodo de frequncia, temos um conjunto de diferentes avaliaes
sumativas, sucessivas, e no sei at que ponto que isso acaba por
desqualificar o processo de avaliao interna. No sei, uma hiptese que
eu coloco, ainda que, como natural, eu aceite a ideia de que todos temos
de conhecer melhor os instrumentos de avaliao interna das escolas,
porque haver uma diversidade muito grande de procedimentos, pelo que
deveramos intervir, quer ao nvel da formao contnua, quer ao nvel da
formao inicial. Temos alguns investigadores a trabalhar sobre currculo
na formao de professores e, na maior parte dos currculos desta
formao, a rea das didticas, bem como a rea das tcnicas e dos
instrumentos da avaliao so desprezados. Pura e simplesmente. E faz-se
avaliao como outros faziam dantes e, portanto, h um processo de
continuidade, de manuteno, relativamente ao que est institudo. Julgo

121

que algo que valeria a pena considerar como pista de reflexo para o
prximo seminrio.
Por fim, fiquei muito impressionado com o facto aqui demonstrado: os
resultados so melhores do que parecem, ou seja, contextualizando,
considerando vrias perspetivas, a progresso dos resultados portugueses
neste estudo internacional ser melhor do que aquilo que os dados
sintticos deixam revelar. Os resultados so melhores do que aquilo que o
pas merece. O que pretendo dizer com isto? Estando perto da mdia da
OCDE nos resultados PISA, a pergunta : em quantos outros indicadores
de desenvolvimento econmico e social que estamos na mdia da
OCDE? Assim, alguns dos comentrios feitos pelo Professor Conboy
relativamente ao sistema de ensino so um bom ponto de reflexo.
Andamos sempre a afirmar que o sistema de ensino mau, porque
funciona mal, mas, analisados os resultados, o sistema no to mau
quanto parece. Portanto, alguma ponderao sobre o efeito do sistema de
ensino sobre os resultados aconselhvel. Por outro lado, importante
no esquecer que, se o sistema no to mau quanto parece, tem, ainda
assim, alguns aspetos em que podemos claramente fazer melhor. o caso,
que hoje ficou evidente, da reteno. Nesse aspeto a dimenso seletiva do
sistema muito forte, com impacto, naturalmente, na seletividade
educativa e, tambm, na seletividade social. E isto no s um problema
de ineficincia, um problema de ineficcia, porque a escola no se fez
para selecionar, a escola fez-se para integrar, para promover o capital
humano, o saber, a dimenso humana na formao das pessoas. Julgo que
o que foi aqui apresentado, nomeadamente sobre a reteno, o conceito
mais repetido, nos deve dar algum alento para voltarmos a pegar neste
assunto e tentarmos discutir algumas das solues que outros pases j
tiveram de encontrar e at de algumas escolas que em Portugal j as
adotaram. Vale a pena refletir e tentarmos observar como que tm vindo
a encarar a reteno. Complementarmente, importante olharmos para o
facto de as retenes se registarem fundamentalmente aps a transio
entre ciclos. Parece que temos um sistema educativo em escala cada vez
que terminamos um ciclo temos de dar um salto, temos de passar para o
degrau seguinte. A questo que a capacidade de educao fsica dos
122

alunos no suficiente para aguentar estes embates, estes solavancos, na

transio de ciclo para ciclo. Valer, ento, a pena, pensar sobre a forma
como est organizado em ciclos o sistema de ensino. E a forma de
organizao em ciclos corresponde a uma lgica de culturas escolares
diferentes, acompanhadas sobretudo por culturas profissionais diferentes.
E esta uma questo que o desafio dos Agrupamentos Escolares coloca
como integrar e compatibilizar culturas escolares diferentes, de forma a
que o aluno no seja prejudicado por estes solavancos na transio entre
ciclos de escolaridade.
H algo que me deixa confiante: temos ainda um potencial de melhoria
muito considervel. Com os valores que foram aqui apresentados, com os
valores da reteno, considerando, ainda, alguma engenharia de sistemas
que possamos vir a fazer, a expetativa muito positiva e deixa-me
naturalmente satisfeito e acima de tudo convicto de que se continuarmos a
discutir estas coisas poderemos, no necessariamente apontar medidas
(esse um problema de polticas), mas de identificao de problemas, de
diagnstico, de sustentao desse mesmo diagnstico, e de apontar vias
possveis, pelas quais a deciso poltica optar, escolhendo a que lhe
parecer melhor, porque no h um caminho, h vrios. E assim os vrios
governos, as vrias foras polticas escolhero os caminhos, desde que
conheam as vantagens e as desvantagens de cada uma das opes. E esse
o nosso trabalho, enquanto especialistas, permitir que as polticas
pblicas sejam as melhores, no sendo to voluntaristas quanto muitas
vezes so. E esse o meu papel enquanto Presidente do Conselho
Nacional de Educao: no lanar achas para a fogueira, encaminhar o
calor que a fogueira d para poder encontrar solues mais teis para que
possamos viver melhor.
O meu agradecimento, em primeiro lugar, aos conferencistas, em segundo
lugar, aos presidentes de mesas, e a todos que esto aqui presentes, pela
dedicao e colaborao reveladas pela vossa presena e pelas vossas
intervenes.

123

Conselho Nacional de Educao

Rua Florbela Espanca
1700-195 Lisboa
Portugal
Tel.: (+351) 217 935 245
cnedu@cnedu.pt
www.cnedu.pt