Propostas e Programas de Avaliao da Educao Bsica

Luiza Massae Uema

Inep/MEC

Frum Permanente de Desafios do Magistrio

Campinas, setembro de 2006

Objetivo

O que tem sido feito no campo da avaliao da

educao bsica

Avaliao em larga escala uma perspectiva Reflexo sobre o uso de resultados alcance e
limitaes

Perspectiva da Avaliao nas Escola

Em sala de aula

Os estudantes so avaliados com base em exames

preparados por seus professores

Os professores utilizam tais exames para determinar

aqueles que possuem condies de avanar no sistema

O baixo desempenho do estudante ,

freqentemente, considerado de responsabilidade do estudante e de suas famlias

Outra perspectiva - avaliaes em larga escala

Externas, com foco nos alunos, nas escolas, nas

redes ou nos sistemas

Metodologia e testes padronizados Populao de grande porte (em larga escala),

representada por amostra, sub-populaes

Proporciona estudos que produzem macro

informaes
Coleman (1966)

As Avaliaes em Larga Escala

Brasil: especialmente nas dcadas de 90 e atual
proliferao de avaliaes em larga escala.

Vrios tipos de avaliao e objetivos: Auto avaliao

Credenciamento
Certificao

Diagnstico
Accountability

As Avaliaes em Larga Escala

Auto Avaliao
Conhecer a situao da prpria aprendizagem, possibilitando tambm, o posicionamento com relao a outros participantes do exame

Avaliaes em larga escala

Exemplo: Exame Nacional do Ensino Mdio - ENEM

Em 2005

Dos 2.199.637 participantes, 1,1 milho so concluintes (52% dos concluintes do ensino mdio) Das 22.918 escolas de ensino mdio que constam do Censo Escolar, 22.014 tiveram ao menos um aluno concluinte que participou do exame (96,05%)
Participantes do Enem 2005

Concluintes
17%

Escolas
5%

27%

43%

52%

73% Privada Pblicas

concluintes egressos outra condio

83%

Privada

Pblicas

Avaliaes em larga escala

Credenciamento Avaliao de resultados com vistas classificao para seleo visando ao ingresso no mercado de trabalho ou em instituies ensino superior
Exemplo: ENEM

- 490 instituies de ensino superior usam o resultado do Enem no critrio de seleo de candidatos a seus cursos de graduao - ProUni

Avaliaes em larga escala

Certificao
Instrumento que visa a formalizar, conforme a legislao educacional vigente, as competncias e habilidades individuais desenvolvidas
Exemplo: Exame Nacional de Certificao de Competncias da Educao de Jovens e Adultos ENCCEJA

Objetivo: aferir conhecimentos e habilidades referentes concluso do ensino fundamental e mdio

Avaliaes em larga escala

Diagnstico Levantamento da situao em determinado momento com vistas formulao, implementao e avaliao de processos ou polticas educacionais Exemplo:

Sistema Nacional de Avaliao da Educao Bsica

SAEB

Avaliao Nacional do Rendimento Escolar - Prova Brasil

Avaliaes em larga escala

Diagnstico

Brasil: Surgimento entre meados das dcadas de 80.

O MEC inicia as discusses sobre uma poltica de
suporte melhoria da qualidade do ensino.

Promove algumas experincias piloto de avaliao

dando ensejo para a implantao, pela ento Secretaria de Educao Bsica, do Sistema de Avaliao do Ensino Pblico de 1 Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliao da Educao Bsica, em 1992.

SAEB
Dois pressupostos bsicos: O rendimento dos alunos reflete a qualidade do
ensino ministrado;

Diferentes fatores explicam a qualidade do

ensino.

Avaliao do SAEB mais do que um teste sobre os

alunos a conjugao de testes de rendimento com questionrios sobre fatores associados

SAEB
Instrumentos padronizados e de carter amostral.
Serve para acompanhar a evoluo do desempenho dos
estudantes ao longo tempo.

Possibilita a comparao do desempenho mdio dos

estudantes entre diferentes estratos

Proporciona estudos que buscam identificar os

determinantes do desempenho dos estudantes.
Relatrio Coleman (1966)

A Institucionalizao do SAEB
Com redemocratizao reflexos na educao
(i) Forte ampliao do acesso escola,
porm ao longo do processo:

(i) a impresso de que os resultados que estavam sendo

gerados no pareciam ser exatamente o que se desejava.

O Pas faz um grande esforo mas ainda

necessrio investir em qualidade. Mas o que isto significa exatamente ? sistema nacional de avaliao poderia trazer informaes
teis sobre o que estaria sendo gerado no sistema educacional e o que seria responsvel pelos resultados obtidos

A Institucionalizao do SAEB
No governo federal, ao final da dcada de 80, o MEC
inicia as discusses sobre uma poltica de avaliao do ensino
fundamental,

promove algumas experincias pilotos, motivando a implantao, pela ento Secretaria de Educao
Bsica, do Sistema de Avaliao do Ensino Pblico de 1 Grau SAEP, que passou a denominar-se Sistema Nacional de Avaliao da Educao Bsica, em 1992.

Apesar de algumas dificuldades:

Os preconceitos em relao a mtodos e tcnicas de avaliao de
aprendizagem, especialmente os em larga escala.

O escasso domnio de competncia e raras oportunidades de

formao acadmica neste campo.

Evoluo
Aps mais de uma dcada

Foram realizados sete ciclos de avaliao Avanos metodolgicos importantes, como a

introduo da TRI

Teoria que permite comparabilidade

Desenvolveram-se planos amostrais que conferem
maior validade aos resultados

O SAEB consolida-se como um instrumento que

garante qualidade e a confiabilidade das avaliaes realizadas.

Forma dos Resultados

Pblico alvo: governantes e pesquisadores

Publicaes com carter muito tcnico, o que inviabilizava a apropriao dos resultados no contexto do quotidiano das escolas

Na ausncia de uma proposta curricular completa e

objetiva: utilizao das matrizes de referncia do SAEB como grade curricular

Demanda por resultados das escolas e dos alunos

individualmente

Avaliaes em larga escala - SAEB

Proficincia Mdia por Srie e Disciplina SAEB/INEP
Lngua Portuguesa
290 270 250 230 210 190 170 150 4a srie EF 8a srie EF 3a srie EM 1995 1997 1999 2001 2003

Avaliaes em larga escala - SAEB

Proficincia Mdia por Srie e Disciplina SAEB/INEP
Matemtica
290 270 250 230 210 190 170 150 4a srie EF 8a srie EF 3a srie EM 1995 1997 1999 2001 2003

Alcance
Para alm dos nmeros
Desempenho varivel dependente
Fatores associados Efeito escola

Instrumento de gesto

Contribuio
Avaliao evoluiu favoravelmente nos ltimos anos

Percebe-se a consolidao de uma importante cultura

depois das resistncias ocorridas nos momentos iniciais

Dissemina-se a compreenso dos alcances, limites e

complementaridade entre os diferentes tipos de avaliao em larga escala

debate iniciado nos ltimos anos dar um salto,

agregando perspectiva da avaliao em larga escala o estabelecimento de padres mnimos de desempenho a fim de que a informao se torne mais til e atinja mais a fundo os aspectos pedaggicos do desempenho.

Limites
No perfeito, vrios aperfeioamentos possveis e muitas
limitaes analticas (o que avaliado)

No poderia responder a todas as necessidades de

informao, porque no foi construdo para

apreender toda a diversidade e singularidade das escolas e

sistemas de ensino

todos os requisitos informacionais necessrios para apurar a

qualidade, ou a evoluo da qualidade do(s) sistema(s) educacional(is)

Perspectivas
Com esse pano de fundo, dentro do INEP:
i) Aprimoramento metodolgico ii) Comparaes Internacionais : PISA, SERCE iii) estimulo a difuso do SAEB e avaliao: Oficinas iv) criao e fortalecimento de sistemas prprios de avaliao parcerias (metodologia, itens, aplicaes etc.) e rede nacional de avaliao v) aprimoramento de pesquisas sobre fatores associados: Condies de oferta Gesto e processos pedaggicos, Condies de alfabetizao etc.

Avaliaes em larga escala Accountability

Avaliao universal com divulgao dos

resultados por escolas (accountability)

O objetivo tornar escolas, professores,

dirigentes do sistema e estudantes responsveis pelo desempenho dos alunos.

E, assim, mobilizar dirigentes educacionais,

professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.

Avaliao universal com divulgao dos resultados por escolas (accountability)

Marco nos sistemas de accountability: Inglaterra
(1988) Centralizao de currculo, maior liberdade para escolha da escola, maior liberdade para a escola gerir os recursos, definio de critrios de desempenho nacional, divulgao dos resultados.

Accountability nas Escolas

Um sistema de accountability envolve:

Exames padronizados em carter universal Ampla divulgao dos resultados Pode ter, ou no, recompensas e sanes atreladas
aos resultados.

Diferentes sistemas diferem

no tipo de exame utilizado, na forma de divulgao dos resultados e nos esquemas de prmios/sanes subjacentes.

Accountability nas Escolas

Polmica
Defensores: avaliao da eficincia melhora
efetiva e rapidamente a qualidade do ensino.

Crticos: pode ter efeitos indesejveis pela

presso demasiada sobre todos os segmentos envolvidos no processo de ensino.

Argumentos favorveis

1. Ao tornar os resultados das escolas mais

transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino.

Melhorar a qualidade de ensino pode exigir

mudanas de prticas e hbitos enraizados no processo escolar e, portanto, de difcil mudana.

Maior transparncia aumenta a presso social

pelas mudanas.

Argumentos favorveis

2. A divulgao dos resultados pode desfazer

certas percepes equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias.

3. Um sistema de prmios/sanes pode

aumentar os incentivos para a melhoria.

Argumentos contrrios

1. Os indicadores de desempenho so medidas

imperfeitas da qualidade da escola: efeito aluno X efeito escola.

Responsabilizar a escola por algo que ela no tem

culpa pode gerar desnimo e piorar o desempenho.

No caso de simples divulgao de resultados, tal

argumento supe uma incapacidade, por parte do pblico interessado, em resolver de forma adequada o problema de extrao de sinal.

No caso de sistemas com prmios/sanses, o resultado

depende muito do desenho.

Argumentos contrrios

1. Os indicadores de desempenho so medidas

imperfeitas da qualidade da escola: efeito aluno X efeito escola.

Responsabilizar a escola por algo que ela no tem

culpa pode gerar desnimo e piorar o desempenho.

No caso de simples divulgao de resultados, tal

argumento supe uma incapacidade, por parte do pblico interessado, em resolver de forma adequada o problema de extrao de sinal.

No caso de sistemas com prmios/sanses, o resultado

depende muito do desenho.

Argumentos contrrios

2. Uma vez que as escolas so cobradas pelo

desempenho dos alunos, elas podem buscar meios no desejados de aumentar a proficincia nos exames:

Estreitamento do currculo
Excluso dos alunos de baixo rendimento

Avaliao e Rendio de Contas

Estudos mostram que:
Sistemas de rendio de contas em si levam a aumentos na
proficincia de alunos

Sistemas de incentivo dependem dos desenhos No evidencias conclusivas sobre excluso

Por outro lado

Responsabilizao Envolvimento da sociedade no debate/definio polticas pblicas

Transparncia A Informao um direito do cidado

diminuio de posicionamento paternalista

A Prova Brasil
Experincia Nova em termos de amplitude nacional: Prova
Brasil (ANRESC) (existem experincias similares nos sistemas)

amplia o escopo da avaliao, deixa de ser o sistema e passa a ser

unidade de ensino,

Possibilidade de mudar o foco: apesar de diagnstico ainda ser

ponto chave, a ele pode ser agregada uma nova e importante dimenso rendio de contas (accountability)

Prova Brasil aplicada em 2005

Universal (no amostral) todas as escolas publicas, urbanas com
mais de 30 alunos na serie

Metodologia igual a SAEB comparabilidade. Cada unidade recebe seu resultado de modo a ser possvel se
comparar com outras escolas

Questionrio simplificado (s alunos)

Divulgao dos resultados As escolas participantes recebem: seus prprios resultados, com a mdia geral de proficincia de seus alunos e a distribuio dos alunos ao longo da escala

mdias do prprio municpio, estado e do pas, referente s escolas que participaram da Prova Brasil livreto com informaes tcnicas sobre a Prova Brasil

Material de Divulgao cartaz com informaes gerais sobre o exame e a escala para avaliao dos resultados em conjunto com a comunidade escolar informativo, com indicadores especficos da escola extrados do Censo Escolar, e mdias das demais escolas que participaram do Prova Brasil

Cada gestor municipal e estadual tambm recebe os mesmos dados