ASPECTOS METODOLGICOS DO PROCESSO DE SELEO PARA O INGRESSO NAS UNIVERSIDADES BRASILEIRAS

Ncia M. Bessa(*)

6 propsito deste trabalho chamar a ateno para a necessidade de ser realizada uma avaliao objetiva do processo de selego de alunos para o ingresso nas universidades brasileiras e, em particular, para alguns aspectos metodolgicos dos exames vestibulares que no podem ser ignorados em qualquer avaliao deste tipo. J h alguns anos, em publicao do MEC (MEC-DAU, 1974), reconhecia-se explicitamente a necessidade de pesquisas e avaliaes para fundamentar o desenvolvimento do planejamento educacional. Especificamente em relao Is provas utilizadas 110s vestibulares, a necessidade de informao baseada em pesquisas metodolgicas ressalta dos pronunciamentos de especialistas, em simpsios, pareceres e publicaes (Barroso, 1970; Bessa, 1970; Bessa 1976; Chediak, Bessa, Bechara et alii, 1975; Fernandes, 1979; Soares, 1978; Vianna, 1970). Alm dos estudos realizados anualmente pela Fundao Cados Chagas e pela Fundao Cesgranrio sobre as provas dos respectivos vestibulares e de alguns,estudos metodolgicos (Barroso, 1973; Buchweitz, 1976; Sanchez et alii, 1979; Vianna, 1976; Vianna, 1978), poucas tm sido as publicaoes de estudos empricos que focalizam aspectos metodolgicos da construo e da interpretao dos resultados das provas empregadas na seleo de alunos que demandam as universidades hrasiieiras. A falta de informaes objetivas, a discusso sobre os problemas envolvidos nos exames vestibulares tem sido deslocada do nvel puramente tcnico para o domnio da retrica e da opinio baseada na experincia pessoal. Provavelmente, tero contribudo para esse estado de coisas o incipiente de&nvoi&ento da avaliao de projetos educacionais no Brasil e a fragilidade da tradio de pesquisa e ensino na rea das medidas educacionais. No demais, portanto, discutir a finalidade e a natureza de uma avaliao objetiva dos

") Da Pontifkia Universidade Catlica do Rio de Janeiro.

exames vestibulares, assim como alguns problemas metodolgicos com relao s provas utilizadas no processo de seleo. A qualidade dessas provas importante para a eficincia do processo de seleo. As provas, por si ss, no podem responder pela eficincia do processo - que depende de um conjunto de variveis prprias do contexto em que se realiza cada seleo. Entretanto, importante a avaliao de sua qualidade, pnis no sistema brasileiro os resultados obtidos nessas provas constituem a nica base para a discriminao entre os que devem e os que no devem ingressar nas universidades. Na primeira parte do presente trabalho, so focalizadas algumas caractersticas do processo de Seleo para o ingresso de alunos nas universidades brasileiras, que so relevantes para uma avaliao do sistema A seguir, so discutidos aspectos metodolgicos dos estudos para avaliao da discriminao entre candidatos de desempenho superior e inferior nas provas dos vestibulares, dos estudos de fidedignidade e de validade das notas obtidas nessas provas.
AVALIAO DO PROCESSO DE SELEO
A avaliao de projetos educacionais tomou grande impulso, principalmente nos Estados Unidos, a partir de 1960. O vulto dos investimentos realizados nesse pas em projetos educacionais inovadores, a complexidade desses programas e o desenvolvimento da tecnologia atuaram, entre outros fatores, motivando a orientao de novas metodologias de avaliao de programas educacionais. Passou-se a ligar a avaliao ao processo decisrio; ou seja, o problema bsico da avaliao passou a ser a coleta das informaes necessrias para que se pudesse tomar uma deciso sobre continuar ou no um programa educacional, alter-lo ou d-lo por terminado. Trata.se no apenas de definir objetivos, de medir comportamentos, de verificar a congruncia entre objetivos visados e resultados obtidos; a coleta de informaes dirigida, tambm, para a finalidade de formulao de alternativas de deciso que possam fundamentar, com realismo, uma poltica educacional. Embora a metodologia da avaliao de programas educacionais continue suscitando discusses (Coulson, 1978; Kennedy, 1978; Pettigrew, 1978; Rogosa, 1978), uma caracterstica predomina na aplicao de uma variedade de modelos de avaliao: a preocupao com o controle rigoroso na obteno de informaes e com a adequao da anlise (Feshbach, 1978; Stufflebeam et alii, 1971, 26-32; Weisberg, 1978)'. Sem se confundir com a pesquisa educacional, da qual se diferencia por servir a fins diversos e por focalizar programas especficos, a avaliao de programas educacionais utiliza o mesmo rigor e os mesmos processos empregados nos vrios tipos de pesquisa educacional. nesse sentido que uma avaliao dos processos utilizados nas universidades brasileira: para a admisso de alunos poderia servir de base para a tomada de decises realistas. No seria simplesmente uma discnsso das qualidades ou deficincias das provas empregadas nas selees operadas pelas diversas universidades; nem apenas o resultado do trabalho de comisses, cujas opinies, embora valiosas, so expressas em pareceres inevitavelmente permeados de subjetividade. A avaliao de programas, atualmente, requer o emprego de especialistas para a formulao de modelos adequados, para o controle da coleta de informaes e para a anlise dos dados (Stufflebeam et alii, 1971, 302); no caso particular do acesso aos cursos superiores brasileiros, a presena de especialistas em medidas educacionais torna-se indispensvel, dado o papel que as provas desempenham na seleo dos candidatos. 6 o rigor metodolgico que assegura resultados confiveis para que possam ser sugeridas alternativas de deciso sobre o processo de seleo de alunos para as universidades, de tal modo que as decises sobre alteraes a serem introduzidas no processo se fundamentem na verificao objetiva das vantagens e desvantagens do atual sistema.

(')

Atuaimenre, membros de vrins associa5es americanas preparam os Standards for Evaluatmn of Fducatianal Rograms, Rojects, and Materials a serem publicados em breve.

40

Quando se fizer uma avaliao objetiva dos processo de seleo utilizados para o ingresso nas universidades brasileiras, ser importante verificar com tm sido solucionados, na prtica, vrios problemas metodolgicos envolvidos na construo e na interpretao dos resultados das provas empregadas. Entretanto, essas provas so utilizadas como parte de um processo mais amplo e sua avaliao no pode ignorar certas caractersticas do conjunto (Bessa, 1916, 1&22). Duas dessas caractersticas, das mais relevantes para uma avaliao do sistema de seleo, so focalizadas a seguir. PROCESSOS DE SELEO PRATICADOS POR DIFERENTES INSTITUI~ES
No h um sistema nico de seleo para o ingresso em nossas universidades; h diversos sisiemas, praticados por diversas instituies. Esses sistemas podem ter caractersticas comuns, principalmente em relao a prticas estabelecidas por lei ou pelo uso. Entretanto, diferem basicamente quando apresentam um conjunto diferente de provas para cada instituio, um conjunto diferente de opes para ingresso nos cursos superiores e quando o prprio conjunto de cursos oferecidos difere quanto a diversos aspectos. Assim sendo, no teria sentido uma avaliao que no considerasse cada sistema praticado para a seleo de alunos, separadamente. Isto , no teria sentido avaliar-se o sistema de ingresso nas universidades brasileiras em geral; isto equivaleria a pretender.se avaliar um sist.ema abstrato, em lugar dos casos concretos. No sentido que se lhe d, atualmente, em educao, a avaliao de programas considera cada caso particular, coletando informaes relevantes para a tomada de decises sobre cada um deles. No se avalia, portanto, um sistema abstrato de seleo, mas os diversos sitemas existentes, separadamente; ou seja, avalia-se o sistema de seleo da PUC-RJ, ou o da USP, ou o das universidades fdiadas a Fundao Carlos Chagas, ou o daquelas fdiadas i Fundao Cesgranrio, por exemplo. De outro lado, os aspectos em relao aos quais os sistemas de seleo diferem nas vrias instituies tornam-se relevantes para uma avaliao dos mesmos na medida em qne podem afetar os resultados obtidos pela seleo. Numa reviso da literatura sobre seleo de pessoal, Bray e Moses (1972) observam que ao iniciar-se a dcada de 70 j era crescente a tendncia a considerar-se uma variedade de elementos nos modelos de seleo: considerar-se no somente as medidas de aptido, mas desde o treinamento dos candidatos at a natureza da organizao para a qual se opera a seleo. Desse ponto de vista, importante que uma avaliao da eficincia da,seleo para o ingresso em cada curso universitrio, feita atravs de vestibulares de cada instituio, considere a formao dos candidatos, a composio da populao de candidatos que se apresenta a cada ano, o sistema de opes para cursos e o sistema de vagas a preencher, assim como o currculo e o ambiente d o curso oferecido pela universidade. Tanto quanto as disciplinas e a natureza dos exanies includos no processo de seleo, esses so fatores que podem afetar o resultado obtido. Ou seja, uma avaliao do processo de seleo para determinado curso universitrio no pode considerar apenas o custo do processo e as provas includas, mas tambm uma srie de aspectos, inclusive caractersticas do prprio curso, os quais podem afetar a eficincia da seleo de alunos.

CRITERIOS PARA AVALIAO DA SELEO

Cada curso Universitrio tem objetivos definidos, seja explicitamente, seja implicitamente na estmturao dos programas, na metodologia do ensino, nos processos de verificao do rendimento de aluno etc. O desempenho dos alunos no sentido de atingir esses objetivos constitui um dos critrios para julgar os resultados da seleo para o ingresso no curso universitrio. A avaliao tem papel importante na anlise e na definio de objetivos imediatos ou ltimos que os cursos universitrios pretendem atingir (Scriven, 1967). No caso especfico do processo de seleo para ingresso dos alunos no curso, cabe tambm ao avaliador tornar claras as
41

interrelaes entre esses objetivos, o contexto social em que o curso se insere e o processo de seleo. Solues apropriadas e aceitas por uma sociedade podem no ser adequadas nem aceitas por outras. O volume editado por Ottobre (1976), reunindo os trabalhos apresentados no congresso de 1976 da Internatioml Associorion for Eucutional Assessment. d uma idia da diversidade de processos utilizados para o acesso au ensino superior em diferentes pases e &as condies sociais em que se inserem. No caso particular das universidades brasileiras, cabe ao avaliador estudar c explicitar o papel da universidade na sociedade brasileira contempornea, as expectalivas da sociedade em relao a universidade e o sistema de acesso adotado pelas universidades para seleo de alunos. esse tipo de avaliao que poder servir de base aos planejadores e aos executores de uma poltica educacional em relao aos cursos superiores, para que possam julgar alternativas de deciso e decidir com realismo. A avaliao dos resultados da seleo para o ingresso em um curso universitrio problema a ser tratado empiricamerite. Uma vez definidos os objetivos e os critrios para a seleo dos alunos, trata-se de verificar se os critrios so satisfeitos ese os objetivos so atingidos. Nem scinprc resulta clara, para os educadores, a relao dos objetivos imediatos de um curso universitrio com o papel que a universidade deve desempenhar na sociedade e com o sistema de seleZO de alunos para nela ingressar. Entretanto, importante que se tenha em vista essa relao para que se possa julgar O S resultados obtidos na seleo de candidatos a uma universidade, assini como para julgar a propriedade dos critrios de seleo empregados. Um exemplo bastante explorado da relao que deve existir entre os objetivos dos cursos Universitrios e o.sistema de seleo para o ingresso de alunos dado por Philip Du Bois ( 1 964) em sua palestra de 1964 na conferncia anual sobre testes e medidas educacionais patrocinada pelo Educntionnl Testing Seruire. Du Bois comenta que cerca de 1000 anos antes de Cristo, na falta de instituies universitrias, os chineses possuam um sistema de formao de elites intelectuais atravs da preparao e da seleo operada por uma srie de exames para o ingresso no servio pblico. No sculo XIV, esses exames tomaram a forma de uma competio que atraa milhares de candidatos, que eram avaliados quanto 2 habilidade de escrever em prosa e verso. Du Bois observa que os chineses, j ento, reconheciam que o desempenho em condies controladas cuidadosamente permite estimar o desempenho futuro, no trabalho; alm disso os exames abriam oportunidades iguais a todos os homens, havendo grande Cuidado em conscrvar a igualdade de condies durante as provas, realizadas sob fiscalizao severa. Em certas fases dos exames, a preoucpao com a objetividade de julgamento levava a fazerem-se cpias dos trabalhos escritos, que eram codificados, sendo cada um submetido ao julgamento feito, independentemente, por trs juizes. Este tipo de seleo, baseada no desempenho verbal, serviu bem i sociedade chinesa at o sculo XlX; foi ento que passou a mostrar-se inadequado para contribuir para o tipo de formao requerido para aqueles que deveriam impulsionar u desenvolvimento cientfico e tecnolgico do pas no mesmo sentido do mundo ocidental. Mudaram os critrios, isto , mudaram as tarefas que deveriam ser executadas pelos indivduos cujo desempenho deveria ser previsto com base nos resultados dos exames de seleo. Os exames tiveram que ser mudados tambm. Um outro exemplo serve para esclarecer a importncia da relao entre os objetivos dos cursos universitrios e o sistema de seleo para a admisso de alunos: uma anlise, ainda que superficial, do sistema de ensino superior norte-americano mostra diferenas marcantes de objetivos, que o distinguem do sistema brasileiro. Ficam tambm evidentes as dificuldades para a adoo de um dos sistemas de seleo como modelo para o outro pas. Ao descrever os objetivos dos cursos universitrios americanos, ao nvel do coliege, Jameson e Ottobre (1976) distinguem inicialmente dois tipos de instituies: o community college e o tradicional college de trs a quatro anos. Apesar da flexibilidade que caracteriza os dois tipos de instituies, o primeiro tem o objetivo pnncipai da formao profissional, feita em dois anos, semindo a s necessidades da comunidade que o sustenta, O segundo requer, do aluno, um longo perodo dedicado ao aperfeioamento de sua educao geral, conquanto j o prepare para cursos superiores profissionaiizantes. Neste ltimo caso, terminado o curso secundrio, quando ingressa na universidade americana, com cerca de dezoito anos de idade, que tipo de formao
42

deve o aluno receber? Espera-se que ele complete sua educao geral, que faa uma escolha vocacional e, se desejar, que se prepare para ingressar em um curso de graduao - por exemplo, medicina, on matemtica, ou histria etc. Os community college, em sua maioria, no so seletivos, aceitando quase todos os estudantes que terminam o curso secundrio e desejam neles ingressar. Quanto ao college de trs a quatro anos, ainda segundo Jameson e Ottobre, grande parte deles adota um processo de seleo que inclui desde notas no curso secundrio, testes de aptido, at entrevistas e cartas de recomendao. Os programas oferecidos ao aluno que ingressa em universidades brasileiras tm objetivos diferentes daqueles do Coliege americano. O aluno brasileiro que termina o curso secundrio j deve fazer uma escolha vocacional, antes de se inscrever para a seleo pelos exames ves. tibulares, pois deve optar por um curso de medicina, ou de engenharia, ou de biologia etc. Este j um ponto importante para o sucesso da seleo, pois pode refletir-se no desempenho do aluno na universidade; no sistema educacional brasileiro, o aluno que termina o cnrso secnndrio aos dezoito anos de idade deve fazer uma escolha vocacional ajas erros podem comprometer seu futuro por vrios anos, quando se trata de ingressar em um curso superior. Perante a sociedade brasileira, a universidade assume a responsabilidade, dentre outras, de formar profissie nais competentes. Dessa incumbncia as universidades brasileiras devem cuidar desde o momento do ingresso de aluno em seus cursos. Se h de haver um processo de seleo, os objetivos do processo so diferentes daqueles do sistema americano, posto que os objetivos do college so diferentes dos objetivos da universidade brasileira. O sistema de seleo dever ser diferente, portanto, em vista dos propsitos a que deve servir. O critrio principal para uma avaliao dos resultados da seleo de alunos para um curso universitrio o desempenho em um curso profissionalizante - bem diferente do critrio americano, em que o desempenho do aluno 6 verificado em relao a disciplinas requeridas para o aperfeioamento de uma educao geral. Ao avaliar os resultados da seleo, no caso brasileiro, importante considerar que cada curso universitrio apresenta um conjunto especfico de disciplinas, que podem ser comuns a alguns cursos dentro de uma mesma rea de ensino, mas que divergem em geral, dos cursos de outras reas. O rendimento escolar dos alunos deve ser medido em relao s disciplinas oferecidas em cada curso, para servir de critrio de avaliao dos resultados da seleo. Obviamente, esse critrio varia de um curso para outro. O avaliador deve considerar que as provas utilizadas nos processos de seleo devem servir para predizer o desempenho em conjuntos diferentes de disciplinas.

A QUALIDADE DAS PROVAS EMPREGADAS NOS VESTIBULARES

So focalizados nesta seo alguns problemas metodolgicos, que so universais e que tm sido objeto de estudos durante o ltimos cinqenta anos, pelo menos. Nesse perodo, desenvolveram-se, na Amrica e na Europa, uma tecnologia e uma teona estatstica dos testes educacie nais e psicolgicos. Em 1950, com o livro dc Gulliksen, aparece a primeira obra em que sistematizada a teoria dos testes educacionais e psicolgicos -hoje denominada de teoria clssica. Em 1968, o livro de Lord e Novick apresenta algumas teorias estatsticas dos testes, alm da si* tematizao da teoria clssica. 0 no contexto da teoria clssica que so discutidos, aqui, alguns problemas relativos 1 fidedignidade e i validade dos escores ou notas obtidas nas provas empregadas nos vestibulares e discriminao que podem conseguir entre o desempenho superior ou inferior dos candidatos.

DISCRIMJNAO E DISTRIBUIAO DAS NOTAS OBTIDAS

Houve tempo em que predominava uma certa mstica, entre educadores, em relao4. forma da distribuio de freqncia das notas obtidas por um grupo de alunos, em uma prova. Es43

pera-se que em grandes p p o s de alunos, que apresentassem certa heterogeneidade quanto ao conhecimento adquirido sobre determinado assunto, as notas obtidas em uma prova bem elaborada, versando sobre tal assunto, tivessem uma distribuio aproximadamente normal ou seja semelhante da Figura i.
~

Fil
40 20 O O

34,i3% 3 , 3O/O 4i

1 0

20

30

40

50

60

70

80

90

Notas
Figura 1 - Exemplo de Distribuio Normal de Freqncia de Notas de u m Rova

No h razo para se esperar que a distribuio de notas de uma prova seja aproximadamente semelhante & Figura 1, nem para pensar que a prova no foi bem elaborada quando se obtm uma distribuio diferente. Na realidade, quando se deseja selecionar os melhores candidatos entre os que so superiores quanto ao desempenho na prova, procura-se obter uma distribuio como a da Figura 2.

120

Notas
Figura 2 - Exemplo de Distribuia Assimtrica Positiva de Freqncia de Notas de uma Prova. 44

l? uma distribuio de forma semelhante 3 da Figura 2 que se deseja obter quando se deve selecionar, por exemplo, os 20% superiores, dentre os candidatos, com base no desempenho em determinada prova. A forma da distribuio de freqncia obtida depende do grau de dificuldade das ques. tes e da intercorrelao entre elas. E dosando a dificuldade das questes e suas intercorrelaes que se procura obter a distribuio de notas que poder proporcionar uma discriminao satisfatria, em determinado nvel de desempenho, entre os candidatos superiores e os demais (Cronbach e Warrington, 1952; Guilford, 1954,360). Em relao 3s provas utilizadas nos vestibulares, ser importante verificar at que ponto as distribuies das notas dos candidatos permitem identificar os melhores, no desempenho na prova, dentro de cada grupo que escolhe determinado curso. Note-se que sendo as provas iguais para todos os cursos oferecidos, no h possibilidade de serem planejados de modo a se obter, ainda que aproximadamente, uma distribuio de forma tal que favorea a identificao dos candidatos de desempenho superior dentre aqueles que optam por determinado curso. Na realidade, os responsveis pela construo das provas empregadas nos vestibulares encontram-se na difcil contingncia de preparar um conjunto nico de provas que discriminem satisfaioriamente os candidatos de desempenho superior, dentre os inscritos em Medicina, por exemplo; ao mesmo tempo, essas provas devem identificar, igualmente bem, os candidatos superiores dentre os inscritos em Enfermagem, ou em Servio Social, ou em Fono-Audiologia, por exemplo (Bessa, 1976). Sabendo-se que uma questo pode ser fcil para os inscritos em Medicina e bastante difcil para os candidatos inscritos em outras reas, compreende-se que os problemas encontrados na dosagem da dificuldade das questes de cada prova do vestibular sejam difceis de contornar. l?, pois, importante que, numa avaliao dos resultados obtidos pelo processo de seleo adotado para o ingresso nas universidades, seja estudada a forma da distribuio das notas atribudas aos candidatos que se inscrevem em cada curso. Isto permitir julgar se entre os candidatos inscritos em cada curso, os resultados obtidos em cada prova distinguem satisfatoriamente quais os alunos superiores, dentre os que revelam melhor desempenho. Este tipo de estudo fornecer informaes que podero fundamentar uma avaliao objetiva & forma unificada dos vestibulares, do ponto de vista metodolgico. Evidentemente, a distribuio de notas obtidas pela aplicao de uma prova varia de um gNp0 de indivduos para outro. As sucessivas avaliaes dos exames vestibulares podero indicar os reflexos de alteraes nas caractersticas das populaes de candidatos nos resultados dos exames. Menos bvias, mas igualmente importantes, so alteraes na prpria escala de notas, que se introduzem mesmo quando as provas pretendem medir um mesmo atributo ou conhecimento. Provas semelhantes, constrndas com o objetivo de medirem os mesmos conhecimentos, podem apresentar alteraes na escala de notas. De outro lado, os resultados obtidos pelos indivduos aos quais se aplicam podem refletir alteraes nas caractersticas das populaes que a elas se submetem. O estudo destes dois tipos de alteraes extremamente importante numa avaliao dos resultados dos vestibulares; isto porque um exame superficial das diferenas entre grnpos que se submetem, em pocas diferentes, s provas dos vestibulares pode levar a concluses indevidas. Alguns exemplos podem esclarecer pontos bsicos em que reside a dificuldade destes estudos. A Figura 3 mostra duas distribuies de freqncia de notas supostamente obtidas por dois grupos diferentes em um mesmo teste objetivo de conhecimento. Sendo as notas dos dois grupos do exemplo da Figura 3 obtidas pela aplicao da mesma prova, no h problema em relao comparao de mdias das notas dos grupos; tampouco h problema na comparao do efeito da distribuio dos conhecimentos requeridos pela prova, nos dois gNpos, sobre a seleo dos 10% de alunos superiores dentre os indivduos que conipem cada grupo. Quando se trata de comparar notas obtidas por duas populaes diferentes em duas provas diferentes ainda que as provas pretendam medir os mesmos conhecimentos - enfrenta-se
~

45

Figura 3 -Exemplo de Duas Distribuies do Escores, Obtidos Supostamente por D i Grupos, A e B, aos os q u i s a Mesma Rava T r a Sido Aplicada. ei

o problema de se ter escalas de notas que no so comparveis. Nem sempre alteraes na escala de notas parecem evidentes ao pesquisador. No caso das provas de vestibulares, que so produzidas periodicamente pela mesma instituio, pode-se ter a inteno de medir os mesmos CD nhecimentos e de construir provas aproximadamente equivalentes Entretanto, um exame menos superficial poder detectar alteraes na escala de notas de uma prova a outra, quando ambas pretendem medir os mesmos conhecimentos. Alm de alteraes na escala de notas, uma avaliao cuidadosa deve estudar possveis alteraes na composio das populaes de candidatos que se apresentam a vestibulares sucessivos de uma mesma instituio, posto que tiis alteraes podem ser responsveis por diferenas observadas nos resultados das selees operadas. Serve de exemplo a pesquisa realizada por Beaton, Hiiton e Sckrader (1977), detectando alteraes na escala de escores dos testes e alteraes nas caractersticas das populaes examinadas e seus efeitos nas mdias das notas obtidas em anos diferentes. Essa pesquisa investia possveis explicaes para o declnio observado nos escores mdios do Scholastic Aptitude Test (Educational Testing SeMce, 1968, 17) nos ltimos anos. Embora o declnio fosse observado em vrias reas, o estudo limita-se aos escores dos testes de leitura. Para verificar diferenas, em leitura, entre alunos de escolas secundrias e entre alunos de coliege no perodo de 1960 a 1972, utilizaram-se dados coletados por duas pesquisas realizadas em pocas diferentes: o h j e c t Tulent e o Nafional Longitudinal Study (Beaton et ali, 1977, 3-4). Os testes empregados nas duas investigaes - a primeira, de 1960 e a segunda, de 1972 - eram diferentes e foi preciso realizar um estudo emprico para equacionar os escores de leitura obtidos nos dois estudos e tom-los comparveis. Tomou-se possvel, assim, constatar o declnio havido no perodo estudado, em relao As mdias dos escores da leitura; a diferena confirmou-se tanto em relao As mdias dos estudantes dos ltimos anos da escola secundria, como em relao aos alunos do college. Os resultados do estudo indicam que a populao do college no apresentava alteraes em suas caractersticas, tais que sugerissem uma explicao para o declnio nas mdias dos escores dos grupos em leitur Na escola secundria, porm, os dados mostravam.que a evaso de alunos era menor nos ltimos anos; ou seja, alunos mais fracos, que em 1960 tenderiam a ter abandonado a escola, nela permaneciam, modificando a c o m p i o da populao do secundrio, em 1972. Essa tendncia dos alunos mais fracos a permanecerem na escola secundhia at as itimas sries, em 1972, apontada como um dos fatores que parecem contribuir para o declnio da mdia dos escores de leitura entre 1960 e 1972. De outro lado, o estudo de Beaton et alii procedeu a um ajustamento das escalas dos te* tes aplicados na seleo de candidatos a alguns colleges. O Schokzstic Aptitude Tesr requerido na seleo para o ingresso em um grande nmero de universidades, mas no por todas elas.
46

Trata-se de testes que so construdos periodicamente, pretendendo ser semelhantes, mas que no so paralelos. Foram constatadas diferenas entre as escalas de 1960 e de 1972, sendo necessrio um ajustamento para torn-las comparveis. Tambm na parte verbal desses testes constatou-se um declnio nas mdias obtidas nos dois anos, depois de ajustadas as escalas. Ao concluir este exemplo, note-se que o estudo de Beaton e t alii ilustra dois pontos que so pouco explorados nos estudos que procuram explicar diferenas entre populaes que, em pocas diversas, so submetidas a provas que so semelhantes na aparncia, nos objetivos e no contedo, mas que no so paralelas. O primeiro ponto a necessidade de serem examinadas possveis diferenas entre as escalas e de torn-las comparveis quando isto for indicado. O segundo ponto refere-se i composio das populaes comparadas e seus efeitos sobre as mdias obtidas nas provas a que so submetidas. Nem sempre diferenas entre mdias de diversos gmpos em testes de rendimento escolar podem ser explicadas por diferenas na qualidade de ensino, ou por falhas no processo de seleo. Na pesquisa de Beaton e colaboradores o declnio das mdias dos testes de leitura, n o coiiege no pode ser atribuido a falhas na seleo, pois nem todas as universidades usam o mesmo processo de seleo de candidatos nem as mesmas provas. Uma vez ajustadas as escalas, foi possvel comparar e procurar explicar a diferena entre as mdias dos Scholastic Aptitude Tem; o estudo conclui que esse declinio reflete um menor rendimento dos alunos do secundrio em leitura, estimando que a dimipio do rendimento responsvel por uma diferena. de 12 pontos na mdia do Scholastic Aptitude Test, na parte verbal. Do outro lado, o declnio na mdia dos testes de leitura, nas ltimas sries do curso secundrio, em parte, se deve a diferenas observadas na composio da populao escolar. FIDEDIGNIDADE DAS NOTAS DAS PROVAS DOS VESTIBULARES
A discusso que se vem travando, no Brasil, a respeito da preferncia que se pode dar a provas discursivas, ou a provas de resposta livre, ou a provas objetivas prende-se fundanientalmente ao estudo da fidedignidade (ou preciso) das notas atribudas aos indivduos que se submetem a um ou a outro tipo de prova. Um breve retrospecto sobre o desenvolvimento dos estudos em relao a esses tipos de provas educacionais poder servir para esclarecer o conceito de fidedignidade. As crticas a subjetividade e i impreciso das notas conferidas a provas de tipo discursivo contriburam, em larga escala, para que surgissem as provas objetivas de conhecimentos, na Amrica, por volta de 1920 (Chediak, Bessa, Bechara et alii, 1975; Vianna 1976). Muito antes, as questes de tipo objetivo haviam sido introduzidas em testes que tinham por objetivo medir a inteligncia. Depois dos primeiros estudos na Amrica e na Europa, o trabalho de Binet trouxe uma contribuio definitiva para o desenvolvimento das medidas de inteligncia, na primeira decada deste sculo. A escala de Binet-Smon sofreu sucessivas revises e foi adaptada, na America, por Terman, empregando-se o conceito de quociente intelectual pela primeira vez em um teste psicolgico (Anastasi, 1961, 191). Na Inglaterra tambm os estudossobre medidas de inteligncia tiveram grande desenvolvimento nesse perodo inicial do sculo; as contribuies de Speannan e de Cyril Burt so extremamente importantes. J a essa poca, Burt publicava resultados de surveys indicando uma correlao de 0,32 entre os resultados obtidos por crianas em testes de inteligncia e o nvel scio-econmico dos pais; de suas investigaes, conclui, ainda, que a renda auferida depende do nvel de inteligncia (Burt, 1962, 237-239). interessante notar a semelhana dessas concluses com outras, derivadas de anlises de dados realizadas de modo diferente e em trabalhos bem recentes. Os estudos de Duncan, Featherman e Duncan, por exemplo, publicados em 1972, indicam que homens do mesmo nvel educacional e tendo ocupaes semelhantes tm renda que varia de acordo com seu nvel intelectual (Duncan et alii, 1972, 102). A necessidade de aplicar testes a grandes grupos de pessoas estimulou o aparecimento de testes de lpis e papel, com perguntas de tipo objetivo, que pretendiam medir inteligncia. O teste chamado Army Alpha, por exemplo, contm itens objetivos e foi aplicado largamente a grandes grupos de recursos, pelo exrcito americano, durante a primeira guerra mundial.
47

Os testes educacionais incorporaram os itens objetivos, para a medida de rendimento escolar. Relembrando os primeiros tempos da produo de testes educacionais na Amrica, Buros (1977) descreve como o excesso de confiana nos testes objetivos e a falta de pesquisas e de crtica, levaram ao uso indiscriminado dos testes e A construo pouco cuidadosa de uma enorme quantidade deles (a relao de cerca de 520 existentes em 1927, para cerca de 1500 atualmente). Pela dcada de 30, a baixa qualidade generalizada levou os testes objetivos ao descrdito. Bures considera que nessa poca iniciou-se o periodo de maturidade, de estudos empricos e tericos que permitiram o desenvolvimento das medidas educacionais, principalmente na Amrica e na Inglaterra. Com as provas objetivas, procura-se eliminar uma das fontes de erros de medida: as diferenas entre examinadores ao conferir notas prova de um aluno; ou as diferenas entre critrios utilizados por um mesmo examinador, em diversos momentos quando confere notas s provas dos alunos. Entretanto, a preciso dos escores de uma prova depende tambm das questes que a compem, do nmero de questes, da composio do grupo em que as notas so obtidas, da proporo de respostas dadas ao acaso pelos alunos, das condies de aplicao etc. No possvel eliminar todas as fontes de erros que se introduzem na medida do rendimento escolar. Dos postulados da teoria clssica dos testes educacionais e psicolgicos deduz-se a defini. o de fidedignidade como sendo a correlao entre escores obtidos por uma populao de iudivduos em duas formas paralelas de um teste. Esta correlao igual A proporo davarincia dos escores verdadeiros no total da varincia dos escores observados. Ou seja:

RXX.

4
'e
sx '

correlao entre os escores observados, obtidos por uma populao em dois testes paralelos X e X;

vaiincia dos escores verdadeiros dos indivduos da populao, nos testes paralelos X eX': = se = varincia dos erros de medida, na distribuio de escores observados da populao nos testes paralelos X e x, ' = s y = varincia dos escores observados, obtidos pelos indivduos da populao nos testes paralelos X e X .
=

A proporo da varincia verdadeira na varincia dos escores observados pode ser estimada de vrias maneiras. Utilizando modelos de anlise da varincia, por exemplo, pode-se arranjar experincias controladas de modo a verificar quais os efeitos de certas fontes de erros. Este ti, po de estudo ilustrado pela pesquisa de Myers, McConville e Coffman (l966), que procura estimar a fidedignidade, ou preciso, das notas atribudas por vrios professores a prc 'as de redao. Nessa investigao, quando se estima a fidedignidade das notas conferidas por 'm s professor s redaes, tem-se que cerca de 53% da varincia observada so devidos a erros de medida; quando estimada a fidedignidade das mdias das notas conferidas por quatro professores, as mesmas redaes, essa proporo baixa para 22%. Nos casos de uso de provas discursivas aplicadas a grande grupos de indivduos, o custo operacional envolvido na atribuio de notas leva A utilizao de um s professor para examinar e conferir nota a cada prova. Com a subjetividade desse tipo de julgamento, a varincia devida a erros de medida tende a aumentar; neste caso, a fidedignidade dos escores obtidos tende a diminuir, obviamente. O estudo de Heraldo M. Vianna, com provas de redao, fornece um exemplo, entre os poucos realizados no Brasil (Vianna, 1978). Nas provas objetivas suprime-se a subjetividade do julgamento do examinador como fonte de erro de medida, permanecendo as demais fontes, entre as quais esto as respostas assinaladas ao acaso. Note-se que o coeficiente de fidedignidade das notas obtidas pelos candidatos a
48

ingressar em determinado curso, em um vestibular, pode ser interpretado como um indicador da contribuio das diversas fontes de erros de medidas; nos casos das provas objetivas, entre es. sas fontes esto as respostas dadas ao acaso. Se fosse possvel manter constantes todas as fontes de erros de medida exceto a tendncia a responder ao acaso, nos testes de mltipla escolha dos vestibulares, quanto mais forte essa tendncia se manifestasse entre os candidatos maior.seria sua contribuio para a varincia dos erros de medida; evidentemente, tenderia a baixar a tidedignidade dos escores obtidos pelos candidatos. Como exemplo, na Tabela l , citam-se coeficientes de fidedignidade dos escores obtidos em provas objetivas empregadas nos vestibulares da Fundao Carlos Chagas.

TABELA 1
Mdias, Desvioipadro, Coeficientes de Fidedignidade (Kuder-Ridiardson 20) o Erros-padro da Medida dos Escores Brutos dos Testes do Vestibular da rea Biomdifa da Fundao Carlos Chagas, em I974 (N = 1667) Teste Matemtica Estudos Sociais Ingis Francsa Portugus Qumica Fsica Biologia
-, *. a-

- .7.89 10.48 12.30 16.11 12.98 11.32 10.75 9.90

~~

KR 20
.81 .86 .90 .95

E.P.M.
3.45 3.86 3.78 3.71 4.55 3.82 3.78 3.83

65 75 75 7s 1O0 75 75 75

19.96 37.30 29.02 34.09 48.18 27.57

26.67
~

.%8
.89 .88 .8S

28.91

a Baseando em 714 candidatos que fizeram a prova de Francs, no tendo sido includos na amostra, com os demais candidatos. Nota - Estimativas baseadas em amostra aleatria, da populao de candidatos que fizeram o vestibular da Fundao Carlos Chegas, rea Biomdica, 1974. Adaptado de Bessa, 1976. Fonte original: Vianna, 1974. Na Tabela 1 , o coeficiente de fidedignidade de 0,88 da prova de Portugus, pode ser interpretado como indicando que 88%da varincia das notas observadas no grupo de candidatos so devidos a diferenas do conhecimento da matria abordada pelas questes da prova; on seja, que apenas 12%da varincia dos escores obseivados so devidos a erros de medida de fontes diversas, entre as quais esto as respostas dadas ao acaso pelos candidatos. E extremamente importante que se cuide da qualidade das questes, sendo este um ponto fundamental em relao i preciso das notas de uma prova. Questes mal elaboradas, tecnicamente falhas, introduzem erros nos escores obtidos. Assim tambm, uma prova objetiva, bem elaborada que seja, aplicada inadequadamente a um grupo de pessoas cujo nvel de conhecimentos muito inferior ao requerido pelas questes, pode apresentar resultados com alta proporo de respostas dadas ao acaso. Enfm, o controle das diversas fontes de erros de medida deve ser exercido para que as notas apresentem confiabilidade satisfatria.
49

Os autores da quarta edio dos Slnndords for EdUMtwMI nnd Psychologiml Testsl (Davis, 1974, 50) consideram essencial a recomendao, que fazem, de que sejam fornecidos aos usurios vrios tipos de estimativas, para que se possa juipar se os escores de um teste so suficientemente fidedignos para serem utilizados com o f a que se propem. A apresentao desm sas estimativas de especial importncia quando os escores obtidos por um grupo de pessoas devem servir para fundamentar decises que iro afetar cada indivduo, numa seleo em que alguns so aceitos e outros so rejeitados. O problema da preciso das notas obtidas, seja em provas objetivas, seja em provas cujas notas so atribudas por juizes, cmcial num processo de seleo, pelas implicaes que tem na justia das decises sobre quem ingsessa ou no na universiaade e, at mesmo, na preservao da respeitabilidade do processo. Os Standards (Davis, 1974,51) fazem uma recomendao, tambm considerada essencial, que tem especial relevncia em relao aos vestibulares realizados para o ingresso em universidades brasileiras. E s a recomendao diz respeito a testes que so comumente empregados aplicani do-se a subgmpos que no so homogneos; neste caso, as estimativas que permitem julgar a idedignidade dos escores devem ser obtidas em rela5o a cada subgrupo. Justamente uma das caractersticas das populaes de candidatos que tm ie apresentado nos vestibulares a diferena de nvel de conhecimentos entre os subgrupos que pretendem ingressar em cada um dos diversos cursos superiores (Besa, 1976, 12-13). Se os gmpos que fazem opes por cursos diferentes, no vestibular, tm nvel geral de conhecimentos diferente, importante que sejam obtidas estimativas de fidedignidade com base nos escores dos candidatos de cada um desses grupos em cada prova. A fidedignidade condio necessria, embora no suficiente, para que os escores atribudos aos indivduos submetidos a uma prova sejam vlidos. Da a preocupao com estudos que forneam informaes a respeito da preciso das notas obtidas em cada prova que se aplica a cada populao, ainda mesmo em situaes em que no se trata de tomar decises sobre indivduos ou sobre gmpos, mas de conhecer o desempenho da populao no teste.
VALIDADE DAS INTERF-RETAOES DAS NOTAS OBTIDAS EM UMA PROVA

As notas obtidas por um grupo de indivduos em uma prova podem apresentar alto coe% ciente de fidedignidade e, mesmo assim, podem no ser vlidas as interpretaes que delas so feitas. A impreciso dos escores obtidos implica em no serem viidos; entretanto, a alta preciso no significa necessariamente que as interpretaes que s fazem dos escores sejam vlidas. e A pesquisa sobre a validade dos resultados obtidos por aqueles que se submetem a uma prova deve considerar vrios tipos de interpretaes que deles podem ser feitas. Com base no mesmo conjunto de escores, podem ser feitas interpretaes diversas, algumas vlidas, outras
M-O.

Com relao s provas utilizadas nos vestibulares, preciso ter bem claro o propsito com que so empregadas, quando se investiga a validade das interpreiaes das notas obtidas. Ainda que a resposta parea bvia, uma anlise atenta da situao que se espelha nas discusses sobre os exames vestibulares revela problemas; cabe, pois, perguntar para que so utilizadas as provas que fazem parte do processo de seleo para o ingresso nas universidades brasileiras. Se o propsito verificar o rendimento do aluno que termina o segundo grau, interessa verificar at que ponto as provas refletem os objetivos e o contedo dos programas vigentes. A investigao da vaiidade do contedo, ou cumcuiar, amais importante neste caso. No se trata de verificar se os objetivos de uma taxonomia, como a de Bloom (Bloom et alii, 1956) - que

(*I

A quarta v e G o dur Sfandards foielaborada poi uma comirso de doze membro3 da Amencon Pvycli~ logfcal Assocrnon. da Ammran Educorioirf Xrsemch ArPociormn e do Natiowl Council on Meosu. renienf in Edurorion

50

se tomou quase obrigatria no Brasil -, esto presentes na organizao dos itens das provas Trata-se de verificar se os objetivos dos programas em uso, se o contedo abordado nas diversas disciplinas do currculo esto devidamente representados nas provas. O uso de uma taxonomia, como a de Bloom e colaboradores, na organizao da prova, no significa que objetivos importantes do programa utilizado nas escolas, em relao i disciplina focalizada na prova, estejam presentes. A investigao da validade curricular diz respeito aos objetivos e tpicos que so realmente considerados importantes pelos professores de uma disciplina. No fcil verificar quais so os objetivos visados pelos programas abordados pelos professores do segundo grau; tampouco fcil enquadrar os itens das provas nos objetivos e tpicos de um programa de ensino. Em geral, os professores tm dificuldade em enunciar objetivos com clareza e preciso. Do outro lado, difcil encontrar concordncia perfeita entre juizes que devem classificar os itens de uma prova pelas categorias de objetivos educacionais visados. Em artigo recente, Seddon (1978) cita oito estudos que utilizam entre dois e vinte e dois juizes para clasrificar questes de provas segundo as categorias da Taxonomia de Blmm e colaboradores (1956); as percentagens de perfeita concordncia entre juzes, obtidas nos diversos estudos, variam entre zero e noventa. A metodologia da pesquisa da validade curricular das provas de rendimento escolar evidentemente est a requerer estudos especiais; a variedade de resultados e a divergncia entre as conclusoes a que chegaram diferentes estudos, que utilizam a Taxonomia de Bloom para classificar os objetivos visados pelos testes de rendimento escolar em vrias disciplinas, indicam que h necessidade de novas investigaes, antes de se pretender chegar a uma concluso sobre o assunto. Se os escores obtidos nas provas utilizadas na seleo para o ingresso nas universidades brasileiras devem ser interpretados no sentido de fazer uma previso do rendimento dos alunos em cada cuno universitrio, ento o exame da validade preditiva essencial. Quando os escores dos testes devem ser interpretados no sentido de prever o rendimento dos aiunosnos vrios cursos superiores, espera-se que contribuam para que a seleo resulte em um mximo de acertos. Sempre haver erros na seleo; entretanto, espera-se que os escores dos testes contribuam para que seja mnima a proporo de falsos positivos (indivduos aceitos e que no tm sucesso nos cursos) e de falsos negativos (indivduos rejeitados e que teriam sucesso no curso). Para tanto, os escores dos testes empregados na seleo devem ser vlidos para a previso do rendimento no cursa. Diversos tipos de investigao empregam-se na verificao da validade preditiva dos e m res dos testes utilizados na seleo de pessoal. fi comum encontrar, em manuais de testes de^ aptido, relaes de pesquisas que verificam a correlao entre escores obtidos nos testes e medidas de rendimento escolar ou de desempenho no trabalho. Na l i a de estudo de correlao entre escores de testes e notas obtidas em diversos cursos, situam-se alguns trabalhos publicados no Brasil, entre os quais esto os de Barroso (1973), Barroso et alii (1973), Bessa (1973), Bessa (1971). Bessa e Mettel(1965) e Monteiro (1964). Quando outras informaes sobre a competncia dos candidatos so utilizadas como base para a seleo daqueles que devem ingressar na universidade, alm dos resultados das provas, interessa verificar o quanto estas ltimas contribuem para aumentar a validade preditiva do conjunto de informaes. No processo de seleo de candidatos aos colleges americanos, entre outras informaes, so utilizadas as notas no curso secundrio e o desempenho no Scholostic Aptitude Test; cabe perguntar qual e o incremento na predio das notas no colhge, quando o teste de aptido empregado alm das notas obtidas na escola secundria. O estudo de Fincher (1974), por exemplo, focaliza esta questo, analisando dados coletados durante treze anos com relao aos candidatos e ao respectivo comportamento na universidade. Outro tipo comum de estudo d maior ateno ? anlise de reI gresso, estimando parmetros de equaes de regresso. Numa reviso da literatura de estudos de regresso que focalizam a validade de medidas utilizadas na seleo para o ingresso no college, em diversas populaes, Breland (1978) analisa os resultados de trinta e cinco estudos de regresso que utilizam diferentes preditores e diferentes critrios (ou comportamentos a serem previstos); entre os estudos brasileiros citados, o de Bessa e Mettel(1965) serve como exemplo
51

deste tipo investigao da validade preditiva de escores obtidos no processo de selqo para a universidade. Um outro exemplo apresentado a seguir, utilizando escores obtidos em algumas provas da Fundao Cesgranrio e notas em mat6rias do primeiro ano de Engenharia da PUGRJ. Para esfe exemplo, tomaram-se escores (nmero de questes respondidas corretamente) obtidos nas provas de Portugus, Fsica, Matemtica, Qumica e Biologia, pelos candidatos que se apresentaram ao vestibular da Fundao Cesgranrio em 1977 e ingressaram nos cursos de Engenharia da PUGRJ. Foram tambm tomapas as notas dos alunos desse grupo que se mairicuiama ram efetivamente na PUGRJ e que f r m as provas de Fsica, Clculo I e de Qumica no primeiro ano do curso3. Segundo informao do DAR, essas disciplinas so comuns a todos os cursos de Engenharia da PUGRJ no primeiro ano. No total, inclui-se no trabalho o grupo de 256 alunos de Engenharia que apresentavam notas nas disciplinas consideradas Adotowse um modelo de anlise de regresso mltipla multivariada, com trs variveis cujas mdias interessava predizer e com cinco variveis preditoras - respectivamente, as notas de Fsica, Clculo I e Qumica e as notas de Portugus, Fsica, Matemtica, Qumica e Bioiogia do vestibular. Na especificao do modelo de regresso linear, as variveis preditoras so aleatrias e os valores observados esto representados na matriz X; as variveis cujas mdias se deseja prever so tambm aleatrias e esto representadas na matriz Y.Assim, o modelo representado pela equao Y = X B + E ,onde

Y e X so matrizes que contm, respectivamente, as notas nas provas do curso de Engenharia e as notas nas provas do vestibular; B a matriz de coeficientes de regresso e E a matriz & erros aleatrios, independentes, cuja expectncia igual a zero e cujas varincias so constantes em relao a cada um dos valores de Y. A Tabela 2 apresenta os valores dos coeficientes de regresso padronizados, obtidos para o grupo de alunos estudado.

TABELA 2
Coeficientes de Regress0 Padronizados. Regress0 das Notas de Fsica, de Clculo I e de Qumica, sobre as Notas do Vestibular em Portugus, Fsica, Matemtica, Qumica e Biologia (N = 256) Provas de Vestibulat Portugus Fsica Matemtica Qumica Biologia Fsica
,1342 ,1592 .3265 ,1266 ,1526

Disciplinas do curso Clculo I

.I068 ,0804 ,3539 .O831 .I051

Qumica ,2184 ,0952 ,1233 .2445 ,0856

Nota - Devido a erros detectados na perfurao de cartes, foi preciso processar os dados novamente. Por esta razo, os valores da Tabela 2 no coincidem com aqueles apresentados durante a palestra realizada na PUC-RJ.
(3)

Cabe agradece ao DAR, da PUC-RI e, especialmente, i Sra. M r a Eugnia M.de Oliveira, que facilitaai ram o acesso 2s notas dos alunos Para o pmcessarnento dos dados, o trabalho contou Como equipamento da RDC da PUC-RI.

52

Tomando-se o grupo de alunos, considerado neste exemplo como a populao de interesse para o pesquisador, os valores da Tabela 2 podem ser comparados entre s no contexto das varii veis introduzidas na equao de regresso, j que esto expressos em termos de escores padronizados. Assim, considerando-se o conjunto de variveis preditivas introduzidas na equao, o aumento da nota mdia, na prova de Fsica do curso de Engenharia maior, por unidade de aumento no escore de Matemtica do teste do vestibular do que por unidade de aumento do esc* re das provas de Fsica, ou de Portugus, ou de Qumica, ou de Biologia. Tambm o aumento da nota mdia na prova de Clculo I maior, por unidade de aumento na prova de Matemtica do vestibular do que por unidade de aumento no escore de qualquer das outras provas utilizadas na seleo. J em relao 3 prova de Qumica do curso de Engenharia, a situao diferente, sendo Portugus e Qumica, os melhores preditores; o aumento na nota mdia da prova de Qumica do curso de Engenharia maior, por unidade de aumento do escore de Qumica e do escore de Portugus do vestibular do que por unidade de aumento do escore em Matemtica, ou em Fsica ou em Biologia do mesmo vestibular. Neste exemplo particular, verifica-se que o. desempenho na prova de Matemtica, utilizada no vestibular de 1977 da Fundao Cesgranrio, a melhor preditor da nota mdia das provas de Fsica e da prova de Clculo, no primeiro ano do curso de Engenharia da PUC-RJ; quanto A prova de Qumica desse mesmo ano, a nota mdia melhor prevista pelos escores obtidos na prova de Qumica e na de Portugus do vestibular. Em relao a nossos vestibulares, um estudo deste tipo vale como verificao, a posteriori, da validade preditiva das provas utilizadas no vestibular,-em relao a certas notas do curso tomadas como critrio. A utilizao dos resultados do estudo bastante limitada, posto que as provas dos vestibulares nunca so repetidas, de modo que a equao de previso no pode ser empregada para fazer-se uma previso dos escores que um grupo de candidatos teria no curso de Engenharia da PUC-Rl, com base nos escores obtidos nas provas do vestibular. Por vrias razes, os estudos de validade preditiva dos escores obtidos em vestibulares bra. sileiros devem ser encarados com bastante cautela, apesar de serem grandemente necessrios para um melhor conhecimento tanto dos testes empreegados na seleo como das provas de rendimento nas universidades. Em geral esses estudos s podem ser realizados com base em escores de grupos j selecionados pelo vestibular - no h possibilidade, na prtica, de serem admitidos, a ttulo experimental, candidatos que no so classificados no vestibular. De outro lado, dificilmente as distribuies de notas obtidas nas provas dos cursos universitrios so tais que se justifique o pressuposto de uma distribuio rnultivariada normal. Assim sendo, nem sempre as correlaes obtidas podem ser justamente interpretadas. Tambm, nem sempre so justificveis os pressupostos que devem ser introduzidos para interpretao de testes de significncia, quando se selecionam amostras de candidatos que prestam exames vestibulares. Do outro lado, as concluses sobre a contribuio do desempenho em cada prova utilizada na seleo dos candidatos devem limitar-se ao contexto das provas em que a anlise se baseia; ou seja, a interpretao dos coeficientes de regresso limita-se ao efeito de cada varivel no conjunto das variveis introduzidas na equao de regresso. Se o conjunto de provas empregadas na previso.dos resultados dos alunos nos cursos universitrios se altera, os coeficientes de regresso devem ser obtidos e interpretados dentro do novo contexto de variveis preditivas. Do exemplo e das consideraes sobre a interpretao dos resultados apresentados na Tabela 2, conclui-se que o estudo da validade preditiva, nas condies em que se realizam os vestibulares brasileiros, tem sua utilidade prtica limitada pelo fato das provas no poderem ser repetidas em vrias ocasies. Ao contrrio do que acontece nos casos em que testes padronizados so empregados na seleo de candidatos ao ingresso nos cursos universittios, nos vestibulares brasileiros as equaes de regress0 no podem ser utilizadas na previso dos resultados dos alunos que se candidatam em ocasies diferentes.

53

O APERFEIOAMENTO DO PROCESSO DE SELEAO

A nica maneira de encontrar solues para os problemas da seleo para o ingresso nas universidades brasileiras produzir o mximo de pesquisas empiricas e de avaliaes, observando os requisitos tcnicos para que as concluses tenham a validade. Pretender resolver esses problemas sem base em estudos empricos, faanha que no se justifica atualmente. Note-se que uma das dificuldades para a realizao de pesquisas metodolgicas, na rea educacional, no Brasil, a extrema escassez de pessoal especializado. Poucos so os profissionais formados no exterior e raros so os cams em que essa formao est sendo realizada no Brasil. De qualquer modo, os trabalhos comeam a surgir agora, embora atingindo um pblico limitado pela falta de pessoal especializado. A pesquisa educacional requer tempo, alm de recursos financeiros - tempo para planejamento e implementao, tempo para divulgao, tempo para multiplicao de rplicas da pesquisa, tempo para assimilao dos resultados por aqueles que deles necessitam para aplicaes prticas. De outro lado, aqueles que sentem os problemas, na prtica, e experimentem a necessidade de introduzir alteraes no sistema educacional reclamam solues com urgncia. No fcil para a comunidade de educadores aprender a esperar por solues fundamentadas nos resultados da pesquisa educacional e a apreciar devidamente a resposta dos pesquisadores, quando estes simplesmente dizem que no conhecem suficientemente a questo para oferecer resposta definida. Comentando a histria da pesquisa educacional nos Estados Unidos, Schutz (1979) opina que em relao a alguns setores da educao americana, os pesquisadores j podem ter respostas que sero de algum auxilio na soluo de problemas prticos, mas em outros setores a resposta dos pesquisadores educacionais continua sendo no sabemos o bastante. Ter a pesquisa educacional, no Brasil, respostas para os problemas colocados pelos educadores e pelo pblico em geral, em relao ao processo de seleo para o ingresso nas universidades? Os problemas exigem soluo; se os pesquisadores so cautelosos nas respostas, no h como adiar as pesquisas que podero fundamentar o desenvoknento de processos de seleo em bases objetivas. As alteraes que se introduzem em um sistema educacional tm um custo, que precisa ser medido e precisa ter avaliados os benefcios correspondentes. Essa uma das razes para serem precedidas de pesquisas, que faam prever os resultados que devero produzir. As modificaes no processo de seleo para as universidades constituem apenas um caso particular. No se justifica, pois, que as alteraes nos exames vestibulares continuem sendo feitas com base na retrica ou na experincia de cada um de ns simplesmente.

REFERENCIAS BIBLIOGRAFICAS
ANASTASI, Anne. Psychologbd testing (2nd ed.). New York Macmillan, 196 1. BARROSO, Carmen L. de M. Validade de contedo e preditiva das provas. Cincia e Cultura, 1970, 22(3), 60.67. BARROSO, Carmen L de M. Estudos de predio do comportamento acadmico 11. Cadernos de Pesquisa, 1973,5,55-76. BARROSO, C.L. de M., RIBEIRO Netto, A. COELHO, Maria Helena M.C. Estudos de predio do comportamento acadmico I. Cadernos de Pesquisa,1973,5,37-54. BEATON, A.E., HILTON, T L , SCHRADER, W.B. Changes i the verbal abuities of high n school seniors, wUege entrants, and SAT canddates hetween 1960 and 1972. Princeton: Educational Testig Service, 1977. BESSA, N.M., MEITEL, T.L. Validade de trs testes do DAT (Forma B). Arquivos Brasileiros de Psieotdca, 1965, 17(3), 5-15. BESSA, N.M. Exames vestibulares e problemas de padronizao de testes. Cincia e Cultura, 1970,22(3), 54-59. 54

BESSA, N.M. Testes de desenvolvimento educacional-Manual. Rio de Janeiro: Fundao Cetli0 Vargas, 1971. BESSA, N.M. O poder preditivo dos testes de aptido profissional. Orienta4o - DOEP, 1973, 11,43-57. BESSA, N.M. UNversity entrance examinations i Brazil: Measurement procedures. So Paulo: n Fundao Carlos Chagas, 1976. BiOM, B.S., ENGLEHART, M.D., FURST, E.J., HILL, W.H., KRATHWOHL, D.R. Taxonomy of edncational objedives. Handbnok I; Cogniiive domain. New York: Longmans, Green, 1956. BRAY, D.W., MOSES, J.L. Personnel selection. Annual Review of Psychology, 1972,23,545576. BRELAND, Hunter M. Popuiation d i d i t y and college entrance measures. Princeton: ETS/ CEEB Research and Development Report - (RDR 78-79, 2), 1978. BUCHWElTZ, Bernardo. Testes de mltipla escolha e de resposta livre em Fsica Geral. &dernos de Pesquisa, 1976, 16,3-6. BUROS, O.K. Fifty years in testing: Some reminiscences, criticisms, and suggestions. EducationalResearches, 1977,6(7), 9-10. BURT, C d Mental and schnlastic tests (4th ed.). Londres: Staple Ress, 1962. y. CHEDLAK, A.J., BESSA, N.M., BECHARA, E.C. et ali. Parecer sobre a incluso da prova dm cursiva em concursos vestibulares. Rio de Janeiro: Fundao Cesgranrio, 1975, Mimeografado. COULSON, John E. National evaiuation of the Emergency School Act (ESAA): A review of methodological issues. Jornal of Edncational Statistics, 1978, 3(1), 1-60. CRONBACH, LJ., WARRINGTON, W.G. Efficiency of multiple-choice test as a function of spread of item diffculties. In W.A. MEHRENS, R L . EBEL(Eds.), Principies of educational and psychological measurement. Chicago: Rand McNally, 1967,404-425. DAVIS, Frederick B. (Chair). Standards for educational and psychological tests. Washington: American Psychological Association, 1974. DUBOIS, Phillip H. A test dominated society: China, 1115 B.C. - 1905 A.D. In A. ANASTASI (Ed.), Testing problems in perspective. Washington: American Council on Education, 1966,29-36. DUNCAN, O.D., FEATHERMAN, D.L., DUNCAN Beverly. Socioeconomic background and achievement. New York: Seminar Ress, 1972. EDUCATIONAL TESTING SERVICE. Testing pmgrams. Special Services. Instnictio~l adivities. Princeton: ETS, 1968. FERNANDES, Lcia M. Caractersticas tcnicas dos instrumentos de medida. Cincia e Cultura, 1970, 22(3), 5059. FESHBACH, S. The illusory control group in fE1d research Comments on the ESAA evduation. l o d of Fducational Statistics, 1978, 3(1), 87-93. FINCHER, Cameron. 1s the SAT worth its salt? An evaluation of the Scholastic Aptitude Test in the university system of Georgia over a thirteen-year period. Review of Educationai Research, 1974,44(3), 293-305. GUILFORD, J.P. Psychometnc methnds (2nd. ed.). New York: Mffiraw-Hl, 1954. GULLIKSEN, H..Theory of mental tests. New York: John Wey, 1950. JAMESON, S.C., OTTOBRE, F.M. United States. In F.M. Ottnbre, Admkion to higher edncation i sixteen countnes and some intemational developments. Princeton: International n Association for Educational Assessment, 1976. KENNEDY, Mary M. Findings from the Follow Through Planned Variation Study. Educationai Researcher, 1978, 7(6), 3-11. LORD, F.M., NOVICK, M.R. Stetistical theory of mental test scores. Reading, Mass.: AddisonWesley, 1968. Ministrio da Educao e Cultura, Departamento de Assuntos Universitrios. Peqnisa sobre demanda no ensino superior. Brasiia: Ministrio da Educao e Cultura, 1974.
55

MONTEIRO, Kilda N. Estudo com o D.A.T. (Forma A). Arquivos BrasWis de Psicotcnica, 1964, 16(4), 47-54. MYERS, A.E., MCCONVILLE, C.B., COFFMAN, V.E. Simplex structure in the grading of essay tests. Educational and Psychologiral M-ment, 1966,26,41-54. OTTOBRE, F.M. (Ed). Admission to higher education i sixtcen countnes and some internation nal dewlopments. Princeton: Intemational Association for Educational Assessment, 1976. PETTIGRBN, T.F. Competing evaluation models: The ESAA evaluation. Jounial of Educational Statistics, 1978, 3(1), 99-106. ROGOSA, D. Politics, process, and pyramides. Jounial of Educational Statistics. 1978, 3(1), 79-86. SANCHEZ, A.M., CARONE, F.B., ViANNA, H.M., LAURlTO, I.B.C., MORAES, C.D. Vaiidade de contedo de uma prova de comunicagio e expresso; anlise de alguns problemas, 1979, Mimeografado. SCHUTZ, R.E. Where weve been, where we are, and where were going in Educational R&D. Educational Researcher, 1979,8(8), 6-8. SCRIVEN, M. The methodology of evaluation. AERA Monograph Senes on Curriculum Evalmtion, 1. Chicago: Rand McNally, 1967,3943. SEDDON, C.M. The properties of Blooms Taxonomy of Educationai Objectives for the Cognitive Demain. Review of Educational Research, 1978,48(2), 303-323. SOARES, Magda B., A redao no vestibular. Cadernos de Pesquisa. 1978, 24, 53-56. STUFFLEBEAM, D.L., FOLEY, W.J., GEPHART, W.J.,CUBA, E.G., HAMMOND, R.L., MERRIMAN, H.O., PROWS, M.M. Educational eduatiou and decision making. Itasca, Illinois: F.E. Peacock, 1971. The Evaluation Center. Standards for evaluation of educationai programs, projects, and materials. Educational R e m c h e r , 1979,8(1), 26. VIANNA, Heraldo M. Emprego e caractersticas de provas objetivas. Cincia e Cultura, 1970, 22(3), 68-74. ViANNA, Heraldo ,M. Avaliao das provas do m n c w k vestibular da rea biomdica. So Paulo: Fundao Carlos Chagas, Mimeografado. 1974. VIANNA, Heraldo M. Redao e medida da expresso escrita: algumas contribuies da pesquisa educacional. Cadernos de Pesquisa, 1976, 16,41-47. ViANNA, Heraldo M. Flutnaes de julgamento em provas de redao. Cadernos de Pesquisa, 1976, 19, 5-9. VIANNA, Heraldo M. Aplicao de critrios de correo em provas de redao. Cadernos de Pesquisa, 1978,26,29-34. WEISBERG, Herbert I. How much does ESAA really accelerate academic growth? Jounial of Educational Statistics, 1978, 3(1), 69-78.

56