TEORIA DA RESPOSTA AO ITEM:

Conceitos, Modelos e Aplicações

Dalton F. Andrade (dandrade@inf.ufsc.br)

Departamento de Informática e Estatística – UFSC

IME/USP – verão 2005

1
 Conteúdo
 Introdução
 Modelos matemáticos
 Estimação: um único grupo (população)
 Equalização
 Estimação: dois ou mais grupos
 A escala de proficiência: construção e
interpretação
 Modelos para dados longitudinais
 Modelos Multidimensionais
 Modelos Multivariados

2
 Conteúdo
 DIF e DRIFT
 Recursos computacionais: em todos os tópicos
 Principais aplicações no Brasil em Educação
 Aplicações em outras áreas
 Qualidade de vida
 Serviços

 Gestão pela qualidade

 etc

3
 Referências iniciais
 Lord, F.M., Norvick, M.R. (1968). Statistical Theories of
Mental Test Score. Reading: Addison-Wesley
 Lord, F.M. (1980). Applications of Item Response Theory
to Practical Testing Problems. Hillsdale: Lawrence
Erlbaum Associates
 Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).
Fundamentals of Item Response Theory. Newburry Park:
Sage Publications.
 Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria
da Resposta ao Item: Conceitos e Aplicações. São Paulo:
Associação Brasileira de Estatística.

4
 Introdução
 A Teoria da Resposta ao Item (TRI) é um conjunto de modelos
matemáticos que relacionam um ou mais traços latentes (não observados)
de um indivíduo com a probabilidade deste dar uma certa resposta a um
item

 Traço latente: habilidade/proficiência em Matemática, grau de satisfação

do consumidor, grau de maturidade de uma empresa em Gestão pela
Qualidade, etc.

 Item: questão (prova), pergunta (questionário sobre qualidade de vida), ...

5
 A partir de um conjunto de itens (questionário,
prova, ...) deseja-se :
 estimar os parâmetros dos itens (calibração)
 “estimar” a habilidade, proficiência, grau de
satisfação, grau de maturidade, ...

 Exemplos: prova de matemática para alunos de

uma determinada série, questionário sobre os
recursos físicos e pedagógicos da escola (Censo
Escolar do INEP/MEC), questionário sobre
qualidade de vida de pacientes que foram
submetidos a determinado tratamento médico, ..)

6
 Modelos
• Dependem do tipo de item

• Item de múltipla escolha (corrigido como certo/errado)

Logístico (unidimensional) com 1, 2 ou 3 parâmetros
( p/ itens corrigidos como certo/errado)

1
P( U ij  1 |  j )  ci  ( 1  ci )  ai (  j bi )
1 e

7
 Modelo Logístico de 3 parâmetros
Curva característica do item - CCI
1,0

0,8 a
probabilidade de resposta

0,6
correta

0,4
c
0,2 b

0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
iiiiiiii
habilidade (traço latente)

a: discriminação ou inclinação do item

b: dificuldade (medido na mesma métrica do traço latente)
c: acerto casual (probabilidade)
8
 Modelo Logístico de 3 parâmetros
(a=2,5; b=1,2; c=0,2)
1

0,8
probabilidade

0,6

0,4

0,2

0
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
habilidade(traço latente)
P1 P0

9
• Modelo Nominal
(considera todas as categorias de resposta)

exp[a is ( j  bis )]
P (U ijs  1 |  j )  mi

 exp[a
h 1
ih ( j  bih )]

com a is e b is como no modelo Logístico

10
 Modelo Nominal
a=(-2,-1,1,0) e b=(-2,-1,2,1)
1,0
0,9
0,8
Probabilidade

0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente

P1 P2 P3 P4

11
• Modelo de Resposta Gradual
(categorias ordinais)
1
P(U ijs  1 |  j ) 
1  exp[ai ( j  bis )]
1

1  exp[ai ( j  bi ( s1) )]

bi1  bi 2  ...  bim i

12
 Modelo Resposta Gradual
a=1,2 e b=(-2,-1,1)
1,2
1,0
Probabilidade

0,8
0,6
0,4
0,2
0,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente

P0 P1 P2 P3

13
• Modelo de Crédito Parcial: Modelo de Resposta
Gradual sem o parâmetro de discriminação a

•Modelo de Escala Gradual: Modelo de Resposta

Gradual com bis = bi – ds

14
 Aplicações em Avaliação Educacional
 SAEB: Sistema Nacional de Avaliação da Educação Básica
- anos: 95/97/99/2001/2003(outubro)
- séries: 4a. e 8a. do EF e 3a. do EM
- disciplinas: Matemática, Português, Ciências, Física,
Química, Biologia, História, Geografia
- itens de múltipla escolha (95: itens 0,1,2)
- um grande número de itens para cobrir a grade curricular
- provas diferentes para uma mesma série/disciplina (BIB)
- aluno faz somente uma das provas de uma das disciplinas
- http://www.inep.gov.br/basica/saeb/

15
 Aplicações em Avaliação Educacional
 PISA – Programme for International Student Assessment
(Programa Internacional de Avaliação de Alunos)
- anos: 2000(Leitura), 2003(Matemática), 2006(Ciências)
- alunos com 15 anos (independente da série)
- itens de múltipla escolha e itens abertos (corrigidos 0,1,2)
- modelo de 1 parâmetro (somente parâmetro b: dificuldade)
- esquema BIB
- 32 países em 2000
- http://www.inep.gov.br/internacional/pisa/

16
 Equalização
Kolen, M.J., Brennan, R.L. (1995). Test Equating –
Methods and Practices. New York: Springer.

 Resultados de diferentes provas em uma mesma escala

 Exemplo: SAEB (entre séries e anos)

 Como obter resultados comparáveis?

 Itens comuns entre séries e anos

17
 Equalização
 Calibração em separado: equalização pelo princípio da
invariância
 Exemplo: dados do SARESP

Estimativas dos parâmetros dos itens comuns aos grupos 3 ª série 96 e 97.
Parâmetro a Parâmero b Parâmetro c
ª
Item 3 . 96 3ª 97 ª
3 . 96 3ª 97 ª
3 . 96 3ª 97
C3S01 1,37 1,04 -1,27 -2,18 0,01 0,01
C3S02 2,29 1,33 -0,30 -0,90 0,01 0,01
C3S03 2,24 1,18 0,09 -0,18 0,01 0,01
C3S04 1,25 1,08 -2,33 -3,12 0,20 0,25
C3S05 1,63 1,54 -2,09 -2,90 0,21 0,24
C3S06 1,32 1,57 -2,43 -3,14 0,19 0,24
C3S07 1,03 0,79 0,35 0,54 0,22 0,19
C3S08 1,04 0,80 0,96 0,88 0,29 0,25
C3S09 1,37 1,70 0,94 0,82 0,29 0,27
C3S10 0,85 1,17 -0,83 -1,05 0,19 0,23
C3S11 0,99 1,56 -0,12 -0,88 0,22 0,17

18
 Equalização

2
1
3a. série 1997

0
-4 -3 -2 -1 -1 0 1 2

-2
-3
-4
3a. série 1996

19
 Calibração simultânea: Modelo dos Grupos Múltiplos

1
P( U ij  1 |  kj )  ci  ( 1  ci )  ai (  kj bi )
1 e
 Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In
Handbook of Modern Item Response Theory. W.J. van der Linden
and R.K. Hambleton Eds. New York: Springer-Verlag
 Andrade, D.F. (2001). Desempenhos de grupos de alunos por

intermédio da teoria da resposta ao item. Estudos em Avaliação

Educacional, no. 23, 31-70.
 Questões:
- Número e distribuição de itens comuns
- Como ¨posicionar¨ novos grupos em uma escala já construída
- Avaliações Estaduais e outras: itens calibrados + itens novos
20
 Escala Nacional de Proficiência – INEP/MEC
“Régua (métrica) criada a partir dos resultados do SAEB
- Média 250 (rendimento médio dos alunos da 8a. Série em 1997)
- Desvio padrão 50
- http://www.inep.gov.br/download/saeb/2004/
resultados/BRASIL.pdf

Interpretação pedagógica da escala

- Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale
anchoring. Journal of Educational Statistics, 17, 191-204.
- Valle, R.C. (2001). Construção e interpretação de escalas de
conhecimento: um estudo de caso. Estudos em Avaliação
Educacional, no. 23, 71-92.

21
Escala Nacional de Proficiência – INEP/MEC

Língua Portuguesa - Brasil

300
rendimento médio

250

200

150
1995 1997 1999 2001 2003

4a. 8a. 3a.

anos

22
Escala Nacional de Proficiência – INEP/MEC

Matemática - Brasil

300
rendimento médio

250

200

150
1995 1997 1999 2001 2003

4a. 8a. 3a.

anos

23
 Dados Longitudinais

• PDE/FUNDESCOLA

-Alunos de 4a. em 1999 acompanhados até a 8a. s em 2003

-Novos alunos podem entrar no estudo

-Dados Incompletos

- Duas disciplinas (Mat. e Port.): Bivariado

24
  Dados Longitudinais
International Project on Mathematical Attainment - IPMA
(Profa. Ednéia Consolin Poli – UEL)
 
1999 2000 2001 2002 2003

G1- G1- G2- G1- G2- G1- G2- G2-

1ª. 2ª. 1ª. 3ª. 2ª. 4ª. 3ª. 4ª.

Professores 22 22 22 20 18 24 16 17

Alunos 568 557 512 395 309 307 282 270

Escolas 8 8 6 8 6 8 6 6

No. de itens 20 40 20 60 40 80 60 80

Fatores Assoc. - - - - - sim - sim

25
 Dados Longitudinais
Questões:
• Modelos: Longitudinal, Multivariado
• Programas computacionais

Referência:
• Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para
Dados Longitudinais. Tese de Doutorado. IME/USP.
• Andrade, D.F. and Tavares, H.R. (2004). Item response theory for
longitudinal data: population parameter estimation. (aceito para
publicação em Journal of Multivariate Analysis).
• Tavares, H.R. and Andrade, D.F. (2004). Item response theory for
longitudinal data: item and population parameter estimation. (aceito
para publicação em TEST).

26
 • ENEM- Exame Nacional do Ensino Médio

Prova multidisciplinar
Itens multidimensionais

Questões:
Estudar a dimensão: análise fatorial
Unidimensional: eliminar itens multidimensionais
Multidimensional: Propor modelos
Interpretar as dimensões/criar escalas
Desenvolver programas computacionais

• http://www.inep.gov.br/basica/enem/

27
 Aplicações em outras áreas
 Gestão pela Qualidade
- Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Araújo, A.M.S.(2002).
Uma proposta de análise de um construto para a medição dos fatores críticos
da gestão pela qualidade através da teoria da resposta ao item. Gestão &
Produção, v.9, n.2, p.129-141.

 Serviços/Marketing
- Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada
ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR
- Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da
teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC
- Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of
Australasia, v. 1, no. 1, 8-16.

28
 Aplicações em outras áreas
 Médica
- Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical
Methods for Quality of Life Studies. Dordrecht: Kluwer
Academic Publishers
- DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch
Analysis: exploring differences in depression between african-
american and white children. Journal of Social Service
Research, v. 23, no. ¾, 93-107.

 Biologia/Genética
- Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004).
Detection of determinant genes and diagnostic via item response
theory. (aceito para publicação em Genetics and Molecular
Biology).

29