tablir une correspondance entre les tests

TOEFL, TSE, TWE et TOEIC

et le Cadre Europen Commun de Rfrence (CECR)
Rsum
Contexte
Le Cadre Europen Commun de rfrence pour les langues (CECR), dont la finalit est de
promouvoir la mobilit internationale et professionnelle, a t labor par des linguistes et spcialistes
pdagogiques de renom issus des tats membres du Conseil de lEurope. Le CECR dfinit les
comptences en matire de comprhension orale, dexpression orale, de comprhension crite et
dexpression crite dans une langue, quelle quelle soit. Ce Cadre sarticule autour de six niveaux,
regroups en trois branches :
A1 A2 (Utilisateur lmentaire)
B1 B2 (Utilisateur indpendant)
C1 C2 (Utilisateur expriment)
Le Cadre dcrit lusage et les connaissances linguistiques, pour chaque niveau, par le biais de
descripteurs positifs de type capacit faire . Le CECR est largement utilis par les apprenants,
les enseignants, les concepteurs de programmes ainsi que par les organismes dvaluation dans le
but de coordonner les efforts en faveur de la promotion des comptences linguistiques.
Ces descripteurs sont utiles pour les apprenants car ils peuvent servir dobjectifs dapprentissage et
de facteurs de motivation. Les descripteurs sont utiles pour les enseignants car ils servent dobjectifs
denseignement et peuvent tre utiliss comme outil de discussion sur le perfectionnement
linguistique de lapprenant. Ils permettent aux concepteurs de programmes dlaborer des cours et
des supports dans le but de promouvoir ce perfectionnement. Ils revtent galement une utilit pour
les organismes dvaluation car ils contribuent dfinir les spcifications des tests (la liste des
comptences values lors dun test) et lorganisme peut ds lors dvelopper des tests permettant
didentifier les niveaux de comptence et de dterminer la matrise dun objectif dapprentissage. En
outre, le fait dtablir une correspondance entre les tests et les niveaux de comptence du CECR
permet aux apprenants, aux enseignants et aux personnes prenant des dcisions sur la base des
rsultats des tests (comme les universits, les employeurs, etc.) de comparer les performances de
lapprenant par rapport tout test effectu dans toute langue.

Objectif de ETS
Lobjectif de ETS a consist identifier les scores correspondant au niveau B1 (Seuil) et au niveau C1
(Comptence oprationnelle effective) pour les examens ETS suivants : le test danglais langue
trangre version papier (TOEFL), le test dexpression orale en anglais (TSE), le test dexpression
crite en anglais (TWE) et le Test danglais comme outil de communication internationale (TOEIC).

Le TOEFL est un test bas sur un questionnaire choix multiple qui permet dvaluer les
comptences en matire de comprhension orale, de comprhension crite et de structure
(grammaire), dans un contexte acadmique.
Le TSE mesure la capacit sexprimer dans un environnement acadmique ou professionnel.
Le TWE mesure la capacit organiser et dvelopper ses ides en utilisant un anglais crit correct.
Le TOEIC est un test bas sur un questionnaire choix multiple qui permet dvaluer les
comptences en matire de comprhension orale et de comprhension crite dans lenvironnement
de travail.

Les niveaux B1 et C1 ont t choisis car il sagit des niveaux daccs aux branches B et C. lavenir,
ETS ralisera des tudes de normalisation aux fins dtablir une correspondance entre les scores de
la nouvelle gnration de tests TOEFL et le CECR. Le nouveau test sera mis en place en 2005 et
permettra dvaluer les comptences en matire dexpression orale, de comprhension orale, de
comprhension crite et dexpression crite.

Etude de normalisation
La normalisation est le processus par lequel des experts aviss formulent des recommandations sur
les exigences de score qui correspondent au niveau de connaissance, de comptence, de matrise ou
de rceptivit dont les candidats doivent faire preuve pour tre placs dans une catgorie donne. Ce
processus est parfois appel talonnage des performances . Le rsultat final de la normalisation
consiste en une exigence minimale recommande, galement dsigne score limite ou score seuil.
Ce processus devrait tre appliqu lors de la dtermination des exigences de score de multiples fins
y compris les admissions dans les tablissements suprieurs, lemploi ou lavancement, et lors de
ltalonnage des performances de test par rapport un cadre conceptuel comme le CECR.

Participants ltude
Cette tude de normalisation de ETS a t ralise auprs de deux panels composs de 21
enseignants danglais et spcialistes de lvaluation linguistique provenant de 14 pays europens. Les
panels ont particip un atelier de normalisation qui sest tenu en Europe sur deux jours. Le Panel 1
tait charg des tests TOEFL, TSE et TWE, et le Panel 2 tait en charge des tests TOEIC. Latelier
avait pour but didentifier les scores planchers qui seraient exigs pour que les apprenants soient
classs dans les niveaux B1 et C1.

Mthodologie
Avant latelier, il a t demand aux participants de rexaminer les informations sur les tests ETS et
sur le CECR et de dcrire sur papier les caractristiques cls des niveaux B1 et C1 en matire
dexpression orale, dexpression crite, de comprhension orale et de comprhension crite.
Au cours de latelier, il a t demand aux participants de discuter des caractristiques cls quils
avaient numres avec le groupe et de convenir dun ensemble de descripteurs pour chaque
comptence linguistique. Cette discussion avait pour but de parvenir une vision commune sur les
niveaux du CECR qui guiderait les participants dans leur formulation dopinion sur les scores.
la suite de la discussion prliminaire, les panels ont commenc le processus de normalisation. Le
Panel 1 sest dabord concentr sur le TSE (expression orale) et le TWE (expression crite), puis est
pass au TOEFL (comprhension orale, comprhension crite, structure). Le Panel 2 sest concentr
sur le TOEIC (comprhension orale, expression crite) uniquement. Dans le processus de
normalisation, diffrentes procdures permettent didentifier les exigences minimales en matire de
scores pour les tests choix multiple et pour les preuves rponses construites.

1.
2.

3.
4.
5.

Pour les scores du TSE et du TWE, les procdures suivantes ont t appliques (Mthode de
ltalonnage des performances) :
Les participants ltude ont examin des exemples de questions et des exemples de rponses pour
les tests TSE et TWE.
Pour chaque question, les participants ont chacun dtermin les scores quun apprenant devrait
obtenir pour entrer dans la catgorie des niveaux B1 et C1 et ont formul leurs premires
recommandations sur les scores planchers.
ETS a prsent sous forme de tableau les moyennes du groupe, les notes maximales et les notes
minimales ainsi que les carts types afin que le panel puisse en discuter.
Une discussion de groupe a t organise afin que chacun puisse tirer enseignement de lopinion des
autres.
Chaque participant du panel a formul une recommandation finale sur le score plancher applicable
chaque niveau.

Pour les scores du TOEFL et du TOEIC, les procdures suivantes ont t appliques (Mthode Angoff) :
1.
Les participants ltude ont examin des questions soumises dans le cadre des preuves de
comprhension orale, de comprhension crite et de structure (structure TOEFL uniquement).
2.
Les participants ont chacun dtermin, sur une chelle de 0,1 0,9, la probabilit selon laquelle un
apprenant postulant aux niveaux B1 et C1 rpondrait correctement chaque question et ont formul
leurs premires recommandations sur les rsultats planchers.
3.
ETS a prsent sous forme de tableau les moyennes du groupe, les notes maximales et les notes
minimales ainsi que les carts types afin que le panel puisse en discuter.
4.
Une discussion de groupe a t organise afin que chacun puisse tirer enseignement de lopinion des
autres.
5.
Chaque participant du panel a formul une recommandation finale sur le score plancher applicable
chaque niveau.

Rsultats
Une fois que les recommandations finales des participants du panel ont t prises en compte et
calcules, les rsultats obtenus ont permis de dterminer les scores suivants pour le TOEFL, le TSE,
le TWE et le TOEIC, lesquels scores correspondent aux niveaux B1 et C1 du CECR. Bien que
lpreuve du TOEFL sur support informatique (TOEFL CBT) nait pas t prise en considration dans
ltude, les scores du TOEFL CBT indiqus dans ce tableau sont comparables aux scores que les
participants du panel ont recommands pour lpreuve version papier (TOEFL PBT). Consultez le site
www.ets.org/toefl sur lequel figure le tableau de concordance TOEFL CBT-PBT utilis aux fins de
cette extrapolation.
preuve ETS et section de
chelle des
Score
lpreuve
scores
minimal B1
TOEFL PBT Total
310 677
457
TOEFL PBT Comprhension
31- 68
46
orale
TOEFL PBT Comprhension
31 67
46
crite
TOEFL PBT Structure
31- 68
45
TOEFL CBT Total
0 300
137
TOEFL CBT - Comprhension
0 30
12
orale
TOEFL CBT - Comprhension
0 30
13
crite
TOEFL CBT - Structure
0 30
14
TSE*
0 60
45
TWE**
0 6,0
4,5
TOEIC Total
10 990
550
TOEIC Comprhension orale
5 495
320
TOIEC

Comprhension
5 495
240
crite
* Les scores du TSE et TOEIC augmentent par tranche de 5 points.
** Les scores du TWE augmentent par tranche de 0,5 point.

Score
minimal C1
560
56
56
56
220
22
22
23
55
5,5
880
480
395

Interprtation des rsultats

Les tablissements, les employeurs, les responsables de programmes danglais et les apprenants
peuvent interprter les scores planchers recommands pour les tests TOEFL, TSE, TWE et TOEIC
qui correspondent aux niveaux B1 et C1 - en se rfrant aux descripteurs gnraux et aux exemples
de descripteurs de comptences figurant la page 4.
Mme si les rsultats permettent dinterprter les scores obtenus aux tests de ETS, il est important de
se souvenir de ce qui suit :
1.

2.

3.

Le CECR est un cadre conceptuel labor par des experts linguistiques et des spcialistes de
lenseignement, mais il ne sagit pas dun cadre se fondant sur une approche empirique (mme si les
descripteurs du CECR sont inspirs par la recherche, ils ne sont pas calibrs de faon empirique et ne
sont pas prsentement justifis par des donnes sur les performances).
Les rsultats exposs plus haut reprsentent les recommandations dexperts aviss. Toutefois, ils
devront tre considrs comme des lignes directrices car il nexiste pas de scores limites, absolus et
formels.
Il existe toujours une cart type de mesure (ETM) associe chaque preuve. titre dexemple, pour
le TOEFL PBT, lETM est denviron 13 points et, pour le TOEFL CBT, elle est denviron 10 points.

Implications
Les tablissements, socits et autres organisations se servant du CECR comme rfrence peuvent
accepter les scores obtenus aux tests TOEFL, TSE, TWE et TOEIC outre les autres tests qui ont t
mis en correspondance avec le Cadre. De mme, les apprenants peuvent comparer leurs
performances aux tests ETS par rapport aux autres tests.
En rsum, pour le TOEIC
Niveau europen
(CECR)
C1
B2
B1

Score TOEIC
associ
850 pts
750 pts
550 pts

Rapport technique (bientt sur le site Web de ETS: www.ets.org/ell)

Tannenbaum, R.J., & Wylie E.C. (2004). tablir une correspondance entre les rsultats des tests et le
Cadre Europen Commun de Rfrence : dfinition de normes de comptences linguistiques
applicables au test danglais langue trangre (TOEFL), au test dexpression orale en anglais (TSE),
au test dexpression crite en anglais (TWE) et au test danglais comme outil de communication
internationale (TOEIC). Princeton, NJ: Educational Testing Service.
Pour obtenir de plus amples informations sur cette tude de normalisation ou pour demander
une copie de ce rapport technique, envoyez un courrier lectronique : toeflnews@ets.org ou
info@ets-europe.org.
Pour obtenir des informations sur les produits dApprentissage de la langue anglaise proposs
par ETS :
Europe : appelez-nous au +31 30 230 3730, ou envoyez-nous un courrier lectronique
info@ets-europe.org
Etats-Unis : appelez-nous au +1-800-241-5393, ou envoyez-nous un courrier lectronique
ell@ets.org
Partout ailleurs dans le monde : appelez-nous au +1-609-683-2328, ou envoyez-nous un
courrier lectronique internationaldevelopment@ets.org