www.credoc.

fr N 299
DCEMBRE 2012 C
A
H
I
E
R

D
E

R
E
C
H
E
R
C
H
E




N

2
9
9

-
P
E
R
F
O
R
M
A
N
C
E
,

E
F
F
I
C
A
C
I
T

,

E
F
F
I
C
I
E
N
C
E

:

L
E
S

C
R
I
T

R
E
S

D

V
A
L
U
A
T
I
O
N

D
E
S

P
O
L
I
T
I
Q
U
E
S

S
O
C
I
A
L
E
S

S
O
N
T
-
I
L
S

P
E
R
T
I
N
E
N
T
S

?
PERFORMANCE, EFFICACIT,
EFFICIENCE :
LES CRITRES DVALUATION
DES POLITIQUES SOCIALES
SONT-ILS PERTINENTS ?
Virginie GALDEMAR
Lopold GILLES
Marie-Odile SIMON
2
2ommaire
2:nthse 99999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 3
$ntroduction 999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 5
PR%;$%R% P"R<$% : %;%R1%'C% &= CO'C%P< &% P%R>OR;"'C% &"'2 0%2 PO0$<$?=%2
P=@0$?=%2 %< CO'2%?=%'C%2 2=R 0=2"1% &%2 $'&$C"<%=R2 999999999999999999999999999999999999 *
$9 &finition et mesure de la performance dans le secteur public 999999999999999999999999999 *
I.1. Quest-ce que la performance dans le secteur public ? ............................................ 9
I.2. Quest-ce quun bon indicateur de mesure de performance?.................................... 13
I.2.1. Les qualits dun bon indicateur de politique sociale ............................................ 13
I.2.2. Une interprtation difficile ................................................................................ 15
I.2.3. Disposer du temps ncessaire lobservation ..................................................... 16
$$9 " quand remonte la notion de performance dans le secteur public franAais ! 999 ,B
II.1. Trois tapes symboliques ................................................................................... 18
II.1.1. En 1946, cration du Comit central d'Enqute sur le cot et le rendement des
services publics. ............................................................................................. 18
II.1.2. En 1968, lancement de la Rationalisation des Choix Budgtaires (RCB). ................ 18
II.1.3. En 2001, vote de la Loi Organique relative aux Lois de Finances (LOLF). ............... 20
II.2. Une volution similaire dans de nombreux pays .................................................... 20
$$$9 0a 0O0> : une nouvelle conception de la construction du bud/et de l%tat,
tourne vers les rsultats 999999999999999999999999999999999999999999999999999999999999999999999999999999999 ),
III.1. Les finalits de la LOLF....................................................................................... 21
III.2. Des objectifs stratgiques aux indicateurs de performance ..................................... 22
III.3. Une ncessit : accompagner lAdministration vers la performance .......................... 24
$V9 0e primtre de la 0O0> trop restreint 99999999999999999999999999999999999999999999999999999999999999 )6
IV.1. Une rforme qui inclut les oprateurs. ................................................................ 26
IV.2. .les organismes de scurit sociale. .................................................................. 27
IV.3. .mais pas les collectivits locales........................................................................ 28
V9 0O0> : un choiC dindicateurs qui pose parfois question 999999999999999999999999999999999999 7+
V.1. Un problme dhtrognit des indicateurs ........................................................ 31
V.2. Une inadquation entre objectifs et indicateurs ..................................................... 31
V.3. Une liste dindicateurs retenus qui peut paratre incomplte .................................... 31
V.4. Certains indicateurs retenus sont difficiles interprter .......................................... 31
V.5. Un objectif de publication annuelle parfois inadapt aux dlais de production ............ 32
V.6. Une fiabilit variable des indicateurs .................................................................... 32
V.7. Un comit en charge dauditer les indicateurs ....................................................... 33
V$9 0a 0O0> : pour les /estionnaires, un dispositif de suivi parmi dautres 9999999999999 76
&%=D$%;% P"R<$% : leCemple des 2tructures d$nsertion par l"ctivit %conomique
E2$"%F 9999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 75
$9 &e nouvelles r/les de conventionnement du secteur qui privil/ient le retour G
lemploi 9999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 7*
I.1. Une cadre qui semblait ncessaire ....................................................................... 40
3
I.2. Des indicateurs de performance incomplets, qui manquent de souplesse et de fiabilit
...................................................................................................................... 42
I.2.1. Lindicateur de retour lemploi ne permet pas dvaluer lensemble des actions des
SIAE ............................................................................................................. 42
I.2.2. La cible atteindre pose question ..................................................................... 45
I.2.3. La fiabilit de lindicateur nest pas satisfaisante, mme si elle samliore .............. 47
I.3. Les craintes sur la slection des publics lentre des SIAE difficiles vrifier .......... 49
$$9 ?uels indicateurs complmentaires au tauC de retour G lemploi !99999999999999999999 6+
II.1. Une description de loffre disponible en termes de taux dquipement ...................... 51
II.2. La description des modalits de laccompagnement ............................................... 52
II.3. La description des publics accueillis ..................................................................... 52
II.4. La mesure de limpact ........................................................................................ 53
II.4.1. Limpact sur le devenir des bnficiaires ............................................................ 53
II.4.2. Limpact conomique des SIAE sur les territoires ................................................ 54
<RO$2$%;% P"R<$% : leCemple d= R%V%'u &% 2O0$&"R$<% "C<$V% ER2"F 9999999999999999999 6H
$9 0approche valuative du point de vue de l%tat : des indicateurs non
conteCtualiss et difficiles G interprter 999999999999999999999999999999999999999999999999999999999999 6B
I.1. La LOLF, des indicateurs incomplets..................................................................... 58
I.2. Le Comit National dEvaluation ou comment approcher la complexit dune politique
dcentralise .................................................................................................... 60
I.2.1. Mesurer leffet du RSA sur la pauvret : des indicateurs qui rendent compte des
volutions du revenu mais qui ne permettent pas dapprhender les effets du
dispositif sur lintensit de la pauvret............................................................... 60
I.2.2. Limpact du RSA sur le retour lemploi : des indicateurs qui ne permettent pas
rellement dapprcier les effets attendus .......................................................... 62
$$9 "u niveau dpartemental : des lo/iques institutionnelles associes G des
obIectifs de mo:ens 999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 H3
II.1. Des indicateurs de pilotage en qute de pertinence et de fiabilit ; le reflet dun
dispositif complexe apprhender ...................................................................... 64
II.2. Des indicateurs au service dune rationalit instrumentale ...................................... 65
II.2.1. Des indicateurs de pilotage et defficience .......................................................... 65
II.2.2. Des indicateurs de mesure de linsertion des usagers, au regard des objectifs
nationaux : .................................................................................................... 66
II.2.3. Production dindicateurs et chelons de rfrence ............................................... 68
$$$9 "u niveau local : la performance du point de vue des professionnels en relation
avec les bnficiaires du R2" 9999999999999999999999999999999999999999999999999999999999999999999999999999 H*
III.1. Les indicateurs dvaluation des pratiques professionnelles du social : linfluence des
dmarches qualit dans le secteur social .............................................................. 70
III.2. Des indicateurs qualitatifs fonds sur la praxis ...................................................... 71
III.3. Des indicateurs ncessairement imparfaits ........................................................... 75
Conclusion 9999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 55
@iblio/raphie 999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 5*
<able des fi/ures 999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999 B+

4

2J'<#%2%

En France, la recherche de la performance dans le secteur public, entendue comme loptimisation
des services rendus aux citoyens, a connu diffrentes tapes depuis laprs-guerre, la plus rcente
tant la Loi Organique Relative aux Lois de Finances (LOLF), vote en 2001 et mis en uvre
partir de 2006. Avec cette rforme budgtaire, lAdministration est passe dune logique de
moyens une logique de rsultats, tape essentielle de lamlioration de la performance selon la
thorie du Nouveau Management Public (NMP). En instituant une dclinaison systmatique des
objectifs stratgiques en indicateurs, la LOLF a entrain la multiplication de ces indicateurs : prs
de 900 pour caractriser le budget gnral, plus de 1000 en associant les budgets annexes. Ces
indicateurs mesurent trois aspects de la performance : lefficacit pour le citoyen, la qualit pour
lusager et lefficience pour le contribuable. Sur le plan culturel comme sur le plan technique, un tel
changement ncessite un accompagnement de lensemble des acteurs impliqus pour produire les
effets escompts en termes dvaluation de la performance.

Les premires annes de fonctionnement ont fait apparatre deux principales limites lexercice de
la LOLF. La premire est lie son champ dapplication, trop restreint. Si la LOLF sapplique aux
oprateurs de lEtat et aux organismes de scurit sociale depuis la refonte du PLFSS (vote en
2005, mise en application en 2008), elle ne concerne pas les collectivits locales. La deuxime
limite de la LOLF est lie aux indicateurs en eux-mmes, qui peuvent poser des problmes
dhtrognit, dinadquation aux objectifs poursuivis, de difficults dinterprtation, de
priodicit ou encore de fiabilit. A la fois pour connatre et pallier ces limites, le Comit
interministriel d'audit des programmes (CIAP) ralise depuis 2009 des audits sur les diffrents
programmes et missions de la LOLF. Il en ressort que si la qualit des indicateurs samliore
progressivement, les possibilits dinterprtation restent insuffisantes.

Les gestionnaires des dispositifs financs par lEtat sont la source de nombreuses informations
qui alimentent les indicateurs de performance. Ils sont souvent dmunis face la recrudescence
des demandes dinformations chiffres, dautant quils ne sont pas toujours convaincus de la
pertinence des indicateurs demands et quils nen voient pas forcment lintrt au niveau local.
Or ladhsion des gestionnaires la dmarche de performance est indispensable pour quelle joue
pleinement son rle.

Dans cette logique de performance, la question peut se poser de savoir si cette approche peut sen
tenir uniquement des indicateurs permettant dapprhender latteinte des objectifs, sans inclure
des indicateurs visant valuer les moyens effectifs mis en uvre pour produire les effets
escompts.

5
Les deux exemples dvelopps dans ce cahier de recherche illustrent bien ces enjeux. Dans le
secteur de lInsertion par lActivit Economique (IAE) comme dans linsertion des bnficiaires du
Revenu de Solidarit Active (RSA), les financeurs et les gestionnaires sappuient sur de
nombreuses donnes chiffres pour piloter le dispositif. Mais les approches sont diffrentes: le
secteur de lIAE est engag dans une vritable dmarche de mesure de la performance, dans le
cadre de la LOLF, alors que pour le dispositif dinsertion RSA, les approches valuatives suivent des
logiques diffrencies chaque chelon de mise en uvre du dispositif, en fonction des objectifs
viss par les acteurs.

Dans le secteur de lIAE, mme si de nouvelles rgles de contractualisation en vigueur depuis 2009
ont donn un cadre plus structur aux relations entre lEtat et les structures de lIAE, la qualit du
dialogue de gestion semble trs variable selon les territoires et selon les interlocuteurs.
La mesure de la performance du secteur de lIAE sur le retour lemploi des salaris en insertion
apparat la fois imparfaite et trop rductrice. La fiabilit de lindicateur retenu de retour lemploi
peut en effet tre questionne, en ce sens quil repose sur des donnes dclaratives et que
linformation est parfois manquante ou incomplte. De plus, lidentification des situations la sortie
de la structure ne donne pas dindications sur la durabilit de linsertion. Une valuation dimpact
qui sappuierait sur une enqute systmatique auprs des salaris, 6 mois aprs la sortie,
semblable celle qui est ralise sur les sortants de contrats aids, apparaitrait plus satisfaisante.
Par ailleurs, si la reprise demploi est sans conteste le rsultat final vis par les structures, il est
souvent difficile obtenir, la fois en raison du cumul de difficults auquel font face les salaris en
insertion, et en raison de la situation du march du travail qui prsente peu dopportunits
demploi. Les structures obtiennent cependant des rsultats en matire dautonomisation des
publics (rduction de lloignement lemploi), quil serait ncessaire dvaluer et de valoriser, tout
comme limpact conomique et social quelles produisent sur les territoires. Au-del de latteinte
des rsultats, se pose ici la question de ladquation entre lobjectif gnral dinsertion
professionnelle et les effets de ciblage pouvant tre induits auprs des publics concerns.

Lexemple du pilotage et de lvaluation du RSA est abord, quant lui, aux trois niveaux de
dploiement du dispositif : national, dpartement et local. Il met jour des principes valuatifs
correspondant aux intrts et objectifs propres aux diffrents acteurs impliqus chaque chelon
de mise en uvre du RSA.
LEtat, via la LOLF, se doit dtre garant des rsultats et de la conformit des rsultats avec les
objectifs viss, sans pour autant assumer le pilotage oprationnel des dispositifs mis en uvre
localement.
Les collectivits territoriales, responsables de la mise en uvre du RSA, valuent quant elles
latteinte dobjectifs de moyens dans une logique organisationnelle et de recherche defficience. En
labsence dindicateurs de rsultats communs, la dynamique oprationnelle ne rencontre que peu
dobstacles, mme si elle nest pas toujours juge satisfaisante par les responsables locaux. Dans
cette logique de dcentralisation et dauto-valuation des collectivits territoriales, ltat actuel des
6
systmes dinformation mobiliss pour alimenter les indicateurs fait souvent obstacle une relle
valuation des rsultats.
Enfin, la prise en compte du regard des professionnels sur leur pratique au sein du dispositif
implique une approche valuative pluraliste aux critres dvaluation minemment qualitatifs.
Les dispositifs des politiques sociales sont traverss de tensions valuatives inhrentes la varit
des indicateurs existants, reflets des logiques dacteurs propres aux diffrents chelons.

Dans un processus itratif, la production de critres dvaluations du secteur social doit tendre, en
tenant compte des diffrentes difficults et enjeux voqus, renforcer la mise en cohrence
ncessaire entre les objectifs viss par lEtat, les moyens mis en uvre par les responsables de
dispositifs et les rsultats escompts pour les bnficiaires et par les professionnels qui les
accompagnent.

7
$'<RO&=C<$O'

En France, la pratique de lvaluation des politiques publiques nest pas nouvelle, mais lapproche a
volu depuis les annes 90. En parallle des programmes dvaluation (qui visent estimer la
valeur de lintervention publique en mettant en relation ses rsultats, ses impacts et les besoins
que cette intervention cherche satisfaire), les tableaux de bord ou autres outils de suivi et de
mesure de la performance priodicit rgulire se multiplient.
Dans le domaine des politiques sociales, qui nchappe pas cette tendance, le recours aux
tableaux de bord, pour apprcier les politiques qui sont conduites, engendre gnralement de
nombreuses craintes et critiques aussi bien de la part des statisticiens que des acteurs concerns.
Lexercice est particulirement ardu, en particulier cause de :
1- la difficult dfinir clairement les obIectifs assigns une politique donne :
- La multiplicit des intervenants gnre des attentes diffrentes,
- Les objectifs peuvent voluer dans le temps en fonction des priorits des lus
successifs,
2- la difficult construire des indicateurs quantitatifs et8ou qualitatifs pertinents
pour illustrer ces objectifs :
- la nature des aides apportes se prte souvent mal la quantification en indicateurs,
- le rsum des objectifs en un nombre limit dindicateurs simples apparait rducteur,
voire source deffets pervers,
3- la difficult interprter les variations des indicateurs retenus :
- la forte interaction avec le contexte conomique et social rend difficile la mesure des
effets propres des actions mises en uvre,
- limpact de laction publique mesur par lindicateur observ nest pas immdiat.
Lobjet de ce cahier de recherche est de comprendre pourquoi de tels outils de suivi se multiplient
et dans quelle mesure sont-ils pertinents pour mesurer lefficacit et lefficience des dispositifs, en
particulier dans le domaine des politiques sociales.
Dans une premire partie, nous rappellerons que la multiplication des indicateurs de suivi est la
consquence de lmergence du concept de performance dans les politiques publiques et de la mise
en uvre des principes du new public management.
Nous commencerons par dfinir ce quon entend par performance dans le secteur public et ce
quest un bon indicateur de performance.
Puis, nous resituerons les grandes tapes du dveloppement de la notion de performance dans le
secteur public, la dernire en date tant la mise en place de la Loi Organique relative aux Lois de
Finances (LOLF), qui sappuie sur un recours systmatique aux indicateurs de performance pour
orienter les arbitrages budgtaires du Parlement.
8
Nous tudierons ensuite les limites de la LOLF qui sont apparues au cours des premires annes de
mise en pratique et les amliorations apportes pour y remdier.
Pour conclure cette premire partie, nous verrons que la LOLF nest, pour les gestionnaires de
dispositifs financs par lEtat, quun outil de suivi parmi dautres et quils ont parfois des difficults
pour rpondre lensemble des demandes qui manent de leurs diffrents financeurs ou
partenaires.
Dans une deuxime partie, pour identifier la dmarche engage dans le domaine des politiques
sociales, nous analyserons, de faon pragmatique, lvaluation ralise pour le suivi de deux
dispositifs diffrents : le secteur de linsertion par lactivit conomique et le dispositif dinsertion
du RSA.
En effet, ces dispositifs prsentent chacun des particularits qui les rendent complmentaires pour
illustrer la question tudie dans ce cahier de recherche :
le secteur de lIAE est financ en partie par lEtat et entre donc dans le champ de la LOLF, il
est rgi par des rgles de conventionnement qui sappliquent toutes les structures
dinsertion par lactivit conomique mme si les units territoriales des directions
rgionales des entreprises, de la concurrence, de la consommation, du travail et de l'emploi
(DIRECCTE) ont une marge de manuvre dans la ngociation des conventions ;
le dispositif dinsertion des bnficiaires du RSA est pilot par les Conseils Gnraux et
nest pas soumis la LOLF, chaque Conseil Gnral fixe les objectifs assigns aux porteurs
de projet quil choisit de financer et dtermine les indicateurs quil souhaite suivre.
A partir dentretiens raliss auprs dune srie dacteurs impliqus dans la gestion et le suivi de
ces deux dispositifs au niveau national et dans diffrents dpartements, nous proposons, dans ce
cahier de recherche, une analyse comparative des pratiques de suivi et dvaluation de ces deux
dispositifs. Ce cahier de recherche en vise nullement donner une vision exhaustive, compte tenu
du nombre limit dentretiens raliss et de la grande diversit des pratiques des dpartements
dans le cadre de la dcentralisation. Nanmoins, il permet didentifier les diffrentes logiques qui
peuvent prsider la mise en place de dispositifs dvaluation et leur cohrence entre elles. Ce
Cahier de recherche pointe galement les difficults rencontres dans la mise en place dindicateurs
et les limites soulignes par les acteurs interrogs, et dbouche sur une srie de propositions
damlioration des dispositifs dvaluation.




9
PR%;$%R% P"R<$% : %;%R1%'C% &= CO'C%P< &% P%R>OR;"'C%
&"'2 0%2 PO0$<$?=%2 P=@0$?=%2 %< CO'2%?=%'C%2 2=R
0=2"1% &%2 $'&$C"<%=R2


$9 &%>$'$<$O' %< ;%2=R% &% 0" P%R>OR;"'C% &"'2 0%
2%C<%=R P=@0$C
$9,9 ?uestce que la performance dans le secteur public !
La notion de performance correspond latteinte dobjectifs ou de rsultats attendus, et plus
largement la cration de valeur. Si dans le monde de lentreprise, la cration de valeur est
gnralement associe laccroissement du profit, elle doit tre entendue dans le secteur public
comme une optimisation des services rendus auC cito:ens.
Secteur priv et secteur public prsentent de nombreuses similitudes. Ils produisent tous deux des
biens et des services, en tant soumis des contraintes de gestion de leurs ressources financires,
techniques et humaines. Cependant, la nature des objectifs poursuivis dans les deux secteurs est
diffrente : dans le secteur priv, lobjectif de rentabilit conomique est inhrent un projet
d'entreprise qui doit sautofinancer pour sinscrire dans la dure. Il est au cur des attentes des
actionnaires lorsque le capital des entreprises est ouvert. Dans le secteur public, le soutien
financier de lEtat et des collectivits fait passer au second plan lobjectif de rentabilit
conomique : la finalit principale recherche est la satisfaction de lintrt gnral correspondant
la responsabilit d'un service public face au gouvernement et aux citoyens.
Aujourdhui, la distance entre les deux secteurs nest cependant plus aussi marque que par le
pass : dune part, lEtat met de plus en plus en avant l`objectif de la rduction des dficits publics,
qui peut tre assimil une recherche de rentabilit, dautre part la monte du concept de
responsabilit sociale et environnementale dans le secteur priv correspond une prise en compte
de lintrt gnral dans la stratgie de dveloppement des entreprises. Ce rapprochement entre
les deux secteurs est accentu par le fait que les services publics sont de plus en plus souvent en
concurrence entre eux ou avec le secteur priv.
Une diffrence notable subsiste cependant entre les deux secteurs : les services publics ne
choisissent pas leur clientle, tous les usagers devant tre satisfaits selon le principe de lquit et
de lgalit des citoyens, alors que les entreprises prives peuvent slectionner certains
segments de clientle. Il arrive toutefois que certains organismes publics visent des publics dits
prioritaires en fonction de leurs attributions, de leurs champs dintervention spcifiques ou de leurs
stratgies daction.
10
Enfin, des diffrences existent sur le plan de la gestion des ressources humaines : dans le secteur
public, la scurit de lemploi est gnralise avec le statut de la fonction publique, tandis que dans
le secteur priv, lemploi nest pas protg mais les rmunrations tiennent mieux compte de
limplication personnelle. La monte en puissance des contractuels au sein de la Fonction
publique est cependant un facteur de rapprochement progressif des deux secteurs sur ce plan.
Du fait des nombreuses similitudes entre les deux secteurs, des mthodes de management
traditionnellement employes dans le secteur priv se sont peu peu rpandues dans le secteur
public. Lobjectif tait de remdier aux travers qui lui sont gnralement reprochs : rigide,
coteux, peu efficace, trop centralis, insuffisamment innovant. Ces mthodes de management ont
cependant t adaptes pour tenir compte des diffrences entre les deux secteurs, constituant le
courant du 'ouveau ;ana/ement Public (NMP), apparu ds le dbut des annes 80
1
.
Alors que le secteur public tait jusque-l orchestr essentiellement par le respect de rgles et de
procdures, selon une logique de moyens , le NMP privilgie latteinte de rsultats et prne la
gnralisation de la culture de lvaluation, afin doptimiser lallocation des ressources vers les
actions les plus efficientes.
Le NMP recommande galement une sparation claire entre la conception (dcision politique) et la
mise en uvre (gestion). Il distingue en effet la pertinence et la cohrence des politiques publiques
(qui relve de la responsabilit des dcideurs politiques) et lefficacit des services qui mettent en
uvre les politiques dcides (qui est sous la responsabilit des gestionnaires). Leffet
de bonnes politiques (c'est--dire proposant des solutions adaptes aux problmes que
rencontrent les citoyens) peut tre minimis voire ananti par une mise en uvre inefficace, tandis
que de mauvaises politiques peuvent tre appliques avec efficacit. La mesure de la
performance doit donc permettre de renseigner la fois sur lefficacit des choiC de politique et
sur lefficience des choiC de /estion.
Le NMP propose toute une srie dinstruments pour le pilotage et le contrle du nouveau systme
de gestion des affaires publiques, en particulier un s:stme dKindicateurs mesurant limpact,
lKeffectivit, lKefficacit, lKefficience des politiques et la satisfaction des clients. Ces
indicateurs constituent l'outil principal de gestion du nouveau systme.

1
Le Nouveau Management Public : Avantages et Limites, Anne Amar, Ludovic Berthier, CEROG, IAE dAix-en-
Provence
11


&finition des principauC critres de mesure de performance

$mpact : quels sont les effets de laction publique ?
Les effets englobent les ralisations (effets immdiats ou output ), les rsultats (effets moyen
terme ou outcome ) et les impacts (effets long terme). Ils sont attendus (explicitement prvus
dans les objectifs) ou inattendus, et peuvent tre positifs ou ngatifs.
Pour mesurer limpact, il faut tre en mesure dobserver les changements par rapport la situation
de dpart et de dterminer sils sont au moins en partie imputables laction publique.
%ffectivit : dans quelle mesure les ralisations prvues ont-elles t mises en uvre ?
%fficacit : dans quelle mesure les effets obtenus sont-ils conformes aux objectifs retenus et aux
effets attendus ? Comment aurait-on pu optimiser les effets observs ?
%fficience : quels moyens (matriels, humains, financiers,.) ont effectivement t mobiliss ? Les
effets obtenus sont-ils en adquation avec lensemble des moyens mobiliss ? Aurait-on pu
atteindre les mmes rsultats moindre cot ?



La difficult majeure de mise en uvre du NMP repose sur le choiC de ces indicateurs. La
dfinition de critres qui soient valuables , c'est--dire pouvant faire lobjet dune mesure,
apparat en effet comme la seule faon de sassurer, in fine, que lobjectif de la politique concerne
est atteint. Or certains des services proposs par le secteur public se prtent mal la mise en
place dindicateurs statistiques qui apparaissent trop rducteurs par rapport la nature des
objectifs recherchs. Ainsi, comment mesurer lefficacit dun systme ducatif, dun systme de
sant, dune aide sociale ? Comment quantifier des effets de nature essentiellement qualitative ?

Par ailleurs, les s:stmes dinformation doivent permettre de renseigner ces indicateurs. Ils
apparaissent en ce sens comme des piliers de la mesure de la performance, ce qui suppose des
remontes dinformations fiables et rgulires.
12


0es qualits dun s:stme dinformation

Les donnes dun systme dinformation doivent satisfaire certaines conditions pour pouvoir tre
mobilises et alimenter des indicateurs de performance :
- Les donnes doivent correspondre la mesure de lobIectif recherch
- Les donnes doivent reposer sur des dfinitions claires, exemptes de toute ambigut. Cest
une condition indispensable la compilation des donnes en indicateurs, alors que les donnes
proviennent gnralement de sources diffrentes.
- Les donnes doivent tre compltes dans le sens o elles doivent tre collectes auprs de
lensemble des producteurs de donnes et o les variables attendues doivent tre
systmatiquement renseignes.
- Les donnes doivent tre eCactes. Une procdure de dpistage et de correction des erreurs
tous les stades de la collecte et de la compilation des statistiques doit tre en place pour
garantir la fiabilit des donnes.
- Les donnes doivent tre accessibles.

Dans lidal, cest au moment de la cration ou de la remise plat du systme dinformation que
les besoins lis au suivi de performance doivent tre pris en compte, au mme titre que les besoins
lis la gestion. Si les systmes dinformation ne permettent pas de fournir toutes les donnes
ncessaires au renseignement des indicateurs slectionns, il est cependant possible de mettre en
place des systmes denqutes ad-hoc.


13
$9)9 ?uestce quun bon indicateur de mesure de
performance !
Un indicateur permet de mesurer lcart entre le rsultat obtenu et les objectifs poursuivis,
pour dterminer si ces derniers sont en voie d'tre atteints. Il faut au pralable sassurer que les
indicateurs ont fait lobjet dune dfinition explicite et partage, afin de limiter les erreurs de
construction et les interprtations divergentes : pour cela, il est indispensable de positionner la
valeur de lindicateur par rapport une valeur de rfrence ou une cible atteindre (une norme,
une moyenne, une prvision, un objectif). Le choix de la rfrence est dterminant pour le
jugement qui sera port. Il fait partie intgrante de la construction de lindicateur.

I.2.. !es "ualits dun bon indicateur de politi"ue sociale
A loccasion dun caf de la statistique
2
consacr la fiabilit des indicateurs, Jean-Ren
Brunetire
3
dtaillait les dix qualits dun bon indicateur. Son intervention ne concernait pas
spcifiquement lvaluation des politiques publiques mais sy applique parfaitement. Les dix
qualits nonces sont les suivantes :
- clart (pas dambigit dans la dfinition),
- pertinence (cohrent avec lobjectif),
- slectivit (indpendant des phnomnes autres que ceux que lon veut mesurer),
- fiabilit,
- comparabilit,
- sensibilit (prcision ne doit pas tre infrieure aux variations que lon veut observer),
- accessibilit (peut tre obtenu un cot raisonnable),
- prennit (possible de le suivre dans le temps),
- utilit (liens de causalit entre laction mene et le rsultat de lindicateur),
- ne pas entraner des effets contraires ceux recherchs (lexistence de lindicateur peut
induire des effets pervers).

Anthony Athkinson et ses coauteurs ont numr les conditions techniques auxquelles doivent
rpondre les indicateurs sociaux dans les deux rapports quils ont rdig pour lUnion Europenne

2
Les cafs de la statistique sont des confrences-dbats organises tous les mois par lassociation franaise de
la statistique pour mieux comprendre comment la statistique claire les grandes questions socitales
3
Peuton se fier aux indicateurs ! Les cafs de la statistique, sance du 14 novembre 2006, confrence de
Jean-Ren Brunetire
14
en 2005 et 2007 et reprises dans les rflexions du comit de protection sociale
4
(instance
consultative mise en place dans le but de promouvoir la coopration en matire de politiques de
protection sociale entre les tats membres et la Commission europenne) :
- ciblage pertinent,
- possibilit dinterprtation aise et accepte par tous,
- robustesse statistique et fiabilit,
- sadapter aux interventions politiques sans tre manipulables,
- comparable dun pays lautre et comparable dans le temps,
- actualisable en temps adquat et se prtant rvision,
- ne gnrant pas un travail trop lourd en termes de production,
- sintgrant dans un ensemble dindicateurs quilibr entre les diffrentes dimensions,
- cohrents entre eux, chaque dimension ayant un poids proportionn au sein de cet
ensemble,
- tre le plus transparent et accessible possible aux citoyens.

Ces deux listes apparaissent trs complmentaires. De nombreux critres sont communs comme la
pertinence, la fiabilit, la prennit, le mode de production accessible. Dautres critres
sont additionnels : Jean-Ren Brunetire insiste sur lutilit de lindicateur (il doit effectivement y
avoir un lien de causalit entre laction mene et le rsultat de lindicateur) et sa
sensibilit (lvolution doit tre proportionne aux changements quelle indique), Anthony
Athikson insiste quant lui sur la cohrence de lensemble des indicateurs retenus. Il voque
galement la souplesse de lindicateur : il doit tre la fois adaptable, actualisable, rvisable. Si
les deux auteurs voquent la clart, Jean-Ren Brunetire fait plutt rfrence la clart de la
dfinition de lindicateur alors quAnthony Athikson insiste plutt sur son interprtation. Ce dernier
prcise galement quil faut que cet indicateur soit parta/ : il doit la fois tre accept par tous
et accessible tous. Jean-Ren Brunetire relve, par ailleurs, la ncessit de prvenir les risques
deffets pervers (par exemple la focalisation sur le bon rsultat de lindicateur, au dtriment
dautres objectifs plus qualitatifs, ou encore une slection des publics pour amliorer la valeur de
lindicateur). Enfin, Anthony Athkinson met en exergue, de faon trs pragmatique, la ncessit de
prendre en compte le cot de production des indicateurs.
Si lindicateur remplit effectivement toutes ces qualits, lensemble des utilisateurs le considreront
comme l/itime. Ils seront plus enclins accepter les jugements qui reposeront sur son analyse,
en particulier lattribution de financements publics.

4
A. Atkinson, B. Cantillon, E. Marlier, B. Nolan : taking forward the EU Social Inclusion Process. An independent
report commissioned by the Luxembourg presidency of the council of the European union, 2005
A. Atkinson, B. Cantillon, E Marlier, B. Nolan : "he #$ and social %nclusion, The police press, university of
Bristol, 2007
15
Mais un tel indicateur existe-t-il dans tous les domaines, quel que soit lobjectif poursuivi ? Il faut
tenter dans tous les cas de sen approcher. Dans lidal, il faut concevoir plusieurs indicateurs par
objectif, les suivre et les analyser sur une priode donne, titre exprimental , puis liminer
les moins pertinents. Comme on le verra dans la seconde partie de ce Cahier de Recherche, il est
cependant trs rare que les administrations, collectivits ou organismes publics procdent de cette
faon par manque de temps.

I.2.2. #ne interprtation difficile
Le plus souvent, ce nest pas le niveau de lindicateur qui importe mais sa variation sur une priode
donne. Dans le domaine social, linterprtation des variations des indicateurs est complexe, car il
faut isoler les effets propres de laction publique des variations lies aux diffrentes
caractristiques des bnficiaires ou lvolution du contexte conomique et social dans son
ensemble.
Pour mesurer prcisment les effets, il faudrait idalement pouvoir observer la situation des
bnficiaires dune action donne et la comparer avec ce qui se serait pass pour ces mmes
bnficiaires en labsence daction publique. Comme une personne ne peut pas au mme instant
la fois tre dans le programme et en dehors du programme, il est souvent ncessaire, pour
mesurer les effets propres dun programme, de construire ce que lon appelle communment un
groupe tmoin .
La meilleure comparaison possible consiste construire un groupe tmoin en tout point semblable
au groupe test, la seule diffrence entre les deux groupes tant que lun est expos au programme
mais pas lautre (exprimentation randomise). On peut ainsi observer directement les effets du
programme, par diffrence entre les observations au sein du groupe cible et du groupe tmoin.
Hormis dans le cadre dexprimentations prvoyant spcifiquement la constitution dun groupe
tmoin, il est trs difficile de constituer une population tmoin qui soit parfaitement comparable :
par construction, laction publique sapplique tous ceux qui rpondent des critres donns (ge,
niveau de ressources, situation familiale, tat de sant, situation vis--vis de lemploi.). Les
populations non bnficiaires ne sont donc par dfinition pas similaires aux populations
bnficiaires, y compris dans le cas o elles sont ligibles mais nont pas recours au service auquel
elles peuvent prtendre (par choix mais aussi par mconnaissance de leurs droits).
A dfaut dune comparaison entre groupe test et groupe tmoin avec affectation alatoire, dautres
types de comparaison peuvent cependant tre effectus :
En comparant les mmes individus avant et aprs lentre dans laction (comment ont
volu leur situation par rapport lemploi, leurs revenus, leur tat de sant.). Cette
comparaison est gnralement effectue en interrogeant intervalle rgulier un panel de
bnficiaires ou en reconstituant lors dune seule interrogation leur trajectoire passe.
Cependant, ce type de comparaison avant-aprs ne permet pas de contr&ler les effets
environnementaux. Il est impossible disoler les effets imputables des facteurs exognes au
16
dispositif de ceux qui sont lis au dispositif lui-mme : une reprise demploi dun jeune peut tre le
fruit de laccompagnement renforc dont il a bnfici mais aussi dune reprise de lconomie locale
ou de ses dmarches personnelles. Ce mme jeune aurait en effet peut-tre retrouv un emploi
mme sans cet accompagnement.
En comparant la situation dindividus similaires mais non identiques au temps t ,
certains tant passs par le dispositif, dautres non.
Mais dans ce deuxime type de comparaison, on ne contr&le pas toutes les diffrences
individuelles. Les individus peuvent sembler similaires au regard de variables observables (comme
lge, le sexe, le niveau de diplme, la priode dinactivit,.) mais tre diffrents au regard
dautres variables plus difficiles observer (tat de sant, motivation personnelle.).
Autre difficult pour linterprtation dindicateurs sociaux : le lien de causalit entre lvolution des
indicateurs et les actions mises en place apparat dlicat tablir cause des phnomnes
dinterdpendance qui existent entre les diffrentes actions. A titre dexemples : les
performances du systme ducatif ont un impact direct sur le march de lemploi ; un jeune
accompagn par une mission locale peut en parallle bnficier dun suivi par Ple emploi. Des
mthodes de modlisation statistiques permettent de raisonner toutes choses gales par
ailleurs , et ainsi de mesurer les effets sparment les uns des autres, mais elles ncessitent de
faire des hypothses a priori sur les variables qui sont lies entre elles pour les intgrer dans le
modle.

I.2.$. Disposer du temps ncessaire % lobservation

0impact de laction publique sur lindicateur observ nest pas forcment immdiat. On
distingue trois catgories deffets : les ralisations (effets immdiats), les rsultats (effets moyen
terme) et les impacts (effets long terme). Il faut laisser le temps laction publique dinfluer sur
lindicateur.
Par exemple, limpact dune rforme du systme ducatif sur linsertion des jeunes ne peut se
mesurer vritablement quune fois que les jeunes sont diplms et ont intgr le monde du travail
(effets long terme). On peut toutefois mettre en place des indicateurs de ralisation
intermdiaires concernant lacquisition de comptences diffrentes tapes du parcours
scolaire ou sur les taux de redoublement (effets moyen terme).

Les deux dernires catgories deffets ( moyen et long terme) sont les plus difficiles prendre en
compte, dans la mesure o elles ncessitent de prendre du temps pour observer (on se heurte ici
au dcalage entre le temps politique et le temps de lvaluation) et o linformation permettant de
renseigner de tels indicateurs est plus difficile collecter. Par exemple, si lon se pose la question
du retour lemploi aprs le passage par un dispositif dinsertion, il est relativement ais de
connatre la situation demploi des bnficiaires la sortie du dispositif. Il est plus complexe de
17
renseigner cet indicateur 6 mois, 12 mois ou 18 mois aprs la sortie car il faut suivre le mme
nombre dindividus dans le temps ce qui, par exprience, nest pas chose facile. Or ces dispositifs
dinsertion ont galement pour objectif de prenniser le retour lemploi. Si les personnes ont
effectivement un emploi la sortie mais ne parviennent pas le conserver, lobjectif nest pas
compltement atteint. Une enqute longitudinale de suivi de cohorte, bien que couteuse, permet
cependant de renseigner ce type dindicateur dimpact moyen et long terme.
Au-del du temps ncessaire pour observer les phnomnes attendus, se pose le problme du
temps ncessaire pour produire lindicateur luimLme. Il faut parfois sappuyer sur une
version provisoire (disponible rapidement), semi-dfinitive puis dfinitive de lindicateur (qui peut
tre disponible plusieurs mois voire plusieurs annes aprs), mais il faut alors prendre en compte
la marge derreur associe, qui peut tre importante pour lindicateur provisoire et qui se rduit au
fur et mesure que la valeur est consolide. La publication doit alors tre assortie dun intervalle
de confiance ou prsente sous forme de fourchette pour rendre compte de la marge derreur.

En rfrence la thorie du Nouveau Management Public (NMP), pertinence et fiabilit des
indicateurs retenus sont les cls de la qualit de la mesure de la performance, entendue dans le
secteur public comme loptimisation des services rendus aux citoyens.



18
$$9 " ?="'& R%;O'<% 0" 'O<$O' &% P%R>OR;"'C% &"'2 0%
2%C<%=R P=@0$C >R"'M"$2 !
$$9,9 <rois tapes s:mboliques
En France, on peut considrer que la recherche de la performance dans les services publics
remonte laprs-guerre. On peut citer trois tapes symboliques de lmergence de cette notion.

II... &n '(), cration du Comit central d*&n"u+te sur le co,t et
le rendement des services publics
Cette instance est cre pour proposer des mesures de nature rduire les cots et amliorer la
qualit et le rendement des services des ministres, des tablissements publics, des collectivits
locales et des organismes chargs d'assurer un service public.
Ce comit existe toujours et est rattach depuis 2010 la Cour des comptes
5
. Il publie
rgulirement des rapports proposant des amliorations sur des sujets trs divers, certains dentre
eux rpondant des besoins prcis identifis par le Premier ministre ou un membre du
gouvernement.
Ainsi, au cours des 10 dernires annes, ce Comit a travaill par exemple sur les mthodes
dvaluation de la satisfaction des usagers du service public (2002), sur le cot et lorganisation de
la fonction gestion des ressources humaines dans ladministration (2005), sur la simplification du
droit par ordonnances (2006), sur la notation et lvaluation des agents de lEtat (2007), sur la
formation continue des agents de lEtat (2007), sur les maisons des services publics (2008).

II..2. &n ')-, lancement de la Rationalisation des Choi.
/ud0taires 1RC/2
Sur le modle du Planning Programming Budgeting System (PPBS) amricain, le gouvernement
franais a souhait exprimenter une mthode tendant la rationalisation des choix budgtaires et
au contrle des rsultats de laction administrative par des tudes danal:ses de s:stme et de
coNtefficacit. La mthode consistait dfinir des objectifs et comparer systmatiquement
tous les moyens utilisables pour les atteindre. Etaient pris en compte les cots et avantages directs
mais aussi tout ce qui constituait une charge ou un gain indirect pour la collectivit.

5
Philippe Sguin, Florence Descamps, Jeanne Siwek-Pouydesseau, et al., Le 'omit d(enqu)te sur le co*t et le
rendement des services publics : soixante ans de dialogue au service de la rforme de l(#tat, vol. Hors srie,
cole nationale d'administration, 2007
19
Pendant plus de dix ans, de nombreuses tudes ont t menes par les cellules RCB des diffrents
ministres. Elles donnaient lieu des documents dinformation destins au Parlement et ont
galement t appliques des politiques publiques prcises. Bernard Perret
6
cite par exemple une
tude sur la prinatalit dont les conclusions ont contribu, par leurs effets sur les choix
budgtaires, la diminution de la mortalit infantile.
Cependant, la RCB na jamais t rattache la procdure budgtaire et son impact sur les
dcisions budgtaires est rest faible. Elle na pas par ailleurs pas obtenu de consensus parmi les
conomistes de lpoque.
Elle a finalement t abandonne dans les annes 1980, lEtat privilgiant, partir de cette
priode, lvaluation /lobale des politiques mises en place. Lvaluation vise la construction
dun jugement sur la valeur de lintervention publique qui se fonde sur ses rsultats, ses impacts et
les besoins que cette intervention cherche satisfaire, en sappuyant sur des donnes collectes et
analyses spcifiquement cet effet. Si lvaluation peut aussi apparatre comme un outil
doptimisation de la dpense, elle participe plus globalement dune dmarche de transparence, de
responsabilisation et de management.
Les travaux dvaluation des politiques publiques, coordonns par le Conseil Scientifique de
lEvaluation (cr par le gouvernement Rocard en 1990) puis par le Conseil National de lEvaluation
(cr en 1998), sappuyaient sur des mthodes pluridisciplinaires et participatives (associant
lensemble des acteurs impliqus, y compris les bnficiaires), appliques lvaluation de
politiques dans leur ensemble (politique de lemploi, contrats de plan Etat-rgions, politique de
dveloppement rural.). Dans son dernier rapport, le CNE faisait le constat que lapproche
dominante de ses travaux tait de nature sociologique, et que lapport de disciplines comme la
gestion et lconomie tait probablement insuffisant. Les travaux du CNE ont eu, comme la RCB, un
impact limit sur les choix budgtaires. Le CNE a t dissous en 2008.
Sil nexiste plus dinstance nationale et interministrielle en charge de lvaluation, chaque
ministre continue mener ses propres tudes et valuations dans le champ qui le concerne.
Lapproche est plus cible que par le pass, avec un recours accru aux mesures dimpact.
La tentative de dvelopper les pro/rammes deCprimentation sociale depuis 2007 (RSA,
Fonds dExprimentation pour la Jeunesse) correspond galement une volont doptimiser les
allocations budgtaires en vrifiant lefficacit de dispositifs innovants avant de les gnraliser. Ces
innovations sociales sont testes dans un premier temps une chelle rduite compte tenu des
incertitudes existantes sur leurs effets, et mises en uvre dans des conditions qui permettent den
valuer les effets, dans loptique dune gnralisation lensemble du territoire.
Ces exprimentations permettent de raliser des mesures dimpact rigoureuses en ayant recours
des chantillons contrls (comparaison du groupe de bnficiaires de linnovation sociale avec un
groupe tmoin ayant les mmes caractristiques, les deux groupes tant composs alatoirement).
Leffet propre du dispositif test est ainsi mesurable, sous rserve que les conditions

6
Bernard Perret, +e lchec de la ,'- . la L/L0, Revue Franaise dAdministration Publique, n 117, 2006
20
dexprimentation soient semblables aux conditions de gnralisation. Pour sen assurer, il est
prfrable de multiplier les sites dexprimentation.

II..$. &n 233, vote de la !oi Or0ani"ue relative au. !ois de
4inances 1!O!42
Cette loi a profondment rform le dispositif tabli en matire budgtaire et dfini par
l'ordonnance du 2 janvier 1959. Elle a t mise en uvre partir du 1er janvier 2006. Outre une
nouvelle architecture du budget de l'Etat, cette rforme a mis en place de nouveaux modes de
gestion dans les administrations, reposant sur la performance. Avec cette loi, l%tat est pass
dune lo/ique de mo:ens G une lo/ique de rsultats, afin que chaque euro dpens soit plus
utile. Jusque l, le Parlement sintressait davantage aux moyens consacrs une politique quaux
rsultats concrets obtenus grce ces moyens (voir paragraphe 3 ci-aprs).

$$9)9 =ne volution similaire dans de nombreuC pa:s
En suivant cette trajectoire, la France na pas fait exception. Au cours des annes quatre-vingt-dix,
de nombreux pays de lOCDE ont amorc un mouvement de dploiement dun systme de gestion
de la performance dans la sphre publique
7
. Lensemble des pays impliqus dans ce mouvement
sont guids par des motivations communes :
- le souhait de matriser les dpenses et les dficits publics ;
- la volont damliorer lefficacit des politiques publiques pour les contribuables et la
qualit du service rendu aux usagers;
- le souci de renforcer linformation et la transparence de laction publique pour les citoyens
et leurs reprsentants au Parlement.
La plupart des pays, qui se sont lancs dans une rforme des procdures budgtaires, ont en
parallle rorganis leur administration. Ces rformes sont le plus souvent associes une
diffusion de la culture de lvaluation.
Cette rflexion sur la performance du service public est mene galement dans le cadre europen
et mondial (exemple : mesure de la performance des systmes ducatifs dans lunion europenne
8
,
valuation de la performance des services publics de lemploi par lOCDE
9
).


7
H. Guillaume , G. Dureau et F. Silvent, 1estion publique : l2tat et la performance, Presses de Sciences Po et
Dalloz, 2002
8
Rapport europen sur la qualit de lducation scolaire, seize indicateurs de qualit, Communaut
europenne, mai 2000
9
Les services publics de lemploi : grer la performance, OCDE, 2005
21
La mesure de la performance mise en place par ce nouveau cadre budgtaire peut tre prsente
comme le chanon qui articule le contrle de gestion (qui vise identifier les cots, les activits et
les rsultats pour amliorer le rapport entre les moyens mobiliss et les rsultats produits) et
lvaluation des politiques publiques (qui vise apprcier si les moyens mis en uvre et les
rsultats obtenus permettent datteindre les objectifs fixs).

$$$9 0" 0O0> : ='% 'O=V%00% CO'C%P<$O' &% 0"
CO'2<R=C<$O' &= @=&1%< &% 0%<"<, <O=R'%% V%R2 0%2
R%2=0<"<2

$$$9,9 0es finalits de la 0O0>
La 0oi Or/anique relative auC 0ois de >inances (LOLF) vise la fois mesurer lefficacit de
laction publique, en affichant une plus grande transparence sur ses objectifs et ses rsultats vis--
vis du Parlement, des acteurs sociaux, des contribuables et des citoyens, et mesurer et amliorer
son efficience, en rapportant la qualit du service rendu aux bnficiaires ou aux usagers aux
moyens mobiliss.
2ur le plan de la transparence : le budget de ltat nest plus prsent par nature de dpenses
(personnel, fonctionnement.) mais par grandes politiques publiques (transport, travail, dfense,
solidarit, intgration, culture, justice..) dsormais appeles missions . Le Parlement et le
citoyen sont ainsi en mesure dapprcier la totalit des moyens dploys pour mettre en uvre
chaque politique de lEtat. Les missions se dclinent ensuite en programmes
10
. Chaque programme
regroupe les crdits destins mettre en uvre une action ou un ensemble cohrent dactions
relevant dun mme ministre et auquel sont associs des objectifs prcis, dfinis en fonction de
finalits dintrt gnral, ainsi que des rsultats attendus et faisant lobjet dune valuation.
%n matire defficacit : chaque anne, lAdministration prsente dans les Pro3ets Annuels de
Performances (PAP), ses objectifs, sa stratgie et lutilisation prvisionnelle des crdits et des
personnels mis sa disposition. Elle rend compte de son action dans les ,apports Annuels de
Performances (RAP). Les budgets annuels ne sont ainsi pas reconduits automatiquement danne
en anne, mais sont attribus au regard des rsultats obtenus lanne prcdente.
La LOLF doit conduire :
- mieux dfinir les objectifs et les priorits des politiques publiques,
- sinterroger davantage sur les leviers dactions et les outils utiliss pour dfinir une
stratgie daction,

10
34 missions et 133 programmes dans le budget gnral en 2006 ; 33 missions et 130 programmes en 2010 ;
32 missions et 125 programmes en 2012.
22
- mieux allouer les moyens,
- prendre les mesures correctrices et engager les rformes ncessaires lamlioration du
service public rendu au citoyen, lusager et au contribuable.
11


Le Conseil dAnalyse Economique
12
prsente une analyse de la LOLF selon le principe de la boucle
des prfrences dveloppe en conomie politique: cette boucle commence par lexpression des
prfrences par les citoyens ; celle-ci donne ensuite lieu une traduction de ces prfrences par
les responsables politiques en programmes dactions publiques ; enfin, il appartient
lAdministration de mettre en uvre ces actions, en sappuyant sur des organisations et en
mobilisant des leviers adquats. Cette boucle thorique connat naturellement des
dysfonctionnements. Les imperfections du march politique aboutissent une traduction
imparfaite des prfrences individuelles en prfrences tatiques ; les imperfections de
lintervention publique gnrent des politiques publiques aux rsultats perfectibles. Tout lobjet de
la LOLF est damliorer le bouclage de la boucle. Le dbat sur la dfinition de la maquette
missions - programmes - actions est loccasion dune discussion approfondie sur les prfrences
des citoyens.

$$$9)9 &es obIectifs strat/iques auC indicateurs de
performance
Pour qualifier la performance de laction publique, la LOLF dfinit trois axes de performance,
correspondant diffrents points de vue
13
:
celui du cito4en qui exprime des obIectifs defficacit socioconomique mesurant les
rsultats dune politique publique donne. Par exemple : lindicateur Proportion dlves
matrisant, en fin dcole primaire, les comptences de base en franais et en
mathmatiques a t retenu pour valuer lobjectif Conduire tous les lves la
matrise des comptences de base exigibles au terme de la scolarit primaire .
celui de lusager du service public qui exprime des obIectifs de qualit de service
rendu9 Par exemple : lindicateur pourcentage des demandeurs demploi et des
employeurs satisfaits des services rendus par Ple emploi est prvu pour mesurer le

11
Alexandre Sine, Brice Lannaud, la mesure de la performance de laction publique, complment C du rapport,
conomie politique de la LOLF, Conseil dAnalyse Economique, 2007,
http://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/074000323/0000.pdf
12
Edward Arkwright, Christian de Boissieu, Jean-Herv Lorenzi et Julien Samson, conomie politique de la LOLF
Conseil dAnalyse Economique, 2007
13
En 2012, 47% des indicateurs du budget de ltat mesurent lefficacit pour le citoyen, 20% la qualit pour
lusager et 33% lefficience pour le contribuable.
23
niveau datteinte de lobjectif Amliorer lefficacit du service rendu lusager par Ple
emploi ;
celui du contribuable qui exprime des obIectifs defficience de la /estion rapportant les
rsultats obtenus aux ressources consommes. Par exemple : lindicateur cot des
examens des lves et des concours de personnels par candidat prsent est prvu pour
valuer lobjectif russir la programmation et la gestion des grands rendez-vous scolaires
ou encore lindicateur cot de la mise en relation positive pour mesurer lobjectif
Amliorer lefficacit du service rendu lusager par Ple emploi .
Ces diffrents points de vue peuvent se retrouver dans un mme objectif, traduits au travers de
plusieurs indicateurs, comme cest le cas pour lobjectif amliorer lefficacit du service rendu
lusager par ple emploi , pour lesquels certains indicateurs renvoient la qualit pour lusager
(comme le taux de satisfaction des demandeurs demploi ou des employeurs), dautres
lefficience pour le contribuable (comme le cot de la mise en relation positive).
Ces aCes de performance correspondent G des obIectifs dits strat/iques, qui sont dtaills
dans le Projet de Loi de Finances (PLF) chaque anne. Ces objectifs doivent ensuite tre dclins
en obIectifs oprationnels pour les gestionnaires tous les niveaux de ladministration chargs
de mettre en uvre les diffrents programmes. Les objectifs oprationnels sont soit une
dclinaison directe des objectifs stratgiques (mmes indicateurs avec des cibles adaptes,
ngocies lors du dialogue de gestion entre le responsable du service concern et le responsable
du programme) soit indirecte (indicateurs intermdiaires qui reprsentent des jalons dans
lobtention des rsultats viss). Ils sont ventuellement enrichis dobIectifs complmentaires
(indicateurs complmentaires) permettant de couvrir des champs du programme non pris en
compte dans les objectifs stratgiques.

Deux raisons peuvent justifier la dclinaison des objectifs stratgiques nationaux sous forme
dobjectifs intermdiaires :
- lorsque des objectifs stratgiques dun programme sont transverses plusieurs acteurs
(oprateurs et services) ayant des champs daction et de comptences diffrents et
complmentaires. Il convient de dfinir pour chacun deux un objectif intermdiaire
spcifique, du ressort de leur champ de comptences. Ces objectifs doivent tre
complmentaires entre eux, et leur ralisation conjointe doit logiquement permettre
datteindre lobjectif stratgique national du programme (par exemple, en matire de
logement social, si lobjectif stratgique est de rduire le dlai dattente pour lattribution
dun logement, il peut se traduire localement par un objectif oprationnel dun nombre
donn de logements sociaux construire).
- lorsque des objectifs defficacit socio-conomique ou de qualit de service donnent lieu au
suivi dindicateurs reposant sur des enqutes lourdes conduites sur un chantillon national
qui serait coteux dcliner au plan local, ces objectifs peuvent alors tre dclins au plan
oprationnel sous forme dobjectifs intermdiaires.
24
Pour chaque objectif, des indicateurs mesurent les rsultats des actions menes. Ils sont
accompagns de plusieurs valeurs cibles, sur lesquelles les responsables de programmes
sengagent : une valeur pour lanne du projet de loi de finances et une valeur cible de moyen
terme (un cinq ans).
Ces indicateurs reprsentent la cl de lapprciation porte sur latteinte des objectifs. Ils
reprsentent un moyen dtalonnage, permettent un suivi dans le temps et ventuellement une
apprciation compare de la performance. Comme nous lavons signal au dbut de cette premire
partie, la qualit de lensemble du systme de mesure de performance repose la fois sur la
pertinence et la fiabilit de la slection dindicateurs retenus.
Dans le cadre de la LOLF, on dnombre entre un et six indicateurs par objectif
14
. Le nombre
forcment limit dindicateurs retenus amne se demander si quelques indicateurs simples
peuvent rendre compte de la complexit des circonstances et de la diversit des attentes des
citoyens-usagers. Par ailleurs, la focalisation des gestionnaires sur un faible nombre dindicateurs
cibls, forcment rducteurs, pourrait conduire dnaturer lobjectif poursuivi.

$$$979 =ne ncessit : accompa/ner l"dministration vers la
performance
Pour tre performant, chaque acteur (Etat, collectivit locale, organisme public) doit dfinir
lorganisation la mieux adapte, lagencement des moyens et la programmation des tches. A
chaque niveau de la chane permettant de dlivrer le service public, il est ncessaire de dfinir les
objectifs et les rles de chacun, puis de se doter dun tableau de bord stratgique adapt.
Le recours aux indicateurs, qui a t rendu systmatique avec la LOLF, requiert cependant du
temps pour que les acteurs se les approprient. On peut mentionner trois conditions ncessaires de
russite dun tel systme instaur au niveau de lEtat :
- une dfinition claire et parta/e de ce quest la performance ; elle doit en particulier
permettre dviter les objectifs et indicateurs dactivit mesurant une quantit des biens ou
services produits (par exemple nombre de bnficiaires dun dispositif donn) ;
- un processus complet, du Parlement aux administrations de terrain, de dfinition de la
stratgie, des objectifs, des indicateurs et des cibles, de dialogue, de prise de dcision ; ce
processus doit garantir la circulation de linformation et des mcanismes de responsabilit ;
- une stabilit du s:stme dans le temps, de manire suivre les indicateurs et
examiner les rsultats dans la dure
15
.

14
En 2012, 423 objectifs dans le budget gnral (hors budgets annexes), soit 3,4 objectifs en moyenne par
programme, et 888 indicateurs, soit 2,1 indicateurs en moyenne par objectif.
15
En 2012, 88% des indicateurs du budget gnral sont inchangs par rapport lanne prcdente ; 6% sont
des indicateurs modifis, 6% sont des nouveaux indicateurs.
25
Cest pour aller dans ce sens que le ministre a conu un guide de la performance, destination de
toutes les personnes concernes par la LOLF.
Par ailleurs, diffrents organismes publics proposent des formations destination des dirigeants,
cadres et agents des services publics.
- LInstitut de la Gestion Publique et du Dveloppement Economique (IGDPE) propose des
formations pour accompagner les rformes pilotes par les ministres conomiques et
financiers, en particulier la mise en place de la LOLF.
- LInstitut de la Performance Publique (IPP) propose des modules de formation pour
accompagner la rforme du budget ayant pour finalit une meilleure performance des
services publics. Ces formations concernent aussi bien les questions juridiques que les
questions dorganisation et de dfinition de procdures, ou encore la productivit ou
lefficience des services publics.

En instituant une dclinaison systmatique des objectifs stratgiques en indicateurs, la LOLF a
entrain la multiplication des indicateurs (prs de 900 pour caractriser le budget gnral, plus de
1 000 en associant les budgets annexes).
Ces indicateurs mesurent la performance selon trois points de vue complmentaire : lefficacit des
politiques du point de vue du citoyen, la qualit du service du point de vue lusager, et lefficience
des programmes du point de vue du contribuable.
La plupart dentre eux sont renseigns partir dinformations provenant directement des
gestionnaires des dispositifs valus.
Sur les plans la fois culturel et technique, la production et lutilisation de ces indicateurs ncessite
un accompagnement de lensemble des acteurs impliqus, qui bnficient pour cela de formations.

$V9 0% P%R$;%<R% &% 0" 0O0> <ROP R%2<R%$'<

Incontestablement, la LOLF a permis dintroduire une dynamique de progrs, tant sur le plan de la
classification des objectifs, de laffectation des moyens, du suivi des rsultats, que de la
mobilisation des acteurs. Cependant, plusieurs limites de la LOLF sont apparues lissue des
premires annes de fonctionnement : la premire concerne son primtre.
La mise en uvre des services publics dpasse en effet trs largement le cadre tatique et les
oprateurs directs de lEtat. Pour une politique publique donne, les acteurs impliqus sont
multiples : aux cts du Parlement et du Gouvernement, des administrations centrales et de leurs
services dconcentrs, figurent des oprateurs aux statuts divers (entreprises publiques,
tablissements publics, groupements dintrt public, associations, entreprises prives dlgataires
de service public, etc.). Les cofinancements sont frquents.
26
Dans le cas prcis des politiques sociales, les dispositifs sont mme minoritairement financs par
ltat : ils relvent essentiellement des budgets des administrations de scurit sociale
(principalement : caisses nationales dassurance maladie, vieillesse, chmage, et caisse nationale
dallocations familiales) et des collectivits locales (allocation personnalise autonomie, revenu de
solidarit active, aide sociale lenfance, etc.).
Dans ces conditions, il est difficile pour lEtat de fixer une stratgie globale, des objectifs partags
et des indicateurs pertinents.

$V9,9 =ne rforme qui inclut les oprateursO
Les rgles de suivi budgtaire de la LOLF sappliquent cependant progressivement aux oprateurs
de lEtat. Est qualifie doprateur toute entit qui contribue la mise en uvre dune mission
de service public de lEtat, c'est--dire laquelle il revient dexcuter la totalit ou une part
significative dun programme. Ces entits reprsentent en 2012 prs de 39 milliards d'euros, soit
prs de 10% du budget total de lEtat (dont plus de la moiti est verse des oprateurs dans le
domaine de la recherche et de lenseignement suprieur). La liste de ces oprateurs est annexe
chaque projet de loi de finances. On en compte 560 en 2012. Parmi ces oprateurs figurent par
exemple les Agences Rgionales de Sant, Pole emploi, lANRU (Agence Nationale pour la
Rnovation Urbaine), lACSE (Agence nationale pour la Cohsion Sociale et l'Egalit des chances).

>i/ure , : Rpartition des crdits verss auC oprateurs par mission
EP0> )+,)F

5ource : Minist6re de lconomie et des finances

Les oprateurs de ltat sont, de par leur activit, parties prenantes de la ralisation des objectifs
de performance des missions, programmes et actions dtermines par la loi de finances. Ce lien
entre ltat et les oprateurs impose donc ces derniers de participer leffort de matrise des
27
dpenses publiques ; ils doivent galement sinscrire dans le cadre budgtaire et comptable de la
LOLF et rpondre lexigence dinformation et de contrle sur leurs emplois, leurs financements et
leurs rsultats en termes de performance.
Pour satisfaire ce dernier aspect, sest dveloppe depuis 2009 une politique de contractualisation
sur les objectifs fixs entre loprateur et sa tutelle. Par analogie avec les projets annuels de
performance, les oprateurs doivent produire un document de performance, qui formalise les
objectifs et indicateurs associs leur budget de lanne. Ceux-ci doivent tre labors dans le
cadre dun dialogue de gestion associant la tutelle technique, la tutelle financire et loprateur,
puis tre soumis au vote du conseil dadministration simultanment au vote du budget. Ces
engagements doivent au minimum dcliner les objectifs des PAP, mais peuvent tre complts par
des objectifs complmentaires.
Cependant, ce jour, aucun compte dexcution budgtaire ou comptable ne rconcilie, pour une
politique donne, les budgets et les comptes de lEtat avec ceux de ses oprateurs
16
, ce qui rend
difficile une mesure globale de la performance.

$V9)9 O les or/anismes de scurit socialeO
Cest le poids dterminant des rgimes de scurit sociale dans le financement du systme de
protection sociale qui a motiv la transposition de la dmarche objectifs-rsultats au Projet de Loi
de Financement de la Scurit Sociale (PLFSS). 0a loi or/anique relative auC lois de
financement de la 2curit sociale (LOLFSS), promulgue le 2 aot 2005 (et mise en
application pour la premire fois dans le cadre du PLFSS 2008), est le pendant de la LOLF pour les
organismes de scurit sociale. Elle a pour objectif de rnover la prsentation du PLFSS pour en
faire un outil de pilotage plus efficace.
A la diffrence du Projet de Loi de Finance, le PLFSS nassocie pas de cibles quantifies aux
indicateurs, mais des tendances souhaitables dvolution.
Dans le domaine sanitaire et social cohabitent donc deux documents qui proposent des indicateurs
de performance : les programmes de qualit et defficience (PQE) des diffrentes branches de la
protection sociale (maladie ; accidents du travail et maladies professionnelles ; retraite ; famille ;
financement ; invalidit et dispositifs grs par la CNSA) issus du PLFSS, et les Programmes
Annuels de Performance des missions dans le secteur sanitaire et social (au nombre de 4 : sant ;
solidarit, insertion et galit des chances ; travail et emploi ; ville et logement) issus du PLF. Or,
les objectifs comme les indicateurs qui sont prsents dans ces documents ne sont pas toujours en
cohrence.
Daprs Mireille ELBAUM, qui a compar ces deux documents sur lexercice 2009
17
, les problmes
de cohrence sont de deux types : cohrence statistique, en ce qui concerne les dfinitions, les

16
La mise en uvre de la loi organique relative aux lois de finances (LOLF) : un bilan pour de nouvelles
perspectives, cour des comptes, Novembre 2011
28
champs et les priodes dobservation dindicateurs proches mais aussi cohrence sagissant de
larticulation entre les deux dmarches : chaque srie dindicateurs fournissant un instrument
dvaluation laction publique qui ne se focalise pas sur les mmes aspects. Par exemple, dans le
PLF, lobjectif de rduction des ingalits de sant est apprhend au travers du taux de
reconnaissance des campagnes de prvention de lINPES. Dans le PLFSS, il est associ des
indicateurs mesurant la rpartition de loffre de soins de ville et hospitalire et aux ingalits
financires.
Les objectifs des deux exercices sont en effet un peu diffrents : le PLF est conu pour tre
directement associ la prsentation et au vote des crdits de la loi de finance. Les PQE ne sont
pas, quant eux, directement utiles la prsentation et au vote des prvisions de recettes et de
dpenses figurant dans le PLFSS : ils visent uniquement lclairer par des informations ou
illustrations complmentaires, et proposent une vision densemble des politiques de protection
sociale et de leurs rsultats.
Plus gnralement, le PLF et le PLFSS sinscrivent parmi un ensemble doprations de suivi
gouvernemental dindicateurs concernant les politiques sanitaires et sociales, et notamment des
indicateurs de cohsion sociale europens dclins en France sous forme dannexe au rapport de
stratgie nationale , des objectifs associs la loi de 2004 relative la politique de sant
publique, ou encore la fixation dun objectif de lutte contre la pauvret, assorti dun tableau de
bord dindicateurs associs des cibles sur 5 ans.
La juxtaposition de ces diffrentes batteries dindicateurs pose la question de la cohrence de
lensemble des indicateurs produits, et de leur rle dans les processus de prise de dcision
politiques.

$V979 O mais pas les collectivits locales
Une des principales limites actuelles de la LOLF est quelle nintgre pas dans son primtre les
collectivits locales.
Il faut souligner que les collectivits locales disposent dj, depuis plusieurs annes, dun cadre
juridique, budgtaire et comptable qui, bien des gards, est en cohrence avec les principes
consacrs par la LOLF
18
. Cependant, ce cadre ne fait pas lobjet de remontes dinformations
agrges et articules avec la LOLF, ce qui pourrait tre ventuellement li des procdures
comptables qui nauraient pas encore eu le temps de converger et dtre mises en cohrence. Mais
de faon inattendue, les nouvelles normes comptables appliques aux collectivits, notamment
celles concernant les rgions (2010), ne sont toujours pas articules avec larchitecture en missions
et programmes telle que prvue par la LOLF.

17
Mireille ELBAUM : Les indicateurs de performance en matire de politiques sociales : quel sens pour laction
publique ? OFCE, n2009-16, juillet 2009
18
La LOLF et les collectivits locales, une dmarche de performance dj engage Article paru dans Bercy
Colloc Information spciale - 31 janvier 2008
29
Certaines collectivits locales ont cependant dj engag de leur propre initiative des dmarches
de performance. Une enqute mene en France au premier trimestre 2008 auprs de 360
collectivits faisait apparatre que 42% dentre elles avaient dj engag une dmarche de
performance; et que 25% dentre elles comptaient engager une telle dmarche dans les 2 ans
venir. Selon Marie-Christine Steckel
19
, ces initiatives sexpliquent la fois par la volont de faire
face aux attentes des citoyens ( la fois usagers et contribuables) et par la ncessit doptimiser
les ressources disponibles pour absorber les dpenses lies aux transferts de comptences de lEtat
vers les collectivits (insertion, dpendance,.) insuffisamment compenss par lEtat.
La Cour des comptes signale, dans son bilan de lanne 2011, que plusieurs collectivits
territoriales ont mme dj mis en place un volet performance dans le cadre de leur budget.
Cependant, ce stade, aucune consolidation nest possible : la description des politiques publiques
nest pas la mme selon les collectivits concernes, les volets performance ne sont pas
comparables et ces initiatives restent finalement relativement isoles.
A loccasion de la mise en place de la LOLF, des exprimentations ont t conduites avec
diffrentes collectivits territoriales volontaires - communes, dpartements, rgions - afin de tenir
compte de la grande diversit des collectivits territoriales en termes de taille et de modes
dorganisation. Cette approche permettait ainsi de ne pas imposer a priori de moule commun
qui naurait pas reflt les besoins, objectifs, moyens et priorits propres chaque collectivit.
Aucun bilan densemble na pour linstant t tir de ces diffrentes exprimentations, mais les
actions engages ne se sont pas a priori limites aux seules questions de budget et de
performance : il sest agi gnralement de dmarches plus larges de modernisation de la gestion
publique locale, passant galement par une modernisation des systmes dinformation et une
rorganisation des services.
La Cour des comptes estime souhaitable dlargir aux collectivits territoriales le pilotage des
politiques publiques par objectifs conduisant une restitution des rsultats, tel que le prvoit la
LOLF. Au-del du suivi budgtaire et comptable des politiques publiques, la ncessit de construire
des dispositifs dvaluation cohrents et rigoureux, qui couvrent la fois lEtat et les collectivits
territoriales, a t rappele plusieurs reprises par la Cour dans ses rapports sur les politiques
dcentralises, et notamment le rapport relatif la protection de lenfance (2009) et celui sur le
RMI-RSA (2011).

Les premires annes de fonctionnement de la LOLF ont fait apparatre une limite importante lie
son champ dapplication, trop restreint : si la LOLF sapplique aux oprateurs de lEtat et, depuis la
refonte du PLFSS, aux organismes de scurit sociale, elle ne concerne pas les collectivits locales.
Mme si celles-ci sont nombreuses dvelopper des initiatives visant amliorer leur
performance, il nest pas envisag pour le moment de systmatiser et duniformiser ces
expriences.

19
La performance publique en France : un jeu dinfluences croises entre le national et le local, Marie-Christine
STECKEL, revue de gestion et finances publiques, juin 2010
30

V9 0O0> : =' C#O$D &$'&$C"<%=R2 ?=$ PO2% P"R>O$2
?=%2<$O'

Comme voqu plus haut, la mise en place dindicateurs doit sappuyer dans lidal sur une tude
pralable qui permet de lister une grande quantit dindicateurs possibles, et qui tudie leur
volution sur une priode donne afin de choisir, avant de dmarrer le suivi, ceux qui semblent le
plus pertinents pour mesurer les objectifs recherchs. Plus gnralement, lexpertise de
statisticiens, conomistes et chercheurs peut tre mobilise pour la construction, la production et
linterprtation des indicateurs ainsi que pour le choix des cibles, qui doit tre systmatiquement
associ une analyse fine du contexte et des prvisions dvolution de la conjoncture conomique
et sociale.
Dans le cadre de la LOLF, compte tenu de lampleur du champ concern et des dlais de mise en
uvre, les tudes pralables nont pas pu tre menes de faon systmatique (pour certains
programmes, des recherches existantes ont nanmoins pu tre exploites), et le choix des
indicateurs a donc t opr au fil de leau au cours des premiers exercices budgtaires.
Comme le rappelle Franois Ecalle
20
, les premires observations de la Cour des comptes sur les
projets de performance pour 2006 ntaient pas trs satisfaisantes pour diverses raisons parmi
lesquelles on peut citer : le fait que les objectifs et indicateurs ne couvraient souvent quune petite
partie des programmes ; le fait que les indicateurs ntaient pas toujours chiffrs; ou encore le fait
quil sagissait souvent dindicateurs dactivit qui ne tenaient pas compte des moyens mis en
uvre ou, au contraire, dindicateurs de moyens sans rfrence aux rsultats du programme
21
.
Autre point dinsatisfaction relev par Franois Ecalle : certains objectifs taient trop soumis aux
effets de facteurs extrieurs lAdministration dont le gestionnaire du programme ne pouvait tre
tenu pour responsable. Par exemple, les indicateurs du type taux dinsertion dans lemploi
durable des bnficiaires dune mesure daide au retour lemploi nont gure de sens par eux-
mmes, sils ne sont pas mis en perspective avec lvolution du march de lemploi.
De mme, une analyse dtaille des indicateurs sociaux de la LOLF (mene sur lexercice 2009) ont
amen Mireille Elbaum
22
formuler quatre principales rserves concernant le choiC des
indicateurs retenus, qui rejoignent les limites avances par Franois Ecalle.


20
Franois ECALLE, De la rationalisation des choix budgtaires la LOLF, complment au rapport du CAS
21
En 2006, les indicateurs dactivit, de moyens ou de contexte reprsentaient 18 % de lensemble des
indicateurs. Cette catgorie a maintenant compltement disparu au profit des indicateurs defficacit,
defficience ou de qualit.
22
opus cit.
31
V9,9 =n problme dhtro/nit des indicateurs
Comme le souligne Mireille Elbaum, le problme dhtrognit concerne aussi bien les objectifs
des diffrents programmes que la nature des indicateurs mobiliss pour les suivre. Nous nous
attachons cependant ici uniquement la question des indicateurs.
Les indicateurs de la LOLF se rapportent parfois aux rsultats finaux des politiques (par exemple le
taux de retour lemploi durable des publics en difficult), mais aussi aux rsultats intermdiaires
daction dtermine (taux dinsertion des publics concerns par diffrentes mesures daide au
retour lemploi). De nombreux indicateurs sont par ailleurs des indicateurs de suivi de lactivit et
non des rsultats des programmes, et sont cibls sur certains dispositifs en particulier et pas
dautres, ce qui donne une dimension trs politique la slection opre.
Cette htrognit des indicateurs slectionns au sein dune mme mission, voire dun mme
programme, ne permet pas, au final, de disposer dune vision densemble cohrente des politiques
suivies.

V9)9 =ne inadquation entre obIectifs et indicateurs
Les indicateurs retenus sont parfois partiels ou ponctuels, ce qui peut gnrer des biais
dinterprtation. Par exemple : le taux dappels tlphoniques traits par le dispositif daccueil
tlphonique, de suivi et de traitement des situations de maltraitance envers les personnes ges
est lunique indicateur retenu pour mesurer latteinte de lobjectif de lutte contre la maltraitance
des personnes ges, qui passe pourtant par dautres vecteurs que la mise en place de numros
verts.

V979 =ne liste dindicateurs retenus qui peut paraPtre
incomplte
Mme si la liste des indicateurs retenus est longue (plus dun millier en comptant les budgets
annexes), certains indicateurs significatifs manquent lappel. Par exemple, la liste comprend trs
peu dindicateurs permettant dvaluer le non-recours, qui est un aspect important prendre en
compte pour mesurer lefficacit des politiques.

V939 Certains indicateurs retenus sont difficiles G interprter
Certains indicateurs sont difficilement interprtables si lon ne prend pas en compte les donnes de
contexte. Par exemple, le taux dinsertion des bnficiaires de certaines mesures daide lemploi
32
ou la formation (les contrats aids, les contrats de professionnalisation ou encore les structures
dinsertion par lactivit conomique) est sensible la conjoncture conomique et reflte pour une
large part les caractristiques de leurs publics en terme dge, de qualification et de parcours
professionnel. Seule la comparaison avec une population tmoin permettrait de mesurer lexistence
dun effet positif du dispositif sur le retour lemploi. Cependant ce type de comparaison apparat
particulirement complexe, notamment en raison des biais de slection des bnficiaires lentre
des diffrents dispositifs.

V969 =n obIectif de publication annuelle parfois inadapt auC
dlais de production
Lvaluation dune politique sociale suppose gnralement la production dtudes statistiques dont
la ralisation est couteuse en temps, dautant plus lorsque la complexit de lexercice et les
controverses quelle entrane rendent ncessaire la ralisation de plusieurs tudes reposant sur des
mthodes diffrentes. Or lannualit des procdures budgtaires conduit le Parlement rexaminer
chaque anne les objectifs et indicateurs slectionns, ce qui peut conduire dans certains cas
produire des indicateurs qui nont pas pu faire lobjet des vrifications et contrles qui seraient
souhaitables. Il serait donc prfrable dvaluer certains programmes sur une base pluriannuelle
afin de permettre la production et la publication dindicateurs solides et fiables.

V9H9 =ne fiabilit variable des indicateurs
Nombre des indicateurs produits sont renseigns partir dinformations collectes par les diffrents
gestionnaires qui peuvent tre impliqus dans la mise en uvre des dispositifs valus. Ce
processus htrogne de consolidation des donnes peut gnrer des niveaux de fiabilit variables
des indicateurs produits.
Par exemple, le taux de sortie du RSA par dpassement de ressources est calcul sur la base des
donnes des CAF, qui sont issues des dclarations trimestrielles de ressources des bnficiaires,
indispensables pour effectuer le calcul du montant des droits. La remonte dinformation est
organise par la CNAF, une date et une priodicit fixe identique pour toutes les CAF. Le calcul
de lindicateur LOLF est donc effectu sur des bases identiques pour lensemble des CAF.
En revanche, sagissant du taux dinsertion dans lemploi la sortie des structures dinsertion par
lactivit conomique, le processus de remonte dinformation est plus difficile contrler car les
donnes sont saisies au cours du temps par les structures dinsertion, sur la base des dclarations
des salaris. Un extranet est mis disposition de toutes les structures dinsertion, mais elles ne
saisissent pas toutes linformation, et dans un certain nombre de cas, elles ne connaissent pas la
situation dun nombre significatif de salaris.

33
V959 =n comit en char/e dauditer les indicateurs
De manire pallier lensemble de ces limites, le Comit interministriel d'audit des programmes
(CIAP) ralise depuis 2009 des audits centrs sur le dispositif de performance, c'est--dire les
objectifs et indicateurs de performance figurant dans les PAP et les RAP7
Il doit notamment :
- veiller ladquation entre les objectifs et les indicateurs ;
- sefforcer de limiter le nombre des indicateurs en liminant en particulier les indicateurs
non renseigns, de pure activit, dont le cot de collecte est trop lev, non fiables ou
entranant des biais manifestes ;
- auditer les cibles retenues pour chaque indicateur ;
- distinguer les actions relevant dindicateurs de performance chiffrs et celles appelant une
dmarche plus qualitative dvaluation de politiques publiques.
Les audits sont ainsi organiss autour de questions correspondant aux trois dimensions de la
qualit dun dispositif de performance9
- La pertinence marque laptitude des objectifs et indicateurs choisis traduire la performance de
manire significative et fidle (est-ce que les objectifs refltent bien la stratgie, est-ce que les
indicateurs mesurent bien la performance ?) ;
- La fiabilit concerne, non plus la dfinition de lindicateur, mais la qualit des donnes utilises
et des traitements effectus. Il sagit de savoir si la chane de production des indicateurs et les
dispositifs de contrle interne prsentent une fiabilit suffisante ;
- Lutilit : il s'agit de "sortir des PAP et des RAP" pour voir si, au-del de la confection des
documents budgtaires, le dispositif de performance est effectivement utilis dans la gestion des
services et dans la conduite des politiques.
En deux ans
23
, prs dun quart du dispositif de performance budgtaire a t examin par le CIAP
(23% des programmes, 29 % des indicateurs). Les constats sont les suivants :
- Pertinence des indicateurs tudis : 57 % de satisfaisants, 27 % dacceptables et 16 %
dinsuffisants ;
- Fiabilit des donnes utilises pour la production des indicateurs : 46 % de satisfaisants, 28
% dacceptables et 26 % dinsuffisants ;

23
CIAP, rapport dactivit : huiti6me c4cle daudits, dcembre 2011
34
- Utilit oprationnelle des indicateurs : 39 % de satisfaisants, 33 % dacceptables et 28 %
dinsuffisants.
Le fait quun indicateur soit considr comme tant dune fiabilit insuffisante ne signifie pas que le
chiffre fourni soit faux, mais que le processus de production ne prsente pas une garantie
suffisante de qualit.
La production de certains indicateurs est associe des difficults spcifiques, auxquelles il savre
plus ou moins difficile de remdier :
- les indicateurs fonds sur des systmes dinformation imparfaits ;
- les indicateurs composites , qui amalgament des donnes en provenance de sources
multiples et htrognes ;
- les indicateurs ad hoc , c'est--dire crs spcifiquement pour les besoins du dispositif
de performance. Il sagit de cas o la mesure de lefficacit socio-conomique ne peut tre
effectue partir de sources administratives ou dapplications de gestion, ce qui exige
souvent la ralisation denqutes spcifiques sur chantillon.
Si la qualit des indicateurs samliore progressivement, les audits font cependant apparatre que
linterprtation et lexploitation du dispositif de performance sont encore trs insuffisantes. Les
commentaires portent essentiellement sur la description des variations, sans en analyser en
dtail les causes.

En rsum, au-del de la question de son primtre, la LOLF prsente une autre limite importante
concernant les indicateurs eux-mmes. Parmi les problmatiques qui ont t releves :
lhtrognit des indicateurs, leur inadquation avec les objectifs, lincompltude de la liste des
indicateurs, les difficults dinterprtation, la priodicit annuelle, et le degr de fiabilit variable
selon les indicateurs.
Il faut toutefois souligner que le choix des indicateurs LOLF est contraint par des questions :
- de complexit des dispositifs dont les objectifs sont parfois difficiles rsumer en un nombre
limit dindicateurs quantitatifs ;
- de sensibilit aux variations lchelle dune anne, alors que la mesure des rsultats finaux
peut ncessiter plusieurs annes dobservation ;
- de primtre de la LOLF qui oblige se limiter aux dispositifs financs par lEtat.
Pour connatre et pallier ces limites, le Comit interministriel d'audit des programmes (CIAP)
ralise depuis 2009 des audits. La qualit des indicateurs samliore donc progressivement mais
lanalyse des volutions est encore trop succincte.

35

V$9 0" 0O0> : PO=R 0%2 1%2<$O''"$R%2, =' &$2PO2$<$> &%
2=$V$ P"R;$ &"=<R%2

Comme nous lavons voqu plus haut, beaucoup dindicateurs inscrits dans la LOLF sont obtenus
par agrgation dinformations produites par diffrents gestionnaires des dispositifs financs par
lEtat qui ont des statuts trs divers : service dconcentr de lEtat, collectivit locale, association,
entreprise prive.
Si ces informations sont importantes pour pouvoir raliser des arbitrages budgtaires au niveau de
lEtat, elles ne prsentent pas ncessairement le mme intrt localement pour les gestionnaires
des dispositifs. Par exemple, les structures dinsertion par lactivit conomique se sentent plus
concernes par lautonomisation de leur public ou par la viabilit financire de leur structure que
par le taux de retour lemploi la sortie qui est mis en avant dans la LOLF.
Par ailleurs, lorsque les gestionnaires de dispositifs ont plusieurs financeurs, ils peuvent avoir
faire remonter des donnes diffrentes afin de rpondre aux demandes de chacun. Sans tre
radicalement diffrentes, les donnes demandes peuvent ncessiter des reconstructions selon
diffrentes dfinitions. Cest en ce sens que les gestionnaires souhaitent que les demandes de
statistiques formules par les diffrents financeurs puissent tre harmonises. Cette harmonisation
pourrait tre facilite par la mise en place dinstances territoriales de type confrence des
financeurs, qui au-del de la simplification des dossiers, permettrait de conduire un dialogue de
gestion commun.
Les gestionnaires peuvent galement avoir des besoins dinformation qui leur sont propres, pour
suivre leur activit ou alimenter les partenaires locaux. Ils construisent alors et renseignent
priodicit rgulire leurs propres tableaux de bord, qui constituent de vritables outils de pilotage
de leur activit. L encore, les donnes ne sont pas forcment radicalement diffrentes de celles
dj transmises par ailleurs mais sont parfois compiles diffremment.
Les structures gestionnaires peuvent donc tre amenes multiplier le suivi dindicateurs pour
rpondre ces diffrentes attentes. %lles risquent alors de concentrer leurs efforts sur la
production des donnes statistiques attendues au dtriment de lKaction concrte dune
part, et de l'valuation relle des rsultats dautre part.
Autre consquence : les gestionnaires se sentent parfois dmunis pour rpondre toutes les
demandes, qui peuvent ncessiter une adaptation des s:stmes dinformation eCistants ou
lorganisation de collectes dinformation spcifiques. Dautant quils ne sont pas toujours
convaincus de la pertinence des indicateurs demands, quils jugent trop restrictifs voire inadapts
pour rendre compte de leur action.
Or lacceptation des indicateurs de performance par les gestionnaires est ncessaire deux
niveaux : pour que la d:namique lie au mana/ement par obIectifs fonctionne (et que les
gestionnaires adaptent leur organisation pour avoir les meilleurs rsultats possibles au regard des
36
indicateurs suivis) mais aussi pour que les indicateurs soient fiables (les gestionnaires devant
simpliquer dans la production de linformation).
Cette acceptation dpend de la valeur mobilisatrice dun indicateur pour un niveau de gestion
et dpend aussi de la faon dont les gestionnaires sont associs llaboration des indicateurs et
leur analyse. Ils doivent pouvoir donner leur avis sur la pertinence et la fiabilit des indicateurs
retenus, avoir un retour sur la valeur de lindicateur et sur linterprtation des variations, et que
sinstaure un vritable dialogue de gestion sur la base de ces informations.
Lorsque les structures sont regroupes en rseau, le rseau qui les fdre peut proposer des outils
pour aider renseigner les indicateurs communs (logiciels de saisie, guides mthodologiques.).
Ainsi, les Centres Communaux dAction Sociale (CCAS), qui doivent raliser chaque anne une
analyse des besoins sociaux de lensemble de la population de la commune, peuvent sappuyer sur
des outils proposs par lUnion Nationale des CCAS. Le rseau peut galement tre force de
proposition auprs des financeurs pour proposer des indicateurs qui reoivent lassentiment de
tous.

En rsum, les gestionnaires des dispositifs financs par lEtat sont la source de nombreuses
informations qui alimentent les indicateurs de performance. Ils sont souvent dmunis face la
recrudescence des demandes dinformations chiffres, dautant quils ne sont pas toujours
convaincus de la pertinence des indicateurs demands et quils nen voient pas forcment lintrt
au niveau local. Or ladhsion des gestionnaires la dmarche de performance est indispensable
pour quelle fonctionne.
Ces aspects seront dvelopps dans la deuxime partie de ce document au travers de deux
exemples qui nous ont paru significatifs de lvolution dcrite dans cette premire partie.



37
&%=D$%;% P"R<$% : 0%D%;P0% &%2 2<R=C<=R%2 &$'2%R<$O'
P"R 0"C<$V$<% %CO'O;$?=% E2$"%F


;thodolo/ie recueil des donnes

Les informations utilises dans cette partie proviennent :
- dune recherche documentaire,
- de la ralisation dentretiens avec des experts ayant une connaissance nationale du secteur de
lIAE et de son valuation (DGEFP, DARES, CNIAE, rseaux de lIAE),
- de la ralisation dentretiens avec une dizaine de responsables de diffrents types de structures
(Entreprises dInsertion, Entreprises de Travail Temporaires dInsertion, Associations
Intermdiaires, Ateliers et Chantiers dInsertion) intervenant dans trois dpartements
diffrents : Val de Marne, Isre, Gironde
24
, qui nous ont fait part de leur exprience du suivi
dindicateurs dans le cadre des nouvelles conventions avec lEtat, mais galement des relations
avec les autres financeurs.


Le secteur de lInsertion par lActivit Economique (IAE) est n, la fin des annes 1970,
linitiative de travailleurs sociaux la recherche de nouveaux outils pour contribuer la rinsertion
des publics en difficult dont ils assuraient le suivi.
Leur dnominateur commun est lutilisation du support travail comme outil de rinsertion des
personnes, ces structures ayant donc la fois un pied dans le monde du social, et un pied dans le
monde conomique classique .
Leur objectif est doffrir aux personnes quelles salarient et qui rencontrent des difficults sociales
et professionnelles particulires un parcours professionnel adapt et un accompagnement
personnalis qui leur permettent de sinsrer, notamment par laccs lemploi en milieu
ordinaire .

24
Ces trois dpartements ont t identifis daprs une typologie des dpartements qui figure dans le bilan de
mise en uvre de la rforme par le Centre National dAppui et de Ressources de lInsertion par lactivit
conomique (CNARIAE) comme ayant des pratiques de dialogue de gestion associant des partenaires plus ou
moins diversifis (Etat, Ple emploi, Conseil Gnral, Conseil Rgional).
38
Le secteur de lIAE regroupe aujourdhui environ 5 000 structures
25
, rpartis en quatre catgories
correspondant la diversit des difficults rencontres par les personnes orientes vers lIAE :
Les entreprises dinsertion (EI),
Les entreprises de travail temporaire dinsertion (ETTI),
Les associations intermdiaires (AI),
Les ateliers et chantiers dinsertion (ACI).
Chaque anne, plus de 250 000 salaris en insertion sont embauchs ou mis disposition,
reprsentant plus de 70 000 ETP.
La loi n98-657 du 29 juillet 1998 de lutte contre les exclusions, complte en 2005 par la loi
relative la cohsion sociale, a fix le cadre dans lequel interviennent aujourdhui ces structures. A
loccasion du Grenelle de linsertion qui sest tenu de novembre 2007 mai 2008, et qui avait pour
objectif de repenser les politiques d'insertion et d'accompagnement des personnes en difficult, un
plan de modernisation de l$"% a t adopt. Il sarticule autour de trois axes : la
redynamisation des conseils dpartementaux de lIAE (CDIAE), la rnovation des modalits de
conventionnement des structures de lIAE et la rnovation des modalits de financement.
En conclusion du rapport gnral, le Grenelle a mis en avant limportance de dvelopper
lvaluation dans ce secteur, selon quatre axes complmentaires :
- dvelopper lvaluation du service rendu auC personnes, cestGdire la mesure de
rsultats individuels obtenus. Le rapport prcisait que les rsultats ne sauraient se limiter
au prisme unique du retour lemploi et quils devaient tre adapts aux diffrentes
composantes et phases du parcours dinsertion ;
- rendre systmatique et plus contraignante lvaluation des oprateurs chargs de la mise en
uvre des politiques, cest--dire la mesure des performances de chaque structure ;
- mieuC valuer les politiques nationales (leur efficacit par rapport leurs objectifs, leur
efficience globale, leurs effets sur leurs destinataires) ;
- valuer la mise en Quvre locale de ces politiques, cest--dire la mesure des
performances conjointes dun ensemble dacteurs sur un territoire.


25
Source : cnariae.fr. Ces donnes sont issues de plusieurs sources (DARES, ASP, rseaux) et reprennent les
lments disponibles les plus rcents (de 2006 2010). Il sagit donc plus dordres de grandeurs que de
donnes absolues.
39
$9 &% 'O=V%00%2 R%10%2 &% CO'V%'<$O''%;%'< &= 2%C<%=R
?=$ PR$V$0%1$%'< 0% R%<O=R " 0%;P0O$

Daprs larticle 11 de la loi relative la lutte contre les exclusions de 1998, les publics accueillis
dans les SIAE sont des personnes sans emploi rencontrant des difficults sociales et
professionnelles particulires . Dans ce contexte, afin de pallier la moindre productivit des
salaris dans le cadre dune activit marchande et afin de prendre en charge une partie du cot de
leur accompagnement, ces structures reoivent des financements de lEtat. Chaque structure signe
une convention tablie avec lUnit Territoriale de la Direction rgionale des entreprises, de la
concurrence, de la consommation, du travail et de l'emploi (UT Direccte), qui dtermine les
conditions d'exercice de l'activit et ouvre droit des aides financires.
Le secteur reoit environ 600 millions C de lEtat
26
. Les modalits dattribution de ces aides varient
selon les structures : une aide au poste dinsertion en Entreprises dInsertion (EI), une aide au
poste daccompagnement en Entreprise de Travail Temporaire dInsertion (ETTI), une aide
laccompagnement socioprofessionnel en Association Intermdiaire (AI) et Atelier et Chantier
dInsertion (ACI), une prise en charge dune partie de la rmunration verse aux salaris
(contrats aids en ACI), et des exonrations de cotisations sociales.
En plus de laide de lEtat, le secteur de lIAE reoit des aides du Fonds Social Europen (environ
100 millions C), des collectivits locales (environ 200 millions C), des Conseils gnraux (aide au
poste et suivi RSA : 40 MC), des Communes et Communauts dagglomrations, et des Conseils
rgionaux (appui la formation des salaris en insertion).
Suite la mise en uvre du plan de modernisation de lIAE et lapplication de la LOLF depuis
2009, les financements de lEtat accords aux SIAE
27
le sont au regard des rsultats obtenus par
ces structures. Les SIAE tant finances au titre de la politique de lemploi (les crdits affects
linsertion par lactivit conomique sont intgrs au sein du programme accs et retour
lemploi de la mission travail dans le cadre de la LOLF), les indicateurs principaux de rsultat sont
des indicateurs de retour lemploi :
- un tauC dinsertion dans lemploi durable, qui comprend les sorties en CDI ou dans la
fonction publique, CDD ou missions dintrim de plus de 6 mois et les crations
dentreprise,
- un tauC de - sorties d:namiques . qui intgre les sorties dans lemploi durable et
celles vers un emploi de transition (CDD ou mission dintrim de moins de 6 mois, contrats
aids chez un employeur de droit commun, contrat dapprentissage et de
professionnalisation) et les sorties positives (formations pr-qualifiantes ou
qualifiantes, embauches dans une autre SIAE.).

26
CNIAE : linsertion par lactivit conomique, prsentation ADF, 2010.
27
Les nouvelles modalits de conventionnement Etat/SIAE sont dcrites dans la circulaire DGEFP1 n 2008-21
du 10 dcembre 2008.
40
Ces objectifs doivent tre ngocis a minima entre la structure, les services dconcentrs de lEtat
(DIRECCTE) et Ple emploi, le minimum requis tant : un tauC dinsertion dans lemploi
durable au moins /al G )6R et un tauC de - sorties d:namiques . au moins /al G
H+R. Cette ngociation, appele galement dialogue de gestion , peut tre largie dautres
financeurs (en particulier les Conseils gnraux).
Les nouvelles modalits de conventionnement prvoient la possibilit dun accord triennal. Ce
cadre, en permettant une inscription plus rapide des crdits, doit permettre de prenniser et
scuriser le secteur9 Chaque anne, en cours de conventionnement, une phase de rengociation ou
dactualisation de la convention doit alors tre organise. Lactualisation de la convention permet
un ventuel ajustement des objectifs (justifis par une volution du contexte territorial, des
difficults au sein de la structure pendant lanne.).
Dans la pratique, daprs le bilan tabli en 2011 par le CNAR-IE
)B
, seuls 36 dpartements
ngociaient des conventions pluriannuelles. Les autres dpartements tablissaient toujours des
conventions annuelles. Par ailleurs, 76 dpartements seulement associaient Ple emploi au
dialogue de gestion (alors quil devrait ltre systmatiquement), 66 associaient le Conseil gnral,
21 le Conseil rgional.

$9,9 =ne cadre qui semblait ncessaire
Ces nouvelles modalits de conventionnement ont reprsent une volution importante des
relations entre les SIAE et les reprsentants de lEtat. Pour aider les structures ngocier ces
conventions et en faire un outil de pilotage, un guide daccompagnement a t produit par le
Centre National dAppui et de Ressources- Insertion par lactivit conomique (CNAR-IAE)
29
. La
plupart des rseaux de structures et associations dinsertion (CNEI, FNARS, COORACE,.) ont par
ailleurs ralis des guides ou argumentaires sur les Nouvelles Modalits de Conventionnement
(NMC) adapts aux spcificits de leurs adhrents.
Des formations ont galement t proposes aux responsables de SIAE. Daprs le bilan du CNAR-
IAE, en 2009 et 2010, prs de 1 500 SIAE (soit moins dun tiers des structures) ont fait lobjet dun
accompagnement, individuel ou collectif, aux NMC. La plupart des structures accompagnes lont
t en 2009. En 2011, diffrents rseaux continuaient cependant dorganiser des runions
dinformation au sujet de la rforme NMC.
La majorit des acteurs interrogs dans le cadre de ce Cahier de recherche, tant au niveau national
que dpartemental, porte un jugement globalement positif sur le cadre donn par ces nouvelles
rgles. Ils estiment quil est normal que les structures aient rendre des comptes une fois par an

28
Nouvelles Modalits de Conventionnement Etat/SIAE, Bilan de la mise en uvre de la rforme sur le territoire
national et de laccompagnement des SIAE, Centre National dAppui et de Ressources (CNARIAE), 2011.
29
Guide des nouvelles modalits de conventionnement Etat-IAE, CNAR -IAE, 2009.
41
sur laction mene auprs de leurs publics et trouvent intressant davoir une discussion avec les
reprsentants de lEtat sur leur fonctionnement.
Cependant, pour les responsables de structures qui ont connu lavant-rforme, le changement ne
leur semble pas si important. Ils avaient dj loccasion de prsenter un bilan et dchanger avec
les services de lEtat. Le processus est nanmoins plus structur depuis 2009 et les dossiers plus
fournis en donnes statistiques. Tous saccordent dire que ce nouveau cadre a ainsi contribu
G la structuration du secteur, G la professionnalisation des intervenants et au
dveloppement de linformatisation dans les structures ainsi quG une monte en
comptence des services dconcentrs9
Les principaux rseaux du secteur de lIAE avaient dailleurs appel lors du Grenelle de linsertion
une rforme du conventionnement (coupl une rforme du financement qui na pas encore
abouti). Ils regrettent cependant que les nouvelles modalits de fonctionnement naient pas t
assorties dune hausse des moyens affects lIAE. Sur le terrain, les responsables de structure
ont ainsi le sentiment quon leur demande de faire toujours plus, aussi bien en termes de rsultats
quen termes dvaluation moyens constants, voire avec moins de moyens.
Dans la pratique, il apparait que la qualit du dialogue de gestion entre la structure et la DIRECCTE
varie en fonction des interlocuteurs. Certaines structures apprcient ce point rgulier qui peut tre
loccasion de collecter des informations ou demander des conseils, particulirement si leur
interlocuteur la DIRECCTE connait bien le secteur. Il arrive cependant que cet entretien laisse les
responsables de structures sur leur faim , avec le sentiment que la DIRECCTE napporte pas
daide concrte et se focalise sur les donnes statistiques sans tenir compte des spcificits de la
structure et des difficults auxquelles elle fait face. En particulier, la crise conomique qui svit
depuis 2009 a pu avoir de graves consquences financires sur certaines structures, qui ont eu du
mal assurer leur viabilit financire et qui ont parfois d licencier des salaris permanents et
supprim des postes dinsertion.
Dans certains dpartements, le turn-over des chargs de missions de la DIRECCTE est important,
ce qui ne facilite pas la construction de relations sur le long terme. Une des structures interroges
est mme reste plusieurs mois sans interlocuteur dsign. Paralllement la rforme du
conventionnement, une nouvelle organisation territoriale de lEtat sest mise en place (cration des
DIRECCTE et des UT DIRECCTE), ce qui a pu entrainer des perturbations dans lorganisation des
services en charge de lIAE.
Si la transmission du dossier de conventionnement et des donnes statistiques qui en font partie a
lieu chaque anne, lentretien consacr au dialogue de gestion nest quant lui pas systmatique.
Certaines structures nont eu un entretien quune anne sur deux. Dans tous les cas, les structures
reoivent ensuite par courrier la notification du renouvellement de lagrment et de lobtention de
la subvention.
Beaucoup de structures regrettent que les relations avec la DIRECCTE se limitent lentretien
annuel. Il ny a gnralement pas dautres changes tout au long de lanne. Dans les trois
dpartements tudis, les relations avec les Conseils gnraux sont plus rgulires, au travers de
diffrentes instances et comits. Le dialogue de gestion est moins formalis (pas de
42
programmation dentretien annuel), mais au final les structures sont dans lensemble plus
satisfaites du mode de relations avec cet autre financeur.
Ces dialogues de gestion donnent lieu au suivi dindicateurs dont la pertinence est discute dans la
suite de ce document.

$9)9 &es indicateurs de performance incomplets, qui
manquent de souplesse et de fiabilit
I.2.. !indicateur de retour % lemploi ne permet pas dvaluer
lensemble des actions des 5I6&
Les indicateurs de retour lemploi mis en avant par la LOLF (taux dinsertion dans lemploi durable
et taux de sorties dynamiques) sont dsormais devenus prioritaires pour les services de lEtat,
relguant les autres indicateurs au deuxime plan. Or, ds leur mise en place, ces indicateurs
taient loin de faire lunanimit
30
.
En premier lieu, le secteur de lIAE regrettait dtre jug au travers dun indicateur dont le niveau
ne dpend pas uniquement de son intervention. Si lautonomisation des publics en insertion est
bien entirement de leur ressort, la sortie vers lemploi dpend du potentiel conomique de la zone
et du dynamisme du secteur dactivit dans lequel les structures dinsertion voluent.
Face cette focalisation des objectifs des SIAE sur le retour lemploi, des craintes de drive du
sens mme des SIAE se sont fait jour : demander une SIAE une performance value
uniquement laune du retour lemploi risquait de pousser les SIAE ne recruter que des
personnes proches de lemploi ou remettre leurs salaris en emploi tout prix, dans des
conditions qui ne seraient pas propices une insertion durable.
La mesure de limpact des SIAE au travers du seul indicateur de retour lemploi apparait en effet
trs partielle dans la mesure o elle ne prend pas en compte limpact des SIAE :
o 2ur le r/lement des difficults sociales des personnes quelles
accompa/nent et sur laccroissement de leur autonomie ;
o 2ur lKenvironnement conomique et social : contribution au dynamisme
conomique et au maillage partenarial du secteur de linsertion notamment
Dans son guide daccompagnement, le CNAR-IAE invite dailleurs les structures ajouter aux
indicateurs de retour lemploi des indicateurs plus qualitatifs dans leurs conventions avec les
financeurs. Le choix des indicateurs complmentaires doit reposer sur llaboration dun diagnostic
dtaill, qui permet de prciser les apports de la SIAE son territoire et ses habitants. Ce
diagnostic doit faire apparaitre les points forts et les points faibles du territoire, des publics, et de

30
'omment valuer la performance de l%A# ? Jacques Dughra, alternatives conomiques n44, mai 2010.
43
la structure pour que les objectifs du projet dinsertion soit en lien direct avec les problmatiques
territoriales identifies.
Le projet dinsertion inclut quatre axes ou actions-cls, qui peuvent chacun se dcliner en
indicateurs dactivit ou en indicateurs de rsultats intermdiaires, le retour lemploi
correspondant un objectif de rsultat final :
- aCe , : accueil et int/ration en milieu de travail : sassurer que les personnes,
envoyes par les diffrents prescripteurs ou qui se prsentent spontanment,
correspondent aux publics que la structure entend recruter, compte tenu de son projet
dinsertion ; informer les nouveaux salaris recruts sur des postes dinsertion du
fonctionnement de la structure ; raliser un diagnostic de leur situation au niveau social et
professionnel ;
- aCe ) : accompa/nement social et professionnel 7 accompagnement sur des
problmatiques sociales identifies, ventuellement effectu par un partenaire de la
structure ; encadrement sur les postes de travail ; prparation la sortie ;
- aCe 7 : formation des salaris en insertion : en dehors de loffre classique des
organismes de formation, pas toujours adapte aux publics des SIAE, des actions de
formation spcifiques sont mises en place de faon mutualise par les structures
dinsertion.
- aCe 3 : contribution G lactivit conomique et au dveloppement territorial : utilit
sociale au-del de la remise au travail de demandeurs demploi, partenariats tisss au
service des salaris en insertion, contribution au dveloppement du territoire travers les
activits mises en uvre et les emplois proposs.
Le guide propose, dajouter ces dimensions un indicateur sur leffet emploi , par exemple trois
mois aprs la sortie de structure. Aucune structure interroge dans le cadre de ce travail de
recherche na mis en place ce type de suivi. Outre les problmes de faisabilit (elles nont pas la
possibilit de garder contact de faon systmatique avec leurs anciens salaris), elles mettent aussi
en avant le fait que ce type de suivi est plutt du ressort de Ple Emploi.
Le rseau de la fdration Envie
31
a ralis un bilan de la mise en uvre des nouvelles modalits
de conventionnement pour ses adhrents en 2009, et avait constat lpoque que seulement
17% des entreprises avaient ngoci des indicateurs autres que le retour lemploi, tels que :
- la consommation du budget formation de lentreprise ;
- le fait de trouver un logement ;
- lobtention de modules de formation continue via lAFPA ;
- la ralisation dun bilan final de formation pour au moins 80% des salaris;

31
La Fdration Envie, cre en 1984, regroupe 48 entreprises prsentes sur deux activits : la rnovation et la
vente dappareils lectromnagers petits prix ; la collecte et le traitement des dchets dquipements
lectriques et lectroniques.
44
- le maintien en poste dau moins 80% des salaris en insertion lissue de leur premier
CDDI.

Daprs le Bilan du CNAR-IAE , on retrouve selon les rseaux et Dpartements, dautres indicateurs
ngocis comme :
- le passage ou lobtention du permis de conduire ;
- la lutte contre lillettrisme ;
- la rsolution de problmes de garde denfants ;
- le dpart la retraite ;
- des attestations de comptences dans le cadre de dispositifs clairement identifis ;
- les orientations vers les MDPH ;
- laccs des formations qualifiantes pendant le parcours dinsertion ;
- linscription dans un parcours de sant ;
- une solution durable dhbergement.

Dans les trois dpartements enquts pour cette recherche, le bilan effectu par les structures est
de fait trs dtaill et suit les 4 axes du projet dinsertion (accueil et intgration, accompagnement,
formation, contribution lactivit conomique).
Outre les lments relatifs la description du fonctionnement de la structure (description du
projet, moyens humains et matriels, bilan financier), il comprend gnralement des lments
relatifs au profil et la situation professionnelle des salaris lentre de la structure, lactivit
des salaris dans la structure, aux difficults rencontres, laccompagnement social et
professionnel mis en place pour rsoudre ces difficults et enfin la situation la sortie. Des focus
sur des publics prioritaires sont effectus : bnficiaires du RSA, salaris de plus de 50 ans,
travailleurs handicaps, habitants de zones prioritaires.
Dans un des 3 dpartements tudis, les structures doivent galement dtailler trois exemples de
parcours daccompagnement, qui correspondent des parcours rels de salaris de la structure et
qui doivent illustrer la diversit des actions mises en uvre par la structure.
Toutes les structures mettent en avant le temps quelles consacrent la constitution de ce bilan,
dautant que les autres financeurs et le conseil dadministration formulent par ailleurs dautres
demandes. Si les structures jugent pour la plupart intressant de produire ce bilan dtaill,
certaines estiment que le temps quelles doivent y consacrer est trop important et intervient au
dtriment de leur action auprs des publics insrer. Un interlocuteur a utilis le terme
d asphyxie administrative pour qualifier son sentiment face aux demandes toujours plus
nombreuses dinformations chiffres et de justificatifs. Dautant que les financements accords par
la DIRECCTE sont minoritaires dans le budget global des structures.
45
Si le bilan transmis lUT DIRECCTE contient beaucoup de donnes statistiques sur le profil des
publics comme sur les actions dont ils bnficient, aucun indicateur nest assorti dune valeur-cible
en dehors du taux de retour lemploi. Il peut arriver cependant que des DIRECCTE aient exprim
des exigences concernant lembauche de catgories de publics particulires (femmes, travailleurs
handicaps,.). Selon les structures, ces exigences ne sont pas toujours ralistes : une structure
dinsertion qui travaille dans le gros uvre se voit ainsi rgulirement demander dembaucher des
femmes.
Quant au Conseil gnral, il fixe gnralement un objectif de nombre de bnficiaires du RSA socle
embaucher dans la structure. Il sintresse leur parcours et leur devenir, mais sans fixer
dobjectif de taux de retour lemploi. Les Conseil gnraux interrogs sont attentifs au fait que la
dfinition dobjectifs de retour lemploi peut porter prjudice au recrutement des bnficiaires du
RSA, qui font partie des publics les moins employables.

I.2.2. !a cible % atteindre pose "uestion
Daprs les acteurs interrogs au niveau national, les taux de 25% demploi durable et de 60% de
sortie positive ont t fixs selon une double logique :
- une comparaison avec les taux de sortie vers lemploi dautres dispositifs dinsertion et avec
les taux de sortie de SIAE qui suivaient dj cet indicateur ;
- un taux dinsertion qui soit politiquement acceptable (demander un taux de sortie positive
de 60%, cest admettre que 40% sortent de ces dispositifs sans solution).
Ces cibles simposent toutes les structures quel que soit le contexte dans lequel la SIAE exerce
son activit dinsertion, ce qui parait inadapt pour trois raisons:
o les caractristiques du public quelle accueille et en particulier son niveau
dloi/nement de lemploi peut varier selon le projet social de la structure et
son public cible, mais aussi selon la conjoncture conomique;
o le potentiel conomique du territoire dans lequel la structure exerce son activit
peut varier fortement dune structure lautre ;
o la rsolution des difficults sociales dpend de laccompa/nement social et
professionnel mis en place par lensemble des partenaires publics et privs
prsents sur le territoire de la SIAE dans le cadre du parcours dinsertion.
Ces cibles ne sont pas adaptes toutes les tailles dtablissement. Certaines structures ont en
effet trs peu de salaris en insertion (quelques personnes). Dans ce cas, raisonner en taux de
sortie na statistiquement pas beaucoup de sens dans la mesure o la situation dune seule
personne peut faire fortement voluer le taux.
Si le taux de sortie positive (60%) nest pas ngociable, la ventilation entre sortie durable, sortie
de transition et autre sortie positive semble pouvoir tre module dans certains dpartements :
46
certaines des structures interroges ont ainsi pu faire baisser le taux demploi durable 20% ou
moins, pour tenir compte des spcificits de leur public et du contexte conomique local.
Pour la plupart des structures, ces taux sont difficiles atteindre. Elles ont souvent le sentiment
quon leur demande de faire mieux que les dispositifs de droit commun alors quelles travaillent
avec un public en grande difficult. Cette focalisation sur le taux de retour lemploi est dautant
moins bien vcue que la structure doit faire face des difficults financires et disposent de ce fait
de moyens limits pour atteindre les objectifs. Les responsables, qui doivent assurer la survie de
leur structure, expriment ainsi leur incomprhension devant les priorits de la DIRECCTE.
Les indicateurs nationaux, qui sont calculs partir des rsultats de lensemble des structures
conventionnes dans le secteur, font apparaitre que les valeurs cibles ne sont pas atteintes (cf.
Figure 2). La Dlgation Gnrale l'Emploi et la Formation Professionnelle (DGEFP) est
consciente du fait que la cible est difficile atteindre. Elle a dailleurs t fixe sur la base de
performances de dispositifs dinsertion dans une priode conomique plus favorable. Elle indique
quon en est encore la phase de consolidation de lindicateur, dont la fiabilit samliore dannes
en annes, et quil est donc prmatur de lancer une rflexion sur le rtalonnage de la cible.

>i/ure ) : Taux dinsertion la sortie
des structures dinsertion par lactivit conomique (EI, ETTI, AI)
Taux dinsertion la sortie
32

(en emploi + formation qualifiante)
2008 2009 2010
Entreprise dinsertion (EI) 22,8% 21,9% 25,8%
+ont emploi durable nd 898: ;<98:
Entreprise de travail temporaire dinsertion (ETTI) 46,7% 50,8% 51,3%
Dont emploi durable Nd 20,6% 22,7%
Association Intermdiaire (AI) 48,3% 46,0% 50,4%
+ont emploi durable nd =<9>: =;98:
5ource : publication +A,#5
N- : la sortie nest pas connue pour ;? . =<: des salaris et connue mais non code dans
les items prvus pour =< . =?: des salaris selon le t4pe de structures7

Les SIAE nayant pas atteint leurs objectifs font tat de ractions varies de lUT Direccte selon les
dpartements : certaines structures ont parfois le sentiment que la DIRECCTE considre que la
structure ne remplit pas sa mission, sans tenir compte de tout le travail qui est accompli en
matire daccompagnement social et de formation. A linverse, dautres structures estiment que la
DIRECCTE sest montre comprhensive et sensible aux arguments avancs par les responsables
de la structure pour justifier ce rsultat, mme si elle leur demande damliorer la performance
pour lanne suivante.

32
Ce taux calcul au niveau national ne reprsente quune partie du taux de sorties dynamiques discut
localement avec les structures.
47
Jusqu prsent, lattribution des financements de lEtat nest pas officiellement conditionne aux
performances des SIAE en matire de retour lemploi. Il ny a en effet pas de lien automatique
entre latteinte des objectifs et loctroi des aides. Les UT DIRECCTE doivent cependant prendre en
compte cet lment dans la ngociation.
De fait, quelques structures interroges qui navaient pas russi atteindre leurs objectifs de taux
de retour lemploi ont dj subi une baisse du montant de leur aide (pour laide
laccompagnement et non pour laide au poste), sans que le lien entre la baisse des crdits et la
non-atteinte des objectifs soit toujours annonc explicitement par la DIRECCTE. En fait, les critres
de rpartition de lenveloppe budgtaire attribue au dpartement ne sont pas connus des
structures, qui ne savent donc pas quelle place est prcisment accorde latteinte des objectifs
de taux de retour lemploi parmi les autres critres possibles, comme la qualit de
laccompagnement ou la pertinence de laction de la structure dans le paysage local.
Au-del de ces cas prcis o une baisse de laide a t constate, les structures ont plutt le
sentiment que la pression sur latteinte des objectifs sintensifie dune anne sur lautre. En
particulier, 2012 est pour les structures interroges une anne charnire, un dlai de 3 ans leur
ayant t accord pour atteindre les objectifs fixs en 2009. Elles craignent que lattribution des
financements soit lavenir conditionne latteinte des objectifs.

I.2.$. !a fiabilit de lindicateur nest pas satisfaisante, m+me si elle
samliore
Les donnes utilises pour calculer lindicateur national proviennent de lAgence de Services et de
Paiement (ASP), charge depuis la loi de cohsion sociale de 2005 de collecter en continu des
informations sur les structures de lIAE et les salaris en insertion. La collecte se fait par le bais
dun extranet que la plupart des structures utilisent
33
: hormis pour les Associations intermdiaires,
les donnes saisies interviennent en effet dans le calcul du financement accord par lEtat.
Les donnes concernant la situation la sortie des salaris tant renseignes par les structures, en
sappuyant sur les dclarations des salaris sortants, la DARES met des rserves sur la fiabilit de
cet indicateur. Il existe en effet une forte mar/e dincertitude. Les responsables des structures
ne sont pas toujours en capacit de fournir des informations prcises sur la situation de leur salari
la sortie. Pour les donnes relatives aux sortants de lanne 2010, la sortie est ainsi inconnue
pour 15 20% des sortants selon les structures, et nest pas prcise pour 20 25% des sortants
selon les structures. Pour cette dernire catgorie, il peut sagir dune reprise demploi que la
structure nest pas en mesure de caractriser, faute dinformations prcises sur le type de contrat,
ou de situations particulires non prvues dans la liste des motifs de sortie (arrt du parcours
dinsertion pour rsoudre des difficults sociales, cong de maternit, hospitalisation,

33
Linsertion par lactivit conomique en 2010 : hausse des embauches aprs une anne 2009 marque par la
crise, Dares analyses, novembre 2012, n78.
48
incarcration.). Des ajustements dans les nomenclatures sont ltude pour mieux reprer ces
situations particulires au niveau national.
Les dernires donnes nationales publies datent de 2010, compte tenu du temps ncessaire la
consolidation et lexploitation des donnes. Avec le temps, la qualit des donnes va
probablement samliorer car cette information tant alors discute lors du dialogue de gestion, les
structures sont incites mesurer plus prcisment le taux de retour lemploi. Ainsi, certains
responsables des structure interrogs nous ont expliqu se montrer plus exigeants vis--vis de
leurs salaris permanents sur la recherche de linformation et sur la saisie des donnes. Mais il nen
demeure pas moins quil sagit dune information dclarative. Certaines DIRECCTE tudient la
possibilit de demander aux structures de fournir des justificatifs sur la situation de sortie (copie
des contrats de travail). Outre la lourdeur administrative que cela gnre, les structures nont pas
les moyens de contraindre les salaris leur fournir ce document.
La deuxime rserve provient du fait que la situation est observe la sortie de la structure. Or la
notion de sortie est plus ou moins facile cerner selon les structures et laisse une marge
dinterprtation : pour les AI en particulier, les personnes peuvent figurer encore dans le fichier
mais ne pas avoir eu de mission au cours des 6 derniers mois. On peut dans ce cas considrer que
la personne est sortie du dispositif ou quelle est encore en parcours, selon que lon estime que la
personne bnficiaire sera amene ou non tre nouveau suivie.
Enfin, cet indicateur ne donne aucune information sur la prennit du retour G lemploi (par
exemple rupture du CDI avant la priode dessai ou non prennisation du salari par lemployeur
aprs un premier CDD de 6 mois). Certaines structures attendent dailleurs la fin de la priode
dessai du contrat de droit commun pour considrer que le salari est effectivement sorti de la
structure. En cas de rupture prmature du contrat, il peut ainsi rintgrer la SAIE. Sinon, il doit
attendre 6 mois pour se rinscrire.
Il serait ainsi plus pertinent de mesurer systmatiquement la situation professionnelle 3 ou 6 mois
aprs la sortie, afin de sassurer de la durabilit du retour lemploi. Cette information est connue
pour les anciens salaris des Ateliers et Chantiers dInsertion, puisquils bnficient dun contrat
aid. Lensemble des sortants de contrats aids se voient en effet envoyer un questionnaire papier
6 mois aprs la fin de leur contrat, dans lequel ils doivent indiquer quelle est leur situation.
Linformation est donc obtenue cette fois directement auprs du salari, avec toutefois des taux de
non-rponse assez levs (de lordre de 60%). Un traitement statistique de la non-rponse est
donc effectu afin de corriger ainsi le fait que les non-rpondants ont souvent des profils
spcifiques qui sont susceptibles daffecter leur taux dinsertion dans lemploi. =ne piste serait
dlar/ir cette enquLte G tous les sortants de 2$"%9
Lindicateur consolid au niveau national est calcul par la DARES, sur la base du calcul ralis par
chacune des structures, qui sont destinataires de consignes techniques sur le mode de calcul. Seuls
les salaris ayant pass au moins 3 mois dans la structure sont comptabiliss au dnominateur. A
lorigine, tous les sortants de plus de 3 mois taient pris en compte, quel que soit le motif de
sortie. Suite aux retours dexprience des structures, la DGEFP a accept de revoir le mode de
calcul, pour neutraliser les sorties de type dcs, cong maladie ou maternit, dpart la retraite,
49
dmnagement qui venaient peser sur le taux de sortie positive sans que les structures puissent
agir sur ces situations particulires.

$979 0es craintes sur la slection des publics G lentre des
2$"% difficiles G vrifier
Au moment de la mise en place des nouvelles rgles de conventionnement, de nombreux acteurs
du secteur ont exprim leur crainte de voir les SIAE oprer une slection des publics pour atteindre
les objectifs attendus par lEtat en matire de retour lemploi.
Trois ans aprs, que peut-on dire de cet ventuel effet pervers ? Au niveau national, la plupart des
acteurs estiment que cet effet est rel, mais quil leur est impossible de le mesurer. Ils continuent
de craindre que cela influe terme sur la nature mme du secteur.
Le profil administratif (ge, niveau de formation, origine gographique, dure de chmage,.) ne
permet pas de connaitre prcisment lloignement lemploi mais constitue une premire
indication. Il faut toutefois souligner que lvolution du profil des salaris peut tre influenc par de
nombreux paramtres, en particulier la situation conomique (en priode de crise, les SIAE
accueillent un public moins en difficult, qui ne trouve plus demploi en milieu ordinaire).
Les donnes de la DARES, qui dcrivent le profil des salaris de lIAE, ne couvrent encore que le
dbut de la priode concerne. Il est trop tt pour vrifier au travers de cette source si les profils
des salaris ont volu significativement.
Selon le Comit National des Entreprises dInsertion, les donnes statistiques issues de leurs
observatoires ne montrent pas dvolution inquitante du profil des salaris en parcours dinsertion
en EI et ETTI entre 2008 et 2011. La part des salaris en parcours dinsertion ayant un niveau
infrieur au niveau V a mme progress de deux points entre 2009 et 2011 pour atteindre 83%,
tandis que la proportion de bnficiaires du RMI/RSA a galement cru de 3 points en quatre
annes, et que la part des demandeurs demploi de longue dure (12 24 mois) est reste stable
au cours des trois dernires annes
34
.
Sur le terrain, la plupart des structures affirment ne pas avoir modifi leur mode de recrutement.
Elles rappellent que travailler avec des publics en difficult constitue leur raison dtre et que par
ailleurs, les conseils dadministration comme les financeurs se montrent trs attentifs aux
catgories de publics accueillis. Les objectifs fixs avec lUT DIRECCTE pour lanne suivante
incluent en effet des quotas sur certains publics prioritaires.
Certaines structures ont tout de mme signal faire attention au moment du recrutement la
mixit des profils : si la SIAE comprend dj des salaris trs loigns de lemploi, pour lequel le

34
Rapport CNEI pour lIGAS-IGF rforme du financement de lIAE, note 1 : le public en insertion dans les EI et
les ETTI, octobre 2012
50
parcours dinsertion prendra au moins deux ans, elle privilgiera pour les nouveaux entrants des
salaris dont les difficults dinsertion peuvent tre rsolues plus rapidement.
Cependant, au-del du taux de retour lemploi, certaines structures voquent le fait quelles
doivent tout de mme satisfaire des obligations de rentabilit conomique, et quelles ne peuvent
donc pas fonctionner quavec des salaris en grande difficult.
Par ailleurs, mme si les sanctions financires restent rares dans le cas o lobjectif de retour
lemploi nest pas atteint, les structures risquent de se montrer plus slectives lentre si ces
sanctions se multiplient.


0es points damlioration du dispositif dvaluation de la performance des 2$"%

Quatre pistes principales damlioration ont t voques par les acteurs interrogs :
- Un largissement des critres de performance des structures de lIAE dautres dimensions
comme la qualit de laccompagnement socio-professionnel ou limpact sur le territoire ;
- Une harmonisation des demandes de conventionnement entre les diffrents partenaires, afin
dallger le travail administratif des structures ;
- Une meilleure prise en compte, des spcificits de la structure dans le dialogue de gestion ;
- Un dialogue de gestion commun lensemble des financeurs, pour permettre une meilleure
concertation dans le choix des objectifs
35
.


$$9 ?=%02 $'&$C"<%=R2 CO;P0%;%'<"$R%2 "= <"=D &% R%<O=R
" 0%;P0O$ !

Il semble y avoir un consensus de lensemble des acteurs concerns sur la ncessit dlargir les
critres de performance du secteur de lIAE dautres indicateurs que le seul retour lemploi. La
DGEFP a lanc il y a quelques mois un groupe de travail sur lvaluation de la performance dans ce
secteur, qui na pas encore rendu de conclusions.

35
La proposition dune confrence des financeurs est reprise dans le nouveau plan de lutte contre la pauvret
et pour linclusion sociale adopt le 20 janvier 2013 par le Comit Interministriel de Lutte contre les Exclusions
(CILE). Ces confrences des financeurs pourront tre compltes par des confrences territoriales de suivi des
parcours, visant articuler les interventions de chacun au service du parcours individualis des personnes en
insertion professionnelle.
51
Dautres acteurs ont cependant dj propos des indicateurs permettant davoir une meilleure
connaissance des structures dinsertion dun territoire donn et une meilleure comprhension de
leur impact. Ainsi, le CNIAE a dvelopp un programme dtudes rgionales qui lui a permis
danalyser limpact de lIAE dans les territoires concerns. Ces tudes ont t menes entre 2004
et 2006 dans quatre rgions (Aquitaine, Franche-Comt, Pays de la Loire, PACA). Elles ont donn
lieu une synthse en 2009
36
, dont les principaux enseignements sont prsents ci-dessous.

$$9,9 =ne description de loffre disponible en termes de tauC
dquipement
Le rapport du CNIAE remarque que lanalyse de loffre dinsertion des territoires est aujourdhui
essentiellement apprcie au travers du nombre de postes offerts ou de la quantit de travail
propose, ce qui permet dapprocher le dimensionnement de loffre sans pour autant donner
dindication sur ladquation entre loffre et la demande des territoires.
Pour cela il faudrait, selon le CNIAE, mener une analyse en termes de - tauC dquipement . qui
rapporte loffre des indicateurs de besoin . Le taux dquipement peut ainsi tre calcul par
rapport plusieurs catgories de publics cibles :
- - la population active ;
- - les demandeurs demploi ;
- - les allocataires du RSA socle.
Cette approche permet en particulier destimer limportance du secteur de lIAE par rapport aux
diffrents publics cibles : ainsi le nombre de postes offerts peut apparaitre relativement faible si on
le rapporte lensemble de la population active (moins de 1% en France mtropolitaine
37
) ;
cependant, si lon considre uniquement les publics qui constituent son cur de cible
dintervention, le poids du dispositif est nettement plus significatif (9% des demandeurs demploi,
20% des allocataires du RSA).
Les disparits peuvent cependant tre importantes dune rgion lautre : ainsi, en Franche Comt
par exemple, plus dun allocataire du RSA sur deux pouvait accder une place en SIAE. Cette
analyse en terme de taux dquipement doit ainsi pouvoir tre mene lchelle infra-
dpartementale, au niveau de chaque bassin demploi, afin danalyser la capacit de rponse des
territoires par rapport aux besoins des publics. Ce type danalyse permet dorienter la rflexion des
acteurs en charge du pilotage de lIAE sur la ncessit ventuelle dun rquilibrage de loffre aux
diffrents chelons de territoire (bassin demploi, dpartement, rgion).


36
Synthse des tudes territoriales : rsultats et perspectives, mars 2009, CNIAE, http://portail-iae.org
37
DARES, 2006.
52
$$9)9 0a description des modalits de laccompa/nement
Lintensit et la qualit de laccompagnement font partie des cls de la russite des parcours des
salaris en insertion. Diffrents indicateurs quantitatifs pourraient ainsi tre dvelopps pour
apprhender cette dimension de la performance des SIAE :
- Le taux d'accompagnement des bnficiaires : permanents ddis l'accompagnement en
ETP / salaris en insertion en ETP,
- Le taux d'encadrement des salaris : permanents ddis l'encadrement en ETP / salaris
en insertion en ETP,
- La part des salaris en insertion ayant suivi une formation au cours des 12 derniers mois,
- La part des salaris en insertion ayant obtenu un titre, un diplme ou une validation
suprieure au cours des 12 derniers mois,
- La part du chiffre daffaires de la structure affecte la formation des salaris en insertion
et salaris permanents.
Par ailleurs, il faut identifier les outils de formation et daccompagnement mis en place:
- plan de formation pour l'quipe permanente,
- plan de formation pour les salaris en insertion,
- formations internes,
- outils et procdures d'accompagnement social et professionnel : diagnostic sur la situation
administrative, sociale et professionnelle de la personne, valuation des capacits et des
comptences, etc.
Enfin, le parcours dinsertion professionnelle des salaris se construisant en partenariat avec les
services sociaux, les services publics de lemploi et de la formation et les entreprises locales et
branches professionnelles, une valuation qualitative des actions et partenaires externes mobiliss
par la structure peut tre mene : mobilisation des actions proposes par les partenaires,
conventions de partenariat signes, dmarches de mutualisation, participation des rseaux,
collaboration avec d'autres types de SIAE.

$$979 0a description des publics accueillis
Il sagit de prendre en compte le profil des salaris en insertion accueillis dans les SIAE et
notamment la part de bnficiaires de minima sociaux (et notamment du RSA socle), de chmeurs
longue dure, de jeunes sans qualification, de personnes de plus de 50 ans, ou encore de
personnes en situation de handicap ou sous main de justice.
Afin dapprcier lloignement lemploi, il est possible de mesurer le cumul de difficults
sociales et mdicosociales auquel sont confrontes les personnes en insertion. Cet
53
indicateur permet de faire le lien entre les besoins des personnes en insertion et loffre
daccompagnement disponible. Il peut tre visualis sous la forme dun sociogramme , dont un
exemple dvelopp par la rgion Aquitaine est prsent ci-dessous (cf figure n3).
Ces donnes peuvent tre compiles par structure, par bassin demploi, par dpartement ou par
rgion. Elles permettent dclairer les trajectoires dans la structure et les situations demploi la
sortie.

>i/ure 7 : %Cemple de socio/ramme

5ource : tude dimpact de linsertion par lactivit conomique en aquitaine en =<<@9
'N%A#

$$939 0a mesure de limpact
II.(.. !impact sur le devenir des bnficiaires
Les tudes dimpact menes par certains territoires se sont penches sur limpact des SIAE sur le
parcours dinsertion des personnes, au-del de laccs lemploi, en tenant de mesurer
notamment : laccroissement de lautonomie des personnes, lacquisition de comptences
transfrables et la rduction de leur distance lemploi.
54
Un indicateur semble particulirement bien adapt : il sagit de lvolution des difficults
identifies au travers du socio/ramme cidessus. Daprs les entretiens raliss, il semble
que les structures fournissent dj un point assez complet des difficults rencontres par leurs
publics lentre de la structure et de celles qui ont pu tre rsolues. Ce point est dj discut lors
du dialogue de gestion et figure dans les donnes statistiques transmises dans le dossier de
demande de conventionnement. Il parait pertinent de capitaliser ces donnes et de les agrger au
niveau dpartemental, rgional et national afin de disposer dindicateurs de limpact social des
SIAE.
Par ailleurs, rappelons ici la piste voque plus haut consistant apprhender le devenir
professionnel des salaris sortant de structures dinsertion 6 mois aprs leur sortie. Cette
information pourrait tre obtenue en largissant le champ de lenqute ralise par la DARES
auprs des bnficiaires de contrats aids tous les sortants de SIAE.

II.(.2. !impact conomi"ue des 5I6& sur les territoires
Les SIAE sont des acteurs conomiques des territoires sur lesquels ils interviennent puisquils
participent la production de richesses et distribuent des revenus tant au travers des salaires
verss que des achats aux entreprises du territoire. Le secteur mobilise dimportants financements
publics mais les tudes rgionales du CNIAE semblent montrer que le retour sur investissement est
positif pour les collectivits.
Limpact des SIAE sur les territoires peut galement tre apprci au travers de la nature des
activits et des modes de production des structures, qui peuvent sinscrire dans des logiques de
dveloppement durable et ainsi participer proposer des modles conomiques plus respectueux
de lenvironnement.
Ces apports restent cependant difficiles valoriser au travers dindicateurs statistiques ou
quantitatifs.
55


&n rsum 7 les nouvelles r80les de contractualisation en vi0ueur dans le secteur de lI6&
depuis 233' ont donn un cadre plus structur au. relations entre l&tat et les structures
de lI6&.
Cependant, la "ualit du dialo0ue de 0estion semble tr8s variable selon les territoires, et
selon les interlocuteurs. 5i certaines structures consid8rent avoir un vritable chan0e et
une mar0e de n0ociation avec leur #9 DIR&CC9&, dautres nobtiennent pas le soutien et
lcoute esprs.
!a mesure de la performance du secteur de lI6& sur le retour % lemploi des salaris en
insertion appara:t % la fois imparfaite et trop rductrice. !a fiabilit de lindicateur retenu
de retour % lemploi peut en effet +tre "uestionne, en ce sens "uil repose sur des
donnes dclaratives et "ue linformation est parfois man"uante ou incompl8te. De plus,
lidentification des situations % la sortie de la structure ne donne pas dindications sur la
durabilit de linsertion. #ne valuation dimpact "ui sappuierait sur une en"u+te
s;stmati"ue aupr8s des salaris, ) mois apr8s la sortie, semblable % celle "ui est
ralise sur les sortants de contrats aids, apparaitrait plus satisfaisante.
<ar ailleurs, si la reprise demploi est sans conteste le rsultat final vis par les
structures, il est souvent difficile % obtenir, % la fois en raison du cumul de difficults
au"uel font face les salaris en insertion, et en raison de la situation du march du
travail "ui prsente peu dopportunits demploi. !es structures obtiennent cependant
des rsultats en mati8re dautonomisation des publics 1rduction de lloi0nement %
lemploi2, "uil serait ncessaire dvaluer et de diffuser. &lles ont 0alement un impact
conomi"ue et social sur les territoires o= elles interviennent "ui pourrait +tre mieu.
valoris.
!e nouveau plan de lutte contre la pauvret et pour linclusion sociale, valid le 23
janvier 23$ par le Comit Interministriel de !utte contre les &.clusions, prvoit le
lancement dune rfle.ion partenariale pour rformer le financement du secteur et revoir
les crit8res de performance. Cette rfle.ion devrait sappu;er en particulier sur les
conclusions du rcent rapport de lI>65?I>4 et sur les travau. du 0roupe de travail pilot
par la D>&4< sur la mesure de la performance dans le secteur de lI6&.


56
<RO$2$%;% P"R<$% : 0%D%;P0% &= R%V%'= &% 2O0$&"R$<%
"C<$V% ER2"F

;thodolo/ie de recueil des donnes
Les informations mobilises dans cette partie proviennent :
- Dune recherche documentaire sur la base des rapports de la CNAF, Ple Emploi, le Comit
National dEvaluation du RSA, la DREES, la Cour des Comptes, lIGAS, le CEE, la SFE,.
- De la ralisation dentretiens dacteurs dans 6 Conseils 1nrauC : Hrault, Cte dOr,
Meurthe et Moselle, Yvelines et Deux-Svres (responsables au sein des directions insertion et/ou
emploi et/ou solidarit et/ou finance et/ou qualit).
- De travauC du CR%&OC sur le RSA raliss par le dpartement Evaluation des Politiques
Sociales (valuation qualitative, dans le cadre du Comit National dEvaluation du RSA, du vcu
des bnficiaires ainsi que des valuations de Plans Dpartementaux dInsertion et de Plans
Territoriaux dInsertion).
Remar"ues mthodolo0i"ues : Les lments dinformation recueillis, pour cette tude, auprs
des dpartements interrogs ont valeur dexemples et dillustrations ; ils ne visent pas atteindre
la reprsentativit des modes organisationnels dpartementaux mais plutt apprhender
lhtrognit des pratiques dpartementales.

Rappel sur le dispositif du R2"
Aprs 20 ans dexistence, le Revenu Minimum dInsertion (RMI) est remplac par le Revenu de
Solidarit Active (RSA) - en application de la loi du 1
er
dcembre 2008 - qui succde galement
lAllocation de Parent Isol (API). Ce nouveau dispositif a pour objectif dapporter des rponses
auC insuffisances du R;$ dans la lutte contre le chSma/e et la pauvret ; il reprsente
alors une nouvelle tape dans la prise en charge et laccompagnement des personnes exclues de
lemploi.
&ispositif composite, il fait ainsi entrer de nouveaux types de publics dans le primtre des
politiques sociales la charge des dpartements. De fait, en mme temps quelle augmente le
champ de responsabilit des dpartements et raffirme leur fonction de chef de file des politiques
dinsertion, la loi du 1
er
dcembre 2008 leur confie galement le soin de dfinir les dispositifs
partenariaux daccompagnement quils souhaitent mettre en uvre sur leur territoire.

57
Lenjeu pour les Conseils Gnraux consiste assumer la mise en uvre de ce dispositif
destination de lensemble des bnficiaires, en intgrant les spcificits locales et en mettant
profit les maillages partenariaux dj effectifs.
Au niveau de lEtat, lhistorique de son financement est complexe. Bien que prsent dans les
projets de loi de finances comme une prestation de solidarit nouvelle calcule en fonction des
revenus du travail, de la situation familiale et des autres ressources des mnages
38
, le RSA
rsulte de l'addition de prestations dj existantes (RMI, API) et de la soustraction d'une partie de
la PPE (Prime Pour lEmploi).
La possibilit de cumuler une partie de lallocation avec les revenus dactivit, sans limite dans le
temps, renforce l'incitation la reprise d'activit ou laugmentation du temps de travail.
Concrtement :
en labsence de revenu dactivit, le RSA vers permet de complter les autres revenus du
foyer pour atteindre un montant forfaitaire, qui dpend de la composition du foyer ;
en prsence de revenus dactivit, le RSA vers garantit que le foyer peroive le montant
forfaitaire, augment de 62% des revenus dactivit
39
et ce, de manire prenne, tant que
les conditions daccs au dispositif sont remplies, et en particulier tant que le bnficiaire
se trouve en dessous d'un certain seuil de ressources.

Une des caractristiques rgulirement mise en vidence par les valuations du RMI tait celle
dtre un dispositif prsentant le risque de crer des - trappes G inactivit .. Le RMI tait une
allocation diffrentielle, dont le montant correspondait la diffrence entre le plafond de
ressources garanti (en fonction du nombre de personnes du foyer) et les ressources du foyer
allocataire. En dehors de la priode dintressement, ce mcanisme annulait tout gain financier la
reprise dun emploi dont le salaire tait infrieur au montant du RMI, puisque lallocation tait
rduite hauteur du revenu dactivit. Le bnficiaire pouvait ainsi ne pas tre incit rechercher
ou reprendre un emploi si le gain quil procurait tait trop faible, do leffet observ de trappe
inactivit . Daprs Michle LELIEVRE et E. NAUZE-FICHET
40
parmi les bnficiaires du RMI,
30% taient en accord avec lopinion gnrale selon laquelle il est parfois plus avantageux de
percevoir le RMI que de travailler avec un bas salaire , mme si la majorit de ces mmes
personnes pense toutefois que leur propre situation financire samliorerait avec un emploi
(70%).

38
Projet annuel de performances annex au projet de loi de finances pour 2011, mission Solidarit, insertion et galit des
chances, p. 23.
39
Aprs plusieurs rformes depuis sa cration, lintressement relatif au dispositif du RMI tait temporaire : en 2006, il tait de
100% sur les 3 premiers mois puis de 50% sur les 9 mois suivants.
40
RMI, ltat des lieux, 1988 - 2008. Sous la direction de Michle LELIEVRE, Emmanuelle NAUZE-FICHET. Editions La
Dcouverte, Paris, 2008, p. 168.
58
Prsentation des aCes danal:se
Le RSA a t conu comme un dispositif garantissant une allocation de subsistance et la possibilit
de cumuler revenus du travail et revenus de la solidarit publique ; il doit permettre la fois une
rduction de la pauvret et un retour G lemploi, facilit par ailleurs par la mise en place dun
accompagnement renforc.
Du point de vue du suivi et de lvaluation, les acteurs impliqus chaque chelon de mise en
uvre du RSA produisent leurs propres indicateurs et critres dvaluation. La question de lutilit
et de lutilisation de ces indicateurs se pose de faon transversale tous les chelons. Au service
de logiques dactions distinctes, quels usages les acteurs nationaux, dpartementaux et locaux
font-ils de ces indicateurs ? Quels intrts et objectifs viennent-t-ils renseigner ? Comment sont-ils
construits, quelle est leur pertinence et quelles sont leurs limites ? Nous nous proposons de
rpondre ces questions aux trois niveaux danalyse du pilotage du dispositif du RSA afin
dapprhender la cohrence et les complmentarits des diffrentes approches.
Au niveau national, lEtat est garant de la mise en uvre du RSA sur les territoires, selon les
normes daction sociale prvues par la loi. Le niveau dpartemental correspond celui de sa mise
en uvre concrte, tant fonctionnelle quorganisationnelle, soumis aux disparits dapplication
inhrentes la gestion dcentralise. Enfin, le niveau local est celui de la relation directe
daccompagnement entre professionnels (travailleurs sociaux et conseillers en insertion) et
bnficiaires.

$9 0"PPROC#% %V"0="<$V% &= PO$'< &% V=% &% 0%<"< : &%2
$'&$C"<%=R2 'O' CO'<%D<="0$2%2 %< &$>>$C$0%2 "
$'<%RPR%<%R

$9,9 0a 0O0>, des indicateurs incomplets
Dans une logique de rsultat, la mesure des effets sur le retour G lemploi et celle de la lutte
contre la pauvret apparaissent comme les deux indicateurs majeurs au niveau national. Ils
figurent dans les projets annuels de performances (PAP) et les rapports annuels de performances
(RAP) de la LOLF, joints aux projets de loi de finance et de rglement, qui se dclinent en missions
et en programmes
41
. Ce sont des indicateurs majeurs de la mission - 2olidarit, insertion et

41
Des projets annuels de performances (PAP) sont annexs au projet de loi de finances (PLF), en vertu de lart. 51 de la loi
organique relative aux lois de finances (LOLF).
59
/alit des chances . et sont prsents, avec des ajustements, dans les PAP relatifs aux annes
2011 et 2012
42
:

;ission : 2olidarit, insertion et /alit des chances
Programme 304 - Lutte contre la pauvret : revenu de solidarit active et exprimentations
sociales
Objectif 1 : amliorer laccs lemploi et lautonomie financire des bnficiaires du RSA
Indicateurs 1.1 : Part des bnficiaires du RSA sans emploi qui reprennent une activit
Indicateur 1.2 : Part des foyers bnficiaires du RSA en emploi dont les revenus sont suprieurs
150% du montant forfaitaire
Indicateur 1.3 : Taux de sortie du RSA pour dpassement de ressources

Dans ce cadre, la rfrence la reprise dactivit, travers lindicateur 1.1, nous informe sur la
part des bnficiaires du RSA qui ont eu au moins une fois dans lanne un revenu dactivit. Pour
2012, cet indicateur a t modifi au profit de la part des foyers allocataires du RSA dont au
moins un des membres reprend une activit au cours de lanne . Cependant, ce mode de calcul
ne nous permet pas dvaluer la qualit (niveau de revenu procur pour le travail) ni la
prennit des emplois concerns.
Par ailleurs, au sein de cette Mission Solidarit, le taux de sortie du RSA pour dpassement de
ressources (indicateur 1.3) est entendre comme le taux de sortie du RSA pour dpassement de
ressources lies lactivit. Par rapport lindicateur 1.1 qui cumule toutes les reprises demploi
quelle que soit limportance des revenus, celui-ci mesure les sorties positives du fait dun
emploi qui apporte des revenus suprieurs au revenu garanti. Tout comme le premier indicateur,
les modes de calcul pouvaient conduire compter le mme allocataire chacune de ses entres et
sorties de lanne, si bien que la hausse peut si/nifier aussi bien linstabilit des revenus,
que des sorties durables du R2". Dans le PAP 2012, cet indicateur donc t modifi pour
tenter de corriger ces biais et mesurer plus prcisment ce franchissement du seuil.
Plus quune mesure objective du retour lemploi attendu, ces indicateurs de la mission Solidarit
cherchent rendre compte de latteinte des objectifs nationaux du dispositif (insertion
professionnelle et lutte contre la pauvret) mais, ce stade, ils dcrivent uniquement des
mouvements lintrieur de la population des bnficiaires, de part et dautre des seuils.



42
Mission Solidarit, insertion et galit des chances, programme 304 Lutte contre la pauvret : revenu de solidarit active et
exprimentation sociale , Projet annuel de performance annex au projet de loi de finances, 2011 et 2012
60
$9)9 0e Comit 'ational d%valuation ou comment approcher
la compleCit dune politique dcentralise
Afin de suivre et dorienter la mise en uvre de cette nouvelle politique dinsertion, larticle 32 de
la loi n 2008-1249 du 1er dcembre 2008 gnralisant le RSA prvoyait que soit institu un
Comit National dEvaluation (CNE) comprenant des reprsentants des dpartements, de lEtat, de
la CNAF et de la CCMSA, de Ple Emploi, ainsi que des bnficiaires du RSA et des personnalits
qualifies. Ce comit a eu en charge de conduire lvaluation des diffrentes tapes de dploiement
du dispositif sur les territoires.
Le Comit dvaluation avait comme premier objectif la prparation des travaux de la confrence
nationale prvue avant fin 2011, deux ans aprs sa mise en uvre par les Conseils Gnraux.
Cette confrence devait valuer la performance du R2" en matire de lutte contre la
pauvret et de reprise dactivit, tablir le coNt du dispositif et anal:ser les
consquences du dispositif sur le recours au temps partiel dans les secteurs marchands
et non marchands9 Le Comit dvaluation du RSA a labor ses travaux sur la base de
diffrentes enqutes menes auprs des Conseils Gnraux, des Caf, des caisses de MSA et des
directions territoriales de Ple emploi.
Adosss aux exigences de conformit aux normes daction publiques, le Comit National
dEvaluation stait donn pour mission dvaluer le dispositif du RSA en 12 points. Dans la ligne
des deux objectifs - insertion professionnelle et lutte contre la pauvret - prcdemment dclins
au travers du prisme de la LOLF, nous orientons notre analyse relative ces missions du CNE
autour des deux premiers points prvus, dans la mesure o ils refltent par ailleurs les enjeux
centraux du dispositif, savoir :
1. Quel est leffet du RSA sur la pauvret, et, plus spcifiquement, combien de personnes
franchissent le seuil de la pauvret grce au rSa ?
2. Quel est leffet du RSA sur linsertion professionnelle des allocataires et, plus globalement, sur le
march du travail ?

I.2.. @esurer leffet du R56 sur la pauvret 7 des indicateurs "ui rendent
compte des volutions du revenu mais "ui ne permettent pas
dapprhender les effets du dispositif sur lintensit de la pauvret.
La lutte contre la pauvret est lun des principaux objectifs affichs par la loi du 1
er
dcembre
2008, via deux effets :
- un effet direct, li au supplment de revenu quil procure ;
- un effet indirect, via laugmentation du niveau dactivit et des revenus dactivit des
mnages.

61
Le CNE propose deux indicateurs de mesure de limpact du RSA sur la pauvret, bass sur 2
ensembles distincts de donnes :
- Des donnes, issues des revenus dclars, de la CNAF et de la CCMSA : le RSA accrot
denviron 18% le revenu mensuel mdian par unit de consommation des bnficiaires. En
calculant ce que serait la distribution des revenus en labsence de RSA activit, le CNAF
montre que cette composante du RSA permet en dcembre 2010 de diminuer la pauvret
(c'est--dire la proportion de la population mtropolitaine de moins de 65 ans qui est en
de du seuil de pauvret
43
) de 0,2 point (soit de 16,3% en labsence de RSA activit
16,1%, la valeur observe).
- Des donnes fondes sur la micro-simulation partir de lEnqute Revenus Fiscaux et
Sociaux (ERFS) qui prsentent lavantage de prendre en compte la fiscalit donc la PPE. Le
revenu annuel mdian par unit de consommation des mnages (et non pas les foyers
allocataires) ayant peru au moins une fois durant lanne du RSA est accru, du fait de la
prestation, de 11% si on ne prend pas en compte la fiscalit dont principalement la
rduction de PPE qui en rsulte, et de 7% en prenant en compte cet effet. Le modle de
micro-simulation permet galement destimer quen 2010, le RSA a permis de faire baisser
le nombre de pauvres de 2% (-150 000 personnes pauvres) et le taux de pauvret de 0,2
point par rapport lanne prcdente.

En labsence de valeur cible relative la lutte contre la pauvret, ces rsultats dcrivent lincidence
du dispositif sur le taux de pauvret, mais ne permettent pas de renseigner sa performance en
matire de lutte contre la pauvret permise par la gnralisation du dispositif qui dispose de
caractristiques propres au regard de son contexte dapplication.

De plus, la mesure de leffet du R2" sur lintensit de la pauvret
33
est aborde dans deux
des annexes du rapport final du CNE. Lune ralise par la CNAF, indique que la croissance du
Revenu par Unit de Consommation entraine une diminution de lintensit de la pauvret qui passe
de 32 % 19 % aprs prise en compte du RSA
45
. Lauteur annonce ensuite que ces chiffres ne
tiennent pas compte des nombreux facteurs : la fiscalit, la PPE ou encore leffet de mesures
incitatives prcdentes qui viennent surestimer cette diminution. Par ailleurs, le rapport de la
Direction Gnrale du Trsor
46
, prcise que leffet du RSA activit sur lintensit de la pauvret est

43
Le seuil de pauvret en France et en Europe est fix de faon relative. On considre comme pauvre une personne dont les
revenus sont infrieurs un certain pourcentage (60% par lINSEE) du revenu dit "mdian". Ce revenu mdian est celui qui
partage la population en deux, autant gagne moins, autant gagne davantage. Quand le revenu mdian augmente, le seuil de
pauvret saccrot donc. En 2010 il tait situ 964 C par unit de consommation.
44
Lintensit de la pauvret est un indicateur qui permet d'apprcier quel point le niveau de vie de la population pauvre est
loign du seuil de pauvret. L'INSEE mesure cet indicateur comme l'cart relatif entre le niveau de vie mdian de la population
pauvre et le seuil de pauvret. Il est calcul de la manire suivante : (seuil de pauvret - niveau de vie mdian de la population
pauvre) / seuil de pauvret. Plus cet indicateur est lev et plus la pauvret est dite intense, au sens o le niveau de vie des
plus pauvres est trs infrieur au seuil de pauvret.
44
Comit dvaluation du RSA, dcembre 2011, annexe 2, Leffet du RSA sur les bas revenus, Brigitte Debras (Cnaf).
45
Comit dvaluation du RSA, dcembre 2011, annexe 2, Leffet du RSA sur les bas revenus, Brigitte Debras (Cnaf).
46
Comit dvaluation du RSA, dcembre 2011, annexe 3, Le non-recours au rSa : effet sur le revenu disponible des mnages
modestes, Guy Lalanne (DG Trsor).
62
galement fortement attnu par le non recours, savoir les personnes ligibles au RSA mais qui
ne font pas valoir leur droit. Lintensit de la pauvret serait rduite de 1,8 points pour
lensemble de la population et de 2,8 points sur les travailleurs par le RSA activit en labsence de
non recours. Et en prenant en compte le non recours, leffet sur lintensit de la pauvret nest plus
que de 0,5 point sur lensemble de la population et de 1,3 point sur les travailleurs.
La rduction du taux de pauvret peut sentendre comme une diminution de lintensit de la
pauvret - cest--dire la distance qui spare le revenu des foyers pauvres du seuil de pauvret -
ou comme la rduction du nombre de foyers dont le revenu est infrieur ce seuil. Or, le taux de
pauvret prsente des limites lies aux effets de seuil et aux effets indirects de la perte de droits
connexes : bnficiaires perdant leurs droits la CMU complmentaire ou les aides aux transports
ou la majoration de lallocation logement, par exemple.
Aussi pourrions-nous par exemple observer, dans le mme temps, un recul du nombre de
personnes pauvres (par effets de seuil et ne prsageant rien sur leurs conditions relles) et une
intensification de la pauvret.

I.2.2. !impact du R56 sur le retour % lemploi 7 des indicateurs "ui ne
permettent pas rellement dapprcier les effets attendus
Le deuxime objectif majeur du RSA est de favoriser le retour lemploi des bnficiaires. La
mesure de leffet propre du RSA en termes de retour lemploi constitue donc un enjeu crucial en
termes dvaluation des politiques publiques. Plusieurs mthodes ont pu tre mises en uvre pour
apporter des rponses cette question valuative, notamment la mobilisation de donnes
administratives ou la ralisation denqutes ad hoc. Dans le cadre du comit national dvaluation,
une mthode de calcul dun taux de reprise demploi a t dfinie partir des fichiers
administratifs. Dune manire schmatique, cette mthode
47
consiste calculer le pourcentage des
bnficiaires du RMI, de lAPI ou du RSA socle sans emploi au titre du mois M-1 qui sont en emploi
au titre du mois M. Le primtre du RMI, de lAPI tant pratiquement le mme que celui du RSA
socle, cette mthode permet de comparer les taux de reprise demploi avant et aprs la mise en
place du RSA. Cette approche se heurte cependant au changement du contexte conomique :
valuer le dispositif du RSA laune du RMI pose le problme de la priode de rfrence.
Dans son rapport de dcembre 2011, le CNE reste relativement prudent quant aux mesures des
effets du RSA sur le taux retour lemploi. Des tudes locales sur des groupes de bnficiaires
nont pas permis de faire ressortir de tendances marquantes relatives ce taux. On ne peut
rejeter lhypothse que lincitation financire que le RSA apporte a un effet positif sur la reprise
dactivit des sans-emploi. Cependant la diffrence que reprsente le RSA par rapport au RMI,
antrieur en termes dincitation financire et daccompagnement, ne semble pas suffisante pour
provoquer une modification majeure des comportements de reprise demploi
48
. Ici nouveau,

47
Premiers lments de comparaison du taux de reprise demploi des bnficiaires du RSA socle par rapport au RMI et lAPI.
Stphane Donn - CNAF. Annexe 5 du rapport intermdiaire du CNE. Dcembre 2010.
48
Comit National dEvaluation du RSA, rapport final, dcembre 2011.
63
nous nous interrogeons sur la pertinence et la valeur de cette diffrence attendue au re/ard
des conteCtes, conomiques et sociodmographiques, propres aux deux priodes distinctes de
dploiement des deux dispositifs.
Sur la priode des travaux du CNE, les rsultats montrent que le taux de reprise demploi slve
environ 2,5 % sur la priode dcembre 2007-aot 2008. Doctobre 2008 mars 2009, on constate
une diminution lie leffet de la crise conomique : en mars 2009, ce taux slve 2 %. En
juillet 2009, le niveau de reprise demploi est plus lev (environ 3 %). Cet effet se confirme tout
au long du second semestre 2009. partir de janvier 2010, le taux de reprise demploi diminue. Au
final, depuis la mise en place du RSA, entre 2,5% et 3,5% des foyers allocataires du RSA socle
sans revenu dactivit dclar, connaissent - au cours du mois suivant - une reprise demploi. A
noter quen labsence de valeur cible ce taux, de foyers allocataires ayant repris un emploi, est
difficilement exploitable et nous renseigne peu sur la porte relle de cette volution.
Daprs le CNE, ces tudes ne permettent pas dexclure que les incitations financires puissent
avoir un effet positif sur lemploi mais diffrents facteurs sont avancs pour expliquer le faible
impact au niveau agrg :
- des contextes conomiques non identiques o la conjoncture actuelle, dgrade, a contraint
loffre demploi faite aux bnficiaires ;
- la connaissance imprcise par les bnficiaires du mode de calcul du RSA (estimation floue du
montant du RSA-activit au regard des revenus dactivit perus) en a limit limpact ;
- le RSA, du moins court terme, na pas significativement augment lincitation financire la
reprise demploi par rapport au RMI ;
- enfin, des freins autres que financiers limitent souvent le retour lemploi des bnficiaires de
minima sociaux.
Ainsi, lensemble de ces diffrents facteurs expliquent les difficults rencontres G interprter
les rsultats.

Au niveau national, la production dindicateurs est centre sur latteinte des objectifs de
rsultat, tant sur le plan de linsertion professionnelle que sur la rduction de la pauvret.
Cependant, ces indicateurs rencontrent des difficults produire des donnes fiables, concrtes et
pertinentes. En effet, cette approche valuative nationale rencontre trois limites :
- une construction dindicateurs difficilement interprtables, notamment concernant les effets
sur la pauvret ;
- une priode de rfrence problmatique et labsence dindicateurs conjoncturels en ce qui
concerne limpact sur le retour lemploi ;
- labsence de valeur cible relative pour ces deux indicateurs, qui ne permet pas dapprcier
la porte des rsultats attendus.

64
$$9 "= '$V%"= &%P"R<%;%'<"0 : &%2 0O1$?=%2
$'2<$<=<$O''%00%2 "22OC$%%2 " &%2 O@T%C<$>2 &% ;OJ%'2

Pour les dpartements, cest dans la mise en place des dispositifs daccompagnement , - depuis
linstruction de la demande jusqu la sortie du dispositif - que se situe lenjeu central du RSA
lchelon local. Afin de connatre les ralits territoriales, une enqute relative aux modes
dorganisation des Conseils Gnraux a t mise en place par la DREES
49
en septembre 2010
auprs de 96 dpartements. Tout dabord, et de toute vidence, il sagit dun dispositif qui se
trouve mis en uvre dans des contextes conomiques et sociaux diffrents. Notons de plus, qu
caractristiques similaires les dpartements nont pas toujours opt pour les mmes choix, comme
le relve la DREES : lhritage et lenracinement des pratiques, le contexte institutionnel local ou
encore la stratgie du Conseil Gnral constituent autant de facteurs explicatifs de la relative
diversit des modes dorganisation
50
.
Dans ces modes dorganisation varis les acteurs cherchent loptimisation des accompagnements
pour linsertion sociale et professionnelle. Fond sur le principe des Droits et Devoirs - un
revenu minimum assur en contrepartie dengagements dans des dmarches dinsertion
professionnelle - le RSA trouve une justification politique de son fonctionnement dans la mise en
uvre des Droits . Linsertion dpend de lengagement du bnficiaire et de la situation du
march du travail mais il suppose que le bnficiaire reoive lappui qui lui est ncessaire, appui
confi aux dpartements ds la mise en place du RMI. Ainsi, les dpartements se donnent eux-
mmes, une obligation de mettre en uvre les moyens propres permettre laccompagnement de
bnficiaires, en particulier ceux dentre eux qui connaissent des difficults personnelles limitant
leur possibilit de prendre ou de reprendre une activit professionnelle.

$$9,9 &es indicateurs de pilota/e en quLte de pertinence et de
fiabilit U le reflet dun dispositif compleCe G apprhender
Les chefs de services des Conseils Gnraux interrogs voquent, trs largement, la difficult de
construire des indicateurs adapts et pertinents pour suivre, en temps rel, les tapes de la mise
en uvre du RSA et rendre compte des spcificits dpartementales. Les Conseils Gnraux se
sont retrouvs pris dans des dmarches dauto-valuation dun dispositif encore en cours de
dploiement.
Devant laspect protiforme des modes dorganisation, les outils semblent avoir t labors de
faon artisanale et non coordonne. Aucun format commun dvaluation des pratiques ne

49
Direction de la Recherche des Etudes, de lEvaluation et des Statistiques.
50
Les modes dorganisation des conseils gnraux avec la mise en place du revenu de solidarit active, DRESS, n800, mars
2012. Cline ARNOLD et Michle LELIEVRE.
65
prexistait pour les dpartements : A nous les avons construits nous m)mes B9 A avec les mo4ens
du bord B9 A ils se sont construits au fur et . mesure B. Ce sentiment davoir d faire face au fil de
leau, sans ligne de conduite tablie, se double dune difficult daccs aux informations :
changement de logiciel, accs chaotique aux bases dinformation des partenaires (nombre
dallocataires et flux financiers pour les CAF et Ple Emploi notamment) et outils de suivi et de
reporting excessivement dtaills et prcis, et souvent peu adapts aux ralits du dpartement.

$$9)9 &es indicateurs au service dune rationalit
instrumentale
II.2.. Des indicateurs de pilota0e et defficience
Interrogs sur les indicateurs quils ont construits depuis la mise en uvre du dispositif, les acteurs
des Conseils gnraux dcrivent en premier lieu les indicateurs de pilota/e de la monte en
charge du dispositif afin danticiper les dpenses affectes et de rendre compte de la qualit des
processus, garants de lefficience de lactivit au plan dpartemental. A titre dexemples ont t
identifis :

Des indicateurs de mesure des moyens et des dpenses mis en uvre :
$n indicateur de comptage des allocataires
Cet indicateur permet de suivre le nombre de foyers bnficiaires du RSA, sachant que les
dpartements le dclinent avec plus ou moins de prcisions (volume et composition du foyer ou
simplement nombre de foyers indemniss). Lutilit davoir un indicateur dclin selon les types de
mnages nest pas une volont partage par tous les dpartements : "ravailler en dtails sur les
compositions des fo4ers C 3e ne sais pas . quoi Da serviraitC . dtailler et prciser la connaissance
que lon pourrait avoir du public mais audel.C Da changera pas grandchose . la mani6re dont on
prvoira nos dpenses7 B

$n indicateur de suivi financier des montants allous pour le dispositif
A travers le suivi des composantes de lacompte - grce aux donnes CAF sur le nombre de foyers
pays par mois - certains dpartements peuvent faire A des petits ratios sur les dpenses
mo4ennes par fo4er B en prenant en compte la part des rappels et des indus. Cependant le suivi
de cet indicateur nest pas toujours ais, certains se heurtent parfois la non corrlation entre
lvolution du nombre de foyers bnficiaires et le montant vers ce qui rend difficile la A prvision
au plus 3uste du montant de lallocation B7

66
Des indicateurs de qualit produite, ne tenant pas compte de la satisfaction et des besoins des
usagers :
$n indicateur damlioration de la qualit des services rendus aux bnficiaires
La recherche damlioration du service pour les usagers peut se mesurer travers un indicateur de
temps de prise en compte de la demande : le taux de Contrat dEngagement Rciproque trait en
moins de 30 jours , par exemple. La prsence dune cible, souvent rvise, permet dimpliquer
lensemble des acteurs dans une dmarche damlioration de la prise en charge et de faire
converger, sur un mme territoire, les efforts de tous les organismes daccompagnement aux
logiques dintervention diverses.

$n indicateur de suivi de la qualit de la prise en charge
Ici, lexemple cit propose de rflchir un indicateur sur la qualit du contenu des engagements
rciproques avec lidentification du taux de rejet et la part des contrats renvoys pour lments
incomplets ou manquants. Cet indicateur, le plus souvent ltat de projet dans les dpartements,
permettrait, pour certains dentre eux et daprs une tude en profondeur dun chantillon de
Contrats dEngagement Rciproque (CER), de pointer des manques pallier : A probl6mes
administratifs9 mauvaise saisie9 mauvaise comprhension9 besoin de formation des rfrents9
besoin dinformation pour les bnficiaires9C B

II.2.2. Des indicateurs de mesure de linsertion des usa0ers, au
re0ard des objectifs nationau. 7
$n indicateur mesurant le taux dallocataires en parcours
Cest un indicateur assez proche du taux de contractualisation. Il comptabilise les allocataires pris
en charge soit en CER, soit en PPAE donc ayant sign un contrat soit avec le Conseil Gnral, soit
avec Ple Emploi. A noter que les dpartements incluent parfois de faon arbitraire A ceux qui sont
en attente de leur premier contrat Equi viennent douvrir un droitF et ceux qui nont plus de contrat
depuis moins de > mois B7 Cet indicateur peut tre galement renseign en creux, en
comptabilisant les perdus de vue dans le dispositif : on les a plus sous la main9 on sait quils sont
bnficiaires du ,5A mais cest tout7 B

$n indicateur de mesure du taux de A bascule positive B
Il vient rendre compte de lensemble des volutions positives de la situation des bnficiaires
lintrieur du dispositif. Ces volutions positives ou ascendantes, sont repres par comptage des
bnficiaires qui passent du RSA socle au RSA (socle + activit) puis du RSA (socle + activit) au
RSA activit. Peu de dpartements rendent compte de ces mouvements et ceux qui le font en
soulignent rapidement les limites : A 'est un indicateur qui na pas beaucoup de pouvoir car les
67
mouvements . lintrieur sont tr6s lents9 ils sont plus lis . la con3oncture qu. la performance du
dispositif B7
Tout comme pour le renseignement des indicateurs de la LOLF au plan national (visant mesurer
les effets du RSA sur linsertion des bnficiaires), les indicateurs construits par certain Conseil
Gnral rendent compte de mouvements internes au sein des dispositifs mais ne cherchent pas
mesurer les sorties. Le devenir des ex-bnficiaires nest en thorie plus dans le primtre de
responsabilit des collectivits territoriales. En pratique, dans le discours, cette dimension est tout
de mme prsente et confre du sens la finalit des actions, mais les indicateurs construits nen
rendent pas compte.
De faon gnrale, la question de - laprs R2" . reste une /rande nbuleuse pour les
acteurs interrogs : A 'urieusement cest certainement les choses les plus importantes que lon a
du mal . mesurer7 Par exemple que deviennent les gens qui sont sortis ! /n est incapable de dire
combien de gens retournent . lemploi7 /n a une ide sur le nombre de mouvements qui ne
gnreraient pas un retour . lemploi9 donc par des ratios on peut approcher lindicateurC mais on
fait que lapprocher7 B7 Les dpartements pointent des manques dinformations :

Peu de visibilit sur les entresGsorties
Dans certains cas les dpartements ont peu dinformations - par manque de compilation des
donnes des diffrents partenaires du dispositif - sur le flux et les caractristiques des personnes
qui intgrent et sortent du dispositif Hui entre ! Hui sort ! Non9 on ne suit pas7 Ia les donnes
de la 'A0 mais cest complexeC les personnes d3. inscrites qui reviennent9 soumisesGnon
soumises9 etcC /n na pas de niveau dinformation asseJ prcis pour quil 4 ait un indicateur qui
puisse )tre exploit et concretC cest une des limites7 B

Peu de donnes construites sur les motifs de sortie du dispositif
La notion de sortie recouvre une grande diversit de situations que lon peut dcrire selon 3 types :
+es sorties suivies de nouvelles entres, ce qui engendre des problmatiques de doublons pouvant
avoir un impact fort sur la lecture des donnes lchelle nationale.
+es sorties caduques ou lies . un changement de situation (radiation, changement de situation
familiale, etc.). Bien souvent les dpartements nont pas connaissance des motifs de sorties
infructueuses et voquent un problme daccs aux donnes (souvent plus connus par les
organismes payeurs que par les organismes dinsertion). A Au niveau des sorties on ne peut pas
aller vraiment plus loin que les motifs dont on a connaissance nous7 '(est.dire quune sortie pour
motif de ressources suprieures au plafond veut peut)tre dire une sortie en emploi mais peut)tre
pas forcment7 'ela peut )tre un autre motif pour la personne qui peut faire que ses revenus
augmentent7 B
+es sorties dans lemploi pour lesquelles peu de dpartements parviennent crer des indicateurs
arrivant diffrencier les emplois prcaires des emplois durables. Ils sont trs ingaux sur ce
68
point, certains nous dirons A ah non9 Da on na pas linformation7 La difficult cest daller rcuprer
linformation pour savoir si la personne est rellement en emploi9 voir quel t4pe demploi et puis
voir si cest un emploi prenne7 B

Aucun mo4en impos de suivi de la ralit de linsertion dans lemploi
En labsence dun suivi du devenir des bnficiaires du RSA sur une dure suffisante, il nest
possible dapprhender lefficacit du dispositif dpartemental dans son ensemble, ni de dterminer
les parcours les plus adapts et les actions et organismes les plus efficaces, ni de les comparer
entre eux. 'ertains dpartements voquent la perspective de mettre en place des suivis de
cohorte : A lide serait de faire du suivi de cohorte mais cest complexe . mettre en place parce
quon est presque sur du suivi individualis alors cest un peu compliqu7 B

II.2.$. <roduction dindicateurs et chelons de rfrence
Les acteurs des Conseils Gnraux dcrivent devoir faire des arbitrages frquents entre dune part,
le renseignement systmatique des indicateurs locaux et nationaux et dautre part, les choix de
priorits au regard des moyens humains et de temps dont ils disposent.
Les donnes produites par les collectivits territoriales proviennent de choix dindicateurs propres
aux ralits locales et aux partenariats antrieurs au dispositif du RSA. Afin de rpondre aux
enqutes Flash de la DGCS/DREES
51
, les acteurs dpartementaux en charge de lvaluation
dcrivent des postures dajustement et de reconstruction de rsultats pour rpondre aux
validations souhaites par les administrations. A Alors oui des fois le dcoupage nest pas
identique : on a construit des requ)tes pour pouvoir rpondre aux enqu)tes de la +,##5 sinon9 au
niveau des t4pologies de parcours9 on a fait des ventilations pour pouvoir coller aux demandes
spcifiques de la +,##5 : notamment entre un parcours social9 un parcours socioprofessionnel et
un parcours professionnel parce que nous9 nous navons pas tout . fait les m)mes dcoupages B7
A ce sujet, dautres dpartements voqueront le manque de moyens humains et de temps : 'est
un arbitrage tempsGintr)t7 'ertains indicateurs : 3e construis un peu le chiffre9 sinon 3e ne remplis
pas Echangement de situation au cours de lanne9 en masse 3e nai pas les mo4ens techniques
pour extraireC ni les dtails de laccompagnement9 des volutions de situationsF7 #n masse ce qui
est grable cest le nombre de fo4ers9 les orientationsC B Cette production continuelle des
indicateurs, qui laisse penser que lon ne dispose A 3amais des bons indicateurs au bon moment B9
est chronophage pour les collectivits territoriales tout autant quelle semble engorger le dispositif
plus que parvenir une meilleure lisibilit.



51
Les enqutes Flash de Direction Gnrale de la Cohsion Sociale / Direction de la Recherche des Etudes, de lvaluation et
des statistiques sont adresses rgulirement tous les dpartements et visent recueillir les modalits de mise en place de la
gouvernance du RSA dans les dpartements.
69
Au vu des quelques exemples tudis ici, les Conseils Gnraux semblent piloter et valuer
la mise en uvre du dispositif du RSA dans une logique gestionnaire de flux de bnficiaires et de
dpenses couvrir. Ne disposant pas doutil unique de pilotage ni dobjectif commun de taux de
sortie positive du dispositif, les acteurs locaux tendent laisser de ct les objectifs nationaux et
dveloppent des logiques territoriales visant optimiser les processus.
Les indicateurs construits sont au service des organisations oprationnelles plurielles et des enjeux
politiques locaux, laissant parfois la question de lutilit du dispositif pour les bnficiaires, en
dehors des proccupations dvaluation et du suivi dindicateur.
Souvent happs dans ces logiques de fonctionnement, les Conseils Gnraux ne se positionnent
pas, premire vue, comme un maillon de la solidarit nationale participant des objectifs
communs toutes les collectivits.


$$$9 "= '$V%"= 0OC"0 : 0" P%R>OR;"'C% &= PO$'< &% V=% &%2
PRO>%22$O''%02 %' R%0"<$O' "V%C 0%2 @%'%>$C$"$R%2 &=
R2"

Pouvant tre apprhends comme un 3
me
chelon avec lEtat et les collectivits locales, les
professionnels - conseillers Ple Emploi et travailleurs sociaux des services des Conseils Gnraux
ainsi que lensemble des professionnels socio-ducatifs des organismes et associations partenaires
- sont au cur de la mise en uvre du RSA sur les territoires. Ils apprhendent, au travers de la
relation lusager (bnficiaire de lallocation) et selon une approche trs micro-valuative, le
dispositif A vu de lintrieur B7
Les professionnels de laction sociale produisent - dans leur relation lusager - une praxis : espace
de rcits des expriences professionnelles prises dans lintersubjectivit de la relation daide. La
praxis contient les pratiques professionnelles quotidiennes, tant dans ce quelles ont de similaire
que de singulier, relatif aux arrangements des pratiques imposs par la prise en compte de
lautre . Souvent confronts lindicible des pratiques professionnelles o lindividualisation des
prises en charge prime sur la standardisation des processus daccueil et daccompagnement, les
professionnels dcrivent les phnomnes et volutions qui font sens pour eux, tant en termes
dvolutions positives des parcours dusagers, que de valorisation de leurs pratiques
professionnelles.
En rfrence aux normes daction publique, cette praxis qui mane des pratiques individuelles peut
sapprhender dun point de vue plus collectif, de la part des travailleurs sociaux et des conseillers
en insertion, sous la forme de normes des pratiques . Cest sur cette base que nous pouvons
apprhender les logiques dacteurs en charge douvrir les droits des bnficiaires, de les orienter,
de les accompagner et de favoriser leur volution vers une sortie du dispositif. De cette approche
par les pratiques merge galement, de la part des professionnels, des propositions pour rendre
70
compte de la qualit des accompagnements raliss et du sens que les uns (professionnels) et les
autres (bnficiaires) investissent et attendent de cette relation daide.
Cette volont de rendre compte de la qualit des accompagnements va gnrer une production de
nouveaux types dindicateurs - issus des pratiques professionnelles - dans un contexte o les
dmarches-qualits investissent le secteur de laction sociale.

$$$9,9 0es indicateurs dvaluation des pratiques
professionnelles du social : linfluence des dmarches qualit
dans le secteur social
Les dmarches-qualits se sont rpandues dans le secteur social depuis une dizaine dannes
avec la loi n2002-2 du 2 janvier 2002 rnovant laction sociale et mdico-sociale qui institue dans
son article 312-8 lvaluation interne et externe des tablissements et services. Cette obligation
lgale est devenue un enjeu majeur indiquant la ncessit pour les tablissements sociaux et
mdico-sociaux de rendre lisibles leurs pratiques de travail, tant au niveau des moyens que des
rsultats. Une grande diversit de rfrentiels dvaluation, appartenant largement au registre des
dmarches-qualit a t mobiliss dans le secteur du social pour tendre satisfaire lexercice
et les dpartements, via les Conseils Gnraux, nont pas chapp cette approche par la
dmarche-qualit .
Les dmarches qualit sattachent rendre compte de lactivit en examinant le fonctionnement
organisationnel et en le jugeant laune de standards fonctionnels. Elles clairent les liens entre
les normes gnralistes et leur traduction concrte oprationnelle, elles identifient les carts entre
ce qui tait nonc en termes de procdures et ce qui a t dlivr en termes de prestation et de
service.
Ces dmarches qualits peuvent se regrouper en 3 types :
- les dmarches qualit vocation de normalisation institutionnelle : compilation de normes
daction publiques propres un secteur, garantes de la conformit de lactivit) ;
- celles vocation de normalisation organisationnelle : compilation de procdures et de
techniques, garantes de lefficience de lactivit ;
- celles vocation de normalisation clinique : critres de mesure de la situation des usagers,
garantes de lefficacit de lactivit.
Ces trois types de dmarches renvoient une conception objective de la qualit qui vise la
standardisation de lactivit des organismes diffrents niveaux. Ces dmarches, sous tendues par
lillusion du tout rationnel , ne constituent quune dimension de lvaluation qui appelle dautres
dimensions complmentaires telle que lvaluation pluraliste et qualitative.
La prise en compte de la qualit objective ou fonctionnelle des prestations dlivres est trs
loigne dun questionnement sur les prestations, les pratiques professionnelles et lusager.
Lutilisation exclusive dune approche par les dmarches-qualit pourrait obrer la singularit des
71
pratiques professionnelles au profit des seules prestations matrielles et procdures juridiques. L
o la dmarche qualit tend stabiliser un contenu de bonnes pratiques et constitue un
encadrement ncessaire, le relais pris par lvaluation qualitative et pluraliste permet de
questionner le sens et la diversit des pratiques professionnelles et de sattacher valoriser lutilit
potentielle dun cart cette norme.

$$$9)9 &es indicateurs qualitatifs fonds sur la pra.is
Lapproche par la pratique, dans une logique de rationalit interprtative (versus rationalit
instrumentale expose auparavant), replace les acteurs dans un univers plus incertain, celui du
terrain. Confronts des situations incertaines, ils ont recours une pluralit de modes
dcisionnels qui intgrent linfluence de variables (plutt que de donnes) sociales et
psychologiques. Les indicateurs proposs ci-dessous, titre dexemples, proviennent du discours
des responsables des Conseils Gnraux recueilli au sujet de leurs quipes de terrain et est
accompagn dune recherche documentaire. Souvent construits comme des agrgats de variables
sociales, ces indicateurs viennent caractriser, dfinir et prciser limpact du dispositif sur les
personnes ; impact qui sprouve au fil de la relation daide, daccompagnement social et
dinsertion professionnelle.

#n indicateur de mesure de lchelle de distance % lemploi
Lchelle de distance lemploi est un outil usages multiples. Elle peut servir vrifier
lorientation prconise, tre un support aux bilans dtape lors des entretiens entre le
bnficiaire et son rfrent (du Conseil Gnral ou de Ple Emploi notamment), analyser
lvolution de la situation du bnficiaire dans son parcours et dterminer les besoins en termes
dinsertion des bnficiaires du RSA.
Cet indicateur est construit autour de plusieurs variables sociales qui rendent compte des situations
individuelles. Les professionnels en charge de laccompagnement des bnficiaires dans le
dpartement du Nord Pas de Calais valuent la distance lemploi daprs les items (et sous-items)
suivants :







72
>i/ure 3 : %Cemple dchelle de distance G lemploi
Date:
Dossier Unique:
Je suis satisfait de mon
logement actuel.
Je n'ai aucune difficult
de transport.
Oui, pas de problme
particulier.
3 mois ou moins. Oui, immdiatement.
J'ai une famille qui me
soutient beaucoup.
Aucun problme.
Les personnes de
l'association o je suis
bnvole.
Mon logement est
inadapt (insalubre,
cher, trop petit,
bruyant).
Je suis mobile plus de
25 km.
Juste quelques soucis
de sant.
6 mois.
Oui, mais temps
partiel.
Pas de contraintes
particulires.
Des relations avec les
collgues.
En plus, je vois les
personnes de mon club,
de ma chorale, de mon
association...
J'ai un hbergement
provisoire qui me
convient.
Je suis mobile moins
de 25 km.
Oui, mais je ne peux
plus exercer certains
mtiers.
Plus d'un an.
Oui, mais avec des
formations ou/et un
accompagnateur.
Autres contraintes.
Des difficults
travailler en quipe.
En plus, je vois des
personnes extrieures
ma famille (voisins,
amis).
Mon logement est
loign de tout.
J'ai un moyen de
locomotion autonome
mais j'ai des difficults
me dplacer.
Oui, mais une activit
adapte.
Plus de 2 ans.
Oui, mais pas n'importe
quel emploi.
J'ai des contraintes
horaires.
Des difficuts tre
l'heure.
En plus, je vois ma
famille.
Je dois quitter mon
logement.
Je n'ai que les
transports en commun.
Oui, mais je dois
souvent m'absenter.
Plus de 5 ans.
Non, pas pour l'instant
(difficults rsoudre,
papier administratif).
Je dois rester souvent
au domicile pour
m'occuper d'un proche.
Problmes avec la
hirarchie.
Les commerants et les
services administratifs.
Je n'ai pas de logement.
Je n'ai aucun moyen de
transport ma
disposition.
Non, pas du tout. Je n'ai jamais travaill. Je ne sais pas.
Je dois m'occuper d'un
proche plein temps.
Oui, souvent.
Je ne veux voir
personne.
Que pensez-vous de
votre logement
actuel?
Disposez-vous d'un
moyen de transport
pour vous rendre
votre travail?
Est-ce que votre
sant vous permet de
reprendre une
activit?
A quand remonte
votre dernier emploi?
Selon vous, tes-vous
prt reprendre un
emploi?
Avez-vous des
contraintes familiales
qui vous gnent pour
rechercher un emploi?
Avez-vous des
difficults vous
adapter votre
travail?
Quelles personnes
rencontrez-vous dans
la semaine?
Proposition:
Emploi
LES ECHELLES DE DISTANCE A L'EMPLOI
Nom
Prnom:
Age:
Des points importants, rels freins lemploi
et lorientation vers la sphresolidaritest
prioriser.
A lapprciation delE!ipe Pl!ridisciplinaire o!
de l"E!iped#rientation.
Des points devigilance!i pe!vent $tre !n frein important o! non
po!r le reto!r lemploi, la sphreprofessionnelleest proriser.
8
20 20 20 20 20
15
9
8
8 8
6 6
5
5
5
5
5 5
4
5
4
4
3
3
3
2 2 2 2 2 2
1 1 1 1 1 1 1 1
0 0 0 0 0 0 0 0


Avec lchelle de distance lemploi, on comprend que ces items (logement, moyens de transport,
sant, dernier emploi, reprise dun emploi, contraintes familiales et adaptation lenvironnement
de travail et aux relations sociales) sont autant daxes de travail que les professionnels pourront
aborder aux fils des entretiens. Axes de travail, valuables, reflets des volutions de trajectoires,
au sein mme des dispositifs.

#n indicateur de A sant sociale B
Prsent par les professionnels de terrain, comme un indicateur difficile construire tant il peut
tre polymorphe, lindicateur de sant sociale renvoie une approche plus globale de la
personne en opposition une valuation segmentaire des personnes, induite par les
catgorisations lentre dans les dispositifs. Il est inspir de lindice de sant sociale , cre en
1987 par Marc et Marque-Luisa Miringoff
52
, qui a pour ambition de mesurer la qualit de vie en
prenant en compte la question sociale. Cet indice synthtique figure dans la famille des indicateurs
sociaux ou socio-conomiques sans proccupation environnementale. Cet indicateur peut
galement sinspirer de lchelle de DUKE permettant d'explorer l'tat de sant peru travers 17

52
"he 5ocial Kealth of the Nation9 Marc Miringoff et Marque-Luisa Miringoff
73
questions et la cration d'indices ou de scores de sant mentale, physique, sociale, perue, globale,
des scores d'anxit, de dpression, de douleur et d'incapacit et d'estime de soi. Voici ci-dessous
pour exemple, lchelle de DUKE :
>i/ure 6 : %chelle de &=V%

En sinspirant de cette approche, lobjectif dun indicateur de sant sociale est de voir sil est
possible dobserver une volution des personnes sur ces items au sein des dispositifs dinsertion
professionnelle, particulirement pour les personnes bnficiant daccompagnements sociaux ou
psycho-sociaux ; A +ans quelle mesure ne pourraiton pas valoriser lobtention dune
,econnaissance de la Hualit de "ravailleur Kandicap pour une personne9 comme une sortie A
positive B du dispositif ! B.
Un des objectifs est galement de voir dans quelle mesure cet indicateur pourrait permettre de
travailler sur les carts de perception entre lvaluation du travailleur social et lauto-diagnostic de
la personne elle-mme. Cet indicateur, sil est un outil partag par lensemble des professionnels
des diffrents organismes, permettrait de crer une continuit de prise en charge au sein des
dispositifs, face au vu souvent formul par les professionnels Adarr)ter de segmenter et de
balader les gens au gr des volutions de leur situation dorganismes en organismes9 sans
cohrence dans le suivi partenarial B7

74
#n indicateur de sociabilit, a valeur dillustration "ualitative
Cet indicateur cherche apprhender la nature, lintensit et la qualit des liens sociaux des
personnes accompagnes. Il mane de la volont de professionnels qui souhaitent visibiliser la
progression relle des personnes, au-del des objectifs directement viss par le dispositif.
Laccompagnement, et la progression lintrieur des dispositifs, ne pouvant pas tre uniquement
sanctionne travers le retour lemploi.
Cet indicateur ne trouve pas de dclinaison graduelle (comme les deux prcdents exemples) mais
il propose lide de venir complter les grilles dvaluations dj tablies et utilises par les
professionnels, par des illustrations qualitatives a valeur valuative, dans la mesure o elles
rendent compte dvolutions individuelles. Ce critre ne possde donc pas, ce jour, toutes les
caractristiques dun indicateur telles que nous les avons dclines, mais vient, en complment,
dcrire les effets moins directement pris en compte par les indicateurs nationaux et
dpartementaux.

Ces illustrations qualitatives peuvent tre particulirement pertinentes utiliser pour rendre
compte dactions collectives, de projet de dveloppement social local o les personnes investissent
une dynamique de projets, reprennent confiance en elles dans le but dune rinsertion
professionnelle vise plus ou moins long terme. Cette pratique de terrain, mise en relief sous
forme de rcits, peut, dans la mesure o elle est partage par plusieurs professionnels, tre
compile sous forme de rpertoires dexpriences probantes ou de plateformes de mutualisation
dexprimentations ou dinnovations. La part de lanodin et de larbitraire, inhrente toute
pratique professionnelle fonde sur la relation humaine, laisse supposer que lvaluation de la
qualit/performance du travail social ne peut se suffire dune standardisation objective et
fonctionnelle des pratiques dans un dispositif daccompagnement social, socio-professionnel et
professionnel.

Ces indicateurs qualitatifs, ltat dexprimentations, viennent rendre compte des pratiques
daccompagnement et de leurs effets sur les bnficiaires ; ils reprsentent ce jour des tentatives
ponctuelles et relativement isoles sur les territoires. Mais premire vue, les professionnels
saccordent dire que cette valorisation du contenu des accompagnements tendrait privilgier
une approche globale des problmatiques des bnficiaires et donc une meilleure cohrence dans
les propositions des aides apportes.
75

$$$979 &es indicateurs ncessairement imparfaits
Un indicateur cible toujours une partie de la ralit et induit ncessairement un sentiment
dincompltude ; ainsi le mcanisme de production dindicateurs est infini. Comme sous leffet
dune spirale, un indicateur en appelle toujours un autre en complment, puis un autre. Le
dispositif du RSA apparait souvent aux yeux des rfrents, accompagn de tableaux de bords
versant dans une approche fonctionnelle et binaire plutt quau service de la valorisation des
pratiques professionnelles. Le phnomne dengorgement des dispositifs sociaux par leurs outils de
mesure nest pas propre au RSA et il nest dailleurs pas toujours au service de la simplification de
laccs au droit pour les bnficiaires.
Les rfrentiels dvaluation des pratiques professionnelles du social sont bien souvent perus
comme la fois exagrment dtaills et fastidieux tout autant que trop gnraux et peu adapts,
ncessitant une reconstruction quasi-systmatique et plus particularise. Ce paradoxe semble
toutefois assez significatif des enjeux quinduit la logique de la performance applique au social
appelant des formes complmentaires de mesures : recueil de rcit, confrences de consensus
ou enqutes de satisfaction, etc.


Si lEtat correspond lacteur qui dcide , les collectivits territoriales ceux qui
organisent , les travailleurs sociaux sont ceux qui font vivre le dispositif dans la relation
directe aux bnficiaires. Ces trois chelons sont totalement interdpendants dans la mesure o
aucun dentre eux na vocation se suffire lui-mme.
Centre sur la praxis, les indicateurs qualitatifs sont loquents pour ceux qui les produisent dans la
mesure o ils portent un regard sur les effets produits par un dispositif sur les bnficiaires. Ils
rendent compte de limpact des pratiques professionnelles sociales sur les parcours de vie et, par
un principe de rciprocit valuative, viennent rendre plus lisible pour eux la performance (le sens
diraient-ils) de leur travail quotidien.
Ces indicateurs ne sont pas directement au service des objectifs nationaux, ni mme dans la
logique des indicateurs de gestion des collectivits locales : ils sont le reflet dune approche micro-
valuative, complmentaire des deux approches prcdentes, cherchant approcher - dans une
logique de continuum des effets - les impacts du dispositif sur les bnficiaires.

76


&n s;nth8se, le.emple du pilota0e et de lvaluation du Revenu de 5olidarit 6ctive au.
trois niveau. 1national, dpartement et local2 met % jour des principes valuatifs
correspondant au. intr+ts et objectifs propres au. diffrents acteurs impli"us %
cha"ue chelon de mise en Cuvre du dispositif et sans rel souci de cohrence.

!&tat, via la !O!4, se doit d+tre 0arant des rsultats et de la conformit des rsultats
avec les objectifs viss sans pour autant disposer de mar0es de manCuvre sur le
pilota0e oprationnel des dispositifs mis en Cuvre localement.
!es collectivits territoriales, responsables de la mise en Cuvre du R56, valuent "uant %
elles latteinte dobjectifs de mo;ens dans une lo0i"ue or0anisationnelle et de recherche
defficience. &n labsence dindicateurs de rsultats communs, la d;nami"ue
oprationnelle ne rencontre "ue peu dobstacles, m+me si elle nest pas toujours ju0e
satisfaisante par les responsables locau.. Dans cette lo0i"ue de dcentralisation et
dauto?valuation des collectivits territoriales, la "ualit des s;st8mes dinformation
mobiliss pour alimenter les indicateurs fait souvent obstacle.
&nfin, la prise en compte du re0ard des professionnels sur leur prati"ue au sein du
dispositif impli"ue une approche valuative pluraliste o= les crit8res de lvaluation sont
de nature minemment "ualitative.

6ussi, mal0r un souci de complmentarit des approches, le dispositif est caractris
par des tensions valuatives inhrentes au. indicateurs varis ? au service des lo0i"ues
propres des acteurs au. diffrents chelons D "ui ne facilitent la mise en cohrence
ncessaire entre les objectifs, les mo;ens et les rsultats pour les bnficiaires.



77
CO'C0=2$O'


La recherche de la performance dans le secteur public, avec notamment la mise en uvre de la
LOLF depuis 2001, permet lAdministration de sappuyer sur un systme dindicateurs mesurant
limpact, leffectivit, lefficacit, lefficience et la satisfaction des usagers des diffrents
programmes financs par lEtat. Ce nouveau cadre de gestion cherche ainsi articuler le contrle
de gestion - qui vise produire les outils de connaissance des cots, des activits et des rsultats
pour amliorer le rapport entre les moyens mobiliss et les rsultats produits - et lvaluation des
politiques publiques qui vient apprcier si les moyens mis en uvre permettent datteindre les
objectifs fixs. En instituant une dclinaison systmatique des objectifs stratgiques en indicateurs,
la LOLF constitue une avance relle pour tenter de structurer et s:stmatiser lvaluation
des politiques publiques9

Le champ dapplication de la LOLF se trouve toutefois restreint aux oprateurs de lEtat avec des
indicateurs qui, lheure actuelle, ne concernent pas les rsultats apprciables au niveau local.
Cependant, les indicateurs nationaux reposent, de fait, sur des donnes issues des acteurs locaux
qui ont la responsabilit de la mise en uvre des dispositifs. Aussi, du fait de leur rcurrence et
leur caractre chronophage, il est essentiel que les indicateurs de rfrence aient du sens
pour les acteurs prsents aux diffrents chelons et responsables de la mise en uvre au niveau
local, principalement centrs sur la mise en uvre des dispositifs plus que sur leurs rsultats dont
ils ne se sentent pas rellement responsables.
Sans que cela ne soit formalis ni uniformis pour le moment, les collectivits territoriales
dveloppent de nombreuses initiatives visant amliorer leur performance ; aussi, dans un objectif
de cohrence globale, il serait pertinent de pouvoir int/rer dans la 0O0> des indicateurs
permettant dvaluer les mo:ens mis en Quvre pour pouvoir donner du sens aux rsultats, les
interprter et assurer larticulation les deux logiques (nationale et locale).
De plus lintroduction, dans ce cadre dvaluation global, dindicateurs qualitatifs, permis par
une approche micro-valuative des enjeux de terrain, est ncessairement complmentaire pour
rendre compte des rsultats concrets de laction des travailleurs sociaux, sans lesquels les
dispositifs ne restent que des concepts thoriques, pour les bnficiaires eux-mmes.

Afin de mettre en cohrence ces diffrentes approches et sassurer de la mobilisation de
lensemble des acteurs au service de la performance des politiques sociales, il faut tenir compte
dun certain nombre de paramtres et prrequis ncessaires :
- Il apparait essentiel de construire les indicateurs en concertation avec les diffrents
t:pes dacteurs, afin quils traduisent les priorits et enjeux rels de chaque chelon ;
78
- Il parait indispensable de tenir compte de lengorgement des systmes dvaluation et de
pilotage aux diffrents niveaux de mise en uvre afin de ne pas superposer les indicateurs
mais de tendre G les simplifier et de les mettre en rsonnance9
- Il sagit, de plus, de ne pas minimiser les problmatiques techniques de mise en relation
des s:stmes dinformation des diffrentes organisations concernes, qui peuvent
parfois limiter la production et le renseignement des indicateurs toujours en construction ;
- Parce quun indicateur donn ne permet pas dapprhender les effets des dispositifs dans
toute leur complexit, il doit dabord tre considr comme un outil daide G la rfleCion,
plutt que comme un critre de prise de dcision automatique.
- Enfin, dans une vise mobilisatrice de lvaluation, il est prioritaire de se concentrer sur
le sens et lutilit des indicateurs construire - pour les acteurs concerns et au regard
des objectifs atteindre - plus que sur leur mesure et leur suivi.

Face aux dispositifs sociaux en volution permanente, les s:stmes de pilota/e et dvaluation
doivent sadapter constamment. Cela tant, les imperfections inhrentes aux systmes
dvaluation ne mettent pas pour autant en cause leur utilit, dans la mesure o ils ont du sens
pour les acteurs et que ceuCci se sentent responsables des rsultats produits.
79
@$@0$O1R"P#$%

Amar A., Berthier L., Le Nouveau Management Public : Avantages et Limites, CEROG, IAE dAix-en-
Provence.
Arkwright E., de Boissieu C., Lorenzi JH., Samson J., 2conomie politique de la L/L0, Conseil
dAnalyse Economique, 2007.
Atkinson A., Cantillon B., Marlier E., Nolan B., "he #$ and social %nclusion, The police press,
university of Bristol, 2007.
Bercy Colloc Information spciale, La L/L0 et les collectivits locales9 une dmarche de
performance d3. engage, Article, 31 janvier 2008.
Brunetire JR., Peuton se fier aux indicateurs ! Les cafs de la statistique, confrence du 14
novembre 2006.
Comit National dEvaluation du RSA, ,apport final, Ministre des Affaires Sociales et de la sant,
dcembre 2011.
DARES Analyses, Linsertion par lactivit conomique en =<;< : hausse des embauches apr6s une
anne =<<8 marque par la crise, n78, novembre 2012.
Dughra J., 'omment valuer la performance de l%A# ? Alternatives conomiques n44, mai 2010.
Ecalle F., +e la rationalisation des choix budgtaires . la L/L0, complment au rapport du CAS.
Elbaum M., Les indicateurs de performance en mati6re de politiques sociales : quel sens pour
laction publique ! OFCE, n2009-16, juillet 2009.
Guillaume H., Dureau G. et Silvent F., 1estion publique : l2tat et la performance, Presses de
Sciences Po et Dalloz, 2002.
Lelivre M., Arnold C., Les modes dorganisation des conseils gnraux avec la mise en place du
revenu de solidarit active, DRESS, n800, mars 2012.
Sous la direction de Michle LELIEVRE, Emmanuelle NAUZE-FICHET, ,M%9 ltat des lieux9 ;8LL M
=<<L. Editions La Dcouverte, Paris, 2008.
Perret B., +e lchec de la ,'- . la L/L0, Revue Franaise dAdministration Publique, n 117, 2006.
Sguin P., Descamps F., Siwek-Pouydesseau J., Le 'omit d(enqu)te sur le co*t et le rendement
des services publics : soixante ans de dialogue au service de la rforme de l(#tat, vol. Hors-srie,
cole nationale d'administration, 2007.
Sine A., Lannaud B., la mesure de la performance de laction publique, complment C du rapport,
conomie politique de la LOLF, Conseil dAnalyse Economique, 2007.
Steckel MC., La performance publique en 0rance : un 3eu dinfluences croises entre le national et
le local, Revue de gestion et finances publiques, juin 2010.

80
<"@0% &%2 >$1=R%2

Figure 1 : Rpartition des crdits verss aux oprateurs par mission (PLF 2012) ....................... 26
Figure 2 : Taux dinsertion la sortie des structures dinsertion par lactivit conomique (EI, ETTI,
AI) .................................................................................................................... 46
Figure 3 : Exemple de sociogramme ..................................................................................... 53
Figure 4 : Exemple dchelle de distance lemploi ................................................................. 72
Figure 5 : Echelle de DUKE .................................................................................................. 73