FORMAO

PROFISSIONAL NA AP
AVALIAO DO IMPACTO DA FORMAO
NA ADMINISTRAO PBLICA

A B OR D A G E M M ET O D O L GI C A 201 6

30 de junho de 2016







ndice

Introduo ................................................................................................................................. 4
1. Avaliao da formao: enquadramento terico-metodolgico ...................................... 7
2. Projeto-tipo de avaliao de impacto da formao ........................................................ 14
2.1 Planeamento ........................................................................................................ 15
2.2 Recolha de dados ................................................................................................. 20
2.3 Anlise e interpretao de dados ......................................................................... 21
2.4 Reporte e Comunicao ....................................................................................... 22
3. Recomendaes para a operacionalizao da metodologia de avaliao do impacto da
formao ......................................................................................................................... 25
3.1 Definio de prioridades ...................................................................................... 25
3.2 Fatores crticos de sucesso da aplicao da metodologia .................................... 26
3.3 Passos do processo da avaliao de impacto da formao .................................. 26
3.4 Etapas operacionais subsequentes ...................................................................... 28
Bibliografia .............................................................................................................................. 30
Legislao ................................................................................................................... 32




Introduo

A formao profissional, entendida como um processo de interiorizao de conhecimentos e

desenvolvimento de competncias, gera mudanas no comportamento e atitudes dos
trabalhadores, com desejvel reflexo no seu desempenho e no das organizaes onde
exercem funes. um fator potenciador da boa governao e uma alavanca incontornvel
da gesto da mudana, especialmente no que concerne a institucionalizao de novos
modos de estar, ser e fazer.

A Direo Geral da Qualificao dos Trabalhadores em Funes Pblicas INA tem vindo a
repensar o sistema de formao profissional na Administrao Pblica Portuguesa,
atendendo a uma conceo da formao como um investimento, assente num processo que
procura garantir benefcios superiores aos custos, interligando, para tal, a formao no ciclo
de gesto dos organismos e, em particular, na gesto dos recursos humanos. Neste sentido,
a ao do INA passa por criar uma metodologia de identificao de referenciais de
competncias, facilitando os meios para a respetiva difuso e implementao, por pensar os
efeitos da gesto por competncias no planeamento e execuo da formao e, por fim, em
desenhar e promover a aplicao de metodologias que permitam aferir o resultado dessa
formao.

Pretende-se que este foco e investimento no reforo, promoo e desenvolvimento das

competncias dos trabalhadores viabilize as condies necessrias para que cada
organizao evolua sustentadamente na sua trajetria, no alcance dos objetivos estratgicos
que norteiam a sua atividade e na entrega de valor para a sociedade que serve.

Na Administrao Pblica tem havido uma constncia no esforo de investimento no

domnio da formao profissional, com frequncia de aes de formao por parte dos
trabalhadores, de acordo com o consagrado na lei que regula o trabalho em funes
pblicas e que a define simultaneamente como um direito e um dever de todos os
trabalhadores. Contudo, a prtica demonstra, por vezes, que o investimento realizado em
formao fica aqum dos resultados e mais-valias pretendidos. Na realidade, e apesar de
haver um reconhecido esforo em adequar a formao aos objetivos dos organismos,
ainda pouco frequente verificar a sua utilizao explcita enquanto instrumento de
desenvolvimento estratgico. tambm pouco frequente encontrar evidncias da
associao entre um levantamento especfico de necessidades de formao, relativamente a
4




trabalhadores e organismos, a identificao de perfis de competncias e a configurao de
solues formativas de capacitao e desenvolvimento.

Os fatores anteriormente descritos concorrem conjugadamente para que o investimento

realizado no v ao encontro das expectativas previstas de retorno da formao. Encontra-
se, assim, a necessidade de tornar mais efetiva e consequente a formao, no sentido de
alavancar desempenhos individuais e coletivos.

A avaliao do impacto da formao assume aqui um papel relevante. Todavia, os dados

disponveis apontam para que se utilize habitualmente a avaliao de reao e
aprendizagem, sendo rara a apreciao do impacto ao nvel dos comportamentos e dos
resultados. Consequentemente, surge a necessidade de estruturar uma avaliao
compreensiva do impacto da formao que permita:

- Aferir a eficcia e a eficincia das iniciativas formativas, delimitando as aes que

produzem os efeitos pretendidos e identificando fatores crticos de sucesso ou boas
prticas;
- Ajustar modelos, programas, formatos, contedos, tendo em vista aos melhores
resultados de aprendizagem e a sua transferncia em contexto de trabalho;
- Estabelecer prioridades e direcionar investimentos com relevncia para a
prossecuo dos objetivos estratgicos da organizao.

O INA, constituindo-se como referncia nacional na rea da formao, tem entre as suas
atribuies, nos termos do Decreto-Lei n. 48/2012, de 29 de fevereiro1:

- Assegurar o planeamento e gesto da formao atravs do diagnstico de

necessidades de recursos humanos face misso, objetivos, atividades e atribuies
dos servios;
- Definir perfis de formao transversais que promovam e aprofundem a diversidade
de aes e os ciclos de formao; e,
- Assegurar a conceo curricular de aes de formao alinhadas com as prioridades
de gesto dos servios.

De acordo com o disposto na alnea e) do n. 2 do artigo 30. do Decreto-Lei n. 50/98, de 11

de maro, complementado pela alnea h) do n. 2 do artigo 2. do Decreto-Lei n. 48/2012,
compete ainda ao INA enquanto entidade coordenadora de formao profissional na

1
Diploma que aprova a orgnica do INA.
5




Administrao Pblica promover, periodicamente, a avaliao dos efeitos da formao
ministrada ao nvel de eficcia dos servios, por forma a avaliar o impacto do investimento
efetuado nos resultados das organizaes.

Acometido destas atribuies, importa produzir uma proposta de abordagem metodolgica

avaliao do impacto da formao. Nesse sentido, no ponto I deste documento, realiza-se
uma anlise sinttica das questes terico-metodolgicas relativas a esta matria, a partir
da pesquisa bibliogrfica entretanto realizada e que permitiu revisitar alguns dos principais
mtodos de avaliao de impacto da formao. Esta informao apoia a reflexo sobre a
abordagem e os respetivos instrumentos de operacionalizao a selecionar e utilizar no
contexto das entidades da Administrao Pblica Portuguesa.

O ponto II inclui uma proposta de definio de um projeto-tipo de avaliao de impacto da

formao.

O ponto III procede a um conjunto de recomendaes para os organismos que intencionem

avaliar o impacto da formao frequentada pelos seus trabalhadores e dirigentes e, por fim,
identificam-se os passos seguintes, a cargo do INA, relativos operacionalizao da
metodologia de avaliao do impacto da formao na Administrao Pblica.




1. Avaliao da formao: enquadramento terico-
metodolgico

A gesto estratgica da formao um processo integrado que articula, de forma dinmica,

a identificao de necessidades de formao, por sua vez, decorrentes de hiatos de
competncias detetados no contraponto entre os referenciais de competncias e o
desempenho, conduzindo ao planeamento da formao, execuo das aes definidas
para a sua consecuo e a respetiva avaliao (Fig. 1).

Fig.1. Ciclo de Gesto da Formao

O presente relatrio foca a avaliao da formao e esta pode ser definida como um
processo sistemtico de recolha de dados relevantes para aferir da qualidade da formao,
da sua efetividade e das condies propcias ou inibidoras da transferncia da aprendizagem
para o contexto de trabalho.

Em qualquer processo de avaliao, importante que fiquem estabelecidos os objetivos que

justificaro e daro sentido aos procedimentos escolhidos e aos dados recolhidos para
possibilitar a aferio pretendida. Assim sendo, um processo de avaliao,




independentemente do seu objeto, desenvolve-se em quatro fases que podemos
genericamente denominar de:

Planeamento (onde se define o porqu e para que fins, o qu e o como);

Recolha de dados;
Anlise de dados;
Comunicao de resultados.

A relao entre estas fases est refletida na figura 2:

Fig.2. Processo de Avaliao
Adaptado de Zinovieff (2008:3)

No que respeita aos mtodos ou modelos de avaliao, a escolha depende da finalidade do

projeto, do que se pretende medir e dos recursos e capacidades disponveis para o efeito.

No domnio da avaliao do impacto da formao, os modelos mais referenciados na

literatura cientfica e tambm mais disseminados nas organizaes so os de Donald
Kirkpatrick (vide Kirkpatrick 1998; D.L. Kirkpatrick e J.D. Kirkpatrick 2006, 2007) e de Jack
Phillips (1998).

O modelo de Kirkpatrick desenvolvido inicialmente pelo autor em 1959 apresenta quatro

nveis (Kirkpatrick 1998; D.L. Kirkpatrick e J.D. Kirkpatrick 2006, 2007):




Reao: corresponde ao nvel 1 e pretende responder pergunta Os formandos
gostaram do curso?, e visa avaliar as reaes dos participantes na formao.
Aprendizagem: plasma-se no nvel 2 e tem como pergunta-chave Os formandos
mudaram a sua atitude, aumentaram os seus conhecimentos e desenvolveram
competncias em decorrncia da formao frequentada?
Comportamento: traduz-se no nvel 3 e procura responder pergunta Que
mudanas ocorreram no comportamento dos participantes nos postos de trabalho
por transferncia das aprendizagens?, ou seja, pretende-se avaliar os
comportamentos dos participantes em contexto de trabalho (mobilizao ou no
das competncias adquiridas).
Resultados: corresponde ao nvel 4 e tem por fim aferir os efeitos no desempenho
da organizao, respondendo questo Que resultados foram atingidos devido ao
programa de formao?

Em cada nvel, o processo avaliativo tem por objeto diferentes focos, havendo subjacente,
ao seu conjunto, uma sequncia de dificuldade crescente, compensada pelo proporcional
aumento do valor emergente da avaliao nos nveis 3 e 4 (Kirkpatrick e Kirkpatrick 2006).

Outro autor tambm referenciado neste domnio Jack Phillips (1998) que, em 1996,
elaborou um modelo baseado no de Kirkpatrick ao qual acrescentou um nvel, o do retorno
do investimento na formao (ROI). Este 5. nvel pretende quantificar financeiramente o
referido retorno do investimento, comparando os benefcios gerados pelos efeitos
resultantes da frequncia da formao, com o valor investido nessa mesma formao.

A figura 3 conjuga as duas perspetivas da avaliao do impacto da formao.

Fig. 3. Modelo de Avaliao (Kirkpatrick 1998; Phillips 1998)

Kaufman (2000) considera ainda que o ROI limitado realidade interna da organizao e
que para concretizar uma avaliao de nvel 5 seria necessrio ponderar o impacto da
prpria organizao sobre a sociedade.

Contudo, e apesar dos modelos apresentados, o desenvolvimento e concretizao de aes

de avaliao de impacto da formao so ainda raras por fora da sua complexidade. As que
so realizadas incidem predominantemente na reao e aprendizagem e menos
frequentemente no comportamento/transferncia. So ainda mais incomuns as que tm por
objeto os resultados do desempenho individual e da organizao (Velada et al. 2009).

De entre os fatores que contribuem para este efeito est a dificuldade em individualizar as
relaes causas/consequncias que contribuem para o conjunto de resultados da
organizao ou para a modificao de comportamentos por parte dos trabalhadores
(Mendes 2008). Designadamente no que diz respeito avaliao do ROI, um dos desafios
mais crticos consiste em isolar os efeitos da formao relativamente a outras variveis que
influem no desempenho.

Contudo, para Brinkerhoff (2005), esta preocupao em isolar e medir os efeitos da

formao no desempenho organizacional de pouco valor para as organizaes. Este autor
considera que a formao, perspetivada isoladamente, apenas permite observar o
10




desenvolvimento das competncias individuais, sendo mais relevante aferir em que medida
a organizao est a retirar valor da formao, o que implica integrar a formao no
processo de gesto do desempenho.

Entre 2003 e 2005, Brinkerhoff desenvolveu o mtodo Success Case Method (SCM) que,
aplicado na avaliao de impacto da formao, tem em linha de conta a estratgia adotada
pelas organizaes para melhorar o seu desempenho atravs do investimento na formao
dos seus trabalhadores.

A aplicao deste mtodo assenta na obteno de testemunhos concretos sobre os efeitos

resultantes de uma ao ou de um plano de formao, considerando que estes decorrem
sempre da interao da formao com fatores influenciadores do desempenho,
denominados fatores do sistema de performance, refletindo igualmente o carter
abrangente deste mtodo (que no tenta isolar os efeitos da formao, mas antes integr-
los no sistema).

O mtodo SCM pressupe que os efeitos da formao, no que respeita ao desempenho,

dependem da interao das competncias adquiridas com outros fatores facilitadores da sua
mobilizao em contexto de trabalho, como, por exemplo, a associao entre a formao e
as responsabilidades e atividades concretas do cargo ou do projeto atribudo.

Todavia, considerado qualquer um dos modelos ou mtodos, torna-se evidente que no

processo de avaliao de impacto da formao fulcral compreender duas questes:

1. Por um lado, como se processa a transferncia da aprendizagem para o contexto

de trabalho, mobilizando as competncias adquiridas na formao;
2. Por outro, como se articulam os resultados do desempenho no posto de trabalho
com o desempenho organizacional.

No que respeita anlise da transferncia da aprendizagem para o contexto de trabalho, um

dos instrumentos mais recomendados o Learning Transfer System Inventory (LTSI).

O LTSI, proposto por Holton, procura aferir em que medida o impacto da formao depende
dos efeitos de variveis mediadoras entre a ao formativa e o desempenho da organizao
(Holton 2005)

A partir desse entendimento, apresentado um modelo de anlise da transferncia da

aprendizagem, onde se salientam os diversos fatores que afetam esta transferncia para o

11




local de trabalho (IQF 2006). Estes fatores podem ser agrupados em trs dimenses:
caractersticas dos formandos, conceo da formao, e caractersticas do contexto de
trabalho (fig. 4.).

Fig. 4. Modelo de Anlise da Transferncia da Formao (IQF 2006:205)

O LTSI j foi validado para a realidade portuguesa por Ana Raquel Velada (Velada: 2007).

Para avaliar o impacto das intervenes formativas ao nvel dos resultados que a
organizao pretende alcanar, necessrio definir previamente quais so esses resultados
e de que forma os desempenhos individuais podem contribuir para a sua obteno.

Neste domnio um dos instrumentos possveis de utilizar ser o mapa de impactos (fig. 5)
onde se identificam as relaes em cascata entre os resultados que se pretendem obter
no que respeita ao desempenho organizacional, ao desempenho individual e/ou de grupo e
as competncias requeridas para esse mesmo desempenho (IQF 2006).

A configurao deste mapa de impactos pode resultar, em parte, da informao constante

dos instrumentos de avaliao da administrao pblica, nomeadamente: o Quadro de
Avaliao e Responsabilizao (QUAR) em articulao com o Sistema Integrado de Avaliao
de Desempenho da Administrao Pblica (SIADAP) 2 e 3.
12

Fig.5 Mapa de Impactos (IQF 2006)

No entanto, como anteriormente referido, apesar da existncia de vrias teorias e modelos

de avaliao da formao e da disponibilidade de tcnicas e instrumentos de recolha e
anlise de dados, a avaliao de impacto da formao continua a ser um processo de difcil
implementao nas prticas de gesto das organizaes. As razes subjacentes so mltiplas
e significativamente dependentes das diferentes realidades organizacionais.

Realamos aqui dois problemas que interferem de forma significativa no sucesso de um

processo de avaliao de formao:

1) A definio e implementao de intervenes avaliativas unicamente aps a

execuo da formao;
2) O fraco envolvimento e participao dos vrios atores (dirigentes, trabalhadores,
entidade formadora) na conceo e implementao do processo de avaliao.

Deste modo, deve ser prestada especial ateno definio prvia e organizao de um
processo de avaliao de impacto da formao, conforme j descrito anteriormente (fig. 2).

A sua implementao em fases claramente delimitadas e com especificidades prprias

constitui fator crtico de sucesso a valorizar, em sede de gesto de projeto neste domnio.
13




2. Projeto-tipo de avaliao de impacto da formao

O objetivo deste projeto consiste em avaliar o impacto da formao quer no desempenho

dos trabalhadores que frequentaram uma determinada formao, quer nos indicadores da
organizao relacionados com aqueles desempenhos individuais.

A abordagem a seguir ter em conta os momentos antes, durante e aps a realizao do

programa formativo/ao de formao, contribuindo para sinalizar e atuar de forma
sistemtica sobre os aspetos cruciais da interveno formativa, com vista produo dos
melhores resultados ao nvel da respetiva preparao, execuo e, consequentemente, dos
impactos nos desempenhos dos indivduos, dos grupos e da organizao (IQF 2006: 21).

De um modo genrico, um projeto de avaliao de impacto da formao organiza-se numa

sequncia de quatro fases que correspondem ao planeamento, recolha de dados, anlise de
dados e reporte de resultados (fig. 6.).

Fig. 6. Processo de Avaliao do Impacto da Formao

14




Estas quatro fases e o seu contedo respetivo do ponto de vista dos objetivos a definir, das
atividades a realizar e dos instrumentos a aplicar, funcionam como linhas de orientao para
a configurao de um projeto especfico de avaliao do impacto da formao.

2.1 Planeamento

O planeamento da interveno avaliativa uma fase determinante do projeto, com reflexo
em todo o desenvolvimento subsequente.

Integra duas etapas fundamentais:

1) Conhecimento do contexto organizacional (ponto de partida da formao: razes,
projeto formativo, destinatrios, contexto de trabalho);
2) Planeamento do processo avaliativo propriamente dito (quando, como, com quem,
para qu).

2.1.1 Conhecimento do contexto organizacional

Esta etapa visa garantir que, desde o primeiro momento, se caracteriza a situao existente
e se delimitam os objetivos a atingir, associados configurao de um determinado projeto
formativo, possibilitando as condies para uma mensurao efetiva do valor decorrente da
formao, bem como, num plano operacional, a coerncia dos desenhos das etapas
sequentes com os fins prosseguidos.

Fig. 7. Etapa de conhecimento do contexto organizacional
15




A definio da situao de partida permitir dispor de uma base a partir da qual se tomar a
deciso global sobre a abordagem formativa e a respetiva interveno avaliativa e se
confrontar a situao a jusante, por forma a avaliar alteraes no sentido desejado. A
configurao do desenho do projeto de formao deve garantir que os trabalhadores
adquirem e desenvolvem as competncias diagnosticadas como sendo necessrias para a
melhoria do desempenho organizacional.

Nestes termos, esta etapa de conhecimento do contexto organizacional desenvolve-se

atravs da realizao de trs atividades, que se descrevem em seguida.

Na atividade 1 caracteriza-se a situao de partida do organismo, face ao que releva para o

projeto formativo e para as mudanas expectveis em termos da dinmica organizacional e
de resultados pretendidos.

Tabela 1. Atividade 1 Planeamento da Avaliao do Impacto da Formao

Atividade 1 Resultados

Situao de partida Identificar os objetivos de

desempenho organizacionais; postos de trabalho
que podero contribuir para alcanar esses
objetivos e metas organizacionais; Identificao Identificao de resultados a obter pela
das competncias necessrias adquirir/ aplicao da estratgia formativa.
desenvolver, por via da formao, resultante do
levantamento de necessidades e da anlise do
diferencial de perfis de competncias.

Na atividade 2 caracteriza-se a situao de partida, desta feita no que se refere

especificamente aos destinatrios da formao e s expetativas que incidem sobre as
aprendizagens, com reflexo potencial no exerccio de funes.

16




Tabela 2. Atividade 2 Planeamento da Avaliao do Impacto da Formao

Atividade 2 Resultados

Situao de partida - Identificar as principais

caractersticas dos destinatrios da formao e Diagnstico acerca da situao dos formandos,
do seu contexto e processo de trabalho, bem do seu contexto de trabalho e das expetativas
como as expectativas face aprendizagem e sua dos envolvidos.
aplicabilidade no posto de trabalho.

Na atividade 3 tm-se em linha de conta os efeitos esperados e definem-se quais os

contedos da formao e o modelo pedaggico mais adequado para desenvolver as
competncias crticas identificadas.

Tabela 3. Atividade 3 Planeamento da Avaliao do Impacto da Formao

Atividade 3 Resultados

Identificar as principais caractersticas do projeto

formativo: contedos e modelo pedaggico; com Caracterizao do projeto formativo e da sua
articulao entre as necessidades e os objetivos associao aos efeitos esperados.
de aprendizagem.

2.1.2 Planeamento do processo avaliativo

Conhecidas as razes que deram origem formao e definidos os efeitos que se pretendem
obter no organismo e nos trabalhadores, esto criadas as condies para planear a
interveno avaliativa, que constitui o objetivo desta etapa.

A partir deste ponto, define-se o quadro de referncia da avaliao e respetivos
procedimentos, abordando questes como:
Dimenses a avaliar e valores de referncia;
Momentos em que se vo efetuar as avaliaes;
Tcnicas e instrumentos de avaliao a utilizar;

17




Intervenientes no processo de avaliao;
Modo como se perspetiva comunicar os resultados.

Fig. 8. Etapa de planeamento do processo avaliativo

Na atividade 4 caracteriza-se o objeto da avaliao, em congruncia com a estratgia de
avaliao de impacto tida por adequada, a montante.

Tabela 4. Atividade 4 Planeamento da Avaliao do Impacto da Formao

Atividade 4 Resultados

Definio do objeto, do modelo de avaliao e

Construir e caracterizar a estratgia de avaliao. do plano para implementao da estratgia de
avaliao.

Esta estratgia visa apurar em que medida houve transferncia da aprendizagem para a
organizao. Os benefcios resultantes da formao dependem desta transferncia, uma vez
que a mesma determina qual a utilizao dos conhecimentos adquiridos, das competncias
desenvolvidas e dos comportamentos apreendidos no decurso da formao, no contexto de
trabalho, ou seja, na organizao onde o formando exerce a sua funo. Como reala Velada
(2007:32): para que a transferncia seja efetiva, necessrio que as competncias ou os
comportamentos aprendidos sejam generalizados ao contexto de trabalho e mantidos
durante um perodo de tempo aps a formao e que correspondentes repercusses
tambm se verifiquem ao nvel das organizaes.
18




Todos os aspetos anteriores ponderados levam a que na definio da estratgia e respetivo
plano de implementao se considerem os diferentes momentos, intervenientes e
dimenses presentes no modelo de anlise da transferncia da formao.

A estratgia prev como cruciais os momentos antes, durante e aps a formao sendo, por
isso, necessrio perspetivar os meios que mais tarde sero aplicados no sentido de se obter
informaes relevantes.

A recolha de informao de avaliao de impacto incidir sobre expetativas e sobre as

aprendizagens, convertidas em resultados. Esta circunstncia implica que a avaliao aps a
concluso da formao possa ser efetuada num intervalo de tempo posterior e que se pode
situar, por exemplo, entre 3 a 6 meses.

A estratgia define em cada timing atrs referido a participao de diferentes atores, entre
os quais se destacam os formandos / trabalhadores, as suas chefias e formadores.

Nesta fase, determinante pensar e estruturar uma abordagem potenciadora do

envolvimento e compromisso de ambas as partes para o sucesso na transferncia das
aprendizagens na formao para o posto e trabalho.

A atividade 5 consiste em equacionar as circunstncias que tm um efeito mediador nas

aprendizagens e na sua transferncia para o contexto profissional e, especificamente, para o
exerccio das atividades inerentes ao posto de trabalho.

Tabela 5. Atividade 5 Planeamento da Avaliao do Impacto da Formao

Atividade 5 Resultados

Identificar os fatores que facilitam/inibem o

Identificao dos fatores que influenciam o
processo de transferncia e as estratgias a
processo de transferncia e respetiva estratgia
desenvolver pelos intervenientes (formandos,
de gesto.
chefias, gestor de formao).

O suporte e orientao fornecidos, os meios e instrumentos de trabalho alocados, a

assuno do processo formativo como um instrumento de autodesenvolvimento pelo
trabalhador, com aposta na sua autoformao e incremento qualitativo e quantitativo dos
seus contributos, as oportunidades de praticar e aplicar diretamente as aprendizagens

19




efetuadas, so alguns exemplos das condies com efeitos potenciais, favorveis ou
desfavorveis, no aproveitamento individual e coletivo da formao ministrada.

Na atividade 6, ainda em fase de definio da estratgia e de planeamento da sua execuo,

definem-se a metodologia e os instrumentos de recolha de informao que apoiaro, mais
tarde, a comparao entre objetivos e resultados, a apresentao das concluses e
recomendaes, vertidas no relatrio final do processo.

Tabela 6. Atividade 6 Planeamento da Avaliao do Impacto da Formao

Atividade 6 Resultados

Instrumentos a aplicar no processo de avaliao

Selecionar as tcnicas e construir os
e definio dos processos de tratamento e
instrumentos de avaliao.
anlise de dados.

2.2 Recolha de dados

Nesta fase, j de caracter operacional, de realizao da estratgia avaliativa, so aplicados os
instrumentos de recolha de dados nos diferentes momentos previamente definidos, junto
dos intervenientes e incindindo sobre o objeto e dimenses consideradas.
A especificidade e a qualidade da informao aqui obtida so elementos determinantes para
suportar a atividade subsequente.

Fig. 9. Etapa de recolha de dados

20




Este objetivo concretiza-se na atividade 7, durante a execuo da formao, e na atividade
8, aps a concluso da formao.

Tabela 7. Atividade 7 Recolha de dados

Atividade 7 Resultados

Aplicar instrumentos de recolha de informao,

Obteno de dados.
durante o processo formativo

Tabela 8. Atividade 8 Recolha de dados

Atividade 8 Resultados

Aplicar instrumentos de recolha de informao,

Obteno de dados.
aps o processo formativo (follow-up).

2.3 Anlise e interpretao de dados

A este nvel, as concluses obtidas permitem suportar decises em matria de investimento
em formao, considerando quer a vertente trabalhadores, quer a vertente organizao.

Fig. 10. Etapa de anlise e interpretao de dados

Na atividade 9, o foco consiste em tratar dados que permitam concluir sobre a natureza e
21




efeitos da formao, particularmente, ao nvel individual e sua associao aos resultados
organizacionais.

Tabela 9. Atividade 9 Anlise de dados

Atividade 9 Resultados
Resultados da anlise dos dados recolhidos
Tratar e analisar a informao recolhido ao nvel
(anlises descritivas/interpretativas), em termos
do desenvolvimento e/ou reforo de
de desenvolvimento e/ou reforo das
competncias dos trabalhadores e sua
competncias e da melhoria dos contributos dos
associao aos resultados organizacionais.

trabalhadores para a organizao.

Na atividade 10, a preocupao incide em estabelecer uma ligao entre os efeitos

produzidos pela formao nos trabalhadores e, por via destes, o seu reflexo na organizao,
tendo em conta os outros fatores de desempenho organizacional.

Tabela 10. Atividade 10 Interpretao de dados

Atividade 10 Resultados

Identificar o reflexo das aprendizagens no Interpretao do impacto da formao ao nvel

desempenho organizacional. do funcionamento e resultados da organizao.

2.4 Reporte e Comunicao

Esta a fase que fecha o ciclo do processo de avaliao do impacto da formao.
Permite colocar em perspetiva todo o trabalho realizado e investimento aplicado.
Inclui a avaliao da estratgica e a comparao entre os objetivos previamente definidos e
os resultados efetivamente alcanados na abordagem seguida para o desenvolvimento e
reforo de competncias.

22

Fig. 11. Etapa de reporte e comunicao

Na atividade 11, elabora-se o relatrio com a abordagem metodolgica e os resultados
obtidos neste processo de avaliao.
Sero tambm elaboradas recomendaes com o duplo objetivo de dar continuidade e
reforar as prticas que tiveram sucesso, mas tambm de introduzir alteraes por forma a
modificar os aspetos que foram considerados menos positivos, sempre tendo em vista a
otimizao da capacitao e do desenvolvimento de competncias de trabalhadores e de
resultados da organizao.

Tabela 11. Atividade 11 Reporte

Atividade 11 Resultados

Relatrio de avaliao da formao com

Elaborar o relatrio de avaliao. apreciao do respetivo impacto; recomendao
para planos de ao/melhoria.

Na atividade 12 procede-se divulgao dos resultados, preparada e executada de acordo
com o definido na estratgia.
Trata-se de um momento particularmente relevante enquadrado no pretendido processo de
mudana e de nfase colocado no retorno que a formao deve oferecer Administrao
Pblica, aos seus organismos e aos seus trabalhadores.

23

Tabela 12. Atividade 12 Comunicao

Atividade 11 Resultados

Aes de apresentao de resultados da

Comunicar os resultados.
avaliao.

24




3. Recomendaes para a operacionalizao da metodologia de
avaliao do impacto da formao

3.1 Definio de prioridades

Sem prejuzo da relevncia de avaliar o impacto de todos os programas formativos, surge

como pertinente apontar critrios para a definio de prioridades neste processo, dada a
complexidade organizacional que lhe inerente.
Nestes termos, considera-se importante atender a situaes em que os programas
formativos se revestem de particular valor para o organismo, seja pela expresso do
investimento realizado, seja pela relevncia do impacto ao nvel da concretizao dos
objetivos estratgicos.

So exemplos do anterior, aes de formao:
Inseridas em abordagem globais preparatrias da definio e da concretizao de
novas responsabilidades e atribuies organizacionais,
Associadas prestao de novos servios ou realizao de novos produtos;
Necessrias simplificao, desenvolvimento e implementao de processos crticos
da organizao;
Decorrentes de introduo de novos mtodos de trabalho e/ou novas tecnologias;
Consequentes para a melhoria das competncias dos trabalhadores,
significativamente relacionadas com incrementos de eficincia, eficcia e qualidade
da atividade, dos produtos e servios do organismo;
Necessrias para a preparao dos trabalhadores para os desafios do futuro do
organismo.

As decises ancoradas em critrios traduzem-se, de forma articulada, nos diferentes
instrumentos de gesto do organismo. Deste modo, refletem-se, quando oportuno:
Na definio da estratgia de evoluo de um estdio atual para um estdio
desejado do organismo e do papel da formao nesse contexto;

25




No plano de atividades (PA), que indica aes dirigidas e de apoio concretizao de
objetivos operacionais, alinhados com os objetivos estratgicos presentes no quadro
de avaliao e responsabilizao (QUAR);
No oramento anual, com dotao para a formao profissional;
Na proporo do investimento da formao profissional, distribudo por programas
ou aes de formao, de acordo com prioridades previamente definidas.

3.2 Fatores crticos de sucesso da aplicao da metodologia

A avaliao do impacto da formao um elemento integrante do processo de gesto
estratgica, em geral, e do processo de gesto da formao, em particular. Esta avaliao
permite concluir acerca do valor efetivamente obtido face expetativa inicial de retorno.

Para que tal seja possvel necessrio clarificar, na fase inicial do projeto, quais os
resultados pretendidos ao nvel de organismos e trabalhadores, decorrentes da
implementao da estratgia formativa.

Tomando como ponto de partida o anterior, necessrio ainda garantir a presena dos
seguintes fatores que so tidos como essenciais para a aplicao bem sucedida da
metodologia:

Alinhamento entre instrumentos de gesto, com o devido reflexo em matria de

formao profissional;
Implicao e comprometimento dos atores/intervenientes;
Gesto do projeto de avaliao do impacto da formao de acordo com a sua
especificao e metodologia definidas;
Balano e aplicao das lies aprendidas e boas prticas.

3.3 Passos do processo da avaliao de impacto da formao

Reconhecidamente, a avaliao do impacto da formao determinante para aferir do seu

valor enquanto investimento, traduzido em melhorias ao nvel das competncias dos

26




trabalhadores, dos seus contributos e dos resultados dos organismos. um processo
estruturante e segue um conjunto de passos interdependentes.

Nessa linha de continuidade, define-se uma estratgia, comparam-se momentos e pondera-

se o progresso das aprendizagens, traduzidas em impactos, individuais e coletivos.

, por definio, um processo de valor instrumental que permite aferir se os resultados

pretendidos so alcanados atravs das medidas concretizadas.

Com base nesse acompanhamento e na apreciao realizada, permite tomar decises em

funo dos dados disponveis e da procura de ajustamento das solues que sirvam os
melhores interesses dos organismos e dos trabalhadores.

Pese embora a especificidade de cada programa formativo, no contexto em que realizado,
definiram-se, ao longo deste documento, um conjunto de recomendaes metodolgicas e
estabeleceu-se um roteiro de atividades que assumem a forma de linhas de orientao.

A avaliao do impacto da formao envolve, assim, os seguintes passos:
Realizao e/ou anlise de levantamentos de necessidades de capacitao e de
desenvolvimento de trabalhadores e organismos, em termos de competncias e
resultados, respetivamente;
Definio de modelos, programas, metodologias e contedos formativos alinhados
de acordo com as necessidades identificadas e objetivos estabelecidos, desdobrados
em cascata: dos estratgicos aos operacionais;
Configurao da estratgia avaliativa do impacto da formao, com participao e
compromisso dos envolvidos;
Implementao de modelos, programas e metodologias, incluindo a avaliativa, em
conformidade com o projetado;
Avaliao e reporte de resultados;
Aplicao das lies aprendidas no processo de gesto da formao e, num sentido
mais amplo, no processo de gesto estratgica do organismo.

27




3.4 Etapas operacionais subsequentes

Como se referiu na introduo, o presente documento insere-se num conjunto de aes que
o INA est a desenvolver para potenciar a criao de valor decorrente da capacitao
humana. H conscincia que essa criao depende de uma melhoria dos processos de
gesto de recursos humanos vigentes, numa tica que ambiciosa nos fins e incremental
nos meios.

Nos prximos dois anos, o INA ir dar corpo a uma reorientao estratgica no que concerne
a formao profissional da Administrao Pblica que j foi delineada no documento
Orientaes Estratgicas (INA 2016) e do qual se extraiu a tabela abaixo. Das aes
previstas, cumpre destacar, para efeitos de avaliao do impacto da formao, a propositura
de uma metodologia de avaliao da formao, a sua validao atravs de projetos-piloto e
a criao de kits metodolgicos que capacitem as entidades da Administrao Pblica para
procederem avaliao da formao frequentada pelos seus colaboradores, atendendo aos
seus posteriores efeitos no desempenho. Este documento apenas a manifestao
preliminar de um trabalho em decurso.

Tabela 13. Aes para a operacionalizao da estratgia da formao profissional na AP

Ao Quadro temporal

Conceo e validao de uma metodologia de identificao 2016

e gesto de competncias

Aplicao da metodologia, identificando referenciais A partir de 2016

de competncias transversais e especficos

Alterao do regime jurdico da formao profissional 2016

na Administrao Pblica

Reconfigurao da oferta formativa A partir de 2016

Instituio do modelo de governao e coordenao do sistema A partir de 2016

28




Definio de uma metodologia de avaliao 2016
do impacto da formao

Capacitao das organizaes da AP para a implementao 2016

da metodologia de avaliao

Adaptao do Relatrio de Atividades de Formao (RAF) 2016

s mudanas no sistema
Fonte: Adaptado de INA (2016)

29




Bibliografia

Brinkerhoff, Robert O. 2005. The Success Case Method: A Strategic Evaluation Approach to
Increasing the Value and Effect of Training. Advances in Developing Human
Resouces 7(1):86-101.

Holton, Elwood F. 2005. Holtons Evaluation Model: New evidence and construct
elaborations. Advances in Developing Human Resources 7(1):37-54.

INA. 2016. Orientaes Estratgicas Formao Profissional na Administrao Pblica.

Lisboa: Direo-Geral da Qualificao dos Trabalhadores em Funes Pblicas INA.

Instituto para a Qualidade na Formao, I.P. 2006. Guia para a Avaliao da Formao.
Lisboa: IQF.

Kaufman, Roger. 2000. Mega Planning: Practical Tools for Organizational Success. Thousand
Oaks, CA: Sage Publications.

Kirkpatrick, Donald L. 1998. The Four Levels of Evaluation. Pp. 95-112 in Evaluating
Corporate Training: Models and Issues, editado por Stephen M. Brown e Constance
J. Seidner. New York: Springer Science + Business Media, LLC.

Kirkpatrick, Donald L., e James D. Kikpatrick. 2006. Evaluating Training Programs: The four
levels. 2 ed. San Francisco: Berret-Koehler Publishers, Inc.

Kirkpatrick, Donald L., e James D. Kikpatrick. 2007. Implementing the Four Levels: A practival
guide for effective evaluation of training programs. San Francisco: Berret-Koehler
Publishers, Inc.

Mendes, Sofia. 2008. Avaliao da Formao: uma constante necessria. Amadora: Sinfic
(disponibilizado em
http://www.sinfic.pt/SinficWeb/displayconteudo.do2?numero=24933 acedido em
Agosto 2013)

Phillips, Jack J. 1998. Level 4 and Beyond: An ROI Model. Pp. 113-140 in Evaluating
Corporate Training: Models and Issues, editado por Stephen M. Brown e Constance
J. Seidner. New York: Springer Science + Business Media, LLC.

30




Velada, Ana Raquel R. 2007. Avaliao da Eficcia da Formao Profissional: factores que
afectam a transferncia da formao para o local de trabalho. Tese de
Doutoramento em Psicologia Social e Organizacional. Lisboa: ISCTE (disponibilizado
em http://repositorio-
iul.iscte.pt/bitstream/10071/626/1/Tese%20Doutoramento_Raquel%20Velada.pdf
acedido em Agosto 2013)

Velada, Raquel; Antnio Caetano; Reid Bates; Ed Holton. 2009. Learning Transfer
validation of the learning transfer system inventory in Portugal. Journal of
European Industrial Training 33(7):635-656.

Zinovieff, Michael A. 2008. Review and Analysis of Training Impact Evaluation Methods, and
Proposed Measures to Support a United Nations System Fellowships Evaluation
Framework, prepared for the WHOs Department of Human Resources for Health on
behalf of the UN Task force on Impact Assessment of Fellowships, Geneva,
(disponibilizado em

http://www.google.pt/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0ahUKE
wjcvryq4-
XLAhUL7BQKHR85CdAQFgggMAA&url=http%3A%2F%2Fesa.un.org%2Ftechcoop%2F
fellowships%2FSFOMeeting%2FParticipantArea%2FBackgroundDocuments%2F6_RE
VIEW%2520report%2520FINAL%2520.pdf&usg=AFQjCNHILO_mxy7jss0UbmocG_j2L
gN5OA - acedido em maro 2016)

31

Legislao

Decreto-lei 50/98, 11 de Maro, Reformula o regime jurdico da formao profissional na

Administrao Pblica (disponibilizado em
http://www.dgap.gov.pt/upload/Legis/1998_dl_50_11_03.pdf - acedido em Agosto
2013)

Decreto-lei 48/2012, 29 de Fevereiro, Aprova a orgnica da Direco-geral da Qualificao

dos Trabalhadores em Funes Pblicas, (disponibilizado em
http://www.dre.pt/pdf1s/2012/02/04300/0090800910.pdf - acedido em Agosto
2013)

Lei n 35/2014 de 20 de junho Lei Geral do Trabalho em Funes Pblicas, (disponibilizado

em https://dre.pt/web/guest/pesquisa-avancada/-
/asearch/25345097/details/maximized?p_auth=a35UrW0a&serie=I&numeroDRE=1
17&search=Pesquisar&dataPublicacao=2014-06-20&ano=2014&types=DR -
acedido em maro 2016)

RCM 89/2010, 17 de Novembro, Aprova o plano de aco para a formao profissional dos
trabalhadores da Administrao Pblica para o perodo 2011-2013 (disponibilizado
em http://www.dgaep.gov.pt/upload/Legis/2010_rcm_89_17_11.pdf - acedido em
Agosto 2013).

32