You are on page 1of 126

SAAS: UM SISTEMA DE

ACOMPANHAMENTO
E AVALIAO DE CURSOS
PARA SUPORTE
GESTO E DOCNCIA
na
REDE E-TEC BRASIL

Araci Hack CATAPAN


Silvia Modesto NASSAR
Renato CISLAGHI
(Org.)

Florianpolis
2015
NUP NCLEO DE PUBLICAO Universidade Federal de Santa Catarina
Grupo de Pesquisa Cientfica em EaD PCEADIS/CNPq da Universidade Federal
de Santa Catarina.

ORGANIZADORES
Araci Hack Catapan
Silvia Modesto Nassar
Renato Cislaghi

AUTORES
Silvia Modesto Nassar Beatriz Wilges
Renato Cislaghi Wesley Gonalves
Masanao Ohira Douglas Hiura
Andressa Pacheco Juliana Leonardi

Editores: Araci Hack Catapan e Carlos Augusto Locatelli


Reviso de texto: Lida Zandonadi, Jlio Csar Ramos e Maria de Lourdes Ferronha
Reviso Tcnica: Dris Roncarelli
Apoio Tcnico: Rafaela L. Comarella, Daniel Oltramari, Antonio Roberto de Collo Junior
Projeto grfico: Lus Henrique Lindner e Juliana Tonietto
Fotografias: Shutterstock

Catalogao na fonte pela Biblioteca Universitria


da Universidade Federal de Santa Catarina

S112
SAAS: um Sistema de Acompanhamento e Avaliao de Cursos para Suporte Gesto e
Docncia na Rede e-Tec Brasil / Organizadores Araci Hack Catapan, Silvia Modesto Nassar,
Renato Cislaghi ; autores do contedo Silvia Modesto Nassar...[et al.] ; organizadores da
coleo Araci Hack Catapan, Clovis Nicanor Kassick. Florianpolis : NUP/CED/UFSC, 2015.
124 p. : il., grafs., tabs.- (Coleo Gesto e Docncia em EaD ; 4)

Inclui bibliografia.
ISBN: 978-85-87103-90-1 / ISBN da coleo: 978-85-87103-89-5

1. Rede e-Tec Brasil - Tecnologia. 2. Educao a Distncia. 3. Educao profissional e


tecnolgica. 4. Sistemas de informao gerencial Educao. I. Catapan, Araci Hack. II.
Nassar, Silvia Modesto. III. Cislaghi, Renato. IV. Kassick, Clovis Nicanor. V. Srie.

CDU: 37.018.43(81)

Esta obra resultado de projeto de pesquisa GPCRFII Metodologia para implementao


do Currculo Referncia.
Promoo: SETEC/MEC | Financiamento FNDE

Apoio dos Ncleos de pesquisa da UFSC:


Ensino, Pesquisa e Extenso ATELIER TCD / CED;
Editorao de texto/NETE/ JOR;
Estudos sobre Trabalho e Ensino em Contabilidade NETEC/CSE;
Laboratrio de Capacitao em Gesto e Docncia em EaD LCGD/CED
Laboratrio de Tecnologias de Avaliao e Gesto na Educao LABTAGE/CTC
FNEAD - Frum Nacional de Educao Profissional Tcnica a Distncia
Sumrio
Apresentao................................................................................. 5

Prefcio......................................................................................... 9

Introduo....................................................................................11

1
Funcionalidades de um
sistema de avaliao......................................................................19
Sistema de Acompanhamento e
Avaliao dos Cursos e-Tec Brasil (SAAS).......................................... 21
Os questionrios e os avaliadores com diferentes papis.................. 24
O acesso aos resultados.................................................................... 26
Funcionalidades desenvolvidas tendo em vista
a avaliao piloto realizada em 2010.2.............................................. 27
Ambiente de divulgao do SAAS: Moodle SAAS............................. 29
Gerao de relatrios no SAAS......................................................... 30

2
Resultados para apoiar a gesto e docncia.....................................39
Resultados por dimenses................................................................ 44

Consideraes finais.......................................................................55

Referncias...................................................................................57

Rede e-Tec Brasil 3


Apndice.......................................................................................61
Um Modelo de Avaliao de Cursos tendo como
Referncia o Sinaes 11...................................................................... 63
Avaliao de Polos sob uma Perspectiva Georreferencial.................. 77
Sistema de Avaliao e Apoio Qualidade do Ensino a Distncia ..... 91
Gesto de Qualidade de Cursos a Partir da Percepo
de Estudantes Egressos.................................................................. 103
Sistema para Avaliao e Gesto de Cursos EaD.............................. 113
Apresentao

A Rede e-Tec Brasil, instituda pelo Decreto n 7.589, de 26/10/2011, tem a


finalidade de desenvolver a educao profissional e tecnolgica na moda-
lidade de Educao a Distncia (EaD), ampliando e democratizando a ofer-
ta e o acesso educao profissional pblica e gratuita no pas. uma das
aes nacionais do Programa Nacional de Acesso ao Ensino Tcnico e Em-
prego (PRONATEC). Esse Programa foi criado pelo Governo Federal em
2011 com o objetivo de ampliar a oferta de cursos de educao profissional
e tecnolgica. A Rede e-Tec constitui uma das aes iniciais do programa e
um passo importante para a democratizao do acesso educao profis-
sional tcnica na modalidade EaD no Brasil.

A Educao a Distncia, no Brasil, uma modalidade de ensino que tem ca-


rter de inovao, expanso e incluso, ao mesmo tempo; por isso, requer
que seja acompanhada de pesquisa e avaliao continuamente.

Em consonncia com as diretrizes de expanso e de oferta de educao


pblica e visando atender s demandas sociais, a SETEC tem promovido
diversas intervenes na rede e-Tec como: capacitao de professores,
validao de material didtico, pesquisa e avaliao. Desde o incio do pro-
grama, a UFSC tem acompanhado e contribudo com as principais aes de
implementao da educao profissional a distncia.

Esta obra expressa uma das principais aes de acompanhamento e avalia-


o das aes da rede e-Tec realizada pela equipe da UFSC. O Sistema de
Acompanhamento e Avaliao do Sistema e-Tec (SAAS) uma promoo
da SETEC, realizada pela equipe de pesquisadores da UFSC, com a finali-
dade de oferecer informaes para a gesto nos mais diferentes nveis do
processo. Embora a SETEC tenha dispensado muitos esforos para a imple-
mentao da EaD na Educao Profissional Tecnologia (EPT), muitas difi-
culdades ainda esto presentes e fazem parte da dinmica de ofertas que

Rede e-Tec Brasil 5


se consideram inovadoras como essa. Os resultados georreferenciais desse
processo de avaliao evidenciam questes que podem ser corrigidas ante-
cipadamente s avaliaes regulatrias do sistema. O propsito do sistema
apoiar os processos de gesto para a melhoria do sistema.

Esta pesquisa desenvolve-se com base em um sistema de avaliao de cur-


sos, de polos e de disciplinas. Esse sistema trabalha na perspectiva de le-
vantar e evidenciar, por um lado, indicadores de risco e, por outro, de qua-
lidade, facilitando as prticas dos gestores institucionais. Para atender a
esse propsito foi desenvolvida uma estrutura de relacionamentos com
representantes de cada uma das instituies que acompanham o proces-
so da coleta de dados e de anlise. A elaborao de relatrios peridicos,
de dados e informaes contemplam diversas dimenses e aspectos con-
siderados relevantes para avaliar a qualidade do ensino a distncia. Esses
aspectos foram definidos em funo do Sistema Nacional de Avaliao da
Educao Superior (SINAES), 2013, e se prope a apontar de maneira clara
as dimenses que devem ser melhoradas no curso.

Observa os referenciais de qualidade de EaD indicados para elaborao e


desenvolvimento de projetos de cursos referentes s dimenses pedag-
gica, de gesto de pessoas e de infraestrutura. Nesse sentido, colhe dados
e informaes de trs focos de organizao: cursos, polos e disciplinas pela
participao voluntria de coordenadores de curso, de polos docentes e
discentes. Os cursos so avaliados considerando as dimenses: formatao
e implantao, coordenao, infraestrutura, pessoas, ambiente virtual de
ensino-aprendizagem e corpo discente. Os polos so avaliados consideran-
do as dimenses: infraestrutura, biblioteca, laboratrios e pessoal. As dis-
ciplinas so avaliadas considerando as dimenses: material didtico, plano
de ensino e corpo docente.

Os relatrios da avaliao gerados pelo sistema so apresentados sob um


enfoque pontual, considerando as questes avaliativas dentro das dimen-
ses e focos especificados. Considera-se que a facilidade na utilizao ge-

6 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


rencial desses relatrios por parte da coordenao complementa um con-
junto de fatores crticos para o sucesso de um curso. Evidenciam-se nesses
resultados outros trabalhos relacionados a esta pesquisa, que j foram di-
vulgados e tratam de dados que foram utilizados para anlises sobre a qua-
lidade de cursos nas instituies.

O SAAS oferece indicadores de risco e de sucesso que podem contribuir


grandemente com melhoria a qualidade da gesto institucional dos cursos
tcnicos de nvel mdio subsequentes, presenciais e a distncia. Trata-se de
uma avaliao diagnstica e no regulatria, que pode prospectar proble-
mas e subsidiar o processo de gesto antecipadamente.

Profa. Dra. Araci Hack Catapan


coordenadora geral da pesquisa

Rede e-Tec Brasil 7


Prefcio

A educao, compreendida como uma prtica social estrutura-se pelo mo-


vimento de socializao de um conjunto diverso de saberes, crenas, valo-
res e modos de agir nas diferentes geraes. Desse modo, produz um com-
plexo e amplo inventrio de experincias a serem vividas e questionadas,
e desta forma passa a constituir uma prtica em construo. Esse proces-
so contnuo de desenvolvimento das potencialidades humanas em todos
os nveis e modalidades uma ao em movimento que requer intencio-
nalidade na busca de equidade e justia da condio humana. Articulada
como prtica intencional em construo busca o desenvolvimento das rela-
es com o conhecimento para a autonomia social dos diferentes sujeitos.
Nesse mbito, a educao a distncia, produto dessas experincias e prti-
cas socializadoras constitui-se como potencialidades, carregada de suas di-
menses inclusivas que transitam nos espaos e tempos dos sujeitos.

Neste trabalho proposto pelo SAAS, resultante de pesquisas educacionais,


os autores apresentam contribuies embrionria condio dos proces-
sos formativos a distncia e dos mltiplos objetos que a ela se associam.
Tais resultados situam um percurso avaliativo dos processos pedaggicos
e suas formas organizacionais, tanto curriculares, como administrativas, de
financiamento, dos espaos e da estrutura da Rede e-Tec. Os estudos fo-
ram realizados por docentes pesquisadores que buscam o fortalecimento
de suas prticas, mediadas por suas concepes terico-metodolgicas, e
que se fazem por meio de estratgias diferentes e por atores diversos. Con-
tudo, no se sobrepem em sua finalidade, mas requerem ser compreendi-
das, tanto como estratgias, quanto como concepo do trabalho realiza-
do. A avaliao, particularmente na dimenso pedaggica, acredita-se ser
fundamental compreend-la como diagnstica no percurso dos processos,
assegurando dessa forma a integrao e interao de aes que simultane-
amente constituem o ensinar e o aprender.

Rede e-Tec Brasil 9


Experincias inovadoras em avaliao educacional no mbito da gesto e
dos processos de conhecimento carregam sempre a finalidade de melhor
expressar os objetivos emancipatrios e socioculturais do desenvolvimento
humano. Contextualizada num tempo de mudanas e de novas exigncias,
frente pluralidade complexa dos elementos que a constitui, a avaliao
tambm se faz pelas diferentes perspectivas embrionrias da sua compre-
enso, em tempos e contextos especficos, como sistema de acompanha-
mento do produto do trabalho humano e nele o trabalho pedaggico.

Num itinerrio de observaes e sistematizaes, o SAAS aglutina numa


amlgama de possibilidades, contextualizada e intencional, uma proposi-
o com diversos elementos processuais, diagnsticos e em perspectiva da
avaliao. Esse carter de produto faz da avaliao novamente matria a
confrontar suas perspectivas terico-prticas para as finalidades a que se
prope. nessa concepo de processo-anlise que as experincia propos-
ta pelo SAAS se insere na avaliao como eixo de centralidade na objetiva-
o de processos educativos emancipatrios.

Assim, a proposta de itinerrio de avaliao com centralidade no pedaggi-


co e na formal burocracia, considerando a pluralidade de contexto, objetos
e sujeitos implicados, referencia-se como mais uma possibilidade de lidar
com os produtos do conhecimento e, nele inserir-se como objeto de fun-
cionalidade, de anlise e novamente de reviso, revestindo-se de prticas
apreendidas e construdas socialmente.

O SAAS, como produto desenvolvido pelo grupo e como prtica de inves-


tigao conjugada, possibilita com nesse trabalho um novo dilogo que co-
loca a avaliao como no apenas um processo de classificao, mas como
um processo de gesto que contribui efetivamente para com a melhoria
na implementao da Educao Profissional e Tecnolgica na modalidade
a distncia.

Profa. Dr. Marcos Laffin

10 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Introduo
Pesquisas sobre a avaliao de cursos, tanto na modalidade presencial como
a distncia, tm sido essenciais para propor procedimentos que possam
melhorar tanto os cursos em andamento como aqueles constantes de novas
ofertas. Alm disso, a partir de processos avaliativos aliados a outros siste-
mas possvel extrair indicadores que auxiliem a gesto de curso em vrios
aspectos, como acompanhamento de estudantes, qualidade e satisfao,
ndices de aprovao e evaso. Dessa forma, o propsito desta pesquisa
evidenciar e mapear os indicadores avaliativos mais expressivos para cada
cenrio em particular e apresentar resultados que reforcem esses aspectos.

Existe uma grande dinmica envolvida na construo de um curso e as novas


tecnologias de comunicao tendem a diversificar ainda mais esse cen-
rio. Nessa perspectiva, este trabalho prope a construo de um modelo de
avaliao de cursos a distncia focada em dimenses e tpicos capazes de
evidenciar fragilidades e potencialidades do processo de ensino-aprendiza-
gem. O contexto para implementar esse modelo considera fortemente os
desafios enfrentados na modalidade a distncia.

Rede e-Tec Brasil 11


Os programas de educao tm como meta o sucesso na formao dos
estudantes, quer sejam ofertados na modalidade presencial, quer a distn-
cia. No caso dos cursos ofertados na modalidade a distncia (EaD) devem
ser reconhecidas algumas das especificidades dessa modalidade:

Ocorre num espao multi-institucional (instituio ofertante e


polos de apoio presencial);

envolve uma equipe pedaggica com diferentes papis, mas com


igual compromisso com o xito do curso (professores e tutores);

tem possibilidade de uso de diferentes materiais didticos (impresso


e digital vdeos, objetos de aprendizagem, etc.);

atende a uma populao estudantil com perfil heterogneo em


idade, estado civil, insero no mundo do trabalho, experincia
prvia em cursos EaD, etc.;

necessita de uma equipe de gesto com atividades de acompanha-


mento contnuo ao longo da oferta do curso (Reitoria, Pr-reitoria
de ensino, Coordendoria de EaD, Coordenadoria de Curso, Coorde-
nadoria Pedaggica, Coordenadoria de Tecnologia de Informao e
Comunicao e Ambiente Virtual de Ensino-Aprendizagem, Coorde-
nadoria de Tutoria, Coordenadoria de Polos, Coordenadoria de EaD
Institucional, Design Instrucional, Design Grfico, Revises).

A Educao a Distncia, no Brasil, uma modalidade de ensino que tem


carter de inovao, expanso e incluso, ao mesmo tempo; por isso,
requer que seja acompanhada de pesquisa e avaliao continuamente.

Vrios pesquisadores destacam que a equipe de gesto de um curso de EaD


tem um papel fundamental para o sucesso do curso e deve estar presente
ao longo da oferta. Tavares e Gonalves (2012) afirmam:

Ao elaborar um curso na modalidade EAD, faz-se necessrio considerar o gestor


como uma pea-chave para a implantao e sucesso. Cabe ao gestor alinhar as
ideias com seu grupo de trabalho e a partir deste, entender como ser possvel

12 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


colocar a estrutura em funcionamento. A implantao de cursos na modalidade
EaD exige um trabalho constante de estudo e pesquisa, como por exemplo: ana-
lisar o que o mercado est buscando, identificar o pblico que ser atendido, bem
como apreender todos os aspectos legais, estruturais, operacionais e gerenciais.

Na pesquisa de Mill e Carmo (2012) foram identificados os principais desa-


fios enfrentados por gestores de educao a distncia (EaD), tendo como
base estratgias gestoras de sistemas de educao a distncia para supera-
o de dificuldades crticas e ainda vigentes nos modelos de EaD em univer-
sidades pblicas brasileiras. Foram focados os seguintes aspectos: institu-
cionalizao da educao a distncia, flexibilidade da proposta pedaggica
e dos espao-tempos de ensino-aprendizagem, evaso/permanncia nos
cursos, uso de sistemas telemticos, sistemas logsticos, implicaes tra-
balhistas no teletrabalho e sistema de avaliao (rigor e burla). Os autores
utilizaram uma matriz idealizada de gesto de sistemas de educao a dis-
tncia considerando: processos administrativos (planejamento, organiza-
o, direo e controle), recursos disponveis (recursos humanos, materiais,
financeiros e tecnolgicos) e formao aberta/democrtica (flexibilidade
pedaggica com espaos e tempos adequados formao personalizada).

Em quase todas as instituies de ensino brasileiras h a presena de diferen-


tes modalidades de oferta de cursos (presencial, semipresencial e a distncia);
portanto, algumas questes devem estar presentes, como por exemplo: Como
levar a comunidade acadmica a incorporar a EaD como educao efetiva e de
qualidade? Como utilizar boas estratgias de gesto dos processos logsticos
e da relao da instituio ofertante do curso e os polos de apoio presencial?
Como promover a permanncia e evitar a evaso dos estudantes?

A oferta de cursos EaD no Brasil importante e permite o acesso for-


mao por meio da ampliao de vagas e o atendimento de estudantes
nas mais diferentes regies, e com necessidades pessoais de formao.
No entanto, a gesto deve atentar para os desafios presentes. Segundo a
ABED (2012): Os maiores obstculos enfrentados em EaD so a evaso
dos alunos, a resistncia dos educadores modalidade de EaD, os desafios
organizacionais de uma instituio presencial que passa a oferecer EaD e o
custo de produo de cursos.

Rede e-Tec Brasil 13


No que tange evaso, vrias pesquisas vm sendo desenvolvidas para que
os esforos de oferta dos cursos possam levar ao maior nmero de estudan-
tes que concluem o curso a termo. Segundo Martins et al. (2013): A eva-
so um fenmeno complexo que demanda ateno da gesto educacio-
nal, relacionado com as questes pessoais, a inadequao de expectativas
e a indisponibilidade para estudar relacionado os elementos que compem
o desenho, a oferta e a qualidade do curso. O Relatrio Tcnico do Ncleo
de Avaliao/PREG/UFSC (UFSC, 2011) mostra altas taxas de evaso presu-
mida em cursos de graduao a distncia da Universidade Aberta do Brasil
(UAB/UFSC) no perodo de 2008.1 a 2009.2. Nesses trs primeiros semes-
tres dos cursos, observou-se uma taxa mdia de 25%, 54% e 63%, respecti-
vamente. Outro dado interessante trazido por Silveira (2012):

No polo UAB de Franca/SP foram oferecidas 953 vagas em cursos de Gradua-


o, Especializao e Aperfeioamento. Desta entrada 240 alunos concluram,
48 desistiram, 137 abandonaram o curso e 534 ainda esto ativos. Estes dados
significam que 25,2% dos alunos que ingressaram no polo como cursistas con-
seguiram terminar com xito e 19,4 % evadiram.

Outra questo na oferta de um curso na modalidade a distncia a neces-


sidade de conhecer o perfil dos estudantes ingressantes, pois o perfil dos
estudantes de EaD difere do perfil dos estudantes de cursos presenciais.
Segundo Brasil (2010):

As informaes relativas matrcula confirmam a presena de indivduos com


idade mais avanada nos cursos a distncia e maior variabilidade em termos
da faixa etria atendida. Nos cursos a distncia, metade dos indivduos pos-
sui at 32 anos, a idade mais frequente 29 anos e a idade mdia 33 anos.
Alm disso, os 25% mais velhos dos matriculados possuem mais de 40 anos.
Corroborando a tese de que a opo pela modalidade a distncia representa
uma oportunidade de acesso educao superior para aqueles que no tive-
ram a oportunidade de ingressar na idade esperada, assim como a hiptese de
que atende a um grupo etrio mais amplo. Essa modalidade de ensino pode
tambm representar uma alternativa diante de necessidades diversas daque-
les que j se encontram no mercado de trabalho.

14 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Esses estudantes necessitam de um acompanhamento especial, conforme
mostram Pierrakeas et al. (2004): Os estudantes com idade entre 30 e 39
anos so mais vulnerveis devido s demandas familiares e profissionais, e
a subestimativa do tempo necessrio para se dedicar ao curso. Portanto,
os tutores devem buscar encorajar e oferecer apoio principalmente a esse
grupo com maior risco de evaso. Baird et al. (2013) pesquisaram as cau-
sas da evaso em um dos Cursos Tcnicos em Servios Pblicos, desenvol-
vido nos polos de apoio presencial selecionados no mbito do Programa
e-Tec Brasil. Os autores relatam que

A evaso atinge no s a modalidade distncia, mas tambm a modali-


dade presencial. Em especial, ao ensino aprendizagem direcionado a aten-
der os educandos com idade acima de 18 anos, pblico adulto, constitudo por
subempregados, desempregados, trabalhadores informais que fazem parte
de populaes em situao de risco social e/ou so responsveis pela sobre-
vivncia da famlia entre outros agravantes, que impossibilitaram esses estu-
dantes de concluir seus estudos. (BAIRD et al., 2013).

Pesquisas buscam identificar fatores que contribuem para a evaso e estes


so considerados em duas grandes categorias: intrnsecas e extrnsecas ao
estudante, mas que simultaneamente atuam na permanncia/evaso do
curso. Jusung (2005) relata cinco construtos de evaso na educao e-le-
arning: background individual; motivao; integrao acadmica; integra-
o social e suporte tecnolgico. Silveira (2012) analisa sete categorias de
causas de evaso: limites pessoais; limites profissionais; aspectos referen-
tes ao curso; relao interpessoal; tutoria; tecnologia e condies do polo.

Para Baird et al. (2013):

O sucesso de um curso pode ser influenciado por fatores como: uma definio
clara do programa, a utilizao correta do material didtico, o uso correto de
meios apropriados que facilitem a interatividade entre professores e alunos e
entre os alunos, e a capacitao dos professores. Alm desses pontos, a eva-
so pode tambm ser influenciada por necessidades individuais e regionais, e
pela avaliao do curso.

Rede e-Tec Brasil 15


Em complemento, Comarella (2009) identificou fatores da evaso segundo
dados coletados de estudantes evadidos e tutores de apoio presencial de
cursos de graduao UAB/UFSC e relata que:

O fator mais recorrente foi falta de tempo para dedicar ao curso, mencionada
por 68,93% dos estudantes e por 26,72% dos tutores esse fator est asso-
ciado aos interesses pessoais do estudante, tais como o trabalho e a famlia,
o que evidencia a dificuldade do estudante em conciliar suas atividades dirias
com o curso de graduao. Tambm foi mencionado pelos estudantes e tuto-
res como fator de evaso: a crena de que cursos a distncia requerem menos
esforos, dificuldades em participar das atividades no polo e dificuldades com
os recursos utilizados no curso, entre outros. (COMARELLA, 2009).

Por outro lado, um dos aspectos que podem ajudar a reduzir a evaso a
gesto da aprendizagem nos cursos EaD pelo uso de tecnologias digitais,
que proporcionam um rpido feedback das atividades realizadas pelo estu-
dante. Essas tecnologias permitem que seja efetivada uma avaliao for-
mativa/processual conforme preconizado nos Referenciais de Qualidade da
Educao Superior a Distncia no Brasil (BRASIL, 2007): Na educao a
distncia, o modelo de avaliao da aprendizagem deve ajudar o aluno a
desenvolver graus mais complexos de competncias cognitivas, habilida-
des e atitudes, possibilitando-lhe alcanar os objetivos propostos.

Corroborando com isso, Sales et al. (2012) destacam:

A avaliao formativa proporcionada pelo uso do Modelo Learning Vectors


(LV) foi um fator que pode ter contribudo para a reduo da evaso nos cursos
de graduao na modalidade EaD do Instituto Federal do Cear (IFCE). O LV,
implementado no ambiente virtual Moodle, pode proporcionar um acompa-
nhamento constante, regulao e suporte aprendizagem, desde que a tuto-
ria seja eficiente e presente.

16 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


J Wilges et al. (2010) propem um modelo de sistema multiagente, imple-
mentado com a ferramenta AgentTool, aplicado em ambientes virtuais de
ensino-aprendizagem (AVEA):

A proposta desta pesquisa permitir um acompanhamento e monitoramento


dos estudantes em todas as atividades que envolvem EaD, para que assim
possa avaliar at que ponto ferramentas dessa natureza podem contribuir para
reduzir a evaso dentro das instituies de ensino na modalidade a distncia.

A Rede e-Tec Brasil, preocupada com a oferta e implantao dos cursos


EaD, vem desenvolvendo, desde 2009, um sistema de acompanhamento
e avaliao (SAAS) para oferecer informaes para a gesto nos mais dife-
rentes nveis do processo. Apesar desses esforos, algumas dificuldades
ainda esto presentes e fazem parte da dinmica nas instituies ofertan-
tes dos cursos. Entre estas, observa-se a baixa participao nas avaliaes
j realizadas e, portanto, deve-se buscar estratgias para aument-la.

Esse problema faz parte da cultura institucional. Sobre ele, Nicotari e Nishi-
kawa (2012) afirmam:

A avaliao provoca um movimento de reflexo e ao mesmo tempo de crise


em qualquer nvel que est sendo operacionalizada. So essas inquietaes,
tenses e conflitos que possibilitam o repensar das prticas. Por causa desses
conflitos que a avaliao provoca, poucas pessoas se dispem a trabalhar com
ela e, a maioria dos que trabalham a transformam em um instrumento tcnico,
cumprindo apenas determinaes legais.

Rede e-Tec Brasil 17


1
Funcionalidades de um
sistema de avaliao

Educao a distncia no Brasil ainda uma inciativa de carter inovador.


Aes inovadoras requerem sempre acompanhamento e avaliao, para
que se consubstanciem e se instalem efetivamente. Este texto relata algu-
mas experimentaes nesse campo, implementadas no Sistema de Acom-
panhamento e Avaliao do Sistema e-Tec (SAAS). O conceito de avaliao
que rege esse processo o de que a avaliao um instrumento efetivo de
gesto. A gesto de um processo baseado em uma anlise contnua de seus
resultados pode garantir maior sucesso, desde que no aguarde resultados
finais para propor revises; estas vo sendo detectadas e resolvidas no
decorrer do processo. A avaliao como processo de gesto garante maior
segurana em seus resultados, desde que seja encarada como instrumento
de gesto e no de classificao ou seleo de bons e maus resultados ao
final do processo. Em EaD, essa perspectiva de avaliao como processo de
gesto pode ser bastante relevante para que se institucionalizem, no Sis-
tema EaD do Brasil, boas prticas e regulaes pertinentes.

Rede e-Tec Brasil 19


Nessa perspectiva, um modelo de avaliao como processo de gesto, uti-
lizando-se de recursos da tecnologia de informao e comunicao (TICs)
pode atender aos seguintes propsitos:

Levantar potencialidades e fragilidades dos cursos e do processo


de ensino-aprendizagem;

ser um processo contnuo de acompanhamento e reviso das


prticas;

ter agilidade para enfrentar eventuais problemas o mais precoce-


mente possvel;

abranger um grande conjunto de instituies e cursos de EaD;

permitir a participao de todos os atores envolvidos no curso:


coordenadores, professores, tutores e estudantes;

possibilitar o acesso aos resultados avaliativos a todos os atores,


indicando riscos e possibilitando providncias no percurso;

fornecer informaes para subsidiar as coordenaes em todos


os nveis, para que a gesto dos cursos possa prover melhorias
contnuas;

fornecer informaes para que as instituies tenham uma viso


prvia da sua situao diante dos critrios adotados nas avalia-
es regulatrias de cursos.

Dessa forma, a avaliao deixa de ser espordica e torna-se um processo


contnuo e amplo de monitoramento das condies gerais de ofertas de
cursos, oferecendo ao gestor tanto a possibilidade de se antecipar e fazer
intervenes que evitem o aparecimento ou agravamento de problemas,
quanto um mecanismo de retorno sobre o resultado dessas intervenes.

20 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


A operacionalizao de um processo de acompanhamento e avaliao para
atender a esses propsitos implica o desenvolvimento e utilizao de um
sistema via web.

Sistema de Acompanhamento e
Avaliao dos Cursos e-Tec Brasil (SAAS)

O Sistema de Acompanhamento e Avaliao dos Cursos e-Tec Brasil (SAAS)


objetiva levantar potencialidades e fragilidades dos cursos no processo de
ensino-aprendizagem. Os resultados devem fornecer informaes para
subsidiar a coordenao geral da Rede e-Tec Brasil na conduo das ques-
tes envolvendo polticas e alocao de recursos tcnicos e financeiros, que
tambm deve apoiar a gesto dos cursos nas instituies ofertantes para
a busca de melhoria contnua. Esses resultados tambm permitem que as
instituies tenham uma viso prvia da sua situao diante dos critrios
adotados pelas avaliaes regulatrias, os quais determinam os requisitos
para a abertura e manuteno de polos e aprovam a reedio de cursos e
respectivos oramentos. H, entretanto, a preocupao de que o processo
avaliativo tenha agilidade para que eventuais problemas sejam identifica-
dos e enfrentados o mais precocemente possvel.

A operacionalizao de um processo de acompanhamento e avaliao que


abranja todos os cursos oferecidos pela Rede e-Tec Brasil implicou a utiliza-
o de um sistema via web. Esse sistema web possibilita que todos os atores
envolvidos tanto nas instituies que oferecem cursos quanto em cada
um dos polos que acolhem os encontros presenciais acessem os questio-
nrios utilizados nas respectivas avaliaes e que estas sejam coletadas e
processadas de maneira centralizada. A mesma agilidade para coletar as
avaliaes foi tambm requerida para a disponibilizao dos resultados. E
isto s foi possvel porque todos os resultados esto concentrados em um
banco de dados, de onde possvel extrair relatrios e disponibiliz-los por
meio do sistema web implantado.

Rede e-Tec Brasil 21


Em sintonia com o Sistema Nacional de Avaliao da Educao Superior
(SINAES) e observando as especificidades da modalidade EaD, foram defi-
nidos trs focos, distintos e complementares entre si, para a realizao das
avaliaes dos cursos oferecidos pela Rede e-Tec Brasil: curso, polo e dis-
ciplina. Cada foco abrange um conjunto de dimenses avaliativas que, por
sua vez, so compostas por tpicos com questes especficas. A Figura 1
apresenta uma viso geral das dimenses avaliativas.

Formatao e implantao
Coordenao
Infraestrutura
Pessoas
Ambiente virtual (Moodle)
Corpo discente
Curso
Material didtico Infraestrutura
Plano de ensino Biblioteca
Corpo pedaggico Laboratrios
Disciplina Polo
Pessoas

Figura 1 Focos e dimenses avaliativas consideradas pelo SAAS


Fonte: Relatrio SAAS 2014/1-2014/2

O SAAS permite o desdobramento de cada foco em dimenses e estas,


por sua vez, em tpicos que sejam flexveis para que as avaliaes aten-
dam aos interesses e necessidades dos gestores do sistema, instituies e
cursos, os quais podem sofrer variaes ao longo do tempo. Tambm h
flexibilidade para o desdobramento de cada tpico em uma ou mais ques-
tes, as quais tambm podem ser criadas, alteradas ou desconsideradas
quando forem definidos os questionrios a serem aplicados. O quadro 1
apresenta a configurao atual de focos, dimenses e os tpicos nos quais
cada dimenso desdobrada.

22 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Quadro 1 Dimenses avaliativas e seu desdobramento atual em tpicos SAAS

Foco Dimenso Tpico

Projeto pedaggico
Currculo
Formatao Articulao com outros programas
e implantao Carga horria e atividades presenciais
Atividades acadmicas complementares
Estgios curriculares e certificao
Comprometimento com o curso
Atuao do coordenador do polo
Coordenao
Articulao instituio ofertante X polo
Acompanhamento dos estudantes
CURSO

Recursos materiais
Infraestrutura Secretaria do curso
Condies de trabalho
Capacitao e articulao
Pessoas
Recursos humanos (apoio recebido)
Ambiente Virtual de
Facilidade e utilidade
Aprendizagem (Moodle)
Motivao
Corpo discente Esforo
Tempo dedicado ao curso
Instalaes fsicas
Recursos tecnolgicos
Infraestrutura
Disponibilidade de equipamentos
Horrios de funcionamento
Acesso aos materiais didticos
POLO

Biblioteca
Disponibilidade
Laboratrio(s) especfico(s)
Laboratrios
Laboratrio(s) itinerante(s)
Recursos humanos do polo
Pessoas
Capacitao
Frequncia de uso
Material didtico Contedo e forma
Avaliao global
Objetivos e carga horria
DISCIPLINA

Critrios de avaliao de desempenho


Plano de ensino
Estratgias de ensino
Atividades desenvolvidas
Busca por atendimento
Corpo pedaggico Interaes com professor(a)
(professores e tutores) Atendimento pelos tutores a distncia
Atendimento pelos tutores presenciais
Fonte: Relatrio SAAS 2014/1-2014/2

Rede e-Tec Brasil 23


Com o objetivo de entender e analisar melhor os resultados das questes
objetivas, em cada dimenso h um tpico para comentrios, crticas e
sugestes, permitindo que sejam coletadas respostas qualitativas a respeito
da dimenso, as quais podem ser acessadas pela coordenao do curso.

Os questionrios e os avaliadores com diferentes papis

A flexibilidade oferecida pelo SAAS mais claramente percebida na mon-


tagem de questionrios para que os diferentes avaliadores possam partici-
par do processo avaliativo. Para a avaliao de cada foco importante que
um determinado conjunto de avaliadores com papis diferentes seja con-
vidado a opinar para que as diferentes vises permitam uma anlise global
dos resultados. Entretanto, o instrumento a ser aplicado para certo papel
pode conter questes diferentes das contidas no instrumento a ser aplicado
em outro papel, seja pela presena ou no de uma questo, no seu enun-
ciado ou nas opes de resposta oferecidas.

Para facilitar a montagem de formulrios, o SAAS disponibiliza um banco de


questes e um banco de questionrios que podem ser ampliados ao longo do
tempo. Esses acervos de questes e questionrios possibilitam o registro de
novas formulaes e composies e, principalmente, facilitam sua reutilizao.

O banco de questes contm questes qualitativas, tambm chamadas


de discursivas ou abertas, e questes quantitativas ou fechadas, podendo
estas ltimas ser de escolha simples, escolha mltipla ou quadros informa-
tivos. O banco de questionrios permite o registro e reutilizao de diferen-
tes verses de questionrios, todas identificadas pela data de utilizao e
pelo foco e papel aos quais se destinam.

Os avaliadores desempenham oito diferentes papis, desde coordenadores


gerais e adjuntos, que respondem pelas instituies, passando pelos coor-
denadores de curso, professores e tutores a distncia, que atuam direta-
mente nas atividades didtico-pedaggicas na instituio ofertante, e che-

24 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


gam at os coordenadores de polo, tutores presenciais e estudantes, que
esto na ponta da rede. Para cada foco, alguns dos papis podem contribuir
no processo de autoavaliao. O quadro 2 apresenta a configurao que foi
realizada em 2010.2.

Quadro 2 Papis e respectivas participaes como avaliador em 2010.2


Foco
Papel
Curso Disciplina Polo
Estudante X X X
Tutor presencial (polo) X X X
Coordenador de polo X X
Tutor a distncia X X
Professor X X
Coordenador de curso X
Coordenador adjunto X X
Coordenador geral X X
Fonte: Relatrio SAAS 2014/1-2014/2

Em 2011.2 foram realizados alguns ajustes no quadro de participao em


funo dos resultados obtidos em 2010.2. O quadro 3 apresenta a nova
configurao dos papis e focos avaliados.

Quadro 3 Papis e respectivas participaes como avaliador em 2011.2 e 2012


Foco
Papel
Curso Disciplina Polo
Estudante X X X
Tutor presencial (polo) X X X
Coordenador de polo X X
Tutor a distncia X X
Professor X X
Coordenador de curso X X
Coordenador adjunto X
Coordenador geral X
Fonte: Relatrio SAAS 2014/1-2014/2

Rede e-Tec Brasil 25


Este o conjunto atual de avaliaes esperadas para cada papel; porm, se
houver interesse em definir novas avaliaes associadas aos papis, o SAAS
est preparado para a aplicao dos questionrios.

O acesso aos resultados

O SAAS foi desenvolvido com base em trs princpios: flexibilidade para


suportar adequaes s variaes nas demandas; abrangncia na coleta
e agilidade nos resultados e, no menos importante, a transparncia ou
democratizao no acesso aos resultados.

Quanto capacidade de atender a diferentes interesses e necessidades ao


longo do tempo, foram apresentados nesta seo alguns exemplos da fle-
xibilidade do SAAS em relao ao que pode ser avaliado, a como avaliar e a
quem considerar como avaliador.

A implantao do SAAS como um sistema web assegura a abrangncia na


coleta, disponibilizando os questionrios a todos os avaliadores que tive-
rem acesso a um computador ligado internet. Considerando que os cur-
sos oferecidos pela Rede e-Tec Brasil so na modalidade EaD, todos os par-
ticipantes nas instituies e polos, assim como todos os estudantes, tm
acesso internet com frequncia ao menos semanal.

A agilidade na disponibilizao dos resultados de uma determinada rodada


de avaliaes em um foco curso, polo ou disciplina garantida pela defi-
nio do fluxo operacional do SAAS: durante o perodo de tempo em que os
questionrios so disponibilizados aos avaliadores e a coleta das avaliaes
est ocorrendo, no possvel realizar consultas aos resultados da rodada.
Se isto fosse possvel, os resultados seriam parciais e no retratariam um
resultado real; entretanto, imediatamente aps o trmino desse perodo,
os resultados so disponibilizados para consulta.

26 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


As consultas aos resultados podem ser realizadas tambm por computado-
res conectados internet, definindo-se nveis de abrangncia (ex.: resultados
totalizados na Rede e-Tec Brasil, ou por regio geogrfica, ou eixo tecnol-
gico, ou instituio, ou curso, ou polo etc.) e filtros (ex.: papel do avaliador,
dimenso, tpico etc.). Os resultados das consultas podem ser mostrados na
tela, impressos, salvos em meio magntico, no formato PDF ou ainda no for-
mato HTML, exibindo os resultados diretamente no navegador.

Em princpio, todos os avaliadores podem ter acesso a todos os resultados


quantitativos, podendo avaliar a situao do seu polo ou curso em relao a
outros polos ou cursos, ou aos resultados referentes a uma disciplina e com-
par-la com o conjunto de disciplinas de um curso ou com o conjunto de disci-
plinas oferecidas pela instituio. Entretanto, com relao aos resultados das
questes abertas e qualitativas, existe uma limitao de acesso e s os coor-
denadores de curso ou aqueles autorizados por eles podero consult-las.

Funcionalidades desenvolvidas tendo em vista


a avaliao piloto realizada em 2010.2

Ao longo de 2011 diversas funcionalidades foram agregadas ao sistema do


SAAS; entre elas, um novo gerenciamento de dados para entrada e carre-
gamento do BD objetivando mais flexibilidade e menor esforo para carga
de dados que j possam estar disponveis em outros sistemas do MEC. Alm
disso, foi gerada uma interface para atualizao e cadastro de estudantes, pro-
fessores, tutores e coordenadores (gerais, adjuntos, curso e polo) denominada
Wizard e uma nova opo para extrao de relatrios por dimenso/tpico.

O sistema de entrada de dados projetado na verso piloto de 2010 era


baseado em um nico arquivo de dados no formato CSV com redundncia
de dados. No havia verificao das entradas na leitura desse arquivo para
carregamento da base de dados (BD). Os e-mails e CPFs eram carregados
na BD mesmo que estivessem em um formato invlido.

Rede e-Tec Brasil 27


Na verso de 2011 foram programadas cinco planilhas em formato CSV
sem redundncia de informaes para carregamento da BD. Alm disso,
e-mails so verificados pela sintaxe e por registros de domnios vlidos.

Todas as entradas de dados dos arquivos foram tratadas antes do proces-


samento e insero na BD. Foram analisados nomes de instituies, cursos,
disciplinas e polos, verificando as incompatibilidades de escrita, espaos
em branco no final de clulas, extrao de caracteres HTML e uniformiza-
o para escrita em caixa-alta.

No sistema de 2011 foi disponibilizada uma interface para entrada de


dados denominada Wizard, na qual so apresentados todos os dados dos
avaliadores (nome, e-mail, CPF e telefone) e seu(s) papel(is) e o que ava-
liado. Essas informaes esto disponveis para cada perodo (ex.: 2010.2)
em que houve uma carga completa baseada na entrada das cinco planilhas
CSV descritas na seo 1.

Eventualmente o administrador do SAAS poder fazer uma carga parcial


dos dados (entrada alternativa de dados) de um perodo como, por exem-
plo, na preparao dos dados para 2011.2 (primeiro perodo de uso efetivo
do SAAS depois do teste piloto realizado em 2010.2) ou quando um novo
curso for lanado por uma instituio.

Uma carga parcial representa apenas o preenchimento de dados sobre os


coordenadores gerais e adjuntos de uma instituio, eixo, curso e coorde-
nador do curso.

Nessas duas situaes (carga completa ou parcial) as disciplinas oferecidas


no esto associadas a cada edio de curso e caber aos gerentes da insti-
tuio complementar o cadastramento das informaes mnimas:

28 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


1. Disciplinas: quais so as disciplinas que sero oferecidas no perodo que
se inicia, data de incio e trmino de cada disciplina, quais professores
que as ministraro e quais tutores a distncia estaro vinculados a elas.

2. Polos: quais os polos nos quais a edio do curso oferecida, quais so


os estudantes do polo e os tutores presenciais.

Alm disso, uma carga parcial no suficiente para que o SAAS realize o
processo de avaliao de algum dos focos; ou seja, preciso completar a
carga fazendo as associaes mencionadas acima.

Ambiente de divulgao do SAAS: Moodle SAAS

Implementou-se um ambiente de divulgao, orientao e informa-


o do SAAS denominado Moodle SAAS. Nesse ambiente so divul-
gados resultados gerais das avaliaes de 2010, 2011 e 2012. Alm
disso, detalhada toda proposta que envolve o SAAS: objetivos,
quem deve avaliar o qu?, o que avaliado, equipe, contatos. A ima-
gem da Figura 2 ilustra a interface inicial do sistema, que pode ser aces-
sado atravs do endereo: http://moodle.saas.etec.ufsc.br/saas/moodle/

Figura 2 Moodle SAAS


Fonte: SAAS e-Tec (2015)

Rede e-Tec Brasil 29


Gerao de relatrios no SAAS

Na verso de 2011 foi disponibilizada outra interface de consulta e gera-


o de relatrios alm da que j era utilizada no sistema de 2010. Essa ver-
so de interface no foi modificada desde ento. Por meio dessa interface
possvel a utilizao de filtros por dimenso e tpicos (veja quadro 1). A
Figura 3 apresenta essa nova opo de relatrios no sistema.

Figura 3 Tela de Relatrio por dimenso/tpico


Fonte: SAAS e-Tec (2015)

A seguir so mostrados alguns relatrios que podem ser obtidos no SAAS


com uso de filtros conforme o interesse do gestor ao produzir informaes
para a gesto dos cursos e-Tec.

30 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


a) Exemplos de relatrios Disciplina/2011.2
Relatrio: Consulta geral material didtico todos os eixos
organizado por eixos.

Figura 4 Relatrio por dimenso/tpico


Fonte: SAAS e-Tec (2015)

A partir das selees mostradas na Figura 5 gerado um relatrio


com a avaliao feita pelos estudantes referente a todas as questes
da dimenso Material Didtico no perodo 2011.2. A Figura 5 mostra
a frequncia de uso da apostila/caderno digital informada pelos estu-
dantes em cada eixo tecnolgico.

Rede e-Tec Brasil 31


Legenda: Alt.1= Utilizei bastante/ Me apoiei nele; Alt.2=Utilizei algumas vezes; Alt.3=
Praticamente no utilizei; Alt.4= No disponibilizado.

Figura 5 Resultado da consulta material didtico & estudantes por eixos


Fonte: SAAS e-Tec (2015)

Observa-se que 62,6% dos estudantes utilizam bastante a apostila/


caderno digital, sendo que o eixo produo alimentcia apresenta o
menor percentual (35,1%) de intensidade de uso.

Relatrio: Consulta especfica material didtico um eixo


organizado por cursos (navegao nos filtros).

Na Figura 6 so apresentados os resultados de uma consulta mais espe-


cfica para o mesmo foco, disciplina, em que foi selecionado o eixo de
Informao e Comunicao para a dimenso Material didtico e o ava-
liador Estudante.

32 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Legenda: Alt.1= Utilizei bastante/ Me apoiei nele; Alt.2=Utilizei algumas vezes;
Alt.3= Praticamente no utilizei; Alt.4= No disponibilizado.

Figura 6 Resultado da consulta material didtico & estudantes para o eixo


Informao e Comunicao
Fonte: SAAS e-Tec (2015)

Observa-se que 55,4% dos estudantes do eixo Informao e Comuni-


cao usam bastante a apostila/caderno digital e que o curso Manuten-
o e Suporte em Informtica apresenta o menor percentual (50,7%)
de intensidade de uso.

b) Exemplos de relatrios CURSO/2012.1

Relatrio: escolher uma dimenso infraestrutura todos os


eixos organizado por eixos.

O relatrio mostrado na Figura 7 detalha a avaliao de recursos per-


manentes e de consumo no polo para todos os eixos.

Rede e-Tec Brasil 33


Figura 7 Relatrio de curso & estudante & infraestrutura & eixos
Fonte: SAAS e-Tec (2015)

Observa-se que 17,2% dos estudantes relataram que existem carncias


quanto disponibilidade de recursos permanentes e de consumo e que
isto realmente prejudica o curso.

Relatrio: Consulta especfica infraestrutura um eixo organi-


zado por cursos (navegao nos filtros).

34 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


A Figura 8 ilustra um relatrio especfico para o eixo Informao e
Comunicao e mostra os resultados avaliativos da disponibilidade de
recursos permanentes e de consumo nos polos.

Figura 8 Relatrio de curso & estudante & infraestrutura & eixo Informao e
Comunicao & cursos
Fonte: SAAS e-Tec (2015)

Rede e-Tec Brasil 35


Entre os cursos do eixo Informao e Comunicao observa-se que o
maior percentual (33,3%) ocorreu no Curso Tcnico em Eletrnica,
tendo os estudantes relatado a existncia de carncias quanto dispo-
nibilidade de recursos permanentes e de consumo e que isto realmente
prejudica o curso.

c) Exemplos de relatrios POLO/2012.2

Relatrio: escolher uma dimenso laboratrios todos os eixos


organizado por eixos.

Figura 9 Relatrio de polo & estudante & laboratrios & eixos


Fonte: SAAS e-Tec (2015)

36 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Observa-se que 48,1% dos estudantes relataram que est plena-
mente adequado o mobilirio (cadeiras e mesas) nos laboratrios dos
cursos. Nota-se tambm que os eixos com maiores percentuais de
adequao so o de Produo Cultural e Design (66,7%) e o de Produ-
o Industrial (63,5%).

Relatrio: Consulta especifica laboratrios um eixo organi-


zado por cursos (navegao nos filtros).

A Figura 10 mostra os resultados avaliativos da adequao das instala-


es no(s) laboratrio(s) quanto ao mobilirio (cadeiras e mesas).

Figura 10 Relatrio de polo & estudante & laboratrios & eixo Informao e
Comunicao & cursos
Fonte: SAAS e-Tec (2015)

Rede e-Tec Brasil 37


Considerando os cursos do eixo tecnolgico Informao e Comunica-
o, observa-se que o percentual mais alto com relao opo ina-
dequado ocorreu no Curso Tcnico em Informtica, em que 11,8% dos
estudantes relataram que est inadequado o mobilirio (cadeiras e
mesas) nos laboratrios.

38 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


2
Resultados para apoiar a gesto e docncia
A seguir so exemplificados alguns resultados avaliativos dos cursos ofertados
pela Rede e-Tec Brasil, disponibilizando informaes de suporte aos gestores
em diferentes nveis de gesto: MEC, Instituio ofertante e Curso (Figura 11).

Figura 11 Resultados macros de todas as instituies no pas


Fonte: Elaborada pelos autores

Rede e-Tec Brasil 39


Inicialmente so apresentados resultados, em nvel mais alto, dirigidos aos
gestores do MEC com uma viso geral dos cursos em cada um dos Eixos
Tecnolgicos da Rede e-Tec Brasil.

Estes resultados foram extrados do sistema de avaliao considerando:


Foco: Curso.

Dimenses avaliativas (duas): formatao e implantao do


curso e pessoas.

Tpicos avaliativos (trs): capacitao e articulao, currculo do


curso e projeto pedaggico.

Avaliadores (oito): estudantes, professores, tutores (presenciais


e a distncia) e coordenadores (polo, curso, adjunto e geral).

Em cada tpico foi selecionado um conjunto de perguntas cujas respostas


apontavam para uma satisfao total. Nas Figuras 12 e 13 so mostrados
os percentuais mdios de satisfao em cada Eixo Tecnolgico, permitindo
observar se h convergncia das respostas segundo a tica particular de
cada avaliador.

Por exemplo, na Figura 12 nota-se que no eixo Ambiente, Sade e Segu-


rana houve convergncia de respostas, com percentuais variando entre
70% e 76%. Houve uma divergncia de respostas no eixo Produo Cultu-
ral e Design, com percentuais variando entre 47% e 100%. Por outro lado,
na avaliao de estudantes e professores observou-se um menor percen-
tual de satisfao (em mdia 66% e 71%, respectivamente) quando compa-
rado com o da avaliao de tutores presencial e a distncia (em mdia 77%
e 76%, respectivamente).

40 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Ambiente, Sade
e Segurana
100
Recursos Apoio
Naturais Educacional
80

60
Produo Controle e Processos
Industrial 40 Industriais
20
0
Produo Gesto e
Cultural e Design Negcios

Produo Hospitalidade
Alimentcia e Lazer

Infraestrutura Informao
e Comunicao

Estudante Professor T. Presencial T. Distncia

Figura 12 Corpo Pedaggico: percentuais mdios de satisfao nos cursos segundo os


Eixos Tecnolgicos | Fonte: Elaborada pelos autores

Ambiente, Sade
e Segurana
100
Recursos Apoio
Naturais Educacional
80

60
Produo Controle e Processos
Industrial 40 Industriais
20
0
Produo Gesto e
Cultural e Design Negcios

Produo Hospitalidade
Alimentcia e Lazer

Infraestrutura Informao
e Comunicao

C. Polo C. Curso C. Geral C. Adjunto

Figura 13 Corpo Gestor: percentuais mdios de satisfao nos cursos segundo os


Eixos Tecnolgicos | Fonte: Elaborada pelos autores

Rede e-Tec Brasil 41


Na Figura 13 nota-se convergncia na avaliao realizada pelo Corpo Ges-
tor para o eixo Ambiente, Sade e Segurana, com percentuais entre 72% e
77%, assim como divergncia nos eixos Produo Cultural e Design, e Con-
trole e Processos Industriais. Observa-se que em alguns eixos no houve
participao do Coordenador de Curso na avaliao realizada.

Alm das respostas quantitativas, o SAAS permite que o gestor acesse as


opinies registradas em forma de texto, ao final de cada tpico avaliativo.
Esses registros de satisfao/insatisfao e sugestes para melhorias do
curso, polo ou disciplinas permitem qualificar a anlise dos resultados.

A seguir exemplificamos alguns registros textuais de estudantes em uma


avaliao de curso:

Ter horrios flexveis de provas para alunos que trabalham e


moram longe.

O material didtico chega ao polo aps o trmino do mdulo,


isso quando chega. Isso atrapalha muito o aprendizado. Gosta-
ria que o material didtico chegasse ao polo antes do incio do
mdulo, para que possamos acompanhar a aula.

A sugesto que tenho que haja mais aulas prticas para a


melhor formao nossa.

Nada a reclamar, os professores so bastante competentes e


dominam os contedos que transferem para os alunos.

Fao esta modalidade por contar com pouco horrio disponvel,


mas me dedico o mximo que posso. Fao os trabalhos, respondo
s questes sem cola de colegas e estudo para as provas, pois
acredito que este curso mudar o meu currculo. Meu marido
tcnico em eletrotcnica e seu curso mudou a nossa vida, o que
quero para mim, uma profisso. Por isso conto com a minha dedi-
cao e de toda a equipe de ensino e suas ferramentas.

42 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


De forma semelhante, um gestor institucional (coordenador geral e
adjunto) pode obter uma viso global da situao dos cursos ofertados por
sua instituio, nos diferentes eixos tecnolgicos. Para isso basta selecio-
nar a Instituio Ofertante na interface do SAAS.

Na Figura 14 mostram-se resultados, em nvel mais baixo de gesto, dirigi-


dos aos coordenadores de curso, permitindo o acompanhamento da evolu-
o do curso ao longo dos perodos de oferta, diante de resultados e aes
efetivadas para melhoria da sua qualidade.

Instalaes do polo como um todo















Plenamente Necessita Inadequado No existe no No sei
adequado melhorias polo

/ / /

Figura 14 Avaliao da dimenso infraestrutura de polos de um curso: estudantes


Fonte: Elaborada pelos autores

Na Figura 14 mostram-se as avaliaes de polos realizadas pelos estudan-


tes nos perodos 2011/2, 2012/1 e 2012/2. Observa-se que o percentual da
resposta plenamente adequado cresce de 42% para 68%, mostrando que
o nvel de satisfao com a infraestrutura do polo aumentou na medida em
que foram sanados alguns problemas apontados pelos avaliadores. Isso
evidencia que houve avanos na melhoria da infraestrutura dos polos.

Rede e-Tec Brasil 43


Resultados por dimenses

O propsito desta seo apresentar como exemplo os resultados de uma


avaliao realizada no segundo semestre de 2012 envolvendo 48 instituies
e 63 cursos. Os resultados apresentados neste trabalho objetivam ilustrar
sob outra tica as informaes disponibilizadas no sistema. Assim, poss-
vel conhecer e reconhecer as percepes da comunidade escolar tanto em
um nvel de granularidade menor como em um nvel maior. Os dados desta
seo focam um nvel de granularidade maior, ou seja, sem tantos detalhes.

Dimenso Formatao e Implantao

Os aspectos apresentados nesta seo referem-se dimenso Forma-


tao e Implantao do curso. Essa dimenso contm itens que contem-
plam alguns pressupostos da oferta de cursos. Essa dimenso caracteri-
zada pelos tpicos: projeto pedaggico, currculo, articulao com outros
programas, carga horria e atividades presenciais, atividades acadmicas
complementares e estgios curriculares e certificao.

Na avaliao do curso dentro dessa dimenso, formatao e implantao,


temos uma questo especfica voltada ao currculo do curso. Essa questo
avalia se o currculo adequado ao mercado de trabalho, se ele poderia ser
ajustado ou se precisa ser revisto urgentemente. A Figura 15 apresenta os
resultados correspondentes a um total de 2.551 avaliaes de estudantes.

44 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Norte Centro-Oeste Sudeste

Nordeste Sul

adequado Poderia ser ajustado Precisa ser revisto

Figura 15 Avaliao do currculo do curso por regies


Fonte: Elaborada pelos autores

Os resultados da avaliao do currculo apontam para uma necessidade de


reavaliao para sua adequao ao mercado de trabalho maior na Regio
Norte do pas. Nas demais regies h um percentual maior de alunos que
avaliam positivamente o currculo do curso.

Tambm se perguntou aos professores se foram previstas formas de inte-


grao curricular entre as disciplinas. A Figura 16 expressa o resultado deste
questionamento por regio.

Rede e-Tec Brasil 45


Norte Centro-Oeste Sudeste

Nordeste Sul

Sim Em parte No No sei

Figura 16 Ocorrncia de previso de formas de integrao curricular


Fonte: Elaborada pelos autores

Apesar de na Figura 15 ter sido apontada a Regio Norte com a maior


necessidade de rever o currculo pela avaliao dos estudantes, na avalia-
o dos professores (Figura 16) foi nessa mesma regio que houve uma
maior integrao entre as disciplinas. De forma geral, todas as regies tm
a preocupao de realizar uma integrao entre as disciplinas para respon-
der melhor s exigncias de um curso de qualidade.

Dimenso Coordenao

O objetivo da dimenso Coordenao avaliar o comprometimento com o


curso, a atuao do coordenador do polo, a articulao entre a instituio
ofertante e o polo, e a forma como ocorre o acompanhamento dos estudan-

46 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


tes. Dentro desses tpicos houve a preocupao em verificar como estava
a avaliao dos estudantes quanto ao quesito articulao entre a institui-
o ofertante e o polo. A Figura 17 mostra esse mapeamento por regies.

,
Sul ,
,

,
Centro-Oeste ,
,

,
Sudeste ,
,

,
Nordeste ,
,

,
Norte ,
,

ruim Precisa melhorar boa

Figura 17 Articulao entre a instituio ofertante e o polo


Fonte: Elaborada pelos autores

Os resultados dessa avaliao abrangem um total de 2.497 respostas de


estudantes e mostram que as regies que tm a maior necessidade de con-
centrar esforos nesse processo de articulao entre instituio e polo so
as regies Norte e Nordeste. Tambm possvel visualizar que a Regio Sul
a que obteve uma avaliao mais satisfatria na avaliao desse tpico.

H uma questo apresentada aos coordenadores de polos para que opi-


nem se a administrao da instituio ofertante atende adequadamente s
demandas de implementao e funcionamento do polo, que tenta corres-
ponder aos resultados da Figura 17. Os resultados desse levantamento cor-
respondem a um total de 262 avaliaes de coordenadores de polo, con-
forme apresenta a Figura 18.

Rede e-Tec Brasil 47



,
Sul ,
,


Sudeste ,
, 


,
Centro-Oeste

,

Norte ,
,


,
Nordeste 


No sei No Em parte Sim

Figura 18 Administrao da instituio atende adequadamente o polo


Fonte: Elaborada pelos autores

A partir desses resultados fica evidente que existe a necessidade de uma inte-
grao e apoio maior aos cursos que so ofertados nas regies Norte e Nor-
deste. Esse resultado ratifica a necessidade que os estudantes informaram
na avaliao da articulao da instituio e polo, apresentada na Figura 17.

Dimenso Infraestrutura recursos materiais

A dimenso Infraestrutura se preocupa com a qualidade dos recursos mate-


riais, com a secretaria do curso e tambm com as condies de trabalho
que envolve a infraestrutura tecnolgica como, por exemplo, computado-
res, internet e ambiente virtual de aprendizagem. Nesta seo optou-se por
analisar como os estudantes avaliaram os recursos materiais, ou seja, a dis-

48 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


ponibilidade dos recursos permanentes e de consumo no polo, necessrios
para realizar as atividades acadmicas (impressora, copiadora, telefone,
papel etc.). A Figura 19 apresenta um total de 2.497 respostas de estudan-
tes quanto a esse quesito.

,
Centro-Oeste ,
,

,
Sul ,
,

,
Sudeste ,
,

,
Nordeste ,
,

,
Norte ,
,

Existem carncias Merece ateno No um problema

Figura 19 Disponibilidade dos recursos permanentes e de consumo no polo


Fonte: Elaborada pelos autores

Estes resultados demonstram que a Regio Centro-Oeste, a Regio Sul e a


Regio Sudeste tm uma boa avaliao, disponibilizando os recursos mate-
riais e de consumo com um percentual adequado para atender s deman-
das do curso. J as regies Nordeste e Norte precisam diminuir suas carn-
cias com relao aos recursos materiais, para que os estudantes sejam
atendidos de uma forma mais satisfatria.

Rede e-Tec Brasil 49


Dimenso Pessoas

Os resultados da dimenso Pessoas se referem aos tpicos capacitao e


articulao, assim como apoio recebido no desempenho das atividades.
Nessa dimenso houve tambm a preocupao de avaliar se a equipe de
professores estava preparada para lidar com os recursos didticos, ou seja,
se ela os dominava. A Figura 20 apresenta o resultado dessa avaliao por
parte de 2.498 estudantes.

,
Sul , ,

,
Nordeste , ,

,
Centro-Oeste , ,

,
Sudeste , ,

,
Norte , ,

Professores necessitam ser melhor preparados


H diferenas na qualificao dos professores
Professores so experientes

Figura 20 Avaliao dos estudantes quanto ao domnio dos recursos didticos


pelos professores
Fonte: Elaborada pelos autores

Nesse resultado da Figura 20, de forma geral, tem-se um bom percentual


de professores que os estudantes julgam preparados e experientes para uti-
lizar os recursos didticos. Tambm nesse resultado se evidencia a necessi-
dade de os professores das regies Norte e Nordeste se prepararem melhor.
No tpico recursos humanos, 380 professores avaliaram o apoio recebido
pela equipe tcnica, do Ambiente Virtual de Aprendizagem (AVA), durante
a execuo da disciplina. A Figura 21 apresenta esse resultado.

50 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia



,
Centro-Oeste ,
,
,
Nordeste
,
,



,
Norte ,


,

,
Sul ,
,


,
Sudeste ,


No sei No Em parte Sim

Figura 21 Apoio recebido da equipe tcnica do AVA pelos professores


Fonte: Elaborada pelos autores

No resultado da Figura 21 temos um ndice de satisfao bem elevado em


todas as regies, inclusive na Regio Norte, onde os estudantes sentem que
os professores tm uma dificuldade maior em utilizar os recursos didticos
(Figura 20).

Dimenso AVA

O Ambiente Virtual de Aprendizagem (AVA) avaliado no tpico sobre a


facilidade de utilizao. Nesse tpico so considerados os seguintes aspec-
tos: foi rpido encontrar os materiais, foram adequados os tamanhos dos
textos disponibilizados, foi fcil utilizar, compreender a linguagem, partici-
par dos chats, fruns, ter acesso a computadores com internet fora do polo
e se o mural de notcias foi til. Desses itens resolvemos apresentar alguns
nmeros e anlises. Na Figura 22 apresentam-se os resultados sobre a faci-
lidade de compreender a linguagem utilizada no AVA. Na Figura 23 apre-
sentam-se os resultados quanto ao uso do chats. Obtiveram-se 2.498 res-
postas dos estudantes nesses itens analisados, evidenciando novamente a
Regio Norte e a Regio Nordeste com uma deficincia maior.

Rede e-Tec Brasil 51



,
Centro-Oeste  ,

,
,
Sudeste ,
,
,
,

Sul ,
,

,
Nordeste ,
,


,
Norte
,

No sei No Em parte Sim

Figura 22 Compreenso da linguagem no AVA avaliada pelos estudantes


Fonte: Elaborada pelos autores

,
 ,
Sudeste , ,

,
Sul ,
,

 ,
Centro-Oeste
,

,
Norte 
,
,
,
 ,
 ,
Nordeste ,
,

No sei No Em parte Sim

Figura 23 Facilidade em participar dos chats avaliado pelos estudantes


Fonte: Elaborada pelos autores

52 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Dimenso Corpo Discente motivao

A avaliao do Corpo Discente envolve os tpicos motivao, esforo e


tempo dedicado ao curso. A Figura 24 mostra os resultados para o tpico
motivao no curso, e a Figura 25 apresenta o tempo de dedicao dos
estudantes no curso.

,
Centro-Oeste 
,

,
Sul 
,

,
Norte ,


,
Sudeste ,
,

,
Nordeste ,
,

Me dediquei pouco Me dediquei razoavelmente Me dediquei bastante

Figura 24 Motivao do corpo discente


Fonte: Elaborada pelos autores

Rede e-Tec Brasil 53


,
Centro-Oeste ,
,

,
Sul 
,

,
Norte ,


,
Sudeste ,


,
Nordeste ,
,

Me dediquei pouco Me dediquei razoavelmente Me dediquei bastante

Figura 25 Tempo de dedicao


Fonte: Elaborada pelos autores

Tanto na questo de motivao quanto na de dedicao ao curso, a regio


que mais se tem destacado nesses aspectos a Regio Centro-Oeste,
seguida da Regio Sul.

Os resultados apresentados focam aspectos prticos, ou seja, conforme


definio dos tpicos apresentados. Neste trabalho teve-se a preocupao
de apresentar uma sntese dos dados mais relevantes, tentando em alguns
momentos relacionar os resultados com base em outros dados tambm
coletados pelo sistema. Dessa forma, possvel visualizar um espao de
recomendaes ou sugestes sobre o que pode ser feito com os resultados
encontrados.

54 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Consideraes finais
Um sistema de avaliao de cursos, polos e disciplinas deve oferecer flexibi-
lidade para suportar adequaes diante das variaes nas demandas. Alm
disso, um sistema web permite realizar acompanhamentos na qualidade dos
cursos por meio de avaliaes realizadas periodicamente e de relatrios ava-
liativos gerados imediatamente aps o trmino de cada avaliao. Isso possi-
bilita, atravs de intervenes dos gestores, resultados mais abrangentes com
uma cobertura maior de todos os filtros planejados: dimenses e tpicos.

O relacionamento de questes com as dimenses, tpicos e avaliadores


permite a construo de relatrios que apontem indicadores que deman-
dam mais ateno, assim como aqueles bem avaliados. Essa viso facilita
que o gestor se posicione e mantenha o que est apresentando resultados
satisfatrios, enquanto busca melhorias onde forem necessrias.

Os resultados avaliativos obtidos pelo SAAS permitem comparaes entre


cursos e Eixos Tecnolgicos ao longo de diferentes perodos de oferta dos
cursos da Rede e-Tec Brasil. So oferecidas informaes segundo a percep-
o dos discentes, do corpo pedaggico e do corpo gestor dos cursos. Essas

Rede e-Tec Brasil 55


informaes podem servir para que todos os envolvidos na oferta de cur-
sos formem uma equipe em que cada um e todos so responsveis pela
qualidade dos cursos, seja na participao responsvel na avaliao, seja
na discusso e encaminhamentos dos resultados avaliativos. Dessa forma,
oportuniza-se uma espiral de qualidade nos cursos pautada em observar-a-
valiar-agir-reavaliar levando a um processo contnuo de gesto.

56 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Referncias
ASSOCIAO BRASILEIRA DE EDUCAO A DISTNCIA ABED. Censo 2012.
Disponvel em: <http://www.abed.org.br/censoead/censo2012.pdf>. Acesso em: 10
out. 2013.

ABRAEAD. Anurio brasileiro estatstico de educao aberta e a distncia. Coor-


denao: Fbio Sanchez. So Paulo: Instituto Monitor, 2008.

BAIRD, R. do P.; ZAMPIERI, P. N. A.; DIAS, C. A. A problemtica da evaso no pro-


cesso de implantao no Curso Tcnico em Servios Pblico a Distncia em Mato
Grosso do Sul. In: CONGRESSO BRASILEIRO DE ENSINO SUPERIOR A DISTNCIA,
10., 2013. ESUD 2013, Belm. Anais... Belm: UNIREDE, 2013.

BRASIL. Referenciais de qualidade para educao superior a distncia. Verso Preli-


minar. Ministrio da Educao. Secretaria de Educao a Distncia. Braslia, 2007.

BRASIL. Resumo tcnico do Censo da Educao Superior 2008. Ministrio da


Educao. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira.
Braslia, 2009.

BRASIL. Censo da Educao Superior: 2010 resumo tcnico. Braslia: Instituto


Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. 2012. Disponvel em:
<http://download.inep.gov.br/educacao_superior/censo_superior/resumo_tecnico/
resumo_tecnico_censo_educacao_superior_2010.pdf> Acesso em: 11 out. 2013.

COMARELLA, R. L. Educao superior a distncia: evaso discente. Dissertao

Rede e-Tec Brasil 57


(Mestrado em Engenharia e Gesto do Conhecimento) Centro Tecnolgico, Uni-
versidade Federal de Santa Catarina, Florianpolis, 2009.

JUSUNG, J. Understanding Dropout of Adult Learners in e-Learning. Dissertation


(Graduate) Faculty of The University of Georgia, Athens, Georgia, 2005.

LIMA, Elizeth Gonzaga dos Santos. Avaliao institucional participativa: entraves e


possibilidades no contexto da universidade. In: REUNIO ANUAL DA ANPED, 33.,
Educao no Brasil: o balano de uma dca, 2010a. Caxambu. Anais... Caxambu:
ANPED, 2010. Disponvel em: <http://www.anped.org.br/33encontro/app/webroot/
files/file/Trabalhos%20em%20PDF/GT11-6597--Int.pdf>. Acesso em: 9 maio 2012.

________. Os processos de avaliao institudos na educao superior e os proces-


sos de tomadas de deciso: significados, sentidos e efeitos. Revista de Educao
Pblica, UFMT, Cuiab, v. 19, n. 40, p. 345-354, 2010b.

MARTINS, R. X.; SANTOS, T. L. P.; FRADE, E. G.; SERAFIM, L. B. Por que eles desis-
tem? Estudo sobre a Evaso em Cursos de Licenciatura a Distncia. In: CONGRESSO
BRASILEIRO DE ENSINO SUPERIOR A DISTNCIA, 10., 2013. Belm. Anais...
Belm: ESUD, UNIREDE, 2013.

MILL. D.; CARMO, H. Anlise das dificuldades de educadores e gestores da educa-


o a distncia virtual no Brasil e em Portugal. In: SIMPSIO INTERNACIONAL DE
EDUCAO A DISTNCIA e ENCONTRO DE PESQUISADORES EM EDUCAO A
DISTNCIA, SIED: EnPED. 2012. So Carlos. Anais... So Carlos: SIED: EnPED. 2012.

NICOTARI, M. A.; NISHIKAWA, M. Autoavaliao institucional: bases de uma meto-


dologia participativa e emancipada para o seu desenvolvimento em IES de Educa-
o a Distncia. In: SIMPSIO INTERNACIONAL DE EDUCAO A DISTNCIA e
ENCONTRO DE PESQUISADORES EM EDUCAO A DISTNCIA, SIED: EnPED.
2012. So Carlos. Anais... So Carlos: SIED: EnPED. 2012.

PIERRAKEAS, C.; XENOS, Michalis; PANAGIOTAKOPOULOS, C; VERGIDIS, D. A com-


parative study of dropout rates and causes for different distance education courses. The
International Review of Research in Open and Distance Learning, v. 5, n. 2, aug. 2004.

SAAS. Relatrio final das avaliaes 2014/1 e 2014/2: Sistema de Acompanhamento


e Avaliao dos cursos Tcnicos da rede e-Tec Brasil./ Renato Cislaghi [et al.] Floria-
npolis UFSC, 2015.

SALES, G. L.; LEITE, E. A. M.; JOYE, C. R. Gerenciamento da aprendizagem, evaso


em EaD online e possveis solues: um estudo de caso no IFCE. Novas Tecnologias
na Educao, CINTED/UFRGS, v.10, n. 3, dez. 2012.

SILVEIRA, C. A. B. Educao a distncia e a evaso: estudo de caso da realidade no

58 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


Polo UAB de Franca. In: SIMPSIO INTERNACIONAL DE EDUCAO A DISTNCIA
SIED, 2012. So Carlos. Anais... So Paulo: SIED, 2012.

UNIVERSIDADE FEDERAL DE SANTA CATARINA UFSC. Relatrio tcnico sobre


aspectos relativos avalio discente e evaso dos cursos de graduao UAB/
UFSC. Florianpolis: UFSC, Ncleo de Avaliao, 2011. 42 p.

TAVARES, V. L.; GONALVES, A. L. Gesto da EaD no Brasil: desafio ou oportuni-


dade? In: SIMPSIO INTERNACIONAL DE EDUCAO A DISTNCIA SIED, 2012.
So Carlos. Anais... So Paulo: SIED, 2012.

WILGES, B.; RIBAS, J. C. da C; CATAPAN, A. H.; BASTOS, R. C. Sistemas multiagen-


tes: mapeando a evaso na educao a distncia. Novas Tecnologias na Educao,
v. 8, n.1, 2010.

Rede e-Tec Brasil 59


Apndice

Artigos Publicados

1. Um Modelo de Avaliao de Cursos tendo como


Referncia o Sinaes

2. Avaliao de Polos sob uma Perspectiva Georreferencial

3. Sistema de Avaliao e Apoio Qualidade do Ensino a Distncia

4. Gesto de Qualidade de Cursos a Partir da Percepo


de Estudantes Egressos

5. Sistema para Avaliao de Gesto de Cursos EaD

Rede e-Tec Brasil 61


ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

UM MODELO DE AVALIAO DE CURSOS TENDO COMO


REFERNCIA O SINAES
Renato Cislaghi1, Beatriz Wilges2, Wesley Gonalves3, Masanao Ohira4, Douglas Hiura
Longo5, Iracy Gallo Ritzmann6
Universidade Federal de Santa Catarina/INE, cislaghi@inf.ufsc.br
1

Universidade Federal de Santa Catarina/EGC, beaw@inf.ufsc.br


2

3
Universidade Federal de Santa Catarina/INE, wesley-gon@hotmail.com
4
Universidade Federal de Santa Catarina/INE, ohira@inf.ufsc.br
5
Universidade Federal de Santa Catarina/INE, douglashiura@inf.ufsc.br
Universidade Federal de Santa Catarina/ EGC, bila.gallo@gmail.com
6

Resumo Essa pesquisa mostra um sistema de acompanhamento e avaliao de


cursos a distncia que busca trabalhar com o SINAES como um modelo de
referncia. O propsito deste trabalho apresentar as diversas dimenses e tpicos
considerados para a avaliao de cursos objetivando destacar de forma clara tanto
as fragilidades como as potencialidades do processo. Para isso, houve a
implementao de um sistema web que permitiu que cada dimenso e tpico fosse
considerado na construo dos questionrios. Os resultados deste trabalho se
concentram em um nvel macro por regies do pas e mostram o desdobramento de
cada uma das dimenses avaliadas dentro de um panorama geral de cursos tcnicos
ofertados a distncia. O intuito deste sistema gerar relatrios que permitam a
construo e anlises para se obter melhorias continuas em cursos a distncia.
Palavras-chave: Educao a distncia, avaliao, qualidade, melhorias.
Abstract This research presents a system for monitoring and evaluation of
distance learning courses that seeks to work with SINAES as a reference model. The
purpose of this paper is to present the various aspects and topics considered for the
evaluation of courses, clearly aiming to highlight both the weaknesses and the
potential of the process. For this, we implemented a web-based system that allowed
each dimension and topic to be considered in the construction of the questionnaires.
The results of this work focus on a macro level, by regions of the country, and show
the unfolding of each dimension evaluated within a technical overview of distance
courses. The purpose of this system is to generate reports that enable data analysis
in order to obtain continuous improvements in distance learning courses.
Keywords: Distance education, evaluation, quality improvements.

1. Avaliao de cursos
O processo de avaliao de cursos tem sido essencial para propor procedimentos que possam
melhorar tanto os cursos em andamento como as novas ofertas de cursos. Dentro desse
propsito necessrio mapear os indicadores mais importantes de cada cenrio em particular.
Para isso, deve-se considerar que existe uma grande dinmica envolvida na construo de um

1
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

curso e que as novas tecnologias de comunicao tendem a diversificar ainda mais esse
cenrio. Nessa perspectiva, esse trabalho prope a construo de um modelo focado em
dimenses e tpicos capaz de evidenciar fragilidades do processo de ensino-aprendizagem em
cada cenrio.
O contexto de realizar uma avaliao abrangente muito complexo e, alm disso,
vrias pesquisas sobre avaliao tm mostrado resultados que convergem para solues de um
estudo de caso particular. Nas pesquisas de Batista et. al (2013) foi descrito um processo de
construo de um instrumento de avaliao para mensurar a autopercepo de discentes,
docentes e funcionrios acerca dos vrios aspectos da rotina acadmica de uma Instituio.
Ainda de acordo com os autores, a avaliao uma ao organizada que requer participao
ampla e assumida de todos os agentes e segmentos da instituio: em seu processo interno, de
pares da comunidade acadmico-cientfica e externo, de representantes de setores organizados
da sociedade.
Vidor, Fogliatto e Caten (2013) realizaram um trabalho para identificar fatores que
inibem o aumento da qualidade e, em uma segunda etapa, fatores que permitem o aumento da
qualidade no curso.
Segundo Abbad et al. (2012) de fundamental importncia disseminar a utilizao das
medidas de avaliao de cursos a distncia nas organizaes de trabalho e tambm em
instituies de ensino que ofertam cursos a distncia. Dessa forma, os instrumentos de
avaliao podem fornecem elementos para indicar a efetividade da estratgia na organizao.
Conforme Ribeiro (2011), as transformaes ocorridas nos ltimos anos aceleram o interesse
por instrumentos de avaliao da qualidade do ensino nas instituies. Nesse sentido, Ribeiro
(2011) coloca que gradativamente os instrumentos de avaliao tm evoludo, permitindo
mudanas e adequaes nos sistemas de ensino, e consequentemente melhorando esses
sistemas quanto s demandas sociais.
De qualquer forma, e de acordo com Cislaghi et al. (2012), o processo de avaliao
fundamental e para que ele ocorra de forma satisfatria indispensvel a participao de
todos os agentes envolvidos. Adicionalmente a utilizao gerencial dos resultados por parte da
coordenao complementa um conjunto de fatores crticos para o sucesso de um curso. Ainda
neste contexto, fundamental para a gesto do curso que a partir dos resultados sejam
avaliadas possibilidades de garantir a qualidade do ensino. Nas pesquisas de Angell,
Heffernan e Megicks (2008) foram tratadas questes sobre formas de garantir a qualidade na
educao.
Esta pesquisa apresenta um modelo de avaliao com base em dimenses mais
significativas extradas a partir de observaes da literatura. Este modelo de sistema j foi
aplicado em algumas instituies e cursos e ser detalhado na segunda seo. Na terceira
seo apresentado o sistema de avaliao com base no modelo de referncia do SINAES. Na
quarta seo so apresentados resultados deste modelo e algumas formas de anlise
descritivas realizadas. Por fim, so abordadas algumas consideraes sobre o processo de
acompanhamento e avaliao de cursos.

64 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

2. Um modelo de avaliao de cursos a distncia


Um modelo de avaliao frente aos recursos da tecnologia de informao e comunicao
(TICs) deve atender aos seguintes pressupostos:
levantar potencialidades e fragilidades dos cursos e do processo de ensino-
aprendizagem;
ser contnua (a avaliao);
ter agilidade para enfrentar eventuais problemas o mais precocemente possvel;
abranger um grande conjunto de instituies e cursos EaD;
permitir a participao de todos os atores envolvidos no curso: coordenadores,
professores, tutores e estudantes;
possibilitar o acesso aos resultados avaliativos por todos os atores;
fornecer informaes para subsidiar a coordenao geral para apoiar a gesto dos
cursos para a busca de melhorias contnuas;
fornecer informaes para que as instituies tenham uma viso prvia da sua situao
frente aos critrios adotados nas avaliaes regulatrias de cursos.
Desta forma, a avaliao deixa de ser espordica e torna-se um processo amplo de
monitoramento das condies gerais de ofertas de cursos. Oferecendo ao gestor tanto a
possibilidade de se antecipar e fazer intervenes que evitem o aparecimento ou agravamento
de problemas, quanto um mecanismo de retorno sobre o resultado destas intervenes.
A operacionalizao de um processo de acompanhamento e avaliao para atender
estes pressupostos implica no desenvolvimento e utilizao de um sistema via Web.

3. O sistema de avaliao com base no modelo de referencia SINAES


Em sintonia com o SINAES (Sistema Nacional de Avaliao da Educao Superior, 2013) e
observando as especificidades da modalidade EaD foram construdos instrumentos de
avaliao observando um conjunto de dimenses avaliativas. A Figura 1 apresenta uma viso
geral dessas dimenses no sistema.

Rede e-Tec Brasil 65


ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 1 Dimenses avaliativas do curso consideradas no sistema


Esse sistema de avaliao e acompanhamento de cursos denominado SAAS e foi
desenvolvido para atender uma demanda da Rede e-Tec Brasil (2013), mas pode ser
customizado e aplicado a qualquer outro sistema de avaliao de cursos na Educao Virtual.
O SAAS permite o desdobramento de cada dimenso em tpicos para que sejam
flexveis e atendam aos interesses e necessidades dos gestores das instituies e cursos.
Tambm h flexibilidade para o desdobramento de cada tpico em uma ou mais questes, as
quais tambm podem ser criadas, alteradas ou desconsideradas quando forem definidos os
questionrios a serem aplicados. O Quadro 1 apresenta a configurao com as dimenses e
seus respectivos tpicos.
Quadro 1: Dimenses avaliativas e seu desdobramento em tpicos.
Dimenso Tpico

Projeto pedaggico
Currculo
Formatao e Articulao com outros programas
implantao Carga horria e atividades presenciais
Atividades acadmicas complementares
Estgios curriculares e certificao
Comprometimentos com o curso
Atuao do coordenador do polo
Coordenao
Articulao instituio ofertante X polo
Acompanhamento dos estudantes
Recursos materiais
Infraestrutura
Secretaria do curso

66 SAAS: Sistema de acompanhamento e avaliao de cursos para suporte gesto e docncia


ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Condies de trabalho
Capacitao e articulao
Pessoas
Recursos humanos (apoio recebido)
Ambiente
Virtual de Facilidade e utilidade
Aprendizagem

Motivao
Corpo discente Esforo
Tempo dedicado ao curso

Com o objetivo de entender e analisar melhor os resultados das questes objetivas, em


cada dimenso h um tpico para comentrios, crticas e sugestes, permitindo que sejam
coletadas respostas qualitativas a respeito da dimenso e que as mesmas possam ser acessadas
pela coordenao do curso.

3.1. Os questionrios e os avaliadores com diferentes papis


A flexibilidade oferecida pelo SAAS percebida na montagem de questionrios para que os
diferentes avaliadores (coordenadores, professores, tutores e estudantes) possam participar do
processo avaliativo.
Entretanto, o instrumento a ser aplicado para um certo avaliador pode conter questes
diferentes das contidas no instrumento a ser aplicado em outro papel, seja pela presena ou
no de uma questo, no seu enunciado ou nas opes de resposta oferecidas. Para facilitar a
montagem de formulrios o SAAS disponibiliza um banco de questes e um banco de
questionrios que podem ser ampliados ao longo do tempo. Este acervo de questes e
questionrios possibilita novas formulaes e composies e, principalmente, facilita sua
reutilizao.
O banco de questes contm questes qualitativas, tambm chamadas de discursivas
ou abertas, e questes quantitativas ou fechadas, sendo que estas ltimas podem ser de
escolha simples, escolha mltipla ou quadros informativos. O banco de questionrios permite
o registro e reutilizao de diferentes verses de questionrios, todas identificadas pela data
de utilizao e pelo foco e papel aos quais se destinam.
Os avaliadores desempenham oito diferentes papis, desde coordenadores gerais e
adjuntos, que respondem pelas instituies, passando pelos coordenadores de curso,
professores e tutores a distncia, que atuam diretamente nas atividades didtico-pedaggicas,
com sede na instituio ofertante, e chegam at os coordenadores de polo, tutores presenciais
e estudantes, que esto na ponta da rede. A Figura 2 apresenta sintaticamente todos os
questionrios j implementados no SAAS.

Rede e-Tec Brasil 67


ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 2 Questionrios implementados para a avaliao do curso


Considera-se que para uma avaliao geral do curso importante que um determinado
conjunto de avaliadores distintos participem com suas diferentes percepes permitindo uma
anlise global dos resultados. O detalhamento dos questionrios e outros resultados j gerados
pelo SAAS podem ser encontrados no site do Moodle SAAS (2013).

4. Resultados da avaliao de curso


O propsito desta seo apresentar os resultados de uma avaliao realizada no segundo
semestre de 2012 envolvendo 48 instituies e 63 cursos. A Figura 3 mostra uma
aproximao de todas as instituies e cursos envolvidos nesse processo de avaliao por
regio.

6
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 3 Escopo de instituies e cursos envolvidos no processo.


Os resultados apresentados neste trabalho objetivam ilustrar sob outra tica as
informaes disponibilizadas no sistema. Assim, possvel conhecer e reconhecer as
percepes da comunidade escolar tanto em um nvel de granularidade menor como em um
nvel maior. Os dados desta seo focam em um nvel de granularidade maior, ou seja, sem
tantos detalhes.
A agilidade na disponibilizao dos resultados s foi possvel porque todos os
resultados esto concentrados em um banco de dados, de onde possvel extrair relatrios e
disponibiliz-los atravs do sistema Web implantado. O sistema de consulta permite que
vrios atores envolvidos, principalmente gestores, tenham diversas possibilidades de gerao
de relatrios. possvel, por exemplo, montar consultas que podem ser agrupadas por regies,
eixos, instituies, curso ou polos. Alm disso, possvel selecionar isoladamente uma
instituio e agrupar por cursos, ou selecionar o curso e agrupar os resultados por polos. Neste
trabalho os resultados foram focados em um nvel macro com agrupamento por regies.

4.1. Dimenso Formatao e Implantao


Os aspectos apresentados nessa seo so referentes dimenso formatao e implantao do
curso. Essa dimenso contm itens que contemplam alguns pressupostos da oferta de cursos.
Essa dimenso caracterizada pelos tpicos: projeto pedaggico, currculo, articulao com
outros programas, carga horria e atividades presenciais, atividades acadmicas

7
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 5 Foram previstas formas de integrao curricular.


Apesar de na Figura 4 ter sido apontada a regio norte com a maior necessidade de
rever o currculo pela avaliao dos estudantes, na avaliao dos professores (Figura 5) foi
nessa mesma regio que houve uma maior integrao entre as disciplinas. De forma geral,
todas as regies tm a preocupao de realizar uma integrao entre as disciplinas para
responder melhor as exigncias de um curso de qualidade.

4.2. Dimenso Coordenao


O objetivo da dimenso coordenao avaliar o comprometimento com o curso, a atuao do
coordenador do polo, a articulao entre a instituio ofertante e o polo, e a forma como
ocorre o acompanhamento dos estudantes. Dentro desses tpicos houve a preocupao em
verificar como estava a avaliao dos estudantes quanto ao quesito articulao entre a
instituio ofertante e o polo. A Figura 6 mostra esse mapeamento por regies.

9
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 5 Foram previstas formas de integrao curricular.


Apesar de na Figura 4 ter sido apontada a regio norte com a maior necessidade de
rever o currculo pela avaliao dos estudantes, na avaliao dos professores (Figura 5) foi
nessa mesma regio que houve uma maior integrao entre as disciplinas. De forma geral,
todas as regies tm a preocupao de realizar uma integrao entre as disciplinas para
responder melhor as exigncias de um curso de qualidade.

4.2. Dimenso Coordenao


O objetivo da dimenso coordenao avaliar o comprometimento com o curso, a atuao do
coordenador do polo, a articulao entre a instituio ofertante e o polo, e a forma como
ocorre o acompanhamento dos estudantes. Dentro desses tpicos houve a preocupao em
verificar como estava a avaliao dos estudantes quanto ao quesito articulao entre a
instituio ofertante e o polo. A Figura 6 mostra esse mapeamento por regies.

9
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 6 Articulao entre a instituio ofertante e o polo


Os resultados desta avaliao abrangem um total de 2.497 respostas de estudantes e
mostram que a regio que tem a maior necessidade de concentrar esforos nesse processo de
articulao entre instituio e polo so as regies do norte e nordeste. Tambm possvel
visualizar que a regio sul a que obteve uma avaliao mais satisfatria na avaliao desse
tpico.
H uma questo apresentada aos coordenadores de polos para que opinem se a
administrao da instituio ofertante atende adequadamente as demandas de implementao
e funcionamento do polo, que tenta corresponder aos resultados da Figura 6. Os resultados
deste levantamento correspondem a um total de 262 avaliaes de coordenadores de polo,
conforme apresenta a Figura 7.

Figura 7 Administrao da instituio atende adequadamente o polo.


A partir destes resultados fica evidente que existe a necessidade de uma integrao e
apoio maior aos cursos que so ofertados nas regies norte e nordeste. Esse resultado ratifica
a necessidade que os estudantes informaram na avaliao da articulao da instituio e polo,
apresentada na Figura 6.

10
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

4.3. Dimenso Infraestrutura recursos materiais


A dimenso infraestrutura se preocupa com a qualidade dos recursos materiais, com a
secretaria do curso e tambm com as condies de trabalho que envolvem a infraestrutura
tecnolgica como, por exemplo, computadores, internet e ambiente virtual de aprendizagem.
Nesta seo optou-se por analisar como os estudantes avaliaram os recursos materiais, ou seja,
a disponibilidade dos recursos permanentes e de consumo no polo, necessrios para realizar as
atividades acadmicas (impressora, copiadora, telefone, papel e etc.). A Figura 8 apresenta um
total de 2.497 respostas de estudantes quanto a esse quesito.

Figura 8 Disponibilidade dos recursos permanentes e de consumo no polo.


Estes resultados demonstram que a regio centro-oeste, sul e sudeste tem uma boa
avaliao, disponibilizando os recursos materiais e de consumo com um percentual adequado
para atender as demandas do curso. J as regies do nordeste e norte precisam diminuir suas
carncias com relao aos recursos materiais para que os estudantes sejam atendidos de uma
forma mais satisfatria.

4.4. Dimenso Pessoas


Os resultados da dimenso pessoas se referem aos tpicos capacitao e articulao assim
como apoio recebido no desempenho das atividades. Nesta dimenso tinha-se tambm a
preocupao de avaliar se a equipe de professores estava preparada para lidar com os recursos
didticos, ou seja, se ela dominava os mesmos. A Figura 9 apresenta o resultado desta
avaliao por parte de 2.498 estudantes.

11
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

Figura 9 Avaliao dos estudantes quanto o domnio dos recursos didticos pelos
professores.
Neste resultado da Figura 9, de forma geral, tem-se um bom percentual de professores
que os estudantes julgam preparados e experientes para utilizar os recursos didticos.
Tambm neste resultado se evidencia uma avaliao um pouco mais alta na necessidade de
preparar melhor os professores da regio do norte e nordeste. O tpico recursos humanos foi
avaliado por 380 professores que avaliaram o apoio recebido pela equipe tcnica, do
Ambiente Virtual de Aprendizagem (AVA), durante a execuo da disciplina. A Figura 10
apresenta este resultado.

Figura 10 Apoio recebido da equipe tcnica do AVA pelos professores.


No resultado da Figura 10 temos um ndice de satisfao bem elevado em todas as
regies, inclusive na regio do norte onde os estudantes sentem uma dificuldade maior dos
professores em utilizar os recursos didticos (Figura 9).

12
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

4.5. Dimenso AVA


O Ambiente Virtual de Aprendizagem (AVA) avaliado no tpico sobre a facilidade de
utilizao. Neste tpico so considerados os seguintes aspectos: foi rpido encontrar os
materiais, foram adequados os tamanhos dos textos disponibilizados, foi fcil utilizar,
compreender a linguagem, participar dos chats, fruns, ter acesso a computadores com
internet fora do polo e se o mural de notcias foi til. Destes itens resolvemos apresentar
alguns nmeros e anlises. Na Figura 11 so apresentados os resultados sobre a facilidade de
compreender a linguagem utilizada no AVA. Na Figura 12 so apresentados os resultados
quanto ao uso do chats. Foram obtidas 2.498 respostas dos estudantes nestes itens analisados,
evidenciando novamente a regio norte e nordeste com tendo uma deficincia maior.

Figura 11 Compreenso da linguagem no AVA avaliada pelos estudantes.

Figura 12 Facilidades em participar dos chats avaliada pelos estudantes.

4.6. Dimenso Corpo Discente motivao


A avaliao do corpo discente envolve os tpicos motivao, esforo e tempo dedicado ao

13
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

curso. A Figura 13 mostra os resultados para o tpico motivao no curso e a Figura 14


apresenta o tempo de dedicao dos estudantes no curso.

Figura 13 Motivao do corpo discente.

Figura 14 Tempo de dedicao.


Tanto na questo de motivao quanto na de dedicao ao curso a regio que mais tem
se destacado nesses aspectos a regio centro-oeste, seguida da regio sul.
Os resultados apresentados focam em aspectos prticos, ou seja, conforme definio
dos tpicos apresentados. Neste trabalho teve-se a preocupao de apresentar uma sntese dos
dados mais relevantes, tentando em alguns momentos relacionar os resultados a partir de
outros dados tambm coletados pelo sistema. Desta forma, possvel visualizar um espao de
recomendaes ou sugestes do que pode ser feito com os resultados encontrados.

5. Consideraes
Com a divulgao dos resultados e as possveis estratgias para reduzir as fragilidades neles
apontadas, percebe-se que o processo avaliativo permite conhecer a percepo da comunidade
escolar sobre o cotidiano do processo de ensino-aprendizagem de um curso. A coordenao
do curso ao se apropriarem dos resultados avaliativos tero informaes relevantes que lhes
permitem fazer uma gesto focada na melhoria continuada: mantendo o que est bom e
melhorando o que no est. Por outro lado, a divulgao das melhorias decorrentes da

14
ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distncia
Belm/PA, 11 13 de junho de 2013 - UNIREDE

avaliao deve levar a aumentar a credibilidade e a participao nas avaliaes subsequentes.


A proposta de um sistema de acompanhamento e avaliao permite flexibilidade para
suportar adequaes s variaes nas demandas; abrangncia na coleta e agilidade nos
resultados e, no menos importante, a transparncia ou democratizao no acesso aos
resultados que o sistema web proporciona. Quanto capacidade de atender diferentes
interesses e necessidades ao longo do tempo, foram apresentados neste trabalho apenas alguns
exemplos em um nvel maior de granularidade, evidenciando que, no entanto, j permitem a
extrao de informaes e inferncias interessantes para o processo de gesto.

Referncias
ABBAD, Gardnia da Silva; MOURO, Luciana; MENESES, Pedro P. M.; ZERBINI, Thas;
BORGES-ANDRADE, Jairo Eduardo; VILLAS-BOAS, Raquel. (Org.). Medidas de
Avaliao em Treinamento, Desenvolvimento e Educao - Ferramentas para gesto de
pessoas. 1ed. Porto Alegre: ARTMED, 2012, v. 1, p. 127-144.
ANGELL, R. J.; HEFFERNAN, T. W.; MEGICKS, P. Service quality in postgraduate
education. Quality Assurance in Education, v.16, n.3, p. 236-254, 2008
BATISTA, Marcos Antonio; PAULA, Maria de Ftima Freitas de; OLIVEIRA, Maria Ignez
Arantes e ALMEIDA, Emanuel Eustquio. Avaliao institucional no ensino superior:
construo de escalas para discentes e docentes. Avaliao (Campinas) [online]. 2013,
vol.18, n.1, pp. 201-218. ISSN 1414-4077.
CISLAGHI, Renato; WILGES, Beatriz; NASSAR, Silvia Modesto; GONALVES, Wesley;
CATAPAN, Araci Hack; OHIRA, Masanao. Sistema de acompanhamento e avaliao de
cursos EaD: resultados avaliativos do AVEA, do curso, corpo discente e polo. IX
Congresso Brasileiro de Ensino Superior a Distncia - ESUD. Recife, 2012.
e-TEC. Sistema Escola Tcnica Aberta do Brasil. Disponvel em:
http://etecbrasil.mec.gov.br/. Acesso: 10 mai de 2013.
MOODLE SAAS. Disponvel em: <http://moodle.saas.etec.ufsc.br>. Acesso: 10 mai. de
2013.
RIBEIRO, Jorge Luiz Lordlo de Sales. Avaliao das universidades brasileiras: as
possibilidades de avaliar e as dificuldades de ser avaliado. Avaliao, Campinas; Sorocaba,
v. 16, n. 1, p. 57-71, mar. 2011.
SINAES. Sistema Nacional de Avaliao da Educao Superior. Disponvel em:
http://www.inep.gov.br/superior/sinaes/. Acesso em: mar de 2013.
VIDOR, Gabriel; FOGLIATTO, Flvio Sanson; CATEN, Carla ten. Construo de
instrumento para avaliao de cursos de ps-graduao. Avaliao (Campinas) [online].
2013, vol.18, n.1, pp. 181-199. ISSN 1414-4077.

15
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

AVALIAO DE POLOS SOB UMA PERSPECTIVA


GEORREFERENCIADA
Renato Cislaghi1, Beatriz Wilges, Silvia M. Nassar3, Douglas Longo Hiura4 Gustavo P.
Mateus4
1
UFSC/INE/PPGMGA, cislaghi@inf.ufsc.br
2
UFSC/dEGC/PPGEGC, beaw@inf.ufsc.br
3
UFSC/INE/PPGCC, silvia@inf.ufsc.br
4
UFSC/INE/ PPGCC, douglashiura@inf.ufsc.br
5
UFSC/INE/ PPGCC, gpmateus@inf.ufsc.br

Resumo Avaliao e gesto de resultados sob uma perspectiva geogrfica pode


evidenciar de modo mais claro as dificuldades e as melhorias que podem ser
enfrentados na gesto de um curso a distncia. Dessa forma, os resultados desse
trabalho so extrados de um sistema de acompanhamento e avaliao de curso
sob uma perspectiva georreferenciada. Os resultados analisados so do foco polo
e permitem uma observao direta dos indicadores avaliados, o que pode facilitar a
leitura e anlises das avaliaes realizadas por estudantes. A proposta dessa
estrutura permite uma visualizao para a gesto institucional e a nvel nacional.
Assim, possvel, tambm, correlacionar e comparar resultados para obter
melhorias na gesto dos polos EAD.
Palavras-chave: Avaliao de polos, resultados georreferenciados, educao a
distncia.
Abstract Evaluation and management of results in a geographical perspective
can reveal, more clearly, the difficulties and improvements that can be faced when
managing a distance education course. Thus, the results of this work are extracted
from a system that can monitor and evaluate courses under a georeferenced
perspective. The results are analyzed in the context of the pole and allow direct
observation of the indicators evaluated, which can facilitate reading and observation
of evaluations carried out by students. The purpose of this structure allows the
visualization at institutional management level and at national level. Thus, it is also
possible to correlate and compare results for improvements in the management of
distance education poles.
Keywords: Evaluation of poles, georeferenced results, distance education.

1. Avaliao de polos
Pesquisas sobre a avaliao de polos tm sido essencial para propor procedimentos
que possam melhorar tanto os cursos em andamento como as novas ofertas de
polos. Alm disso, a partir de processos avaliativos aliados a outros sistemas
possvel extrair indicadores que auxiliem na gesto dos polos em vrios aspectos,
como o acompanhamento de alunos, a qualidade e a satisfao, ndices de

1
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

aprovao e a evaso. Dessa forma, o propsito desta pesquisa evidenciar e


mapear os indicadores avaliativos mais expressivos para cada cenrio em particular
e apresentar resultados que reforcem esses aspectos.
Vrios pesquisadores destacam que a equipe de gesto de um curso EaD
tem um papel fundamental para o sucesso do mesmo, e esta deve estar presente ao
longo do curso. Tavares e Gonalves (2012) afirmam:
"Ao elaborar um curso na modalidade EAD, faz-se necessrio considerar o gestor
como uma pea chave para a implantao e sucesso de um polo. Cabe ao gestor
alinhar as ideias com seu grupo de trabalho e a partir deste, entender como ser
possvel colocar a estrutura do polo em funcionamento. A implantao de cursos na
modalidade EaD, exige um trabalho constante de estudo e pesquisa, como por
exemplo: analisar o que o mercado est buscando, identificar o pblico que ser
atendido, bem como apreender todos os aspectos legais, estruturais, operacionais e
gerenciais."
A Rede e-Tec Brasil preocupada com a oferta e implantao dos cursos EaD
vem desenvolvendo, desde 2010, um sistema de acompanhamento e avaliao
(SAAS) para oferecer informaes para a gesto nos mais diferentes nveis do
processo (CISLAGHI, 2013b). Apesar desses esforos, algumas dificuldades ainda
esto presentes e fazem parte da dinmica nas instituies ofertantes dos cursos.
Dentre estas, observa-se a baixa participao nas avaliaes j realizadas e,
portanto, deve-se buscar estratgias para aumentar a participao.
Os resultados deste trabalho so focados em uma perspectiva que visualiza
um grande nmero de respostas de estudantes sob um mapa. Ou seja, a
possibilidade de imprimir os resultados sob uma forma georreferenciada pode
evidenciar fatores que devem ser melhorados, corrigidos ou at mesmo
comparados.
A seguir so apresentadas as funcionalidades do sistema de
acompanhamento e avaliao de cursos. Nesta seo dois mostra-se como foram
implementados os focos e as dimenses consideradas no sistema do SAAS. Na
seo trs so exemplificados resultados fornecidos pelo sistema para oferecer
suporte gesto sobre a infraestrutura do polo em uma perspectiva
georreferenciada, a nvel nacional e institucional. Aps, so apresentadas as
consideraes finais e referncias do trabalho.

2. O sistema de acompanhamento e avaliao de cursos


Segundo Nicotari e Nishikawa (2012), a avaliao provoca um movimento de
reflexo e ao mesmo tempo de crise em qualquer nvel que est sendo
operacionalizada. So essas inquietaes, tenses e conflitos que possibilitam o
repensar das prticas. Por causa desses conflitos que a avaliao provoca, poucas
pessoas se dispem a trabalhar com ela e, a maioria dos que trabalham a
transformam em um instrumento tcnico, cumprindo apenas determinaes legais.
Esse sistema de avaliao e acompanhamento de cursos, denominado SAAS

2
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

(CISLAGHI, 2013b), foi desenvolvido para atender uma demanda da Rede e-Tec
Brasil (2014), mas pode ser customizado e aplicado a outros conjuntos de cursos na
modalidade a distncia. A Figura 1, apresenta a perspectiva do sistema
considerando seus passos fundamentais: a coleta, os resultados e a gesto.
Percebe-se que este ciclo contnuo e depende principalmente dos gestores da
instituio para que funcione na expectativa de melhorias continuas dentro de um
curso.

Figura 1 O processo de avaliao

A operacionalizao de um processo de acompanhamento e avaliao que


abranja um grande conjunto de instituies e cursos implicou na utilizao de um
sistema via Web. Esse sistema foi construdo em sintonia com o Sistema Nacional
de Avaliao da Educao Superior (SINAES, 2014) e observou as especificidades
do modelo EaD utilizado no Brasil nas instituies pblicas. Assim, foram definidos
trs focos distintos e complementares entre si para a realizao das avaliaes dos
cursos a distncia: curso, polo e disciplina. Cada foco abrange um conjunto de
dimenses avaliativas que, por sua vez, so compostas por tpicos com questes
especficas. Por exemplo, na avaliao do foco Curso foram definidas sete
dimenses: formatao, implantao, coordenao, ambiente virtual de ensino-
aprendizagem (AVEA), corpo discente, infraestrutura e pessoas.
Os avaliadores no sistema desempenham oito diferentes papis, desde
coordenadores gerais e adjuntos, que respondem pelas instituies, passando pelos
coordenadores de curso, professores e tutores a distncia, que atuam diretamente
nas atividades didtico-pedaggicas, com sede na instituio ofertante, e tambm os
coordenadores de polo, tutores presenciais e estudantes, que esto na ponta da
rede. O Quadro 1 apresenta quem avalia um determinado foco, sendo essa a
configurao atual do SAAS.

3
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

Quadro 1 - Papis e respectivas participaes como avaliador

Foco
Papel
Curso Disciplina Polo
Estudante X X X
Tutor presencial (polo) X X X
Coordenador de polo X X
Tutor a distncia X X
Professor X X
Coordenador de curso X X
Coordenador adjunto X
Coordenador geral X

A partir das coletas, realizadas periodicamente, formado um banco de


dados com resultados avaliativos de onde possvel extrair diferentes relatrios.
possvel, por exemplo, montar consultas que podem ser agrupadas por regies,
eixos, instituies, curso ou polos. Alm disso, possvel selecionar isoladamente
uma instituio e agrupar seus cursos, ou selecionar o curso e agrupar os resultados
por polos. Desde 2010 foram realizadas seis avaliaes, caracterizando um
processo de acompanhamento dos cursos que permite comparar resultados e aes
na busca de melhorias na qualidade dos cursos ofertados.

3. Resultados da avaliao
Os resultados dessa seo foram gerados a partir de uma questo feita aos
estudantes sobre a avaliao do polo. Esses resultados so referentes a avaliao
de 4756 estudantes, e tratam sobre a avaliao da infraestrutura do polo. Nessa
questo os estudantes consideraram aspectos relacionados com: sala de
coordenao, sala de tutoria, sala de aula informatizada, programas instalados nos
computadores, equipamentos de vdeo conferncia, biblioteca, auditrios, banheiros
e a rea de convivncia e lazer (Figura 2).

Figura 2 Aspectos considerados na avaliao da infraestrutura do polo

4
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

A Tabela 1 apresenta os resultados na ntegra de cada um dos aspectos


sobre a infraestrutura do polo observadas na Figura 2, ou seja, esse conjunto de
resultados na imagem da Figura 2 representa uma sntese da avaliao dos
estudantes sobre a infraestrutura do polo.
Tabela 1 Resultados na integra sobre a infraestrutura do polo (Figura 4)

Plenamente
Avalie a adequao das Necessita Inadequado No existe No sei
adequado
instalaes fsicas do polo: melhorias (%) (%) no polo (%) (%)
(%)
Sala de coordenao e
secretaria. 45,4 32,8 5,0 7,4 9,4
Sala de tutoria. 39,2 30,4 5,4 12,7 12,3
Sala de aula informatizada. 41,2 39,7 8,0 6,4 4,8
Programas instalados nos
computadores. 37,9 38,9 7,1 6,3 9,8
Equipamentos de
web/videoconferncia. 32,5 35,0 6,4 11,5 14,7
Biblioteca. 31,7 24,2 5,5 18,2 20,5
Auditrio. 36,9 19,9 4,2 23,7 15,3
Banheiros. 52,1 35,3 8,2 1,5 2,9
rea de convivncia e lazer. 38,3 29,0 6,6 15,8 10,3

A Figura 3 apresenta esse mesmo conjunto de resultados sobre a


infraestrutura em uma perspectiva georreferenciada. Assim, foi considerada uma
questo que abrangia os resultados da infraestrutura do polo como um todo em
apenas um item. Esse resultado foi plotado no mapa atravs da localizao
geogrfica do polo e sua respetiva avaliao. Dessa forma, possvel visualmente
identificar os polos que necessitam de maior ateno nesse quesito.

5
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

Figura 3 - Resultados macros sobre a infraestrutura dos polos

Nesta mesma questo as alternativas plenamente adequado (verde),


necessita melhorias (amarelo), inadequado (vermelho), no existe no polo (azul
claro), no sei (azul escuro) so representadas. Para fins de contabilizao tambm
foram considerados os convites enviados e de onde no se obteve respostas
(brancos).
A Figura 4 apresenta a mesma questo sobre a infraestrutura do polo como
um todo avaliada sem considerar os no respondentes. Nessa imagem tem-se uma
configurao mais objetiva, porque apresentado um olhar focado nos resultados
obtidos na questo a nvel nacional. Os resultados dessa questo foram: 36,2%
plenamente adequado, 52,7% necessita melhorias, 7,8% inadequado, 1% no existe
no polo e 2,3% no souberam responder.

6
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

Figura 4 - Resultados sobre a infraestrutura dos polos sem considerar os polos que
no obtivemos respostas

A Figura 5 apresenta os resultados para sobre a avaliao que os estudantes


realizaram quanto aos recursos tecnolgicos existentes no polo. Nessa questo,
eles avaliavam se foi adequada a quantidade de computadores com internet no polo.
possvel observar os pontos verdes representando respostas positivas, so
adequados, em amarelo em parte so adequados, em vermelho no so adequados
e em azul respostas de avaliaes em que o estudante no soube responder.
Ainda nesta imagem, possvel observar que a maior parte dos polos que
no esto adequados quanto a quantidade de computadores com internet se
concentram na regio norte do pas, de acordo com a avaliao dos estudantes.
Alm disso, em alguns estados como o RS, TO, MG e ES nenhum polo foi avaliado
como inadequado. Nesta consulta, 39,5% representam polos adequados, 33,7%
adequados em parte, 17,6% no esto adequados e 9,2% no souberam responder.

7
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

Figura 5 - Resultados sobre a quantidade de computadores no polo

Nas Figuras 6 e 7, so mostrados os resultados para a avaliao da


infraestrutura do polo especficos para uma instituio. Nesse caso, a granularidade
aumentada para focar apenas na instituio. Esse resultado interessante para o
gestor geral, do curso e do polo na instituio porque traz um resultado especfico.
uma visualizao diferente das Figuras 3, 4 e 5, que apresentam os resultados em
uma perspectiva a nvel de gestores do MEC, que so os responsveis pela
aprovao de novas ofertas de cursos em todas as instituies.

8
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

Figura 6 Resultados especficos sobre IFSP

Figura 7 Resultados especficos sobre IFSP com possibilidade de visualizar


detalhes

Ainda nos resultados da Figura 7, o sistema permite que o gestor clique em


um polo especfico e seja direcionado para resultados mais detalhados no intuito de
obter um entendimento completo da avaliao.
De acordo com Roque et al. (2006), o georreferenciamento de uma imagem
ou de um mapa ou qualquer outra forma de informao geogrfica tornar suas
coordenadas conhecidas num dado sistema de referncia. Dessa forma, o SAAS
obteve a coordenadas (latitude e longitude) de todos os polos cadastrados no
sistema e relacionou essas coordenadas com os resultados da avaliao de
qualquer questo. Assim, possvel uma observao mais pontual sobre a

9
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

avaliao em cada polo por curso ou por instituio, ou em cada curso considerando
exclusivamente seus respectivos polos.

4. Consideraes finais
Um sistema de avaliao de cursos, polos e disciplinas deve oferecer flexibilidade
para suportar adequaes diante das variaes nas demandas. Alm disso, um
sistema web permite realizar acompanhamentos na qualidade dos cursos por meio
de avaliaes realizadas periodicamente e de relatrios avaliativos gerados
imediatamente aps o trmino de cada avaliao. Isso possibilita, atravs de
intervenes dos gestores, resultados mais abrangentes com uma cobertura maior
de todos os filtros planejados.
O relacionamento de questes com as dimenses, tpicos e avaliadores com
suas coordenadas especficas por polo permite a construo de relatrios
georreferenciados que apontem indicadores que demandam mais ateno, assim
como evidencie lugares bem avaliados. Essa viso facilita a observao do gestor e
permite que ele busque melhorias, onde for necessrio, mais rapidamente.
Os resultados avaliativos obtidos pelo SAAS permitem comparaes entre
polos de diferentes instituies da Rede e-Tec Brasil. Os resultados deste trabalho
foram focados em informaes oferecidas pela percepo dos discentes, quanto aos
aspectos relacionados com a infraestrutura. Estas informaes podem servir de base
para que todos os envolvidos na oferta de cursos formem uma equipe onde cada um
e todos so responsveis pela qualidade dos cursos. Seja na participao
responsvel na avaliao, seja na discusso e encaminhamentos dos resultados
avaliativos. Desta forma, oportuniza-se uma espiral de qualidade nos polos pautada
em observar-avaliar-agir-reavaliar levando a um processo contnuo de gesto.

Referncias
CISLAGHI, Renato; WILGES, Beatriz; GONALVES, Wesley; OHIRA, Masanao;
LONGO, Douglas Hiura; RITZMANN, Iracy Gallo. Um modelo de avaliao de
cursos tendo como referncia o SINAES. X Congresso Brasileiro de Ensino
Superior a Distncia - ESUD. Belm, 2013a.
CISLAGHI, Renato; NASSAR, S. M.; WILGES, Beatriz. Sistema de avaliao e apoio
qualidade do ensino a distncia. In: III Congresso Internacional de Avaliao e o
VII Congresso de Educao, 2013, Gramado. III Congresso Internacional de
Avaliao e o VII Congresso de Educao, 2013b.
NICOTARI, M.A.; NISHIKAWA, M. Autoavaliao Institucional: Bases de uma
Metodologia Participativa e Emancipada para o seu Desenvolvimento em IES de
Educao a Distncia. SIED: EnPED - Simpsio Internacional de Educao a
Distncia e Encontro de Pesquisadores em Educao a Distncia, 2012.

10
ESUD 2014 XI Congresso Brasileiro de Ensino Superior a Distncia
Florianpolis/SC, 05 08 de agosto de 2014 - UNIREDE

REDE e-Tec Brasil. Disponvel em: http://redeetec.mec.gov.br/. Acesso: 10 maro de


2014.
ROQUE, Cassiano Garcia; OLIVEIRA, Ivan Cleiton de; FIGUEIREDO, Priscila
Pereira; BRUM, Everton Valdomiro Pedroso; CAMARGO, Mairo Fabio.
Georreferenciamento. Revista de Cincias Agro-Ambientais, Alta Floresta, v.4,
n.1, p.87-102, 2006.
SINAES. Sistema Nacional de Avaliao da Educao Superior. Disponvel em:
http://www.inep.gov.br/superior/sinaes/. Acesso em: mar. de 2014.
TAVARES, V.L.; GONALVES, A.L. Gesto da EaD no Brasil: Desafio ou
Oportunidade?. SIED: EnPED - Simpsio Internacional de Educao a Distncia e
Encontro de Pesquisadores em Educao a Distncia, 2012.

11
1

SISTEMA DE AVALIAO E APOIO QUALIDADE DO ENSINO A DISTNCIA

Renato Cislaghi, UFSC, cislaghi@inf.ufsc.br


Silvia Modesto Nassar, UFSC, silvia@inf.ufsc.br
Beatriz Wilges, UFSC, beaw@inf.ufsc.br

Introduo

Esta pesquisa apresenta um sistema de avaliao de cursos, polos e disciplinas. Esse sistema
trabalha na perspectiva de levantar e evidenciar indicadores de qualidade para os gestores.
Para atender a esse propsito foi desenvolvida uma estrutura de relacionamentos para um
conjunto de questes e questionrios implementados em funo de diferentes dimenses e
tpicos avaliativos. Alm disso, a elaborao de relatrios tem relacionamentos diretos com
as definies dadas a cada questo implementada no sistema de avaliao, possibilitando um
reagrupamento de resultados para apoiar a gesto dos cursos em funo de perguntas
semelhantes endereadas a diferentes atores envolvidos no processo.

Parte da metodologia para acompanhamento e avaliao desenvolvida para a Rede e-Tec


Brasil composta por um sistema de avaliao implementado em um ambiente online. Esse
sistema contempla diversos aspectos considerados relevantes para avaliar a qualidade do
ensino a distncia. Esses aspectos foram definidos em funo do SINAES (Sistema Nacional
de Avaliao da Educao Superior, 2013) e se prope a apontar de maneira clara as
dimenses que devem ser melhoradas no curso.

Segundo o MEC (2007), referenciais de qualidade para projetos de cursos na modalidade a


distncia devem compreender categorias que envolvam: aspectos pedaggicos, recursos
humanos e infraestrutura.

Dessa forma, o sistema de avaliao proposto foi construdo considerando esses aspectos e
realiza a avaliao em trs focos distintos: cursos, polos e disciplinas. Os cursos so avaliados
considerando as dimenses: formatao e implantao, coordenao, infraestrutura, pessoas,
ambiente virtual de aprendizagem e corpo discente. Os polos foram avaliados considerando as
dimenses: infraestrutura, biblioteca, laboratrios e pessoal. As disciplinas foram avaliadas
considerando as dimenses: material didtico, plano de ensino e corpo pedaggico.
2

Sendo assim, os relatrios da avaliao gerados pelo sistema so apresentados sob um


enfoque mais pontual, porque consideram as questes avaliativas dentro das dimenses e
focos especificados. Considera-se que a facilidade na utilizao gerencial desses relatrios por
parte da coordenao complementa um conjunto de fatores crticos para o sucesso de um
curso. O que foi evidenciado em outros trabalhos relacionados a esta pesquisa, onde foram
utilizados dados deste sistema para anlises sobre a qualidade de cursos nas instituies.

Nas pesquisas de Cislaghi et. al. (2012) foi apresentadas tentativas de melhorar a qualidade de
cursos em solues que no abordem somente aspectos tcnicos, mas tambm questes
pedaggicas e de usabilidade como no caso dos ambientes virtuais de aprendizagem (AVAs).

Ainda em trabalhos de Cislaghi et. al. (2013) foram tratadas questes especficas sobre o
modelo de avaliao de cursos tendo como referncia o SINAES. Os resultados se
concentram em um nvel macro por regies do pas e mostram o desdobramento de cada
dimenso avaliada dentro de um panorama geral de cursos tcnicos ofertados a distncia.

Esta pesquisa se prope a detalhar os aspectos, funcionais e no funcionais, de um sistema de


avaliao de curso. Apresentando a estrutura de relacionamentos do conjunto de questes e
questionrios implementados em funo das dimenses avaliativas. Alm disso, mostra o
espao de elaborao de consultas que teve relacionamentos diretos com as definies dadas a
cada questo, o que permite um reagrupamento de resultados em funo de questes
semelhantes respondidas por diferentes atores envolvidos no processo.

Na prxima seo descreve-se o sistema de avaliao e suas caractersticas, apresentando os


desdobramentos do projeto de banco de dados. Na seo 3 so apresentados alguns resultados
e a seo 4 relata as consideraes finais deste trabalho.

2. O Sistema de Acompanhamento e Avaliao: cursos, polos e disciplinas

Esse sistema de avaliao e acompanhamento de cursos, denominado SAAS, foi desenvolvido


para atender uma demanda da Rede e-Tec Brasil (2013), mas pode ser customizado e aplicado
a outros conjuntos de cursos na modalidade a distncia. Desde 2010 foram realizadas cinco
avaliaes, caracterizando um processo de acompanhamento dos cursos que permite comparar
resultados e aes na busca de melhorias na qualidade dos cursos ofertados.
3

A operacionalizao de um processo de acompanhamento e avaliao que abranja um grande


conjunto de instituies e cursos implicou na utilizao de um sistema via Web. Esse sistema
Web possibilita que todos os atores, tanto nas instituies que oferecem cursos quanto em
cada um dos polos que acolhem os encontros presenciais, acessem os questionrios para as
respectivas avaliaes e que as respostas sejam coletadas e processadas de maneira
centralizada.

Os avaliadores no sistema desempenham oito diferentes papis, desde coordenadores gerais e


adjuntos, que respondem pelas instituies, passando pelos coordenadores de curso,
professores e tutores a distncia, que atuam diretamente nas atividades didtico-pedaggicas,
com sede na instituio ofertante, e tambm os coordenadores de polo, tutores presenciais e
estudantes, que esto na ponta da rede. A Figura 1 apresenta um esboo dos focos: curso, polo
e disciplina e algumas dimenses consideradas no SAAS.

Figura 1: Esboo dos focos e dimenses avaliativas.

O conjunto de dimenses avaliativas do sistema foi construdo em sintonia com o SINAES


(Sistema Nacional de Avaliao da Educao Superior, 2013) e considera as especificidades
da modalidade EaD. O SAAS permite o desdobramento de cada dimenso em tpicos que
sejam flexveis para que as avaliaes atendam aos interesses e necessidades dos gestores das
instituies e cursos. Tambm h flexibilidade para o desdobramento de cada tpico em uma
ou mais questes, as quais tambm podem ser criadas, alteradas ou desconsideradas quando
forem definidos os questionrios a serem aplicados.
4

A partir das coletas realizadas periodicamente formado um banco de dados com resultados
avaliativos de onde possvel extrair diferentes relatrios. possvel, por exemplo, montar
consultas que podem ser agrupadas por regies, eixos, instituies, curso ou polos. Alm
disso, possvel selecionar isoladamente uma instituio e agrupar seus cursos, ou selecionar
o curso e agrupar os resultados por polos. As Figuras 2 e 3 exemplificam vises para gestores
da Rede e-Tec, desde um nvel macro, das instituies considerando o pas inteiro, como de
resultados mais especficos nas diferentes regies.

Figura 2: Resultados macros de todas as instituies no pas.

Figura 3: Resultados macros considerando diferentes regies.


5

A interface de consulta permite que vrios atores envolvidos, principalmente gestores, tenham
diversas possibilidades de gerao de relatrios, com maior ou menor nvel de granularidade,
considerando diferentes filtros, para monitorar indicadores adotados.

2.1 A base de dados

Para a avaliao de cada foco importante que um determinado conjunto de avaliadores com
papis diferentes seja convidado a participar do processo. Entretanto, o questionrio a ser
aplicado para avaliadores que exercem um papel pode conter questes diferentes das contidas
no questionrio aplicado aos que exercem outro papel, embora vinculadas a uma mesma
dimenso e a um mesmo tpico. Dessa forma, geram-se relatrios que relacionem os
resultados em diferentes dimenses e tpicos considerando os diferentes avaliadores.

Para facilitar a montagem de formulrios o sistema disponibiliza um banco de questes e um


banco de questionrios que podem ser ampliados ao longo do tempo. Estes acervos de
questes e questionrios possibilitam o registro de novas formulaes e composies e,
principalmente, facilitam sua reutilizao. A Figura 4 apresenta uma parte do projeto de
banco de dados construdo para atender a essas especificidades.

Figura 4: Projeto do banco de dados


6

No projeto do banco de dados (Figura 4) possvel observar o relacionamento entre as tabelas


foco, dimenso, tpico e papel associados com a tabela questo. Ou seja, todo o mapeamento
fundamentado no projeto da tabela questo, que relacionada a uma tabela de questionrios.
Alm disso, a materializao de um questionrio se d na tabela aplicao_questionrio onde
acontece o seu vnculo ao curso, polo ou disciplina que ser propriamente avaliada em um
determinado perodo.

O banco de questes contm questes qualitativas - discursivas ou abertas - e questes


quantitativas ou fechadas, estas ltimas de escolha simples, escolha mltipla ou quadros
informativos. O banco de questionrios permite o registro e reutilizao de diferentes verses
de questionrios, todas identificadas pelo foco e papel a que se destinam e pela data de uso.

3. Informao de apoio gesto

A seguir so exemplificados alguns resultados avaliativos dos cursos ofertados pela Rede e-
Tec Brasil, disponibilizando informaes de suporte aos gestores em diferentes nveis de
gesto: MEC, Instituio ofertante e Curso.

Primeiramente so mostrados resultados, em nvel mais alto, dirigidos aos gestores do MEC
com uma viso geral dos cursos em cada um dos Eixos Tecnolgicos da Rede e-Tec Brasil.

Estes resultados foram extrados do sistema de avaliao considerando:

foco: Curso;
dimenses avaliativas (duas): Formatao e implementao do curso e Pessoas;
tpicos avaliativos (trs): Capacitao e articulao, Currculo do curso e Projeto
pedaggico;
avaliadores (oito): estudantes, professores, tutores (presenciais e a distncia), e
coordenadores (polo, curso, adjunto e geral).
Em cada tpico foi selecionado um conjunto de perguntas cuja as respostas apontava para
uma satisfao total. Nas Figuras 5 e 6 so mostrados os percentuais mdios de satisfao em
cada Eixo Tecnolgico, permitindo observar se h convergncia das respostas segundo a tica
particular de cada avaliador.

Por exemplo, na Figura 5 nota-se que no eixo Ambiente, Sade e Segurana houve
convergncia de respostas, com percentuais variando entre 70% e 76%. Houve uma
7

divergncia de respostas no eixo Produo Cultural e Design, com percentuais variando entre
47% e 100%. Por outro lado, na avaliao de estudantes e professores observou-se um menor
percentual de satisfao (em mdia 66% e 71%, respectivamente) quando comparados com a
avaliao de tutores presencial e a distncia (em mdia 77% e 76%, respectivamente).

AMBIENTE, SADE E
SEGURANA
100
RECURSOS NATURAIS APOIO EDUCACIONAL
80

60
CONTROLE E PROCESSOS
PRODUO INDUSTRIAL
40 INDUSTRIAIS

20

0
PRODUO CULTURAL E
GESTO E NEGCIOS
DESIGN

PRODUO ALIMENTCIA HOSPITALIDADE E LAZER

INFORMAO E
INFRAESTRUTURA
COMUNICAO

Estudante Professor T. Presencial T. Distncia

Figura 5: Corpo Pedaggico: percentuais mdios de satisfao nos cursos segundo os Eixos
Tecnolgicos.
8

AMBIENTE, SADE E
SEGURANA
100
RECURSOS NATURAIS APOIO EDUCACIONAL
80
60
CONTROLE E PROCESSOS
PRODUO INDUSTRIAL
40 INDUSTRIAIS

20
0
PRODUO CULTURAL E
GESTO E NEGCIOS
DESIGN

PRODUO ALIMENTCIA HOSPITALIDADE E LAZER

INFORMAO E
INFRAESTRUTURA
COMUNICAO

C. Polo C. Curso C. Geral C. Adjunto

Figura 6: Corpo Gestor: percentuais mdios de satisfao nos cursos segundo os Eixos
Tecnolgicos.

Na Figura 6 nota-se convergncia na avaliao realizada pelo Corpo Gestor para o eixo
Ambiente, Sade e Segurana, com percentuais entre 72% e 77%, assim como divergncia
nos eixos Produo Cultural e Design, e Controle e Processos Industriais. Observa-se que em
alguns eixos no houve participao do Coordenador de Curso na avaliao realizada.

Alm das respostas quantitativas, o SAAS permite que o gestor acesse as opinies registradas
em forma de texto, ao final de cada tpico avaliativo. Esses registros de
satisfao/insatisfao e sugestes para melhorias do curso, polo ou disciplinas permitem
qualificar a anlise dos resultados.

A seguir exemplificamos alguns registros textuais de estudantes em uma avaliao de curso:

Ter horrios flexveis de provas para alunos que trabalham e moram longe.

O material didtico chega ao polo aps o trmino do mdulo, isso quando chega. Isso
atrapalha muito o aprendizado. Gostaria que o material didtico chegasse ao polo
antes do incio do mdulo, para que possamos acompanhar a aula.

A sugesto que tenho que haja mais aulas prticas para a melhor formao nossa.
9

Nada a reclamar, os professores so bastante competentes e dominam os contedos


que transferem para os alunos.

Fao esta modalidade por contar com pouco horrio disponvel, mas me dedico o
mximo que posso. Fao os trabalhos, respondo as questes sem "cola" de colegas e
estudo para as provas, pois acredito que este curso mudar o meu currculo. Meu
marido tcnico em eletrotcnica e seu curso mudou a nossa vida, o que quero para
mim, uma profisso. Por isso conto com a minha dedicao e de toda a equipe de
ensino e suas ferramentas.

De forma semelhante um gestor institucional (coordenador geral e adjunto) pode obter uma
viso global da situao dos cursos ofertados por sua instituio, nos diferentes eixos
tecnolgicos. Para isto basta selecionar a Instituio Ofertante na interface do SAAS.

A seguir so mostrados resultados, em nvel mais baixo de gesto, dirigidos aos


coordenadores de curso, permitindo o acompanhamento da evoluo do curso ao longo dos
perodos de oferta, diante de resultados e aes efetivadas para melhoria da sua qualidade.

Instalaes do Polo como um todo.


80

70

60

50
2011/2
40
2012/1
30
2012/2
20

10

0
Plenamente Necessita Inadequado No existe No sei
adequado melhorias no polo

Figura 7: Avaliao da dimenso infraestrutura de polos de um curso: estudantes.

Na Figura 7 so mostradas as avaliaes de polos realizadas pelos estudantes nos perodos


2011/2, 2012/1 e 2012/2. Observa-se que o percentual da resposta plenamente adequado
cresce de 42% para 68% mostrando que o nvel de satisfao com a infraestrutura do polo
10

aumentou medida que foram sanados alguns problemas apontados pelos avaliadores. Isto
evidencia que houve avanos na melhoria da infraestrutura dos polos.

4. Consideraes

Um sistema de avaliao de cursos, polos e disciplinas deve oferecer flexibilidade para


suportar adequaes diante das variaes nas demandas. Alm disso, um sistema web permite
realizar acompanhamentos na qualidade dos cursos por meio de avaliaes realizadas
periodicamente e de relatrios avaliativos gerados imediatamente aps o trmino de cada
avaliao. Isso possibilita, atravs de intervenes dos gestores, resultados mais abrangentes
com uma cobertura maior de todos os filtros planejados: dimenses e tpicos.

O relacionamento de questes com as dimenses, tpicos e avaliadores permite a construo


de relatrios que apontem indicadores que demandam mais ateno, assim como daqueles
bem avaliados. Essa viso facilita que o gestor se posicione e mantenha o que est
apresentando resultados satisfatrios, enquanto busca melhorias onde necessrio.

Os resultados avaliativos obtidos pelo SAAS permitem comparaes entre cursos e Eixos
Tecnolgicos ao longo de diferentes perodos de oferta dos cursos da Rede e-Tec Brasil. So
oferecidas informaes segundo a percepo dos discentes, do corpo pedaggico e do corpo
gestor dos cursos. Estas informaes podem servir para que todos os envolvidos na oferta de
cursos formem uma equipe onde cada um e todos so responsveis pela qualidade dos cursos.
Seja na participao responsvel na avaliao, seja na discusso e encaminhamentos dos
resultados avaliativos. Desta forma, oportuniza-se uma espiral de qualidade nos cursos
pautada em observar-avaliar-agir-reavaliar levando a um processo contnuo de gesto.

Referncias

SINAES. Sistema Nacional de Avaliao da Educao Superior. Disponvel em:


http://www.inep.gov.br/superior/sinaes/. Acesso em: jun de 2013.
CISLAGHI, Renato; WILGES, Beatriz; NASSAR, Silvia Modesto; GONALVES, Wesley;
CATAPAN, Araci Hack; OHIRA, Masanao. Sistema de acompanhamento e avaliao de
cursos EaD: resultados avaliativos do AVEA, do curso, corpo discente e polo. IX Congresso
Brasileiro de Ensino Superior a Distncia - ESUD. Recife, 2012.
CISLAGHI, Renato; WILGES, Beatriz; GONALVES, Wesley; OHIRA, Masanao;
LONGO, Douglas Hiura; RITZMANN, Iracy Gallo. Um modelo de avaliao de cursos tendo
11

como referncia o SINAES. X Congresso Brasileiro de Ensino Superior a Distncia - ESUD.


Belm, 2013.
e-TEC. Rede e-Tec Brasil. Disponvel em: http://etecbrasil.mec.gov.br/. Acesso: 10 maio de
2013.
MINISTRIO DA EDUCAO - Secretaria de Educao a Distncia. Referenciais de
qualidade para educao superior a distncia. 2007. Disponvel em:
<http://portal.mec.gov.br/seed/arquivos/pdf/legislacao/refead1.pdf> Acesso em: 15 maio
2013.
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

Gesto de qualidade de cursos a partir da percepo de estudantes


egressos
Renato Cislaghi - UFSC renato.cislaghi@ufsc.br
Silvia Modesto Nassar - UFSC silvia.nassar@ufsc.br
Beatriz Wilges - UFSC beatriz.wilges@gmail.com
Juliana Leonardi - UFSC leonardiadm@gmail.com
Douglas Hiura Longo - UFSC douglashiura@gmail.com

Resumo: O objetivo desta pesquisa implementar um modelo para gesto da qualidade


de cursos com base em avaliaes realizadas pelos estudantes egressos. Assim,
indicadores-chave sobre a qualidade dos cursos so apresentados aos coordenadores
como informaes gerenciais e norteadoras. O modelo proposto pautado por
percepes de estudantes que j fizeram o curso e podem realizar comparaes com as
exigncias do mercado de trabalho. Os egressos so considerados em quatro grupos:
os que trabalham, os que trabalham e estudam, os que somente estudam e os que nem
trabalham e nem estudam. Esses quatro grupos foram alinhados com expectativa dos
coordenadores em relao aos egresso obterem colocao no mercado de trabalho por
um perodo varivel de 6 a 24 meses. Ou seja, o mdulo proposto atua a partir de
parmetros definidos por prvias manifestaes dos coordenadores sobre suas
expectativas quanto aos egressos serem absorvidos pelo mercado de trabalho. Assim,
depois de um intervalo de seis meses, aps a concluso do curso, o mdulo realiza o
acompanhamento dos egressos durante um perodo de 2 anos. Os resultados desta
pesquisa trazem informaes significativas para apoiar a gesto quanto melhoria do
curso. Isto pode resultar em currculos de cursos mais focados e qualificados
contemplando os atuais alunos do curso.
Palavras-chave: Acompanhamento de egresso. Apoio gerencial. Educao a distncia.

Management of the quality of courses from the perception of former


students
Abstract: The goal of this research is to develop a management model about the quality
of courses based on evaluations made by former students. Thus, key indicators on the
quality of courses are shown to the coordinators as management and guiding
information. The proposed model is guided by the perception of students who have done
the course and can make comparisons with the requirements of the labor market. The
former students are distributed in four groups: those who work, those who work and
study, those who just study and those who neither work nor study. These four groups
were aligned with the expectations of the coordinators regarding the ability of the
former students to get a placement in the labor market for a period ranging from 6 to 24
months. In other words, the proposed module operates from parameters set by previous
manifestations of coordinators on their expectations of former students being absorbed
by the labor market. So, after an interval of six months after completing the course, the
module performs the monitoring of former students over a period of two years. The
results of this research bring meaningful information to assist management in
improving the course. This may result in more focused curriculum and in more qualified
courses covering current students from the courses.
Keywords: Monitoring former students. Management support. Distance education.

V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

1. Avaliao de cursos para gesto de qualidade


A qualidade da educao se constitui em uma diretriz explicitada no Art. 2 IV do Plano
Nacional de Educao (PNE) 2014-2024 aprovado pela LEI N 13.005, em 25 de junho
de 2014. Um dos norteadores da qualidade de um curso o Projeto Pedaggico de
Curso (PPC) que expressa o desenvolvimento do curso de acordo com as diretrizes
curriculares estabelecidas pelo MEC, considerando o perfil profissional dos concluintes.
Desta forma, um estudante que obteve sua formao em um determinado curso de uma
instituio de ensino pode contribuir com o curso, atualmente ofertado, e promover um
processo de gesto comprometido com a qualidade e alinhamento com o mercado de
trabalho.
Alguns autores mostram a necessidade do uso gerencial dos resultados
avaliativos de forma a proporcionar uma reflexo do processo de ensino-aprendizagem
com o objetivo de promover melhoria na qualidade dos cursos ofertados (CISLAGHI et
al., 2012; FRIAS e TAKAHASHI, 2002; AMARAL et al., 2009 ; BRITO, 2008;
MACHADO, 2010).
Cislaghi et al. (2012) esclarecem que, o processo de avaliao fundamental e
para que ele ocorra de forma satisfatria indispensvel a participao de todos os
agentes envolvidos. Adicionalmente a utilizao gerencial dos resultados por parte da
coordenao complementa um conjunto de fatores crticos para o sucesso de um curso.
Ainda neste contexto, fundamental para a gesto do curso, observar os resultados e
identificar possibilidades para garantir a qualidade do ensino.
Geralmente, a avaliao de cursos direcionada aos alunos durante a frequncia
ao curso, isto , durante o processo de ensino-aprendizagem (FRIAS e TAKAHASHI,
2002; AMARAL et al., 2009).
Por outro lado, alguns autores apontam para que a avaliao de cursos seja
realizada aps a sada do curso. Por exemplo, Brito(2008) e Machado(2010) destacam
que a avaliao pelos concluintes ou egressos gera informaes para revitalizar ou
mesmo redirecionar a oferta de cursos pela instituio.
Brito (2008) destaca a importncia que o egresso tem para a instituio e a
necessidade de se fazer conter sua percepo no Projeto Pedaggico de Curso (PPC). E
que, a definio do perfil do concluinte de fundamental importncia na compreenso
do que esperado, ao longo de trajetria do estudante pela instituio, alcanando as
competncias profissionais necessrias para o exerccio da profisso.
O objetivo deste trabalho implementar um modelo de gesto da qualidade de
cursos com base em avaliaes feitas pelos egressos. Assim, so visualizados
indicadores atravs de informaes pautadas na percepo de estudantes inseridos no
mundo do trabalho.
Este artigo est organizado da seguinte forma: na seo dois so apresentados
alguns trabalhos relacionados sobre avaliao de egressos. Na seo trs apresentado o
mdulo de gesto de qualidade de cursos pela percepo dos egresso, bem como seus
procedimentos metodolgicos desta pesquisa. A seo quatro apresenta os resultados da
pesquisa. E por fim, so apresentadas as concluses e referncias.

2. Trabalhos relacionados
A proposta de investigar a percepo do egresso aps sua formao uma estratgia j
identificada por diversas instituies que buscam um canal aberto de dilogo com seus
estudantes. Assim, a instituio percebe que capaz de oferecer cursos com qualidade


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

porque possui informaes relevantes sobre o mundo do trabalho a partir de seus


egressos.
Entre algumas pesquisas que destacam-se o trabalho de Bardagi e Bizarro
(2008), Meira e Kurcgant (2009), Lousada e Martins (2005), Machado (2010).
Nas pesquisas de Bardagi e Bizarro (2008), buscou-se conhecer a formao e as
trajetrias de trabalho dos profissionais de psicologia formandos na UFRGS. Os
resultados desta pesquisa convergiram ao encontro de novas diretrizes curriculares para
o curso.
De acordo com Meira e Kurcgant (2009), os egressos passam por situaes
complexas que o levam a confrontar as competncias desenvolvidas durante o curso
com as requeridas no exerccio profissional. Assim, eles so capazes de avaliar a
estrutura pedaggica do curso e resgatar aspectos intervenientes desse processo.
Ainda segundo Lousada e Martins (2005), de fundamental importncia o
planejamento e desenvolvimento de sistemas de acompanhamento de egressos como um
mecanismo que permita s instituies a contnua melhoria de todo o planejamento e
operao dessas organizaes, particularmente do processo de ensino-aprendizagem.
Para Machado (2010), o processo de consulta aos egressos deve reunir
caractersticas internas e externas de avaliao. As caractersticas internas referem-se a
participao dos sujeitos que representam uma parte importante da comunidade
acadmica que, embora j tenham sido certificados, vivenciam de perto a realidade de
seus cursos, com suas fragilidades e qualidades. J nas caractersticas externas, a
trajetria profissional vivida depois da formao, habilita esses ex-alunos a avaliarem a
instituio com outro olhar, haja vista a experincia adquirida pelo exerccio da
profisso nos diferentes campos de trabalho.
Dessa forma, verifica-se a importncia em coletar informaes que expressem a
percepo do egresso sobre o curso realizado (Mdulo Egresso). Assim, aps um
perodo de concluso do curso, possvel questionar sua opinio sobre a formao
recebida, considerando sua atuao profissional. Essas informaes podem servir como
subsdios para tomadas de decises contribuindo para a qualidade dos cursos e dos
processos de ensino-aprendizagem.

3. Mdulos de gesto de qualidade de cursos por meio de egressos


O mdulo egresso faz um acompanhamento peridico dos concluintes, considerando
aspectos-chave como: residncia, empregabilidade, continuidade dos estudos e feedback
para o curso:
O mdulo egresso proposto foi construdo para ser aplicado a partir de 6 meses de
finalizao do curso, em uma periodicidade semestral, ao longo de 24 meses,
considerando, que o egresso possa estar em alguma das seguintes situaes: a)
trabalhando; b) estudando; c) nem trabalhando e nem estudando (desempregado); e d)
trabalhando e estudando. Quando o egresso informa sua situao ele direcionado a
responder um questionrio especfico agrupado por quatro dimenses de anlise.
Com o mdulo proposto possvel adquirir dados e informaes que favoream a
qualidade de cursos a partir da atuao profissional dos egressos, possibilitando a
verificao de estratgias adotadas pela gesto ou mesmo auxiliando na promoo de
melhorias nos cursos tcnicos. Desse modo, alm de assegurar uma qualidade superior
nos cursos em andamento, possvel obter informaes sobre a trajetria do egresso
com base nas avaliaes realizadas por eles.
3.1 Procedimento metodolgico


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

Esta seo descreve como a proposta do mdulo foi especificada, considerando as fases
de reviso da literatura, trabalhos relacionados, fonte de acesso aos dados, produo de
instrumentos para investigao junto aos coordenadores gerais da instituio e
coordenadores de curso na construo de meta para os cursos em relao a atuao dos
egressos no mercado de trabalho. Alm disso, tambm foram especificados os casos de
uso do mdulo proposto.
3.1.1 Fonte de acesso aos dados
Para construo e especificao do mdulo egresso foram coletados dados sobre cursos
tcnicos do programa da Rede e-Tec (2015) no Sistema de Acompanhamento e
Avaliao de Cursos (SAAS, 2015). O mdulo egresso, descrito neste artigo, foi
implementado como parte do SAAS.
A Secretaria de Educao a Distncia/MEC, por meio da Rede e-Tec Brasil
(2015) vem desenvolvendo aes visando o aprimoramento, ampliao e consolidao
da oferta de ensino tcnico na modalidade a distncia, na periferia das reas
metropolitanas e no interior do pas. Uma das principais aes desenvolvidas o
Sistema de Acompanhamento e Avaliao do e-Tec Brasil (SAAS, 2015), que
possibilita a identificao das potencialidades e fragilidades da oferta de cursos e polos.
A Tabela 1 sintetiza o total de dados cadastrados no sistema SAAS em agosto de 2014.
Tabela 1 - Dados cadastrados SAAS
Cadastro n.
Instituio 58
Cursos 297
Coordenador de Curso 321
Coordenador Geral 69
Coordenador Adjunto 65
Fonte: SAAS (agosto de 2014)
3.1.2 Instrumento para definio de expectativa de metas
Para estabelecer nveis de critrios sobre a insero dos egressos no mundo do trabalho
de forma a apoiar a gesto da qualidade dos cursos foi necessrio extrair parmetros a
partir de estimativas de coordenadores. Assim, seis meses aps a formao dos
estudantes e durante um perodo de 2 anos de acompanhamento dos egressos, os
coordenadores deveriam sinalizar suas expectativas quanto aos egressos serem
absorvidos pelo mercado. Dessa forma, por meio de um questionrio direcionado aos
coordenadores gerais e de curso, solicitou-se que definissem o percentual que
considerassem ideal para as seguintes situaes: adequada, ateno e inadequada ao
longo de 24 meses.
A pesquisa para caracterizao dos indicadores de gesto foi composta por
quatro questes: trs objetivas que verificam junto aos coordenadores de curso e gerais
a expectativa percentual, para acompanhamento do egresso para os perodos de: 6, 12,
18 e 24. E uma questo qualitativa para comentrios.
O questionrio on-line foi elaborado e encaminhado por correio eletrnico para
todos os coordenadores de curso tcnicos e coordenadores gerais de todas as instituies
cadastradas no sistema SAAS e pertencentes ao programa da Rede e-Tec. Assim, com
base na Tabela 1 foram enviados 321 e-mails para coordenadores de curso e 69 e-mails
para coordenadores gerais das instituies. O questionrio ficou disponvel durante
sessenta dias. Assim, obteve-se um conjunto de 59 respostas, sendo 41 coordenadores
de curso e 18 coordenadores gerais. Esta amostra atingiu o tamanho mnimo


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

considerando uma populao com 390 coordenadores, um nvel de confiana de 90% e


uma margem de erro de 10%.
3.1.3 Definio dos indicadores do mdulo
A partir dos parmetros e metas definidos foi necessrio elaborar a especificao dos
casos de uso do sistema. Considerando as cores verde, amarelo e vermelho para
sinalizarem a situao do egresso como adequada, que merece ateno e inadequada,
respectivamente.
A situao adequada informa a presena de um cenrio positivo ou
satisfatrio, e que as condies atuais podem ser mantidas. Essa situao determinada
exclusivamente quando o egresso est trabalhando ou quando ele, alm de estar
trabalhando, est estudando. J uma situao intermediria, de ateno, informa a
presena tanto de aspectos positivos como negativos evidenciando que o curso precisa
estar em superviso para que no caia em cenrios crticos. Essa situao
determinada quando o egresso est somente estudando. E na outra ponta, uma situao
crtica caracterizada como inadequada informa que existem aspectos negativos, sendo
necessrias aes imediatas para o bom desempenho do curso. Nessa situao, o egresso
no est nem trabalhando e nem estudando.
Os resultados da pesquisa junto aos coordenadores foram relevantes porque so
capazes de sintetizar em valores percentuais para cada situao (adequada, ateno e
inadequada). Considerando ainda, um perodo de 24 meses de acompanhamento,
iniciado 6 meses aps a formao dos estudantes. Assim, esse perodo poderia ser
suficiente para que o egresso estivesse vinculado a um emprego. Sendo assim, o Quadro
1 apresenta os indicadores com a mdia dos valores percentuais estimados de acordo
com os coordenadores.
Quadro 1: Resultado em percentuais dos indicadores pelos coordenadores

Situao ADEQUADA ATENO INADEQUADA

1) Qual sua expectativa de


2) Qual o percentual mximo 3) Qual o percentual mximo
percentual mnimo de egressos
de egressos que se encontrem de egressos que se encontrem
que consigam uma colocao no
somente Estudando, para cada desempregados, para cada um
mundo do trabalho, para cada
Perguntas da um dos seguintes perodos: dos seguintes perodos:
um dos seguintes perodos:
pesquisa
At 06

At 12

At 18

At 24

At 06

At 12

At 18

At 24

At 06

At 12

At 18

At 24
meses

meses

meses

meses

meses

meses

meses

meses

meses

meses

meses

meses

Valores
30% 40% 50% 55% 35% 35% 30% 30% 35% 30% 25% 20%
Percentuais

Assim, em uma situao adequada, os coordenadores consideraram que, em


seis meses aps o trmino do curso, pelo menos 30% dos egressos estejam trabalhando
ou trabalhando e estudando; em doze meses, pelo menos 40% dos egressos estejam
vinculados no mundo trabalho e assim sucessivamente. J em uma situao de
ateno os coordenadores consideraram um ndice menor ou igual a 35%, entre seis a
doze meses para os egressos que se encontram somente estudando, aps a concluso do
seu curso; e um ndice menor ou igual a 30% entre dezoito e vinte e quatro meses. E por
fim, os coordenadores consideraram uma situao inadequada um ndice maior ou


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

igual a 35% nos primeiros seis meses, para egressos que no estejam trabalhando e nem
estudando, aps a concluso do seu curso.

4. Resultados gerais e discusses sobre os egressos


Esta seo apresenta de forma resumida alguns resultados comparativos do mdulo
egresso. Os resultados apresentados ilustram avaliaes aplicadas no perodo de 2014/2,
caracterizando seis meses de concluso do curso. Neste mdulo, os egressos so
considerados em quatro grupos: trabalhando; estudando; trabalhando e estudando; e
nem trabalhando nem estudando.
Inicialmente o sistema questiona os egressos quanto sua ocupao atual. Os
resultados dessa questo na coleta de 2014/2, para formandos de 2013/2, so
apresentados na Figura 1.

Figura 1 Distribuio percentual da ocupao dos egressos aps seis meses.


Dentre os cinco tpicos do mdulo egresso cada grupo (trabalhando, trabalhando
e estudando, estudando e nem trabalhando e nem estudando) respondeu um conjunto de
questes especficas. A seguir ilustra-se o tpico Feedback para o curso por meio da
questo sobre a avaliao da capacitao profissional recebida no curso.
4.1. Resultados para o grupo trabalhando
A avaliao da capacitao profissional recebida pelos egressos que esto trabalhando
apresentada na Figura 2.

Figura 2 Capacitao recebida pelos egressos que esto trabalhando


Dos 323 respondentes que esto trabalhando, a maioria (63%) avaliou a
capacitao profissional recebida como sendo compatvel com seu trabalho. Apenas
12% afirmaram ser superior a exigida no seu trabalho. E 17% informaram que a
capacitao recebida foi inferior a exigida no ambiente de trabalho.
4.2. Resultados para o grupo trabalhando e estudando
A mesma questo sobre a capacitao profissional recebida pelos egressos que esto
trabalhando e estudando apresentada na Figura 3.


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

Figura 3 Capacitao recebida pelos egressos que esto trabalhando e estudando


Entre 242 respondentes que esto trabalhando e estudando, a maioria (70%)
avaliaram a capacitao profissional recebida como sendo compatvel com seu trabalho.
Apenas 5% afirmaram ser superior a exigida no seu trabalho. E 21% informaram que a
capacitao recebida foi inferior a exigida no ambiente de trabalho.
4.3. Resultados para o grupo estudando
A mesma questo sobre a capacitao profissional recebida pelos egressos que esto
somente estudando apresentada na Figura 4.

Figura 4 Capacitao recebida pelos egressos que esto estudando


Dos 89 respondentes que esto estudando, a maioria (75%) avaliou a capacitao
profissional recebida como sendo compatvel com o mundo do trabalho. Apenas 3%
afirmaram ser superior a exigida no mundo do trabalho. E 20% informaram que a
capacitao recebida foi inferior a exigida no mundo do trabalho.
4.4. Resultados para o grupo nem trabalhando e nem estudando
A mesma questo sobre a capacitao profissional recebida pelos egressos que esto
trabalhando e estudando apresentada na Figura 5.

Figura 5 Capacitao recebida pelos egressos que no esto trabalhando e nem


estudando


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

Dos 48 respondentes que esto trabalhando e estudando, a maioria (65%)


avaliou a capacitao profissional recebida como sendo compatvel com o mundo do
trabalho. Apenas 2% afirmaram ser superior a exigida no seu trabalho. E 29%
informaram que a capacitao recebida foi inferior a exigida no ambiente de trabalho.
4.5. Comentrios dos egressos para melhorar o curso
Nesta seo so apresentados comentrios para melhorar os cursos a partir da percepo
dos estudantes egressos dos diferentes grupos trabalhando, estudando, trabalhando e
estudando, e nem trabalhando nem estudando:
"Mais aulas prticas para adquirir conhecimento na rea do curso".
"Em relao ao questionamento do feedback, a formao prtica, apesar de
estar adequada ao compromisso do curso, no que ela fosse insuficiente, mas
deveria melhorar, como por exemplo: montar uma empresa virtual e, mesmo a
distncia e/ou presencial, colocar em prtica os ensinamentos tcnicos
contbeis, administrativos, financeiros, etc. para fixar o aprendizado".
" necessrio ajuda da instituio para arrumar um estgio para os alunos se
colocarem no mercado".
"Tutores mais qualificados e programas atuais, aulas laboratoriais com tutores
presencias para prtica do aprendizado".
"Deve-se considerar o que o mercado de trabalho est exigindo de um
profissional para adaptar o curso, inclusive no ensino prtico".
"Ressalto a importncia das aulas prticas, para que haja uma aprendizagem
significativa, pois imprescindvel relacionar a teoria com a prtica. Sugiro
que as aulas prticas sejam valorizadas e que sejam mais praticadas. Comentei
isso, pois quando cursei o Curso Tcnico em Manuteno e Suporte em
Informtica. As aulas prticas eram pouco ofertadas".
4.6. A interface de acompanhamento dos egressos
A interface elaborada para a acompanhamento dos egressos em relao as turmas que
finalizaram o curso apresentada em um painel (Figura 6). Este painel pode ser
visualizado por todos os coordenadores dos cursos respectivos.

Figura 6 Painel de acompanhamento por curso


Como este mdulo possui uma coleta de dados com periodicidade semestral, e
busca acompanhar a trajetria dos egressos durante vinte e quatro meses aps a


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

concluso do curso, atualmente foi possvel observar apenas os dados referentes aos
primeiros seis meses de concluso do curso. Essa interface do acompanhamento dos
egressos permite analisar e acompanhar os egressos tanto por cursos como pelos eixos
(Figura 7).

Figura 7 Painel de acompanhamento por eixo


A legenda dos painis das Figuras 6 e 7 so definidas pelas situaes: adequada -
os egressos esto trabalhando ou trabalhando e estudando sinalizados em verde; ateno
- os egressos esto somente estudando sinalizado em amarelo; inadequada - os egressos
no esto nem trabalhando e nem estudando, sinalizado em cinza - duas situaes muito
prximas ou todas as situaes mencionadas muito similares (portanto, inconclusivo); e
branco quando no existem informaes, isto , no houve respondentes.

5. Consideraes finais
Quanto s expectativas de insero no mundo do trabalho observou-se que 56% dos
egressos esto trabalhando, 8% esto estudando, e 4% esto desempregados. Estes
percentuais atendem aos indicadores apontados pelos coordenadores gerais e de cursos
das instituies ofertantes.
Na avaliao sobre a capacitao profissional recebida ser compatvel com o
mundo do trabalho o percentual variou de 63% a 75% dos egressos. No entanto,
observou-se um percentual que varia de 17% a 29% onde os egressos apontam para a
necessidade de tornar o curso mais compatvel com o mundo do trabalho.
Estes dois resultados, dentre os muitos que podem ser obtidos, no mdulo
egresso mostram que acompanhar o concluinte traz informaes altamente significativas
para apoiar a gesto quanto melhoria do curso. Isto pode resultar em currculos de
cursos mais focados e qualificados contemplando os atuais alunos do curso em
avaliao.
Todos os resultados do mdulo egresso podem ser obtidos por meio de consultas
on-line tanto em mquinas desktops, quanto em dispositivos mveis como smartphones
ou tablets. A atual verso do mdulo foi planejada para gerar resultados de avaliaes
sobre a referncia geogrfica do polo. Assim, cones no mapa do Brasil nas cores verde
representam resultados satisfatrios no polo, amarelo resultados que merecem ateno,
vermelho resultados que necessitam ser revistos urgentemente. Os resultados
apresentados neste formato mais intuitivo permitem uma flexibilidade e uma leitura
mais dinmica. A flexibilidade se encontra na possibilidade de gerar consultas de
interesse e realizar as anlises at mesmo em modo off-line, e dinmico porque capaz
de sintetizar qualquer resultado das avaliaes no contexto georreferenciado.
Este mdulo egresso perfeitamente aplicvel aos egressos de cursos
presenciais. Finalmente, as instituies educacionais devem buscar a qualidade, a


V. 13 N 1, julho, 2015____________________________________________________________
CINTED-UFRGS Novas Tecnologias na Educao
____________________________________________________________________________________________________

10

conscientizao e o comprometimento no processo avaliativo de tal forma que os


resultados possam ser utilizados para apoiar as aes para a melhoria contnua dos
cursos e do processo de ensino-aprendizagem.

Referncias bibliogrficas
AMARAL, M. Antonio; ASSIS, KLeine K.; BARROS, Gilian C. Avaliao na EaD:
contextualizando uma experincia do uso de instrumentos com vistas
aprendizagem. IX Congresso Nacional de Educao - EDUCERE III encontro Sul
Brasileiro de Psicopedagogia. Out. 2009. Disponvel em:
http://www.pucpr.br/eventos/educere/educere2009/anais/pdf/3259_1706.pdf
BARDAGI, Marucia P.; BIZARRO, Lisiane. Avaliao da formao e trajetria
profissional na perspectiva de egressos de um curso de Psicologia. Psicologia
Cincia e Profisso, V. 28, N. 2, p.304-315, 2008. Disponvel em
http://www.scielo.br/pdf/pcp/v28n2/v28n2a07
BRITO, Marcia R. F de. O SINAES e o ENADE: da concepo implantao.
Avaliao, Campinas; Sorocaba, SP, v. 13, n. 3, p. 841-850, nov. 2008. Disponvel
em: http://www.scielo.br/pdf/aval/v13n3/14.pdf.
CISLAGHI, Renato; WILGES, Beatriz; NASSAR, Silvia Modesto; GONALVES,
Wesley; CATAPAN, Araci Hack; OHIRA, Masanao. Sistema de acompanhamento e
avaliao de cursos EaD: resultados avaliativos do AVEA, do curso, corpo discente e
polo. IX Congresso Brasileiro de Ensino Superior a Distncia - ESUD. Recife, 2012.
FRIAS, Marcos A.; TAKAHASHI, Regina T. Avaliao do processo ensino-
aprendizagem: seu significado para o aluno de EM de enfermagem. Rev. Esc.
Enferm. USP 2002; 36(2): 156-63. Disponvel em:
http://www.scielo.br/pdf/reeusp/v36n2/v36n2a07.pdf
LOUSADA, Ana Cristina Z.; MARTINS, Gilberto de A. Egressos como fonte de
informao gesto dos cursos de Cincias Contbeis. Revista Contabilidade &
Finanas, V.16, N.37, Jan./Apr. 2005. http://www.scielo.br/scielo.php?pid=S1519-
70772005000100006&script=sci_arttext
MACHADO, Geraldo Ribas. Perfil do egresso da Universidade Federal do Rio Grande
do Sul. Tese de doutorado em Educao da Faculdade de Educao da Universidade
Federal do Rio Grande do SUL - URGS. Porto Alegre, 2010.
http://www.lume.ufrgs.br/bitstream/handle/10183/24186/000744974.pdf?sequence=1
MEIRA, Dyrce D. M.; KURCGANT, Paulina. Avaliao de curso de graduao
segundo egressos. Revista Escola de Enfermagem da USP, V. 43, N. 2, p. 481-485,
2009. Disponvel em http://www.scielo.br/pdf/reeusp/v43n2/a31v43n2.pdf
REDE e-Tec Brasil. Disponvel em: http://redeetec.mec.gov.br/. Acesso: 10 jan. de
2015.



V. 13 N 1, julho, 2015____________________________________________________________

SISTEMA PARA AVALIAO E GESTO DE CURSOS EAD

Renato Cislaghi, Silvia Nassar, Beatriz Wilges, Juliana Leonardi


renato.cislaghi@ufsc.br, silvia.nassar@ufsc.br, beatriz.wilges@gmail.com,
leonardiadm@gmail.com
Resumo
Referenciais de qualidade para projetos de cursos na modalidade a distncia devem
compreender categorias que envolvam desde aspectos pedaggicos, recursos humanos,
infraestrutura at o planejamento e execuo de um curso. Neste sentido, a avaliao assume
um papel relevante para o curso, desde que atenda aos seguintes atributos: utilidade,
flexibilidade, sistematizao, valorao e gesto. Desta forma, avaliaes por meio de um
sistema Web implicam em processos sistematizados e devem fornecer resultados de forma
gil, clara e prtica para a atuao gerencial. Este artigo apresenta o Sistema de
Acompanhamento e Avaliao de Cursos (SAAS) baseado nestes princpios. Este sistema
composto por mdulos de avaliao, de egressos e de evaso, alm da identificao do perfil
dos estudantes ingressantes. Assim, ele capaz de levantar potencialidades e fragilidades dos
cursos e do processo de ensino-aprendizagem. Os resultados avaliativos disponibilizam
informaes para subsidiar a coordenao geral da Rede e-Tec na conduo das questes
envolvendo polticas e alocao de recursos tcnicos e financeiros, mas tambm oferece apoio
gesto dos cursos pelas instituies ofertantes na busca de melhorias contnuas.

Palavras-chave: Avaliao. Acompanhamento. Gesto de cursos. Educao a distncia.

Abstract
Quality benchmarks for the design of distance education courses should include categories
that must involve from pedagogical aspects, human resources, and infrastructure to the
planning and execution of a course. In this sense, the evaluation plays an important role for
the course, provided that it meets the following attributes: utility, flexibility, organization,
evaluation and management. Thus, evaluations in a Web system imply systematic processes
and must provide results in a quick, clear and practical way to management activities. This
paper presents the Course Evaluation and Monitoring System (CEMS) based on these
principles. This system consists of evaluation, graduates and evasion modules, in addition to
the profile identification from new students. Thus it is able to raise the potentialities and
weaknesses from the courses and the teaching-learning process. The evaluation results
provide information to support the main coordination from the e-Tec Network in driving
issues involving policies and allocation of technical and financial resources, they also provide
support to the management of courses in offering institutions that are looking for continuous
improvement.

Keywords: Evaluation. Monitoring. Course Management. Distance education.


1 Introduo
Os recursos atuais de informtica permitem atividades de planejamento e
acompanhamento de cursos apoiados em sistemas computacionais, que possam disponibilizar
informaes avaliativas para a gesto. Assim, possvel a tomada de decises mais efetivas e
prioritrias em funo de indicadores avaliativos. Por exemplo, os indicadores referentes aos
diferentes recursos utilizados nos cursos podem apresentar evidncias de necessidade de
ateno em alguns cursos e tambm mostrar que em outros o funcionamento adequado. Isso
viabiliza uma forma de comunicao e compartilhamento de conhecimento entre diferentes
cursos para que os gestores possam intervir e entender melhores prticas de gesto.
De acordo com Romiszowski (2004) a avaliao, em sentido til, envolve clara
definio de objetivos, critrios bsicos e especficos, procedimentos adequados, de forma
que o resultado sirva para a melhoria do objeto da avaliao e a tomada de decises. A
avaliao deve procurar responder questes centrais para saber se algo bom, que critrios
utilizar para os resultados pretendidos, como ajudar as pessoas a determinar se so boas no
que esto fazendo. E, para que isso d resultado prtico, a avaliao precisa ser bem definida
no contexto e desenvolvida apropriadamente.
Sobrinho (2002) salienta que, dentre outros princpios, a avaliao precisa ser flexvel,
porque a avaliao na educao opera em realidade viva, plural, contraditria e em
permanente mudana. Ser flexvel d margens para adaptar-se, atualizar-se e desenvolver-se
enquanto processo dinmico.
Saraiva (1995) explica que a avaliao na Educao a Distncia (EaD) se caracteriza
como um processo sistemtico de levantamento e interpretao de informaes capazes de
fundamentar um julgamento de mrito e valor de um objeto, com o propsito de mant-lo,
melhor-lo ou substitu-lo.
Oliveira (2006) acrescenta que, na EaD, a avaliao pensada enquanto sistema. Isto
, ela compe o sistema de EaD conjuntamente com os sistemas de gesto, sistema de tutoria
(acompanhamento e apoio ao estudante), sistema de comunicao e tecnologia, sistema de
elaborao de material didtico (impresso, mdias, hipertexto, digital, etc.), permitindo assim,
que se avalie a proposta curricular e o impacto socioeducacional dos cursos oferecidos.
Para Azevedo (2010), a avaliao precisa ser vista como um instrumento de gesto da
qualidade das instituies de ensino e que corresponda a um processo desejado em que todos
participem em uma perspectiva de aprendizagem permanente.
Segundo esses autores, a avaliao pode ser caracterizada pelos seguintes atributos:
utilidade, flexibilidade, sistematizao, valorao e gesto. Deve ocorrer, sempre que
necessrio, em funo de objetivos claros, e servir para orientar a gesto de cursos, bem como
melhorar seus processos internos de aprendizagem.
com este ideal que o Sistema de Acompanhamento e Avaliao de Cursos (SAAS)
procura realizar suas avaliaes, mantendo uma periodicidade constante no levantamento de
dados, via sistema Web, com processos sistematizados e apresentando seus resultados de
forma clara e prtica para a atuao gerencial. Esse sistema Web possibilita que todos os
atores, tanto nas instituies que oferecem cursos quanto em cada um dos polos que acolhem
os encontros presenciais, acessem os questionrios para as respectivas avaliaes e que as
respostas sejam coletadas e processadas de maneira centralizada.
Este artigo est organizado da seguinte forma: a segunda seo apresenta o Sistema de
Acompanhamento e Avaliao de Cursos (SAAS), a terceira seo mostra a arquitetura do

SAAS, a quarta seo apresenta exemplos de resultados do SAAS e a quinta seo traz
consideraes sobre o sistema para avaliao e gesto dos cursos na modalidade EaD.
2 Sistema de Acompanhamento e Avaliao de Cursos (SAAS)
A Rede e-Tec Brasil (2015) vem desenvolvendo aes visando o aprimoramento,
ampliao e consolidao da oferta de ensino tcnico na modalidade a distncia, na periferia
das reas metropolitanas e no interior do pas. Uma das principais aes desenvolvidas o
Sistema de Acompanhamento e Avaliao de Cursos para a Rede e-Tec Brasil (SAAS).
O SAAS oferece um processo de operacionalizao de acompanhamento e avaliao
que abrange todos os cursos tcnicos oferecidos pela Rede e-Tec, com o objetivo de levantar
potencialidades e fragilidades dos cursos e do processo de ensino-aprendizagem.
O SAAS foi desenvolvido com base em trs princpios: flexibilidade para suportar
adequadamente s variaes nas demandas; abrangncia na coleta e agilidade nos resultados;
e transparncia ou democratizao no acesso aos resultados. Todos os avaliadores podem ter
acesso a todos os resultados quantitativos, podendo avaliar a situao do seu polo ou curso em
relao a outros polos e cursos. Ou, ainda, resultados referentes a uma disciplina e compar-la
com o conjunto de disciplinas de um curso ou com o conjunto de disciplinas oferecidas pela
instituio.
Alm de subsidiar a coordenao geral da Rede e-Tec Brasil com informaes em
nvel macro, o SAAS permite aos gestores das instituies ofertantes de cursos realizarem
avaliaes just in time, pois a coleta de dados on-line. Assim como os relatrios
avaliativos tambm so obtidos por meio de consulta on-line. Estas caractersticas permitem a
flexibilidade na coleta de dados, pois um gestor pode avaliar seu curso, disciplinas e polos
periodicamente. E, quando necessrio, pode gerar relatrios avaliativos para subsidiar a
interlocuo com os diferentes nveis de gesto como, por exemplo: diretorias SETEC/MEC,
coordenao Institucional, coordenao do Curso e, naturalmente, parceiros nas esferas
estadual e municipal.
Os resultados avaliativos fornecem informaes para subsidiar a coordenao geral da
Rede e-Tec Brasil na conduo das questes envolvendo polticas e alocao de recursos
tcnicos e financeiros, mas tambm podem apoiar a gesto dos cursos nas instituies
ofertantes para a busca de melhoria contnua. E, adicionalmente, permite que as instituies
tenham uma viso prvia da sua situao frente aos critrios adotados pelas avaliaes
regulatrias, os quais determinam os requisitos para a abertura e manuteno de polos,
aprovam a reedio de cursos e respectivos oramentos.
Nos quatro anos de desenvolvimento foi possvel implementar cumulativamente vrias
estratgias, onde so coletados dados desde a entrada dos estudantes at sua sada da
instituio de ensino (Figura 1). Este sistema permite identificar, acompanhar e avaliar seus
focos de interesse de forma sistemtica. Assim, o SAAS faz a identificao dos estudantes no
questionrio socioescolar e acompanha sua trajetria nos mdulos evaso e egressos. Alm
disso, a instituio acompanhada em seu processo de ensino-aprendizagem pelas avaliaes
de curso, polo e disciplina, realizadas por seus respectivos mdulos.

Figura 1 - Acompanhamento e Avaliao do Processo de Ensino-Aprendizagem

Em um primeiro momento o estudante responde s questes do questionrio


Socioescolar que permite conhecer o perfil dos ingressantes dos cursos. E, assim, podem ser
tomadas medidas para suprir algumas dificuldades reais dos estudantes como, por exemplo: as
atividades presenciais devem considerar a existncia de estudantes que trabalham e residem
longe do polo; ou ainda, o tipo de transporte utilizado regularmente para chegar ao polo,
considerando a possibilidade de viabilizar um micro-nibus ou nibus, se for o caso.
Durante o perodo de sua formao os estudantes, juntamente com o corpo pedaggico
e os gestores institucionais, fazem uma ampla avaliao do processo de ensino-aprendizagem
envolvendo as disciplinas, os polos e o curso, permitindo aos gestores a troca de experincias
frente s solues encontradas para as fragilidades detectadas na avaliao. Por exemplo, na
avaliao do polo pode-se obter informaes sobre os horrios de funcionamento da
biblioteca do polo possibilitando atender queles que trabalham.
Quando o estudante obtm sua certificao ento considerado um egresso do curso.
E nesta condio faz a avaliao da formao recebida e informa instituio sobre sua
condio frente ao mundo do trabalho. Isto permite instituio promover o desenvolvimento
econmico formando tcnicos qualificados s necessidades locais ou regionais.
Outra questo relevante para o acompanhamento a evaso nos cursos. Assim, os
estudantes que estiverem em situao de risco de abandonar o curso podem receber ateno
especial para promover sua permanncia. Este mdulo, atualmente em fase final de
desenvolvimento, ser disponibilizado brevemente.
Pode-se dizer que as informaes disponibilizadas pelo SAAS buscam efetivamente
apoiar a gesto no sentido de promover a qualidade dos cursos da Rede e-Tec.

3 Arquitetura do SAAS
O SAAS composto por trs mdulos: avaliao, egressos e evaso. Alm disso,
existe uma interface desenvolvida para entrada dos dados no sistema. Os dados recebidos por
essa interface representam o conjunto de informaes que cada instituio possui de:
estudantes (nome, e-mail, cpf, entre outras informaes), professores, tutores e
coordenadores. Tanto estes dados como o resultado produzido por cada mdulo so
armazenados na estrutura do banco de dados BD kernel do sistema.

Figura 2 - Arquitetura do SAAS

3.1 Perfil dos ingressantes


O SAAS mantem um histrico de todos os estudantes que ingressam nos cursos
tcnicos vinculados s instituies que ofertam cursos da Rede e-Tec. Este histrico
definido pelo questionrio Socioescolar que tem sido aplicado semestralmente desde 2013/2.
O estudante responde s questes deste questionrio somente uma vez, logo ao iniciar o curso.
Nele so consideradas quatro dimenses complementares: caractersticas pessoais;
caractersticas familiares; caractersticas escolares; e outras.
3.2 Mdulo avaliao
Este mdulo foi desenvolvido em sintonia com o Sistema Nacional de Avaliao da
Educao Superior institudo em 2006 (SINAES, 2015), porm observando as especificidades
da modalidade EaD. Foram definidos trs focos, distintos e complementares: curso, polo e
disciplina. Cada foco abrange um conjunto de dimenses avaliativas que, por sua vez, so
compostas por tpicos com questes especficas. A Figura 3 apresenta uma viso geral dos
focos e dimenses do Mdulo Avaliao.
Figura 3 - Focos e dimenses do mdulo avaliao

A Figura 4 apresenta o perfil dos avaliadores e quais focos avaliam no mdulo


avaliao. Para cada um desses avaliadores foram concebidos questionrios com perguntas
especficas que permitem avaliar disciplinas, polos e cursos.
Figura 4 - Avaliadores e respectivas participaes

a) Avaliao do curso

Os cursos so avaliados em cinco dimenses que se desdobram em um total de 19


tpicos e suas questes especficas conforme o perfil do avaliador. As dimenses so:
formatao e implantao do curso, coordenao/gesto, infraestrutura, recursos
humanos/pessoas, ambiente virtual de ensino-aprendizagem e corpo discente. Por exemplo,
no caso da dimenso formatao e implantao so avaliados os seguintes tpicos: projeto
pedaggico, currculo, articulao com outros programas, carga horria e atividades
presenciais.
b) Avaliao do polo

Os polos so avaliados em quatro dimenses que se desdobram em um total de 10


tpicos e suas questes especficas conforme o perfil do avaliador. As dimenses so:
infraestrutura, biblioteca, laboratrios e recursos humanos. No caso da infraestrutura so
considerados os seguintes tpicos: instalaes fsicas, recursos tecnolgicos, disponibilidade
de equipamentos e horrios de funcionamento do polo.
c) Avaliao da disciplina

As disciplinas so avaliadas em trs dimenses que se desdobram em um total de 11


tpicos e suas questes especficas conforme o perfil do avaliador. A dimenso material
didtico abrange os seguintes tpicos: frequncia de uso, contedo e forma, e avaliao global
do material didtico.
3.3 Mdulo egressos
O mdulo egressos visa levantar dados e informaes da atuao profissional dos
egressos no mundo do trabalho, aps a obteno da certificao. A coleta de dados tem uma

periodicidade semestral, e busca acompanhar a trajetria dos egressos durante vinte e quatro
meses aps a concluso do curso.
Conhecer o perfil do egresso de fundamental importncia na compreenso de como
deve ser o processo de ensino-aprendizagem ao longo de sua trajetria na instituio de
ensino, alcanando as competncias profissionais necessrias para o exerccio da profisso.
Este mdulo considera que o egresso pode estar inserido no mundo do trabalho por meio de
quatro dimenses distintas: a) Trabalhando; b) Estudando; c) Nem trabalhando e nem
estudando (desempregado); e d) Trabalhando e estudando. Cada dimenso se desdobra em
tpicos com questes especficas. Os tpicos das dimenses so: 1. Residncia; 2.
Empregabilidade; 3. Continuidade dos Estudos; e 4. Feedback para o Curso.

3.4 Mdulo evaso


O mdulo evaso est em fase de construo e ser alimentado com informaes do
mdulo avaliao e do questionrio sobre o perfil dos estudantes ingressantes na Rede e-Tec
(Questionrio socioescolar). Este mdulo informar aos coordenadores de cursos, atravs de
indicadores, quais ofertas apresentam uma possibilidade maior de evaso. Assim, ser
possvel apoiar os coordenadores nas aes e iniciativas de preveno do abandono discente
ao curso.

3.5 BD Kernel do sistema


O kernel de aquisio de dados refere-se estrutura do banco de dados do sistema.
Nele so registradas as informaes de estudantes, professores, tutores, coordenadores de
curso, polo e institucional. Alm disso, os dados produzidos pelos mdulos do SAAS so
tambm armazenados no kernel do sistema. Os dados de cadastros devem ser
permanentemente atualizados pela instituio para que todos os envolvidos possam acessar e
responder os questionrios dos mdulos que compem o SAAS. O kernel composto por
diferentes estruturas para entrada de dados via interface, webservice e upload de planilhas em
formato csv. A utilizao do AVA Moodle tambm representa uma fonte de dados para envio
ao SAAS, via webservice, e uma alternativa para as instituies, uma vez que sabido que
existe certa resistncia s repetitivas solicitaes de dados por parte de rgos
governamentais. O uso de planilhas outra opo facilitadora neste sentido.

3.6 Recursos visuais


Os resultados podem ser apresentados em formatos visuais e permitem uma
identificao e anlise mais clara e pontual. Assim, o sistema permite a exibio dos
resultados em grficos de setores, mapas do Google pelo navegador, ou mapas do Google
pelo aplicativo do Google Earth. O formato de exibio dos resultados gerado quando os
cones da Figura 5 so acionados ao lado de cada questo.
Figura 5 - cones dos recursos visuais

Os resultados apresentados no mapa tanto pelo navegador quanto pelo aplicativo


caracterizam os polos de todos os cursos da Rede e-Tec distribudos no Brasil. No mapa so
utilizados pontos com as cores verde, amarelo, vermelho, branco e cinza. Os pontos verdes
representam polos onde os estudantes informaram que a situao positiva. Os pontos em
amarelo evidenciam polos que merecem ateno. Os pontos vermelhos so os polos onde a
maior parte dos estudantes informou que existem carncias. Os pontos em branco so os polos
dos quais no existem informaes sobre as avaliaes da questo analisada. Os pontos em
cinza caracterizam situaes de impasse, ou seja, no foi possvel definir a situao do polo
entre as cores verde, amarelo e vermelho porque no h predominncia relevante nas
respostas dadas questo analisada.

4 Exemplos de relatrios gerenciais do SAAS


Os resultados apresentados nesta seo objetivam ilustrar alguns aspectos avaliados
nos cursos da Rede e-Tec, durante o ano de 2014.

4.1 Resultados gerais sobre os ingressantes


De maneira geral, os dados do perfil dos ingressantes mostram que os estudantes do
sexo feminino apresentam um percentual um pouco maior do que o masculino. Um pouco
menos da metade dos estudantes so solteiros. Em torno de 25% somente estuda. E entre os
que trabalham em torno 33% so servidores pblicos e 30% trabalham na empresa privada.
Aproximadamente 40% dos ingressantes responsvel pela renda familiar, e 70% no
tiveram experincia em cursos na modalidade EaD. Estas caractersticas diferem-se do perfil
dos estudantes de cursos tcnicos presenciais e devem ser consideradas no projeto politico
pedaggico e na implementao de um curso na modalidade a distncia.
Os motivos que levam os estudantes ingressantes a realizar um curso tcnico so,
principalmente, a preparao para o mercado de trabalho. Alm disso, eles esperam que sua
condio financeira seja melhor aps a formao. Quando eles entram no curso tcnico cerca
de 60% esto trabalhando com uma relao forte ao curso que est sendo realizado.

4.2 Resultados gerais da avaliao de cursos


A Figura 6 apresenta os resultados sobre a dimenso formatao e implantao
mostrando: se o curso oferece uma formao ampla e qualificada aos estudantes, e se atende
s necessidades de mo de obra local ou regional.
possvel perceber que os gestores tendem a uma avaliao mais positiva do que os
estudantes, tutores e professores. No que se refere formao ofertada e ao atendimento da
mo de obra local, os estudantes apontaram um percentual menor que a avaliao dada pelo
corpo gestor (coordenadores) e pedaggico (professor e tutor).

Figura 6 - Avaliao da dimenso formatao e implantao (2014/2)

4.3 Resultados gerais da avaliao de polos


Segundo Cislaghi et al. (2014), pesquisas sobre a avaliao de polos tm sido
essenciais para propor procedimentos que possam melhorar tanto os cursos em andamento
como as novas ofertas de polos. Alm disso, a partir de processos avaliativos aliados a outros
sistemas possvel extrair indicadores que auxiliem na gesto dos polos em vrios aspectos,
como o acompanhamento de alunos, a qualidade e a satisfao, infraestrutura do polo e a
disponibilizao de recursos materiais, entre outros.
Os resultados observados na Figura 7 apresentam dados gerais da avaliao dos polos
em relao infraestrutura. Essa avaliao foi realizada por 9.318 estudantes, em 2014/2.
Figura 7 - Avaliao da infraestrutura do polo (2014/2)

Em relao s instalaes fsicas do polo, os estudantes informaram que 40,9% dos


programas instalados nos computadores e 31% das bibliotecas esto plenamente adequados.
Tambm se observou que em torno de 16,7% dos estudantes informaram que h inexistncia
de uma rea de convivncia e lazer, e de biblioteca no polo.
Alm disso, tambm foi avaliada a adequao dos recursos tecnolgicos como, por
exemplo, a velocidade da internet (Figura 8). Onde 63,5% dos estudantes apontaram que a
velocidade da internet no adequada no polo. Os pontos vermelhos indicam os polos onde a
maior parte dos estudantes informou que existem carncias.
Figura 8 - Avaliao da velocidade da internet no polo (2014/2)

4.4 Resultados gerais da avaliao de disciplinas


Nessa seo so apresentados resultados de avaliaes sobre o material didtico feito
por 23.894 estudantes. A Figura 9 apresenta a avaliao dos materiais quanto sua forma e
contedo.
Quanto ao material didtico das disciplinas, a satisfao plena varia aproximadamente
entre 50% a 70% em relao completude e cientificidade das informaes, respectivamente.
J quanto ao contedo dos materiais, os estudantes informaram que 60% so plenamente
suficientes. Mais da metade dos estudantes informou que utilizam bastante ou se apoiam nos
cadernos digitais e cadernos impressos. No entanto, aproximadamente 20% informou que no
foram disponibilizados cadernos impressos. Principalmente nos cursos na modalidade a
distncia, os materiais didticos necessitam ser adequados e significativos, e
permanentemente atualizados. Os gestores e professores devem garantir uma logstica para
disponibilizar em tempo adequado os materiais didticos para os estudantes.

Figura 9 - Avaliao dos materiais quanto a sua forma e contedo

4.5 Resultados sobre os egressos


Depois de formados cerca de 80% dos egressos esto inseridos no mundo do trabalho.
Destes, 45% afirmam que existe uma relao forte entre seu trabalho atual e a formao
recebida. Quanto capacitao profissional recebida, 70% dos egressos informaram que
compatvel com o mundo do trabalho, e que, no entanto, h poucas ou praticamente no
existem ofertas profissionais na regio do polo em que realizaram o curso. Esses resultados
evidenciam a necessidade de identificar ofertas de novos cursos de forma a atender as
demandas atuais da regio do polo.

5 Consideraes finais
A Rede e-Tec Brasil conta com um Sistema de Acompanhamento e Avaliao dos
Cursos e-Tec (SAAS) que foi desenvolvido com o objetivo de apoiar a gesto dos cursos a
partir da avaliao feita por estudantes, professores, tutores e coordenadores.
O conjunto dos mdulos avaliao, egressos e evaso garante subsdios para que a
equipe de gesto institucional tenha informaes essenciais sobre seu processo. Resultados
das avaliaes de cursos e polos, realizadas por estudantes em atividade, podem ser
combinadas e analisadas com resultados do mdulo egressos. Alm do mais, os gestores
podem consultar o perfil dos estudantes ingressantes em seu curso/instituio a partir do
questionrio socioescolar.
Todos os relatrios avaliativos podem ser obtidos por meio de consultas on-line tanto
em mquinas desktops quanto em dispositivos mveis como smartphones ou tablets. A atual
verso do sistema foi planejada para gerar resultados de avaliaes sobre a referncia
geogrfica do polo. Assim, cones no mapa do Brasil nas cores verde representam resultados

satisfatrios no polo, amarelo resultados que merecem ateno, vermelho resultados que
necessitam ser revistos urgentemente. Os resultados apresentados neste formato mais intuitivo
permitem uma flexibilidade e uma leitura mais dinmica. A flexibilidade se encontra na
possibilidade de gerar consultas de interesse e realizar as anlises at mesmo em modo off-
line, e dinmico porque capaz de sintetizar qualquer resultado das avaliaes no contexto
georreferenciado.
O SAAS tem mobilizado continuamente, junto aos gestores institucionais, a necessria
sensibilizao de todos os envolvidos nos cursos da Rede e-Tec Brasil, para que haja alto
comprometimento na participao nas diferentes modalidades de avaliaes. A participao
de todos promove resultados pontuais e efetivos que possibilitam aos gestores institucionais
conhecerem o resultado de suas prticas formativas. E, tambm, contribui para obter dados
concretos que auxiliem no planejamento e execuo de seus planos pedaggicos e
institucionais, promovendo cursos que sejam compatveis com a realidade do mundo do
trabalho.
Referncias
AZEVEDO, Joaquim. La evaluacin y la garanta de calidad en las instituciones de enseanza
y formacin profesional. In Retos actuales de la educacin tcnico-profesional, p. 117, 2009.
CISLAGHI, Renato; WILGES, Beatriz; NASSAR, Silvia M.; HIURA, Douglas Longo;
MATEUS, Gustavo P. Avaliao de polos sob uma perspectiva georreferenciada. XI
Congresso Brasileiro de Ensino Superior a Distncia - ESUD. Florianpolis, 2014.
OLIVEIRA, Gleyva Maria Simes de. A avaliao no sistema de educao a distncia.
Cuiab, NEAD/UFMT. 2006. Disponvel em
http://www.uab.ufmt.br/uab/images/artigos_site_uab/avaliacao_sistema_ead.pdf

REDE e-Tec Brasil. Disponvel em: http://redeetec.mec.gov.br/. Acesso: 10 mar. de 2015.


ROMISZOWSKI, Hermelina Pastor. Avaliao em Educao a Distncia: o desafio de faz-la
til. Congresso ABED: Tecnologia, treinamento e Sistemas (TTS), 2004. Disponvel em
http://www.abed.org.br/congresso2004/por/htm/045-TC-B2.htm

SAAS. Sistema de Acompanhamento e Avaliao de Cursos. Disponvel em:


<http://saas.etec.ufsc.br/> Acesso em: 5 abr. 2015.

SARAIVA, Terezinha. Avaliao da educao a distncia: sucessos, dificuldades e exemplos.


Boletim Tcnico do Senac - v. 21, n. 3, set./dez., 1995. Disponvel em
http://www.senac.br/bts/213/2103032045.pdf

SINAES. Sistema Nacional de Avaliao da Educao Superior. Disponvel em:


http://portal.mec.gov.br/index.php/?id=12303&option=com_content. Acesso em: 10 mar.
2015.

SOBRINHO, Jos Dias. Universidade e Avaliao: entre a tica e o mercado. Ed. Insular,
Florianpolis, 2002.
Esta obra envolveu pesquisadores e participantes das seguintes instituies:
Universidade Federal de Santa Catarina - UFSC
Universidade do Sul de Santa Catarina - UNISUL

You might also like