Gest. Prod.

, So Carlos
http://dx.doi.org/10.1590/0104-530X2089-16

O problema de seleo de portflio de projetos

de pesquisa em instituies de ensino:
um estudo de caso

The problem of research project portfolio selection in educational

organizations: a case study

Maria Celeste de Carvalho Ressiguier Ribeiro1

Alex da Silva Alves2

Resumo: Este estudo prope um modelo para apoiar o processo decisrio na seleo de propostas de projetos
de pesquisa cientfica em uma instituio de ensino e pesquisa. Na construo do modelo foi utilizado o mtodo
Analytic Hierarchy Process (AHP), combinando tcnicas de mensurao relativa e absoluta. Tal combinao
tornou possvel tratar um grande nmero de projetos e mensurar, mais facilmente, todas as variveis do problema
de seleo. Como procedimento de pesquisa utilizou-se o estudo de caso, baseando-se em pesquisa exploratria,
seguida de uma abordagem de modelagem quantitativa. Adicionalmente, empregaram-se pesquisa documental e
entrevistas no estruturadas, a fim de compreender melhor o contexto da pesquisa e os objetivos institucionais e
propor adaptaes mais consistentes nos critrios de seleo de projetos de solicitao de bolsas e recursos para
pesquisa na instituio. Este estudo contribui para a escolha de propostas de projetos de pesquisa mais aderentes
aos objetivos institucionais, permitindo que gestores de instituies de ensino lidem com o problema de alocao
de recursos limitados face o grande nmero de demandantes de projetos.
Palavras-chave: Apoio multicritrio deciso; AHP; Gerenciamento de portflio de projetos; Avaliao da pesquisa
cientfica; Seleo de projetos.

Abstract: This paper proposes a model to support decisions in scientific-research project portfolio selection in
an educational institution. We used the Analytic Hierarchy Process (AHP) method for development of this model,
combining relative and absolute measurement techniques. That combination allowed us to handle a large number
of projects and to measure, in an easier way, all variables in the selection. Our research procedure was a case
study based on exploratory research and followed by a quantitative modeling approach. Additionally, we performed
documental research and conducted non-structured interviews to better understand the research setting and institutional
goals. This contributes to propose a more consistent tailoring grant-request and research-funding project selection
criteria. This paper contributes to sort out research project proposals that best adhered to the organizations goals,
allowing educational-organization managers to handle the problem of limited-resource allocation in the context
of large number of project requests.
Keywords: Multicriteria support to decision-making; AHP; Project portfolio management; Scientific research
evaluation; Project selection.

1 Introduo
Em decorrncia da velocidade e do dinamismo do
mundo dos negcios, as organizaes contam cada vez
mais com projetos para conduzir as aes necessrias
para alcanarem seus objetivos. Consequentemente,
os projetos vm crescendo no somente em volume
mas tambm em complexidade. Para fazer frente
crescente demanda por projetos, surge o conceito de
Gerenciamento de Portflio de Projetos, ou Project
Portfolio Management (PPM). Tal conceito proporciona
um conjunto de ferramentas para assegurar que
uma coleo de projetos possa ser avaliada visando
a priorizao na alocao de recursos, ao alcance
de um portflio de projetos alinhado s estratgias
organizacionais (Project Management Institute, 2013).

1
Instituto Federal Fluminense IFF, Campus Campos Centro, Rua Dr. Siqueira, 273, Pq. Dom Bosco, CEP 28030-130, Campos dos
Goytacazes, RJ, Brasil, e-mail: celestecrr@gmail.com
2
Departamento de Economia, Administrao e Sociologia, Escola Superior de Agricultura Luiz de Queiroz, Universidade de So
Paulo USP, Avenida Pdua Dias, 11, CEP 13418-900, Piracicaba, SP, Brasil, e-mail: alexds.alves@usp.br
Recebido em Mar. 24, 2015 - Aceito em Out. 3, 2015
Suporte financeiro: Nenhum.
2 Ribeiro, M. C. C. R.etal.
Entretanto, a quantidade de ideias e projetos que
surgem nas organizaes normalmente superior
disponibilidade de recursos. Esse fato requer de um
mtodo para apoiar o processo de seleo, como os
mtodos multicritrios (Archer & Ghasemzadeh,
1999; Almeida & Duarte, 2011; Carvalho et al.,
2013). Trata-se de requisito ainda mais necessrio
para as organizaes pblicas, responsveis pela
administrao de recursos pblicos que devem gerar
resultados satisfatrios para a sociedade.
Esse um desafio enfrentado pelos gestores do
Instituto Federal de Educao, Cincia e Tecnologia
Fluminense (IF Fluminense ou IFF). O IFF uma
autarquia federal que atua nas atividades de ensino,
pesquisa e extenso no estado do Rio de Janeiro.
Sua abrangncia compreende os municpios das
regies Norte Fluminense, Noroeste Fluminense
e Baixadas Litorneas e da regio Metropolitana.
A rea de pesquisa do IFF tem como uma de suas
atribuies o controle da concesso de bolsas de
incentivo pesquisa cientfica. Trata-se da distribuio
de recursos escassos para atender crescente demanda
de projetos de pesquisa oriundos dos proponentes.
Tais projetos so submetidos avaliao segundo
mltiplos critrios.
O problema apresentado pela instituio, portanto,
consiste na falta de um modelo sistematizado de seleo
de projetos que possa garantir a alocao mais eficiente
de recursos. Tais projetos, alm de satisfazerem os
critrios necessrios para gerar, adensar e disseminar
o conhecimento cientfico, tambm devem se adequar
aos propsitos institucionais. O presente estudo
trata do problema de deciso que surge ao longo do
processo de avaliao de elevado nmero de projetos
de pesquisa envolvendo mltiplas variveis. Tem-se
como desafio, portanto, a seleo das propostas de
projetos que apresentem maior convergncia com os
propsitos da instituio.
Como objetivo geral, este estudo prope uma
soluo para o problema de seleo de projetos
de pesquisa em instituies de ensino atravs do
mtodo de apoio multicritrio deciso, o Analytic
Hierarchy Process (AHP), cuja aplicao combina a
mensurao relativa com a absoluta. Como objetivos
especficos deste estudo, destacam-se: a) Identificar
o estado da arte em apoio multicritrio deciso que
possa orientar os tomadores de deciso em gesto
de ensino envolvidos nos processos de priorizao
e seleo de projetos de pesquisa; b) Reestruturar os
critrios utilizados na avaliao da pesquisa cientfica
e identificar os aspectos considerados em cada critrio,
visando o atendimento dos objetivos da instituio e a
qualidade da pesquisa; e c) Caracterizar o contexto sob
a ptica multicritrio, a fim de verificar a adequao
do mtodo multicritrio adotado ao problema tratado.
Este estudo enfocou a seleo de propostas de
projetos de pesquisa bsica e aplicada. Os critrios
Gest. Prod., So Carlos
de avaliao deveriam estar em consonncia com os
objetivos e a misso da instituio. Considerou-se
um ambiente organizacional no qual os objetivos e a
misso institucional estivessem previamente definidos.
A presente pesquisa contribui para estimular a prtica
de mtodos de anlise multicritrio de deciso por
gestores de empresas pblicas e privadas para lidar
com problemas complexos de deciso em projetos de
pesquisa. A questo levantada pela atual pesquisa foi
a seguinte: Como priorizar e selecionar os projetos de
pesquisa mais alinhados aos objetivos da instituio
atravs dos mtodos de Apoio Multicritrio Deciso
(AMD)? As sees seguintes descrevem o referencial
terico que serviu de base para o desenvolvimento
desta pesquisa, a metodologia utilizada, o resultado
da aplicao do modelo e as consideraes finais.
2 Referencial terico
2.1 Apoio multicritrio deciso
Os primeiros mtodos cientficos de apoio deciso
foram criados a partir da dcada de 1970. Tais mtodos
surgiram da necessidade de incorporar as vrias
dimenses de um problema, as quais envolviam tanto
aspectos quantitativos quanto qualitativos do processo
de tomada de deciso. Esses mtodos consideram
a subjetividade do tomador de deciso e permitem
avaliar as alternativas com base na modelagem das
preferncias dos decisores para o alcance de uma
soluo satisfatria (Gomesetal., 2004).
A utilizao dessa metodologia permite lidar com
a complexidade do problema de uma forma mais
simples. Alm disso, favorece a comunicao entre
as pessoas envolvidas e aumenta a credibilidade da
deciso, graas transparncia da tomada de deciso,
uma vez que as preferncias dos agentes de deciso so
externadas, levando-os a uma relao de compromisso
no processo decisrio (Gomesetal., 2002).
De acordo com Vincke (1992), especialistas
em AMD classificaram os mtodos AMD em trs
grandes famlias: Teoria da Utilidade Multiatributo,
Mtodos de Subordinao e Mtodos Interativos.
As duas primeiras famlias so conhecidas como
escola americana e escola francesa, respectivamente.
Observa-se em Gomesetal. (2002) que essas escolas
se diferenciam pela estrutura de preferncias em que
se baseiam. Tais estruturas resultam da combinao
de relaes de preferncias estabelecidas e de suas
propriedades.
De acordo com os autores referidos, os mtodos da
escola americana se apoiam numa estrutura relacional
de preferncia que no admite a incomparabilidade
e permite a transitividade na relao de preferncia.
Isso torna possvel a agregao dos desempenhos das
alternativas obtidos nos vrios critrios num nico
valor, critrio nico e sntese. Os mtodos da escola
francesa admitem a incomparabilidade. Tais mtodos
O problema de seleo de portflio de projetos...
se aplicam situao na qual se necessita incorporar
limites de tolerncia para representar a hesitao do
decisor na emisso de suas preferncias.
Em relao aos Mtodos Interativos, por outro
lado, Roy & Slowinski (2013) mencionam que eles
contemplam duas fases: clculo e dilogo. A fase
de dilogo permite ao tomador de deciso fornecer
suas preferncias caso no concorde com o resultado,
repetindo-se o ciclo at que se encontre um resultado
que o satisfaa.
Segundo Roy (2005), na prtica, a aplicao do
AMD atende s seguintes problemticas: problema
de escolha, problema de classificao e problema de
ordenao. Pode haver uma dependncia entre essas
problemticas (Gomes et al., 2004). Tal situao alternativas, presente na problemtica deste trabalho.
se assemelha a este trabalho, o qual consistiu no
problema de ordenao das alternativas, da melhor
pior, em funo da contribuio dos projetos de a mensurao absoluta para tratar uma grande
pesquisa no atendimento dos objetivos institucionais
e de qualidade das pesquisas. O resultado garantiu
aos gestores uma escolha satisfatria de um conjunto
de alternativas potenciais.
Foram encontradas na literatura pesquisada vrias
aplicaes recentes em seleo de projetos. Como
exemplo, pode-se citar o trabalho de Lima et al.
(2014), que utilizaram o mtodo Preference Ranking
Organization Method for Enrichment Evaluations
I (PROMETHEE I) visando priorizar os projetos
numa empresa de saneamento e tratamento de guas.
Tambm, os autores Lpez & Almeida (2014) aplicaram
o mtodo PROMETHEE V para seleo de portflio
de projetos do setor eltrico, caracterizado por um
problema de ordenao. Em ambas as aplicaes
levaram em conta a racionalidade no compensatria
da deciso existente no problema.
De acordo com Silvaetal. (2014), os mtodos
compensatrios permitem que uma m avaliao obtida
pela alternativa em algum critrio seja compensada em
outros. Destaca-se ainda, a aplicao de outro mtodo
da mesma famlia PROMETHEE, o PROMETHEE II,
empregado por Arajo & Almeida (2009) na seleo
de investimentos em petrleo e gs para atender um
problema de ordenao. Tais mtodos no se aplicam
ao presente trabalho, no qual h necessidade de se
fazer uma abordagem compensatria na mensurao
dos critrios.
Acrescenta-se, tambm, a aplicao do mtodo
Analytic Network Process (ANP) por Ivanovietal.
(2013) na seleo de projetos na rea de transportes,
considerando as interaes e correlaes entre os
elementos existentes no problema de deciso. Omesmo
mtodo foi usado por Cheng & Li (2005) para
ordenao e seleo de projetos na rea de construo. um nmero reduzido de nveis e critrios de modo
Tambm levaram-se em conta as interdependncias
existentes no problema, diferentemente do problema
em questo, no qual os critrios so independentes.
3
Nevesetal. (2015) apontaram o AHP como o mtodo
multicritrio mais utilizado na rea de planejamento
e gesto da indstria de petrleo e gs. Mxasetal.
(2013) adotaram o AHP para a seleo dos sistemas
integrados de gesto (ERP) e constataram que esse
mtodo um dos mais utilizados na seleo de sistemas
ERP. Outro exemplo o da aplicao do AHP com
programao inteira por Padovanietal. (2010) na
seleo e alocao de recursos para o portflio de
projetos no setor qumico. A integrao dos dois
mtodos ajudou no alinhamento do portflio, na
priorizao dos projetos e na alocao dos recursos.
Os autores alertam sobre a inviabilidade do mtodo
para problema que apresente um nmero elevado de
Entretanto, Saaty (2005) sugere a adoo do
AHP mesclando-se a mensurao relativa com
quantidade de alternativas. Essa soluo atendeu
problemtica deste trabalho, permitindo mensurar
de forma compensatria os critrios qualitativos e
avaliar as alternativas em cada critrio com valores
absolutos. A seo seguinte apresenta uma breve
descrio desse mtodo.
2.1.1 O mtodo AHP
O mtodo AHP foi criado na dcada de 1970 por
Thomas L. Saaty. Esse mtodo consiste na criao
de um modelo que reflete o funcionamento da mente
humana na avaliao das alternativas diante de
um problema complexo de deciso. Alm disso, o
mtodo permite lidar com problemas que envolvem
tantos valores tangveis como intangveis, graas a
sua capacidade de criar medidas para as variveis
qualitativas, com base em julgamentos subjetivos
emitidos pelos decisores (Saaty, 1991). De acordo
com Paoli & Moraes (2011), o mtodo AHP permite
medir o impacto dos diferentes critrios considerados
no problema decisrio em relao ao objetivo geral.
um dos mtodos mais conhecidos e utilizados da
escola americana (Gomesetal., 2002).
De acordo com Saaty (1990), o AHP permite modelar
o problema de deciso em uma estrutura hierrquica.
Tal modelo, partindo do objetivo principal, se decompe
em vrios critrios, formando uma nova camada. Cada
critrio de um mesmo nvel pode ser composto em dois
ou mais critrios, e assim sucessivamente, tornando
mais fcil o tratamento e a compreenso do problema.
Cada critrio posicionado na extremidade inferior da
estrutura, ou seja, critrio-folha, decomposto em
alternativas. Isso permite que cada alternativa seja
avaliada luz de cada critrio-folha. Recomenda-se
a no comprometer a compreenso do problema
(Gomesetal., 2004). A Figura1 mostra a estrutura
hierrquica do AHP.
4 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos

Uma vez estruturado o problema, realiza-se a coleta
de julgamento das preferncias dos decisores. Nesse
caso, todos os critrios imediatamente subordinados
a um mesmo critrio so organizados numa matriz
quadrada, de forma que eles possam ser comparados
pelos decisores, conforme a representao genrica
mostrada na Tabela1.
A Tabela 1 mostra uma matriz quadrada de
ordem n, cujos critrios so representados por
C1 a Cn. Osjulgamentos entre os critrios formam
uma matriz A = (aij), onde as posies de linha (i) e
coluna (j)variam de 1 a n. O julgamento aij segue
as seguintes regras:
Regra 1: Se aij = , ento aji = 1/, 0, onde
o valor numrico do julgamento baseado na
escala de Saaty (1991), apresentada no Quadro1.
Logo, temos aji = 1/aij.
Regra 2: Se Ci julgado de igual importncia
relativa a Cj, ento aij = 1 e aji = 1; e, em particular,
aij = 1, i = j, i = 1, 2, ..., n.
Ao se comparar o critrio Ci e Cj, deve-se primeiro
identificar qual o elemento mais importante. E, em
seguida, o quanto ele o mais importante. Caso Ci
seja mais importante do que Cj, ento aij = e aji = 1/.
Caso contrrio, aij = 1/ e aji = .
Conforme Saaty (1991), aps se realizar o julgamento,
calcula-se a prioridade mdia local (PL). O valor da
PL determina a importncia de cada critrio em relao
ao critrio superior imediato. O clculo das PL dos
elementos (critrios ou alternativas) representados na
matriz de julgamento pode ser realizado atravs do
mtodo exato ou aproximado (Saaty, 1991). Deacordo
com Vargas (2010), o mtodo aproximado to
eficiente quanto o exato, porm de implementao
mais simples. O clculo das PL utilizando o mtodo
aproximado mostrado na Tabela2, na qual se nota
que o clculo atribudo a w1, w2, ..., wn representa,
respectivamente, a PL do critrio C1, C2, ..., Cn.
Saaty (1991) verificou que uma matriz de julgamento
recproca e positiva A = (aij) cujos julgamentos emitidos
pelos decisores so considerados perfeitos gera uma
matriz consistente, onde aik = aij . ajk, i, j, k = 1, 2, ...,
n. A ocorrncia desta situao satisfaz Equao 1:
Aw = nw (1)

em que: w o autovetor de A, que corresponde ao

vetor de prioridades (w1, w2, ..., wn); e n o maior
Figura 1. Estrutura hierrquica do AHP. Fonte: Adaptado de
Saaty (1990, 1991). autovalor de A, cujo valor o nmero de ordem da
matriz de julgamentos.
Tabela 1. Matriz de julgamento luz de um determinado Entretanto, de acordo com Saaty (1991), na
critrio imediatamente superior. prtica pode haver inconsistncias nos julgamentos.
C1 C2 ... Cn Oreferido autor observou que pequenas variaes
em aij refletem no autovalor. O desvio do autovalor
C1 a11 a12 ... a1n
em relao ordem da matriz serve de indicador para
... ... ... ... ... determinar a proximidade da consistncia. Sendo
Cn an1 an2 ... ann assim, Saaty (1991) props o clculo da razo de
Fonte: Adaptado de Vargas (2010). consistncia Consistency Ratio (CR) admitindo
Quadro 1. Escala de importncia utilizada no julgamento do AHP.
Grau de importncia
Escala Escala Explicao
numrica conceitual
1 Igual Os dois elementos comparados contribuem igualmente para o objetivo.
3 Moderada O elemento comparado ligeiramente mais importante em relao ao outro.
A experincia e o julgamento favorecem fortemente o elemento em relao
5 Forte
ao outro.
O elemento comparado muito mais forte em relao ao outro e tal
7 Muito forte
importncia pode ser observada na prtica.
O elemento comparado possui o mais alto nvel de evidncia possvel a seu
9 Absoluta
favor.
Valores intermedirios entre dois julgamentos, utilizados quando o decisor sentir dificuldade
2, 4, 6, 8
para o escolher entre dois graus de importncia adjacentes.
Fonte: Adaptado de Saaty (1990, 1991).
O problema de seleo de portflio de projetos... 5

uma tolerncia de 10%. Para valores acima desse, o
julgamento deve ser refeito.
O passo seguinte consiste em verificar a consistncia
dos julgamentos. Vargas (2010), baseando-se na proposta
de Saaty, adota os seguintes passos para o clculo
do CR: por meio da Equao 2, abaixo, calcula-se
o maior autovalor da matriz de julgamento (Max).
n deciso. Um exemplo do modelo clssico da aplicao
Max
= t j . w j (2)
j =1
critrio-folha e determinam-se suas PL. Finalmente,
a PG de cada alternativa resulta no somatrio dos
produtos da PL relativa a cada critrio-folha pela PG
desse critrio. Os valores da PG, gerados pelo AHP,
determinam o fator percentual de importncia dos
critrios e alternativas para se alcanar o objetivo
principal com base nas preferncias dos agentes de
do AHP pode ser visto em Vargas (2010).

em que: tj o total dos julgamentos do critrio

representado pela coluna j da matriz original de
julgamentos (Tabela1); e wj a prioridade do mesmo
critrio, associado a linha j da matriz normalizada
(Tabela2).
Conforme a Equao 3, calcula-se o ndice de
consistncia Consistency Index (CI), como segue.
Max n (3)
CI =
n 1
em que: n o nmero de ordem da matriz de julgamento.
A seguir, como demonstra a Equao 4, calcula-se
a razo de consistncia (CR).
CI
CR =
RI
em que Random Index (RI) o ndice de consistncia
de uma matriz recproca gerado randomicamente
pelo laboratrio Oak Ridge, como se observa na
Tabela3. A ordem da matriz (n) determina o ndice
a ser aplicado.
Segundo Vargas (2010), aps calcular as PL
dos critrios, calcula-se a prioridade global (PG)
de cada critrio. A PG de cada critrio calculada
multiplicando-se sua prpria PL pelas demais PL dos
critrios hierarquicamente superiores. A PG encontrada
determina a contribuio relativa do critrio para se
alcanar o objetivo principal.
Conforme Vargas (2010) adota-se o mesmo
procedimento de clculo de PL para as alternativas.
Nesse caso, realiza-se a comparao entre o grau de
importncia entre as alternativas em relao a cada
2.1.2 O mtodo AHP: mensurao relativa
com absoluta
Segundo Saaty (2005), o mtodo AHP se torna
invivel para problemas que envolvam um grande
nmero de alternativas, o que implica um maior nmero
de comparaes entre as alternativas em cada critrio.
Para solucionar tal problema. o referido autor sugere
a utilizao da mensurao absoluta combinada com
a mensurao relativa do AHP.
Ainda, segundo Saaty (1990), a mensurao
absoluta aplicada quando se pretende mensurar os
elementos em cada critrio com base numa escala
conceitual. Primeiramente deve-se estabelecer a
(4) escala conceitual como, por exemplo: excelente,
muito bom, bom, mdio, regular e pssimo.
De acordo com o referido autor, aps a escala
nominal a ser considerada em cada critrio ser
definida, devem-se mensurar as escalas em funo da
importncia para o critrio relacionado. Na mensurao
das escalas adota-se o mesmo procedimento de
julgamento e clculo de PL.
Nesse caso, segundo Saaty (1990), ao se montar a
matriz de julgamento os elementos da escala devem
ser organizados do melhor para o pior, dispondo-os
nas colunas da esquerda para direita e nas linhas de
cima para baixo. A PL gerada para cada elemento
da escala nominal usada na converso dela para
o seu valor numrico. Esse o valor absoluto a ser
atribudo na avaliao do critrio para a alternativa.
Conforme Saaty (1990) a mensurao global de
cada alternativa resultante do produto da PG do

Tabela 2. Clculo das prioridades mdias locais em relao a determinado critrio imediatamente superior.
C1 C2 ... Cn PLs
C1 w11= a11 / t1 w12=a12 / t2 ... w1n=a1n / tn w1=(w11+...+w1n)/ n
C2 w21=a21 / t1 w22 =a22 / t2 ... w2n=a2n / tn w2=(w21+...+w2n)/ n
... ... ... ... ... ...
Cn wn1=an1 / t1 wn2 = an2 / t2 ... wnn=ann / tn wn=(wn1+...+wnn)/ n
tj = o total da coluna j da matriz de origem dos julgamentos A = (aij), j, i = 1, ..., n. Fonte: Adaptado de Vargas (2010).

Tabela 3. Tabela de ndices de consistncia aleatria.

n 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
RI 0,00 0,00 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,48 1,56 1,57 1,59
Fonte: Saaty (1991).
6 Ribeiro, M. C. C. R.etal.
critrio-folha dada pela mensurao relativa do
AHP pela mensurao absoluta da alternativa no
respectivo critrio. O desempenho da alternativa
determina a sua prioridade. Quanto maior for o seu
desempenho, melhor a alternativa. Isto permite
gerar um ranking descendente de prioridades das
alternativas.
2.2 Gerenciamento de portflio de
projetos
Os primeiros projetos datam de tempos remotos.
No entanto, somente a partir da dcada de 1940 se
observou a necessidade do emprego de maiores
esforos de planejamento em projetos, devido
crescente incerteza e maiores custos de oportunidade
na alocao de capital aos novos empreendimentos
(Kerzner, 2009). Seu uso se acentuou a partir da
dcada de 1990, motivado pela necessidade de
responder de forma mais rpida e eficaz ao menor
ciclo de vida dos produtos, evoluo tecnolgica e
maior competio no mercado. Ao final da dcada de
1990, com o aumento tanto da quantidade quanto da
complexidade do escopo dos projetos, as organizaes
passaram a se preocupar com o alinhamento dos
projetos aos objetivos das organizaes, crescendo a
importncia atribuda gesto de portflio de projetos
(Carvalhoetal., 2013).
O Project Management Institute (2013) conceitua
o portflio de projetos como uma coleo de projetos
ou programas, de modo a permitir um gerenciamento
eficaz, cujo foco consiste na anlise e manuteno
do portflio. A manuteno busca a identificao,
priorizao e autorizao de projetos, a fim de melhor
alocar os recursos e garantir um portflio consistente
e alinhado s estratgias organizacionais. Os objetivos
so fontes direcionadoras na tomada de deciso,
devendo ser considerados na composio do portflio
de projetos (Meskendahl, 2010; Bondetal., 2008).
Conforme Meskendahl (2010), a seleo de projetos
para compor o portflio vem sendo crescentemente
auxiliada por mtodos de apoio deciso, dada a
complexidade e a amplitude das variveis envolvidas.
O emprego de tais mtodos, como sustenta Vargas
(2010), garante que os recursos disponveis sejam
alocados nas propostas mais alinhadas aos objetivos
institucionais.
2.3 Critrios de avaliao considerados em
projetos de pesquisa cientfica
A pesquisa cientfica fundamental para o
crescimento econmico e o desenvolvimento social.
O governo brasileiro, em suas esferas federal e
estadual, o maior responsvel pelas atividades de
pesquisa cientfica e tecnolgica no Brasil, aes
Gest. Prod., So Carlos
implementadas atravs das agncias de fomento
pesquisa (Alvesetal., 2015).
Entretanto, o considervel aumento verificado
nas atividades de pesquisa, tanto de organizaes
pblicas como privadas, requer a utilizao de um
sistema de avaliao, devido aos limitados recursos
de fomento disponveis. Tal sistema serve tanto
para justificar as escolhas dos gestores em relao
alocao de investimentos na rea de pesquisa, como
para assegurar sociedade uma boa destinao dos
recursos pblicos, permitindo maior transparncia
nas decises tomadas (Francisco, 2002). Segundo
Rodrigues (2011) e Moreira & Velho (2008), tais
agncias tm valorizado os aspectos quantitativos
na avaliao. Torna-se, portanto, necessrio dar
mais ateno aos aspectos qualitativos da produo
do conhecimento, permitindo o investimento em
projetos de maior qualidade.
Segundo Francisco (2002), na seleo de projetos
de pesquisa deve-se considerar como importante no
projeto proposto seu impacto no setor produtivo,
motivado por alguns aspectos como a inovao gerada
e o potencial de orientar novas polticas pblicas.
Francisco (2002) no negligencia em sua anlise
a importncia de outros critrios, como o impacto
social, a capacidade de gerar novas oportunidades
de trabalho, de gerao de novas competncias e de
reutilizao do conhecimento gerado pela pesquisa em
disciplinas acadmicas e nas organizaes. E,ainda no
aspecto social, Francisco (2002) tambm ressalta os
aspectos ambientais, como critrios que incorporem
a capacidade de adoo de tecnologias limpas.
Trata-se de um tema que est longe de ser consenso.
Em vises menos recentes, comum encontrar em
autores como Tuncer (1975) a percepo de que a
pesquisa cientfica, mesmo que no gere inovaes
para o setor produtivo, tem sua utilidade quando serve
de fonte de informaes para a comunidade cientfica
e tcnica. Mesmo atualmente h autores que defendem
essa viso. Andrade (2010), por exemplo, aponta que
mesmo que a pesquisa no seja inovadora, deve trazer
algum enfoque ou esclarecimento de algum assunto.
Para Andrade (2010), deve-se considerar a viabilidade
da pesquisa, a facilidade de acesso ao assunto tratado,
a disponibilidade de recursos financeiros e materiais,
assim como a adequao ao prazo.
Miranda & Almeida (2004) apresentam uma lista
de critrios analisados na avaliao de cursos de
ps-graduao pela Coordenao de Aperfeioamento
de Pessoal de Nvel Superior (CAPES) na rea
de Engenharias III, agrupados em seis dimenses
de critrios, dentre elas a Atividade de Pesquisa,
contemplando os subcritrios: adequao das linhas de
pesquisa s reas de concentrao; vnculo entre linhas
e projetos de pesquisa; adequao da quantidade de
linhas de pesquisa em relao dimenso do Ncleo
de Referncia Docente 6 [parcela do corpo docente
O problema de seleo de portflio de projetos...
das instituies de ensino superior com participao
representativa nas atividades de docncia, pesquisa e
orientao, segundo Smitetal. (2002)]; e participao
do corpo discente nos projetos de pesquisa.
De acordo com Santana (2009), na avaliao da
pesquisa devem-se considerar critrios tais como:
contribuio para o avano do conhecimento e
desenvolvimento tecnolgico; atendimento aos
problemas nacionais, regionais e locais; formao de
pesquisadores e qualificao de profissionais para o
mercado; motivao para busca da excelncia cientfica,
propagao da cincia, garantia da hegemonia cientfica
do pas; influenciar a sociedade, em sua concepo
de vida, comportamentos, valores e cultura. J Luiz
(2006) leva em conta os critrios relacionados ao
perfil e a capacidade produtiva do pesquisador, tais
como: titulao, tempo de magistrio e nmero de
orientaes, distines e prmios acadmicos, produo de seleo em duas etapas. A primeira, com base
bibliogrfica, impacto da produo bibliogrfica,
trabalhos tcnicos e participao em bancas.
Tal conjunto de aspectos norteou a adequao dos
critrios junto aos membros da comisso encarregada
de acompanhar a modelagem de deciso proposta neste
trabalho. O modelo proposto ser discutido adiante.
3 Metodologia
A metodologia utilizada neste trabalho fundamentou-se
no mtodo multicritrio AHP mensurao relativa
combinada com a mensurao absoluta. Uma das
motivaes para o uso do AHP foi a facilidade que
proporciona na mensurao de todas as variveis do
problema. Outra motivao para a sua adoo foi sua
capacidade de estruturar o problema hierarquicamente,
o que permitiu mensurar de forma compensatria
os critrios em funo de sua contribuio para o
objetivo principal. Isso possibilitou expressar melhor
o problema em questo, que consistia na priorizao
de projetos que estivessem mais alinhados com os
objetivos da instituio e com os requisitos exigidos
por cada projeto de pesquisa. O modelo proposto
para a seleo de projetos de pesquisa cientfica do
IF Fluminense compreendeu os passos apresentados
a seguir.
3.1 Identificao dos critrios
Com a pesquisa documental, conheceram-se os
critrios j utilizados na avaliao de pesquisas.
Observou-se que os critrios j existentes, apesar de
alinhados aos objetivos, no apresentavam definio
clara dos aspectos a considerar na avaliao e, alm
disso, que tanto os critrios relacionados aos aspectos
tcnicos da pesquisa quanto os critrios relacionados
aos objetivos da instituio eram avaliados num
mesmo nvel. Isso poderia ocasionar conflitos e
inconsistncia na avaliao final dos projetos. Para
resolver esse problema, criaram-se dois grupos de
7
critrio: critrios para o alinhamento aos objetivos
institucionais; e critrios especficos para avaliao
da pesquisa cientfica. Definiram-se, tambm, os
aspectos a serem analisados para cada critrio.
importante frisar o papel da comisso constituda
para monitorar e validar o processo de adequao
dos critrios e de seus aspectos ao mtodo AHP.
Osdados provenientes das entrevistas no estruturadas
foram cruzados com outras informaes extradas da
pesquisa documental, o que permitiu a construo e
a triangulao das evidncias traduzidas pelo estudo
de caso. Os membros integrantes da comisso interna
da instituio tiveram acesso aos resultados para
comentrios e validao, tanto da fase de readequao
dos critrios e de seus aspectos, quanto dos resultados
da pesquisa.
Os dois grupos de critrios dividiram o processo
no primeiro grupo, visou filtrar os projetos mais
alinhados aos objetivos institucionais. A segunda
visou selecionar, dentre os projetos aprovados na
primeira fase, aqueles mais adequados aos requisitos
da pesquisa cientfica.
3.2 Aplicao do AHP para mensurao
dos critrios e aspectos
A mensurao dos critrios e aspectos obtida
atravs do clculo de prioridades do AHP com base no
julgamento dos decisores. Para facilitar, utilizou-se uma
planilha eletrnica de dados previamente configurada
para cada etapa de seleo, a fim de processar todas
as etapas necessrias ao AHP.
Primeiramente, organizou-se cada grupo de critrios
na hierarquia do AHP. Para facilitar as comparaes
durante o julgamento, elaborou-se uma estrutura com
3 camadas e no mximo 6 elementos subordinados
para cada critrio.
A coleta de julgamentos foi registrada na prpria
planilha. O registro foi realizado por um dos autores
deste trabalho, o qual teve o papel de facilitador,
no interferindo no processo decisrio. A cada
julgamento, os clculos de prioridades, locais, globais
e de consistncia eram realizados automaticamente.
Isso permitiu ao grupo de decisores refletir e refazer
seus julgamentos. O julgamento foi realizado atravs
do consenso obtido pelos membros da comisso e,
posteriormente, homologado pela Cmara de Pesquisa
do IF Fluminense.
3.3 Elaborao dos modelos das fichas de
avaliao individual dos projetos
A composio da ficha de avaliao do projeto de
pesquisa para cada etapa se baseou no seu grupo de
critrios. Cada item de avaliao correspondeu ao
critrio/aspecto folha da hierarquia do AHP. Sendo
8 Ribeiro, M. C. C. R.etal.
assim, o peso gerado para o critrio/aspecto folha
determinou o peso da questo. Nessa etapa foram
definidas as escalas nominais a serem utilizadas
pelos avaliadores como respostas optativas para cada
item. Para alguns aspectos que possuam natureza
quantitativa, foi criada uma tabela de converso
atendendo ao contexto de pesquisa da instituio.
Tal tabela foi definida pela comisso e homologada
pela cmara de pesquisa. A tabela foi anexada ficha
de avaliao, visando sua consulta pelo avaliador.
3.4 Aplicao do AHP na mensurao das
escalas nominais
Para cada estrutura de critrios, aplicou-se o mtodo
AHP para determinar o grau de importncia de cada
escala nominal, utilizada como resposta optativa em
relao ao critrio-folha, que corresponde ao item
da ficha de avaliao. Os valores nominais de cada
escala foram dispostos numa matriz quadrada, do
melhor ao pior: nas linhas, de cima para baixo, e,
nas colunas, da esquerda para direita. Atravs dessa
matriz realizou-se o julgamento dos valores nominais
luz do critrio-folha relacionado e determinaram-se
suas prioridades mdias locais e a consistncia do
julgamento.
O julgamento foi realizado por um dos autores
deste artigo, sendo homologado posteriormente
pela comisso e pela cmara de pesquisa. Tambm,
todos os procedimentos necessrios ao clculo foram
desenvolvidos e integrados na planilha eletrnica
de dados. O valor da prioridade calculada para cada
escala corresponde ao valor absoluto a ser atribudo
ao critrio na ocasio da avaliao do projeto, com
base na avaliao conceitual do decisor.
3.5 Avaliao individual das propostas de
projetos
A avaliao dos projetos foi realizada com base
nas duas fichas de avaliao, uma para cada etapa. O
procedimento de avaliao foi gerenciado pela prpria
rea de pesquisa. Essa se responsabilizou pelo envio
eletrnico das fichas de avaliao para os avaliadores,
juntamente com a proposta de projeto. Terminado o
perodo de avaliao, a rea de pesquisa transportou as
respostas de cada etapa de avaliao para as respectivas
planilhas eletrnicas de dados. Taisplanilhas foram
previamente configuradas e integradas ao clculo
das mensuraes dos critrios/aspectos e das escalas
nominais geradas pelo mtodo AHP.
As planilhas das duas etapas foram programadas para
atribuir os valores absolutos associados s respostas
nominais dos avaliadores. Sendo assim, para cada
planilha calculou-se automaticamente o valor do
projeto relativo a cada critrio atravs do produto da
mensurao relativa desse pelo valor absoluto atribudo
Gest. Prod., So Carlos
alternativa no critrio. Emseguida, calculou-se o
desempenho global do projeto somando-se os produtos
obtidos em cada critrio.
3.6 Priorizao e seleo dos projetos
alinhados aos objetivos institucionais
Baseando-se nos desempenhos dos projetos
calculados na planilha de respostas da avaliao
quanto aos objetivos institucionais, realizou-se a
ordenao descendente por desempenho. Sendo assim,
ficaram mais prximos ao topo da lista os projetos
mais aderentes aos objetivos institucionais. Os piores
projetos aparecem no final da lista. A ordenao foi
feita atravs da funcionalidade presente na planilha
eletrnica de dados.
3.7 Priorizao e seleo de projetos mais
aderentes aos requisitos da pesquisa
cientfica
Nessa etapa eliminaram-se os piores projetos
analisados no ranking anterior. Foi feita a ordenao
descendente do desempenho obtido em relao aos
critrios da pesquisa cientfica. Os gestores escolheram
os projetos que atenderam satisfatoriamente aos
critrios de avaliao da pesquisa cientfica, assim
como ao alinhamento institucional, visando a alocao
de bolsas de pesquisa.
4 Resultados
O modelo proposto foi aplicado no IF Fluminense.
O IF Fluminense exerce atividades de ensino, pesquisa
e extenso visando contribuir para o desenvolvimento
econmico e social da regio. Tem como misso
desenvolver uma educao comprometida com as
necessidades da sociedade, alm de promover o
avano cientfico e tecnolgico de modo sustentvel.
A atividade de pesquisa exercida pela Pr-Reitoria
de Pesquisa e Inovao. Esse rgo centraliza a
administrao das atividades e polticas de pesquisa,
articuladas com a pesquisa e extenso, e promove
aes de fomento pesquisa, cincia, tecnologia e
inovao. A Pr-Reitoria de Pesquisa e Inovao
tem como uma das atribuies a seleo de projetos
de pesquisa que concorrem s bolsas de iniciao
cientfica.
Tal processo de seleo obedece s normas
prescritas no Programa de Bolsas Institucionais de
Incentivo Pesquisa e ao Empreendedorismo no IF
Fluminense. Esse programa visa incentivar a pesquisa
e o empreendedorismo atravs de bolsas concedidas
pelos rgos de fomento pesquisa ou por meio de
recursos financeiros da prpria instituio.
Porm, o problema tratado limita-se seleo de novos
projetos de pesquisa bsica e aplicada. Esses projetos
concorrem s bolsas do Programa de Bolsas Institucionais
O problema de seleo de portflio de projetos... 9

de Incentivo Pesquisa e ao Empreendedorismo a pontuao total obtida na avaliao e o limite de

do IF Fluminense. Mais especificamente, dentro
do Programa Institucional de Bolsas de Iniciao
Cientfica (PIBIC) e do Programa Institucional de
Bolsas de Iniciao em Desenvolvimento Tecnolgico
e Inovao (PIBITI), outorgadas pelo IFF com recursos
prprios ou provenientes do Conselho Nacional de
Desenvolvimento Cientfico e Tecnolgico (CNPq).
O processo de seleo acontece anualmente e
se inicia atravs de edital. Durante o perodo de
submisso de projetos, previsto no edital, o pesquisador
preenche o formulrio de proposta do novo projeto e
o encaminha pelo Sistema de Submisso Eletrnica
de Projeto de Pesquisa do IFF (SiSEP-IFF) para a
Pr- Reitoria de Pesquisa e Inovao.
Ao trmino do perodo de submisso de projetos,
tais projetos so submetidos avaliao por avaliadores
internos e externos. Os avaliadores so convidados
pela Cmara de Pesquisa do IF Fluminense. Terminado
o perodo de avaliao, a cmara escolhe os projetos
para alocao das bolsas de pesquisa, respeitando
bolsas disponveis, incluindo-os no portflio.
Entretanto, a instituio carecia de uma forma mais
sistematizada para apoiar o processo de seleo de
um grande nmero de projetos de pesquisa propostos
pelos pesquisadores oriundos de diversos campi, cujos
projetos concorrem ao nmero limitado de bolsas
ofertadas pelo IF Fluminense. Para auxiliar nesse
problema aplicou-se o mtodo AHP, combinando a
mensurao relativa com a absoluta.
A aplicao do mtodo iniciou-se com a
identificao dos critrios, a qual resultou em dois
grupos de critrios constantes, respectivamente, nos
Quadros2e3. Os dois grupos de critrios atendem
s duas etapas de seleo. A primeira etapa visa
selecionar os projetos mais alinhados aos objetivos
institucionais. A segunda, objetiva a seleo dos
projetos mais alinhados aos requisitos exigidos pela
pesquisa cientfica da instituio.
Portanto, o agrupamento dos critrios de avaliao
permitiu uma avaliao mais consistente e garantiu

Quadro 2. Representao na hierarquia AHP dos critrios para avaliao dos projetos de pesquisa em relao contribuio
nos objetivos institucionais.
Objetivo principal Cdigo do
Critrios Aspectos
(Obj#1) aspecto
Proporciona novos conhecimentos (novas leis,
teorias, conceitos, modelos) cientficos/tecnolgicos
Obj#1_1
ou novo enfoque a partir de conhecimentos
anteriores.
Proporciona a criao e/ou melhoramento de
mtodos, processos, produtos, materiais e /ou de
Avano cientfico e Obj#1_2
servios novos, potencialmente aplicveis nos
tecnolgico
setores econmicos, polticos e/ou sociais.
Estimula formao de competncias em pesquisa
atravs da participao de bolsistas de iniciao
cientfica, pessoal de nvel tcnico e superior, Obj#1_3
mestrandos, doutorandos, mestres, doutores e ps-
doutores.
Estimula novas oportunidades de trabalho, estgios,
Pesquisa comprometida cursos, produtos e servios, desenvolve habilidades
com o desenvolvimento Obj#1_4
profissionais dos servidores e alunos e contribui
local e regional para a formao da conscincia crtica do cidado.
Compromisso social
Colabora direta ou indiretamente para o
desenvolvimento sustentvel, adotando e/ou
Obj#1_5
estimulando prticas sustentveis do ponto de vista
ambiental, econmico e social.
Prev articulao entre as atividades de ensino,
Articulao com pesquisa e extenso desenvolvidas no IF Obj#1_6
ensino, pesquisa e Fluminense.
extenso Prev aplicao do conhecimento resultante da
Obj#1_7
pesquisa na soluo de problemas da sociedade.
A rea de pesquisa do projeto corresponde a uma
Vinculao com as Obj#1_8
das reas de pesquisa prioritrias do IF Fluminense.
reas de pesquisa
H coerncia do tema com as linhas de pesquisa no
do IFF Obj#1_9
ncleo de pesquisa ao qual o projeto est associado.
Fonte: Elaborado pelos autores.
10 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos

Quadro 3. Representao na hierarquia AHP dos critrios de avaliao dos projetos em relao aos requisitos exigidos para
cada pesquisa cientfica.
Objetivo principal Cdigo do
Critrios Aspectos
(Obj#2) aspecto
Trata-se de novo tema ou discute uma nova
Originalidade da pesquisa Obj#2_1
abordagem referente a um tema j existente.
Clareza na definio do problema. Obj#2_2
Adequao metodolgica. Obj#2_3
Qualidade tcnica do projeto Embasamento terico. Obj#2_4
Procedimentos de divulgao e apropriao dos
Obj#2_5
resultados pela sociedade.
Ortografia Obj#2_6
Qualidade de redao e Gramtica Obj#2_7
organizao e organizao Clareza Obj#2_8
do texto Objetividade Obj#2_9
Estrutura formal Obj#2_10
Alinhamento das atividades com os objetivos do
Adequao entre o plano Obj#2_11
projeto.
de atividades do(s) aluno(s)
Avaliao da Adequao das atividades a serem
bolsista(s) e os objetivos e
pesquisa cientfica desempenhadas pelo(s) aluno(s) bolsista(s) ao Obj#2_12
cronograma do projeto
cronograma de execuo do projeto.
Disponibilidade de recursos materiais. Obj#2_13
Viabilidade da execuo do Apoio financeiro por outra instituio de
Obj#2_14
projeto fomento.
Dimensionamento do cronograma. Obj#2_15
Titulao Obj#2_16
Publicaes (artigo em peridicos indexados,
livro ou coletnea, captulo de livro) ou patente Obj#2_17
Produtividade cientfica e depositada.
tecnolgica do pesquisador Publicao em anais de congressos/eventos. Obj#2_18
na rea temtica do projeto, Orientaes de IC e TCC (graduao e ps-
Obj#2_19
segundo o CV Lattes graduao lato sensu).
Orientaes de mestrado e doutorado. Obj#2_20
Participao em bancas (TCC, mestrado e
Obj#2_21
doutorado).
Fonte: Elaborado pelos autores.

a qualidade na deciso. Tambm, a definio dos
aspectos para cada critrio permitiu uma padronizao
e uma compreenso comum entre diferentes pessoas,
evitando pareceres diferentes.
Na segunda etapa da aplicao procurou-se
mensurar os critrios e aspectos. Os pesos gerados
pelo AHP para cada grupo de critrios, com base
nos julgamentos emitidos pelos decisores da rea
de pesquisa, podem ser vistos nos Quadros4e5.
Em decorrncia da experincia e do conhecimento
desses na rea, tal julgamento pde ser facilmente
desempenhado, permitindo gerar um resultado
satisfatrio, tendo em vista os objetivos desejados.
Os Quadros 4 e 5 mostram os critrios que
fazem parte da primeira camada de critrios na
estrutura hierrquica do AHP, com seus respectivos
PG gerados pelo AHP. Os Quadros4e5 mostram
o cdigo identificador de cada critrio-folha, ou
seja, de cada aspecto considerado na avaliao de
determinado critrio. A descrio de tal cdigo
identificador pode ser obtida nos quadros anteriores,
2 e 3. Acoluna Peso mostra as prioridades globais de
cada critrio-folha. OsQuadros4e5 mostram tambm
o valor RC calculado com base no julgamento entre
os critrios/aspectos imediatamente subordinados ao
critrio superior para obteno dos pesos.
Uma vez definidos os critrios e pesos, elaborou-se
a ficha de avaliao individual dos projetos para cada
etapa de seleo e definiram-se as escalas nominais
de cada item. Os itens de cada ficha de avaliao,
associados a cada critrio-folha, so mostrados na
coluna Item de avaliao dos Quadros4e5. Para cada
item so listados os elementos das escalas definidas.
Tais escalas permitiram a avaliao conceitual do
item pelo avaliador, se adequando bem aos critrios
qualitativos.
O passo seguinte consistiu em determinar as
mensuraes das escalas nominais. Para cada grupo de
O problema de seleo de portflio de projetos... 11

Quadro 4. Peso dos critrios e escalas utilizados na avaliao dos projetos em relao contribuio para os objetivos
institucionais.
Objetivo principal: Pesquisa comprometida com o desenvolvimento local e regional (RC = 0,00)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
Avano cientfico e tecnolgico peso = 0,3507 (RC = 0,03)
muito satisfatoriamente pouco nada
Obj#1_1 (RC = 0,00) 0,1992 1,1
0,5375 0,3027 0,1055 0,0543
muito satisfatoriamente pouco nada
Obj#1_2 (RC = 0,00) 0,0344 1,2
0,5375 0,3027 0,1055 0,0543
muito satisfatoriamente pouco nada
Obj#1_3 (RC = 0,00) 0,1171 1,3
0,5375 0,3027 0,1055 0,0543
Compromisso social peso = 0,3507 (RC = 0,00)
2,1 muito satisfatoriamente pouco nada
Obj#1_4 (RC = 0,00) 0,2630
0,5375 0,3027 0,1055 0,0543
2,2 muito satisfatoriamente pouco nada
Obj#1_5 (RC = 0,00) 0,0877
0,5375 0,3027 0,1055 0,0543
Articulao com ensino, pesquisa e extenso peso = 0,1892 (RC = 0,00)
3,1 muito satisfatoriamente pouco nada
Obj#1_6 (RC = 0,00) 0,1419
0,5375 0,3027 0,1055 0,0543
3,2 muito satisfatoriamente pouco nada
Obj#1_7 (RC = 0,00) 0,0473
0,5375 0,3027 0,1055 0,0543
Vinculao com as reas de pesquisa do IFF peso = 0,1093 (RC = 0,00)
4,1 sim No
Obj#1_8 (RC = 0,00) 0,0364
0,9000 0,1000
4,2 alta Mdia baixa nenhum
Obj#1_9 (RC = 0,00) 0,0729
0,5375 0,3027 0,1055 0,0543
Total 1,0000
Fonte: Elaborado pelos autores.

Quadro 5. Peso dos critrios e escalas utilizados na avaliao dos projetos em relao aos requisitos exigidos para cada
pesquisa cientfica.
Objetivo principal: Avaliao da pesquisa cientfica (RC = 0,01)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
Originalidade da pesquisa peso = 0,0580
sim parcialmente No
Obj#2_1 (RC=0,00) 0,0580 1,1
0,7606 0,1577 0,0817
Qualidade tcnica do projeto peso = 0,2204 (RC = 0,00)
timo bom Regular pssimo
Obj#2_2 (RC=0,00) 0,0773 2,1
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_3 (RC=0,00) 0,0773 2,2
0,5375 0,3027 0,1055 0,0543
2,3 timo bom Regular pssimo
Obj#2_4 (RC=0,00) 0,0417
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_5 (RC=0,00) 0,0241 2,4
0,5375 0,3027 0,1055 0,0543
Qualidade de redao e organizao do texto peso = 0,0800 (RC = 0,01)
timo bom Regular pssimo
Obj#2_6 (RC=0,00) 0,0114 3,1
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_7 (RC=0,00) 0,0114 3,2
0,5375 0,3027 0,1055 0,0543
Fonte: Elaborado pelos autores.
12 Ribeiro, M. C. C. R.etal. Gest. Prod., So Carlos

Quadro 5. Continuao...
Objetivo principal: Avaliao da pesquisa cientfica (RC = 0,01)
Item de
Critrios/Aspectos Peso Pesos das opes de resposta
avaliao
timo bom Regular pssimo
Obj#2_8 (RC=0,00) 0,0314 3,3
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_9(RC=0,00) 0,0186 3,4
0,5375 0,3027 0,1055 0,0543
timo bom Regular pssimo
Obj#2_10 (RC=0,00) 0,0071 3,5
0,5375 0,3027 0,1055 0,0543
Adequao entre o plano de atividades do(s) aluno(s) bolsista(s) e os objetivos/cronograma do projeto
peso = 0,2106 (RC = 0,00)
timo bom Regular pssimo
Obj#2_11(RC=0,00) 0,1580 4,1
0,5375 0,3027 0,1055 0,0543
timo boa Regular pssima
Obj#2_12 (RC=0,00) 0,0527 4,2
0,5375 0,3027 0,1055 0,0543
Viabilidade de execuo do projeto peso = 0,2106 (RC = 0,01)
alta satisfatria Baixa
Obj#2_13 (RC=0,00) 0,1135 5,1
0,7606 0,1577 0,0817
considervel suficiente Pouco nenhum
Obj#2_14 (RC=0,00) 0,0345 5,2
0,5375 0,3027 0,1055 0,0543
timo Bom Regular pssimo
Obj#2_15(RC=0,00) 0,0626 5,3
0,5375 0,3027 0,1055 0,0543
Produtividade cientfica e tecnolgica do pesquisador na rea temtica do projeto, segundo CV Lattes
peso = 0,2204 (RC = 0,05)
Especia-
Ps-doutorado Doutorado Mestrado Graduao
Obj#2_16(RC=0,03) 0,0264 6,1 lizao
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_17 (RC=0,03) 0,0982 6,2
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_18 (RC=0,03) 0,0084 6,3
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_19 (RC=0,03) 0,0311 6,4
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_20 (RC=0,03) 0,0480 6,5
0,4867 0,2720 0,1370 0,0661 0,0382
timo bom Regular baixo Nenhum
Obj#2_21 (RC=0,03) 0,0084 6,6
0,4867 0,2720 0,1370 0,0661 0,0382
Total 1,0000
Fonte: Elaborado pelos autores.

critrios, os Quadro4e5 mostram as mensuraes de cada projeto. OQuadro6 mostra o ranking da

das escalas nominais produzidas pelo AHP. Tambm,
apresentado o valor da RC gerada no julgamento
das escalas relativo a cada aspecto, cujo valor
mostrado ao lado do identificador desse. Observa-se
que a maioria dos julgamentos dos critrios/aspectos
e escalas apresentados nos Quadro4e5 apresentaram
RC igual a zero. Isso demonstra um alto grau de
coerncia na emisso de julgamentos dos agentes
de deciso envolvidos.
A partir das respostas dos avaliadores obtidas
atravs das fichas de avaliao de cada etapa
realizou-se o clculo do desempenho individual
primeira etapa de todos os projetos. Os projetos
considerados como piores na primeira etapa foram
eliminados da segunda etapa. Por ltimo, realizou-se
a ordenao dos projetos por ordem descendente de
desempenho em funo aos critrios da pesquisa
cientfica.
O ranking final, como mostra o Quadro6, serviu
de apoio para os gestores escolherem os projetos
que, de forma satisfatria, atendessem aos interesses
institucionais e aos requisitos da pesquisa cientfica.
A escolha de projetos foi limitada ao nmero de
bolsas a alocar.
O problema de seleo de portflio de projetos...
Quadro 6. Ordenao dos projetos segundo os dois objetivos.
Obj#1: Alinhamento aos objetivos da instituio
(primeiro ranking)
Pontuao do
Projeto Ordem
projeto
3 0,550684 1 49
49 0,550684 2 5
2 0,523192 3 7
30 0,480854 4 6
... ... ...
12 0,164049 58
53 0,131822 59
10 0,130795 60
59 0,112414 61
Fonte: Elaborado pelos autores.
5 Concluses
O presente trabalho contribui apoiando a tomada
de deciso dos gestores na escolha de nmero elevado
de projetos de pesquisa cientfica alinhados aos
objetivos institucionais e aos critrios especficos
da pesquisa, permitindo a escolha de projetos mais
aderentes para a alocao de um nmero limitado de
bolsas de iniciao cientfica.
A reviso na literatura sobre os mtodos de apoio
multicritrio deciso forneceu o embasamento
necessrio aos autores, ajudando na melhor compreenso
do problema e na adequao do mtodo utilizado.
Acredita-se que tanto as bases conceituais quanto a
estrutura do modelo possam apoiar gestores da rea de
educao em outras instituies brasileiras de ensino
e pesquisa em tomadas de deciso que envolvam a
seleo de projetos de pesquisa envolvendo mltiplos
critrios.
A reestruturao dos critrios utilizados na
avaliao dos projetos permitiu a escolha de projetos
de maior qualidade, dado que os critrios adotados
esto em consonncia com os objetivos institucionais,
portanto atrelados s necessidades de todas as partes
interessadas. Tal reestruturao permitiu a avaliao
em duas etapas. A primeira garantiu a escolha de
propostas mais aderentes aos propsitos da instituio,
j que tais propostas partem de diferentes ideias
dos proponentes. A segunda, com base na primeira
seleo, buscou priorizar os projetos que atendessem
aos requisitos da pesquisa. Isso possibilitou a escolha
de projetos mais adequados para o investimento em
pesquisa. Alm disso, a definio dos aspectos para
cada critrio favoreceu um entendimento comum
entre os avaliadores quanto aos aspectos analisados
em cada critrio. Isso tornou o processo de avaliao
de projetos mais consistente.
Observou-se na literatura a importncia dada seleo
de projetos alinhados aos objetivos da organizao,
13
Obj#2: Atendimento aos critrios
da pesquisa cientfica
(ranking final)
Pontuao do
Projeto Ordem
projeto
0,511931 1.
0,509791 2
0,481797 3.
0,447083 4.
... ... ...
38 0,163276 51a.
25 0,150343 52a.
23 0,129835 53a.
61 0,114163 54a.
visando compor um portflio mais eficaz. Tambm
foi percebida a importncia da utilizao de mtodos
de apoio multicritrio na seleo de projetos. Dessa
forma, a aplicao do mtodo AHP com a combinao
das mensuraes relativa e absoluta adequou-se bem
problemtica tratada. Alm de permitir selecionar
entre grande nmero de projetos, facilitou determinar o
grau de contribuio dos pesos dos critrios e aspectos
para atingir o objetivo de cada etapa de avaliao.
Considerando que cada aspecto corresponde a um item
de avaliao, tornou-se mais fcil a elaborao da ficha
de avaliao de cada etapa, tendo como mensurao
de cada item o peso do aspecto gerado pelo AHP.
Aadoo da mensurao absoluta simplificou bastante
a avaliao devido ao uso das escalas nominais, o que
possibilitou uma avaliao conceitual dos aspectos
qualitativos. Alm disso, a aplicao do mtodo
permitiu a todos os participantes o conhecimento
dos objetivos institucionais, levando-os reflexo
sobre os critrios que melhor pudessem representar
os objetivos, a cultura e os valores da instituio.
Isso resultou numa melhor determinao dos pesos
dos critrios com base no consenso dos gestores.
A mensurao relativa do AHP possibilitou determinar
o peso de contribuio de cada item de avaliao
do projeto para o alcance do objetivo. Portanto, a
avaliao de cada projeto refletiu os interesses da
instituio. Dessa forma, o ranking produzido na
primeira etapa garantiu a escolha de projetos mais
alinhados aos objetivos da instituio para a segunda
etapa. Isso permitiu que a seleo na segunda etapa
elencasse os projetos de maior qualidade. O trabalho
contribuiu tanto para simplificar e padronizar o processo
de avaliao quanto para melhorar a qualidade do
processo decisrio na rea de pesquisa.
Apesar da facilidade da implementao do
mtodo em planilhas eletrnicas, os autores sugerem
o desenvolvimento de um software que permita
14 Ribeiro, M. C. C. R.etal.
a combinao do mtodo AHP com mensuraes
relativa e absoluta integrado ao processo de coleta
da avaliao individual dos projetos. A facilidade
de operacionalizao do mtodo em tal software
pode permitir novas aplicaes em outros mbitos
da instituio de ensino e pesquisa.
Como proposta de natureza exploratria, este artigo
apresenta limitaes. Considerando que o trabalho se
restringiu seleo de novos projetos submetidos
avaliao conceitual em mltiplos critrios com base
em um estudo de caso, as generalizaes derivadas
de um trabalho dessa natureza podem no ser de
todo aplicveis em contextos similares em outras
instituies de ensino e pesquisa. No entanto, pela
prpria natureza exploratria, acredita-se que tais
aspectos no reduzam sua validade como esforo de
pesquisa emprica voltada soluo de um problema
de gesto envolvendo alocao de recursos em uma
instituio de ensino e pesquisa.
Referncias
Almeida, A. T., & Duarte, M. D. O. (2011). A multicriteria
decision model for selecting project portfolio with
consideration being given to a new concept for synergies.
Pesquisa Operacional, 31(2), 301-318. http://dx.doi.
org/10.1590/S0101-74382011000200006.
Alves, A. S., Quelhas, O. L. G., Silva, M. H. T., & Lameira,
V. J. (2015). On the role of university in the promotion
of innovation: exploratory evidences from a university-
industry cooperation experience in Brazil. International
Journal of Innovation and Learning, 17(1), 1-18. http://
dx.doi.org/10.1504/IJIL.2015.066061.
Andrade, M. M. (2010). Introduo metodologia do trabalho
cientfico: elaborao de trabalhos na graduao (10. Meskendahl, S. (2010). The influence of business strategy
ed.). So Paulo: Atlas.
Arajo, A. G., & Almeida, A. T. (2009). Apoio deciso
na seleo de investimentos em petrleo e gs: uma
aplicao utilizando o mtodo PROMETHEE. Gesto
& Produo, 16(4), 534-543. http://dx.doi.org/10.1590/
S0104-530X2009000400004.
Archer, N. P., & Ghasemzadeh, F. (1999). An integrated
framework for project portfolio selection. International
Journal of Project Management, 17(4), 207-216. http://
dx.doi.org/10.1016/S0263-7863(98)00032-5.
Bond, S. D., Carlson, K. A., & Keeney, R. L. (2008).
Generating objectives: can decision makers articulate
what they want? Management Science, 54(1), 56-70.
http://dx.doi.org/10.1287/mnsc.1070.0754.
Carvalho, M. M., Lopes, P. V. B. V. L., & Marzago,
D. S. L. (2013). Gesto de portflio de projetos:
contribuies e tendncias da literatura. Gesto &
Produo, 20(2), 433-453. http://dx.doi.org/10.1590/
S0104-530X2013000200013.
Cheng, E. W. L., & Li, H. (2005). Analytic network process
applied to project selection. Journal of Construction
Gest. Prod., So Carlos
Engineering and Management, 131(4), 459-466. http://
dx.doi.org/10.1061/(ASCE)0733-9364(2005)131:4(459).
Francisco, L. T. S. T. (2002). Indicadores para avaliao
de resultados de projetos de pesquisa cientfica e
tecnolgica (Dissertao de mestrado). Universidade
Federal do Rio Grande do Sul, Porto Alegre.
Gomes, L. F. A. M., Araya, M. C. G., & Carignano, C.
(2004). Tomada de decises em cenrios complexos
(M. C. G. Araya, Trad.). So Paulo: Pioneira Thomson
Learning.
Gomes, L. F. A. M., Simes Gomes, C. F., & de Almeida,
A. T. (2002). Tomada de deciso gerencial: enfoque
multicritrio. So Paulo: Atlas.
Ivanovi, I., Grujii, D., Macura, D., Jovi, J., & Bojovi,
N. (2013). One approach for road transport project
selection. Transport Policy, 25, 22-29. http://dx.doi.
org/10.1016/j.tranpol.2012.10.001.
Kerzner, H. (2009). Project Management: a systems
approach to planning, scheduling, and controlling (10.
ed.). New Jersey: John Wiley & Sons.
Lima, M. T. A., Oliveira, E. C. B., & Alencar, L. H. (2014).
Modelo de apoio deciso para priorizao de projetos
em uma empresa de saneamento. Production, 24(2),
351-363.
Lpez, H. M. L., & Almeida, A. T. (2014). Utilizando
PROMETHEE V para seleo de portflio de projetos
de uma empresa de energia eltrica. Production,
24(3), 559-571. http://dx.doi.org/10.1590/S0103-
65132013005000045.
Luiz, R. R. (2006). Avaliao de produtividade acadmica:
uma proposta de quanticao. RBPG, 3(6), 300-312.
on project portfolio management and its success: a
conceptual framework. International Journal of Project
Management, 28(8), 807-817. http://dx.doi.org/10.1016/j.
ijproman.2010.06.007.
Mxas, M. P. P., Costa, H. G., & Quelhas, O. L. G. (2013).
Avaliao da importncia relativa dos critrios para
a seleo de Sistemas Integrados de Gesto (ERP)
para uso em empresas da construo civil. Gesto &
Produo, 20(2), 337-356. http://dx.doi.org/10.1590/
S0104-530X2013000200007.
Miranda, C. M. G., & Almeida, A. T. (2004). Viso
multicritrio da avaliao de programas de ps-graduao
pela CAPES: o caso da rea engenharia III baseado no
ELECTRE II e MAUT. Gesto & Produo, 11(1), 51-64.
http://dx.doi.org/10.1590/S0104-530X2004000100005.
Moreira, M. L., & Velho, L. (2008). Ps-graduao no
Brasil: da concepo ofertista linear para novos
modos de produo do conhecimento implicaes
para avaliao. Avaliao, 13(3), 625-645.
Neves, R. B., Pereira, V., & Costa, H. G. (2015). Auxlio
multicritrio deciso aplicado ao planejamento e gesto
O problema de seleo de portflio de projetos...
na indstria de petrleo e gs. Production, 25(1), 43-53.
http://dx.doi.org/10.1590/S0103-65132013005000060.
Padovani, M., Carvalho, M. M., & Muscat, A. R. N.
(2010). Seleo e alocao de recursos em portflio de
projetos: estudo de caso no setor qumico. Gesto &
Produo, 17(1), 157-180. http://dx.doi.org/10.1590/
S0104-530X2010000100013.
Paoli, D., & Moraes, L. A. F. (2011). Apoio Multicritrio
deciso como subsdio gesto ambiental: o caso da
Aggreko Brasil. Gesto & Produo, 18(2), 379-390.
http://dx.doi.org/10.1590/S0104-530X2011000200012.
Project Management Institute PMI. (2013). Um guia
do conjunto de conhecimentos em gerenciamento de
projetos: Guia PMBOK (5. ed.). Pennsylvania.
Rodrigues, L. O. C., Fo. (2011). Publicar mais, ou melhor?
O tamandu olmpico. Psicologia USP, 22(2), 457-472.
http://dx.doi.org/10.1590/S0103-65642011005000014.
Roy, B. (2005). Paradigms and challenges. In J. Figueira,
S. Greco & M. Ehrgott (Eds.), Multiple criteria decision
analysis: state of the art surveys (pp. 3-24). New York:
Springer Sciense+Business Media.
Roy, B., & Slowinski, R. (2013). Questions guiding the
choice of a multicriteria decision aiding method. EURO
Journal on Decision Processes, 1(1), 69-97. http://
dx.doi.org/10.1007/s40070-013-0004-7.
Saaty, T. L. (1990). How to make a decision: The analytic
hierarchy process. European Journal of Operational
Research, 48(1), 9-26. http://dx.doi.org/10.1016/0377-
2217(90)90057-I.
Saaty, T. L. (1991). Mtodo de anlise hierrquica (W. S.
Silva, Trad.). So Paulo: McGraw-Hill.
15
Saaty, T. L. (2005). The Analytic Hierarchy and Analytic
Network Processes for the measurement of intangible
criteria and for decision-making. I In J. Figueira, S.
Greco & M. Ehrgott (Eds.), Multiple criteria decision
analysis: state of the art surveys (pp. 345-408). New
York: Springer Sciense+Business Media.
Santana, M. G. H. (2009). Produo do conhecimento
cientfico em transio: novas perspectivas para a
avaliao das aes induzidas na rea de sade pelo
CNPq (Tese de doutorado). Universidade de Braslia,
Braslia.
Silva, V. B. S., Schramm, F., & Carvalho, H. R. C. (2014).
O uso do mtodo PROMETHEE para seleo de
candidatos bolsa-formao do Pronatec. Production,
24(3), 548-558.
Smit, J. W., Dias, E. W., & Souza, R. F. (2002). Contribuio
da Ps-graduao para a Cincia da Informao no
Brasil: uma viso. DataGramaZero: Revista de Cincia
da Informao, 3(6).
Tuncer, Y. (1975). Some aspects of science-based technological
promotion. Policy Sciences, 6(3), 267-280. http://dx.doi.
org/10.1007/BF00139970.
Vargas, R. V. (2010). Utilizando a programao multicritrio
(Analytic Hierarchy Process AHP) para selecionar
e priorizar projetos na gesto de portflio. In PMI
Global Congress 2010. Washington. Recuperado em
12 de janeiro de 2016, de http://www.ricardo-vargas.
com/articles/analytic-hierarchy-process/#portuguese
Vincke, P. (1992). Multicriteria decision-aid. England:
John Wiley & Sons.