Avaliação de desempenho construtivista para
apoio à gestão de projetos em startup de tecnologia

Constructive performance evaluation to support
project management in technology startups

Rogerio Tadeu de
Oliveira Lacerda

http://orcid.org/0000-0002-5151-172X

Doutor em Engenharia da Produção.
Universidade Federal de Santa Catarina (UFSC) – Brasil. [email-masked]

Lisandra Valim de Oliveira

https://orcid.org/0000-0002-8939-731X

Mestre em Administração Universidade
Federal de Santa Catarina (UFSC) – Brasil. [email-masked]

Mayara Lucia Bernardes

http://orcid.org/0000-0003-0055-9480

Mestre em Administração Universidade
Federal de Santa Catarina (UFSC) – Brasil. [email-masked]

Ana Maria Simões Ribeiro

http://orcid.org/0000-0001-5807-4510

Mestre em Administração Universidade Federal
de Santa Catarina (UFSC) – Brasil. [email-masked]

RESUMO

A preocupação
com o desempenho em gerenciamento de projetos acontece em todos os tipos de
organizações. O avanço das tecnologias tornou os mercados mais competitivos,
exigindo maior rapidez e dando oportunidade para negócios inovadores crescerem
rapidamente. Neste contexto, a presente pesquisa propõe o desenvolvimento de um
modelo que permita construir conhecimento nos decisores deste tipo de
organização e apoiá-los no processo de gestão de projetos, considerando o
ambiente que estão inseridos que é dinâmico e de conhecimento limitado. Para
atingir tal fim, utilizou-se da metodologia MCDA-C para construir um modelo de
apoio à decisão que considere os valores e preferência dos decisores por meio
de dois estudos de caso realizados com startups de base tecnológica que
passam por processo de incubação na cidade de Florianópolis. Os resultados
desta pesquisa demonstraram que o método é capaz de auxiliar os gestores na
identificação, ordenação e elaboração de ações de melhoria em seus processos de
gestão de projetos.

Palavras-chave: gerenciamento de projetos;
avaliação de desempenho; MCDA-C; apoio à decisão; Startups.

ABSTRACT

The concern with performance in
project management happens in all types of organizations. The advancement of
technologies has made markets more competitive, requiring greater speed and
giving opportunity for innovative businesses to grow rapidly. In this context,
the present research proposes the development of a model that allows building
knowledge in the decision makers of this type of organization and supporting
them in the project management process, considering the environment they are
inserted in, which is dynamic and of limited knowledge. To achieve this end,
the MCDA-C methodology was used to build a decision support model that
considers the values ​​and preferences of decision-makers through
two case studies carried out with technology-based startups that undergo an incubation process in the city of Florianopolis.
The results of this research demonstrated that the method is able to assist
managers in the identification, ordering and elaboration of improvement in
their project management processes.

Keywords: project management; performance evaluation; MCDA-C; decision
support; startups.

Recebido em 17/02/2021.  Aprovado
em 29/05/2021. Avaliado pelo sistema double blind peer review. Publicado
conforme normas da APA.

https://doi.org/10.22279/navus.2021.v11.p01-22.1544

1 INTRODUÇÃO

A conexão entre a
avaliação de desempenho e a gestão de projetos ainda é um tema controverso na
literatura, pois envolve constructos complexos e muitas vezes imprecisos (Din,
Abd-Hamid, & Bryde, 2011). Barclay e
Osei-Bryson (2010) identificaram três problemas referentes à
avaliação de desempenho em projetos: (i) diferentes percepções do que seja um
bom desempenho em projetos; (ii) objetivos
incompletos ou não claros e (iii) sistema tradicional
de indicadores, como custo e tempo. Além dessas dificuldades, os mercados estão
cada vez mais dinâmicos e complexos, intensificando os contextos de incerteza.
A mudança, em todas as formas de tecnologia ou processos de negócio, está
crescendo de forma agressiva e trazendo desafios constantes (Collyer &
Warren, 2009)

Projetos conduzidos
em ambientes de incerteza representam uma questão chave em gerenciamento de
projetos, que ainda não foi resolvida, e apresentam desafios como o de planejar
para resultados incertos, equilibrar flexibilidade com confiabilidade e
responsabilidade, balancear qualidade de decisão contra velocidade de decisão e
congelamento de escopo durante as rápidas mudanças (Larson &
Gray, 2011; Marafon, Ensslin, Lacerda, & Ensslin, 2015). Adicionalmente, em ambientes dinâmicos,
normalmente os projetos estão interligados entre si e as altas taxas de
mudança, fazem o planejamento ser cada vez mais desafiador (Calvetti et
al., 2019).

É neste contexto dinâmico
que atuam as startups. Uma startup pode ser definida como uma
empresa jovem baseada em alta tecnologia, que apresenta rápido crescimento e
usa novas abordagens para promover e vender inovações (Jones, Suoranta, & Rowley, 2013b).
Essas empresas são pequenas e médias e investem em produtos baseados em
tecnologia para criar mercados ou oferecer uma oferta superior nos mercados
existentes (Ahmadi, & O’Cass,
2016), baseando-se em atividades de pesquisa e desenvolvimento (Mehrabi, Coviello,
& Ranaweera, 2019).

As startups lidam com desafios associados a
capacidade de previsão reduzidas, barreiras mais fracas para a entrada de
concorrentes, mudança de objetivos, novas estruturas gerenciais (Alqahtani, & Uslay, 2020) e
dificuldade em acessar informações necessárias para embasar a tomada de decisão
(Qureshi, & Kratzer,
2011). O contexto no qual estão inseridas exige conhecimento, rapidez e
flexibilidade para criar ou entender necessidades, desenvolver soluções,
testar, adaptar e comercializar seus produtos (Ghezzi, 2019;
Harms & Schwery, 2020; Shepherd & Gruber, 2020).

Diante deste cenário
desafiador, emerge a seguinte pergunta de pesquisa: Como um modelo de avaliação
de desempenho pode contribuir para a gestão de projetos em startups de base tecnológica? Os objetivos específicos do artigo se
apoiam nos passos para a construção de um modelo de apoio à decisão, pautado na
abordagem construtivista, sendo eles: (i) identificar critérios de decisão para
as startups estudadas, (ii) construir escalas
de avaliação dos critérios, (iii) integrar o modelo
em um critério único de síntese e (iv) gerar
recomendações.

Dessa forma, o
trabalho propõe o desenvolvimento de um modelo que permita construir
conhecimento nos decisores das startups e
apoiá-los no processo de gestão de projetos, considerando o ambiente que estão
inseridos que é dinâmico e de conhecimento limitado.

A seguir são
apresentados os referenciais teóricos sobre gerenciamento de projetos e
avaliação de desempenho. Em seguida a metodologia da pesquisa é descrita e os
resultados são apresentados.

2 GERENCIAMENTO DE PROJETOS EM AMBIENTE
DINÂMICOS E INCERTOS

A definição tradicional de projeto consiste em uma
iniciativa única com começo e fim pré-determinados, para atingir objetivos
estabelecidos segundo parâmetros de custo, cronograma e qualidade (Zhang & Fan, 2014). O
gerenciamento de projetos, por sua vez, fundamenta-se no planejamento,
programação e controle de uma série de tarefas integradas para atingir seus
objetivos com êxito, em prol dos participantes da iniciativa (Kerzner, 2006; Radujković & Sjekavica, 2017).
Independente do conceito utilizado, normalmente eles se referem à combinação de
singularidade, objetivos definidos, ciclo de tempo específico e restrições
conhecidas (custo, tempo e qualidade) (Williams, 2005).

A literatura tradicional de gestão de projetos
apresenta um conjunto de procedimentos normativos que considera que se os
procedimentos forem executados, os resultados serão projetos eficazmente
gerenciados (Jordão, Pelegrini, Jordão, & Jeunon, 2015).
Porém, na prática, é comum os projetos serem concluídos com atraso ou acima do
orçamento, não ocorrerem da forma esperada, sofrerem muita pressão dos
envolvidos, e ainda, serem cancelados antes do final (Ciric, Lalic,
Gracanin, Tasic, Delic, & Medic, 2019; Glass, 2005).

Apesar de ter extensos corpos de conhecimento, o
gerenciamento de projetos é baseado mais em conjunturas e premissas do que em
teorias (Ciric et al., 2019). Williams (2005) identificou
que o gerenciamento de projetos tradicional é racional e normativo. Ele não
exige justificativas, simplesmente assume-se que os corpos de conhecimento são
verdadeiros. Nessa linha, a posição ontológica adotada em gerenciamento de
projetos é, em sua maior parte, positivista. O foco está na afirmação dos
corpos de conhecimento e não no questionamento do sentido e dos limites (Bredillet, 2005).

Diante deste cenário, novas metodologias de
gerenciamento de projetos começaram a surgir como alternativas para ambientes
ambíguos e complexos. Nos novos modelos de gestão, baseados na incerteza (Huff, Milliken, Hodgkinson, Galavan, & Sund,
2016; O’Connor & Rice, 2013), o
foco sai do planejamento e da sequência fixa de tarefas para uma abordagem que
permite fazer mudanças em qualquer momento do projeto. O planejamento passa a
ser baseado em marcos, entregas específicas ou pontos de controle (Kristiansen & Ritala, 2018; Picciotto, 2020). Essa
perspectiva recebe o título de “New Project Management”, movimento com
potencial de se adaptar às mudanças de direções estratégica das organizações,
ser um instrumento de aprendizagem organizacional e servir como estrutura para
explorar vantagens competitivas por amplos horizontes de tempo (Picciotto, 2020).

Em projetos de inovação radical, a análise de
viabilidade de mercado dificilmente segue premissas preexistentes. Isso
dificulta o cumprimento de metas predefinidas e faz com que os gestores avaliem
o desempenho do projeto de forma estática (Kristiansen & Ritala, 2018). Molin (2003) afirma
que a própria definição de projeto como iniciativa única e pontual já leva a
conclusão de que um planejamento perfeito não é possível. Torna-se necessária
uma abordagem focada no aprendizado, aceitando que as incertezas fazem parte do
processo (Picciotto, 2020). Assim,
os modelos de avaliação de projetos devem ser reformulados para incluir o
sucesso em amplos horizontes de tempo, principalmente no que tange a habilidades
e competências da equipe e o aprendizado resultante das atividades de
planejamento e execução do projeto (Zwikael & Meredith, 2019).

A aprendizagem da equipe do projeto durante todas
as atividades de planejamento, execução, monitoramente e reflexão retrospectiva,
é um elemento importante para mensurar o sucesso organizacional (Albert, Balve, & Spang, 2017). As
abordagens baseadas na aprendizagem são metodologias de gerenciamento de
projetos que surgiram recentemente, as principais delas são conhecidas como
“lean” e “ágil” (Lacerda, Sacco Calvetti, Bernardes, & Cargnin da
Silveira, 2020).

Shah e Ward (2007) afirmam
que lean é uma abordagem multidimensional que contempla uma gama de
diferentes práticas de gestão, enquanto Brown e Bessant (2003) entendem
que não há um consenso sobre a natureza objetiva do que constitui lean. Ashrafi e Zare Ravasan (2018) entendem
agilidade como dois fatores principais: resposta às mudanças de forma adequada
e a exploração das mudanças de forma a transformá-las em oportunidades.

Agilidade é a capacidade de sobreviver e prosperar
em um ambiente competitivo de mudanças contínuas e imprevisíveis valendo-se de
reações rápidas e eficazes à evolução do mercado, focadas em produtos e
serviços para atender as necessidades dos clientes (Gunasekaran, Yusuf, Adeleye, & Papadoulos, 2018; Gunasekaran,
Yusuf, Adeleye, Papadoulos, Kovvuri, & Geyi, 2019). Esta
característica possibilita reagir às mudanças durante a execução do projeto, visto
que especificações detalhadas são obtidas durante a implementação do projeto (Albert et al., 2017).
Tal reflexão sobre o sucesso do projeto pode ficar mais clara conforme o tempo
avança, as condições mudam e o projeto é visualizado (Zwikael & Meredith, 2019).

Pela sua natureza inovadora, as startups precisam lidar com esse
ambiente de constante aprendizagem para implementar seus “projetos de
vanguarda”, cuja definição dada pelos autores Brady & Davies (2004)
consiste em projetos referentes ao primeiro empreendimento desenvolvido para
entrar em um novo mercado. (Davies & Hobday, 2005) reforçam
ainda que um projeto de vanguarda, não necessariamente vai levar a empresa a
uma movimentação de sucesso, no entanto, ele sempre cria valoroso conhecimento para
projetos futuros.

Helfat (2003) salienta a efetividade de projetos
de vanguarda para testar oportunidades, pois mobilizam e integram diferentes
conhecimentos que estão dentro da organização ou mesmo fora de seus limites.
São os projetos que caminham sobre trilhas desconhecidas, os que melhor se
adaptam à estratégia do aprendizado uma vez que envolvem identificação do
ambiente, resolução de problemas e muita flexibilidade. Neste ambiente, ao
invés do “instrucionismo”, a preferência é pelo “selecionismo” em que as
estratégias promissoras são selecionadas somente após um conjunto de tentativas
(Pich, Loch, & Meyer, 2002).

Para resolver essas questões, pesquisadores
argumentam sobre a necessidade de adotar métricas a partir de perspetivas de
futuro, facilitando a integração e alinhamento entre atividades do projeto e
seus objetivos (Kristiansen & Ritala, 2018).

3 AVALIAÇÃO DE DESEMPENHO

À medida que os
mercados ficaram mais complexos e dinâmicos, os gestores das organizações
perceberam que somente o uso de critérios financeiros não era mais apropriado
para avaliar seus sucessos (Kennerley & Neely, 2002). Nos anos 90, a avaliação de desempenho passou
por uma revolução e Neely (1999) identificou sete
razões principais para esse acontecimento: a mudança da natureza do trabalho, o
crescimento da concorrência, específicas iniciativas de melhoria, prêmios
nacionais e internacionais de qualidade, mudanças nos papéis organizacionais,
modificações nas demandas externas e o domínio da tecnologia da informação.

Nos dias atuais, a
economia está baseada no conhecimento como fator determinante da criação de
valor, aumento da produtividade e desenvolvimento econômico (Kristiansen
& Ritala, 2018). Nesse cenário, apresenta-se muitas oportunidades,
bem como desafios novos, e nela as empresas de base tecnológica e startups figuram como protagonistas (Carayannis,
Ferreira, Jalali, & Ferreira, 2018).

Dentre esses desafios
está a tomada de decisões dos gestores e empreendedores, em problemáticas ainda
mais complexas, incertas, de mudanças frequentes. Assim, torna-se relevante analisar
e aperfeiçoar técnicas de apoio à decisão, como avaliação de desempenho
multicritério de apoio à decisão (MCDA) (Zopounidis,
Galariots, Doumpos, Sarri, & Andriosopoulos, 2015), que se enquadra como uma subdisciplina da Pesquisa
Operacional (PO), que se destina a construir critérios e indicadores para
explicitar os valores e preferências dos decisores.

Conceitos mais
recentes de avaliação de desempenho ressaltam a importância do capital
intelectual como diferencial para responder com agilidade e flexibilidade às
mudanças que são necessárias considerando a dinâmica do contexto externo (Carayannis et
al., 2018; Castela, Ferreira, Ferreira, & Marques, 2018). Dessa forma, neste trabalho, a avaliação de
desempenho será definida como um processo usado para construir conhecimento no
decisor, sobre um contexto específico que ele se propõe a avaliar, a partir de
sua própria percepção, por meio de atividades que identifiquem, organizem,
mensurem ordinalmente e cardinalmente, e integrem os critérios relevantes (Ensslin,
Mussi, Ensslin, Dutra, & Fontana, 2020; Longaray, Ensslin, Dutra, Ensslin,
Brasil, & Munhoz, 2019).

As distintas formas
de lidar com os desafios da gestão podem ser consideradas como diferentes
abordagens de avaliação de desempenho adotadas para a busca de soluções aos
problemas (Lacerda,
Ensslin, Ensslin, Knoff, & Martins Dias Júnior, 2016). As quatro abordagens estão sintetizadas no Quadro
1.

Abordagem
de Decisão

Realismo

Prescritivismo

Construtivismo

Papel do tomador
de decisão

Usa a razão,
livre de emoções

Usar os valores
e preferências de quem tem autoridade para mudar a situação atual

Usa os valores e
preferências de quem tem autoridade para mudar a situação atual

Papel do
facilitador

Seleciona qual
modelo teórico (matemático ou econômico) usar

Utiliza o
discurso do decisor, seus valores e preferências, para construir um modelo
coerente

Usa ferramentas
cognitivas para expandir a compreensão dos tomadores de decisão sobre seu
contexto

Origem dos
critérios

Outros contextos
e/ou dados históricos

Discurso do
tomador de decisão e outras partes interessadas relevantes

Artefatos cognitivos,
legitimados pelo tomador de decisão.

Objetivo da
decisão

Determina a
solução ideal para o problema

Gera
recomendações alinhadas com os valores pessoais do tomador de decisão

Cria
oportunidades de decisão alinhadas com os valores e preferências do tomador
de decisão e dissipa restrições falaciosas sobre o problema

Pré-requisitos
principais

O tomador de
decisão acredita que o modelo pode selecionar a decisão certa entre todas as
alternativas

O tomador de
decisão acredita que o modelo é capaz de ordenar as alternativas em ordem de
preferência

O tomador de
decisão acredita que as técnicas cognitivas guiarão sua compreensão para
criar oportunidades de decisão.

Desvios das
recomendações

Decisões erradas

Decisões
desalinhadas com os valores e preferências do tomador de decisão

Decisões
desalinhadas com os valores e preferências do tomador de decisão ou oportunidades
de refinamento do modelo.

Singularidade do
Contexto

Reconhece apenas
a partir dos dados, visto que a estruturação é genérica e universal.

Reconhece que as
preferências do tomador de decisão estão relacionadas ao seu contexto

Reconhece que as
preferências do tomador de decisão estão relacionadas ao seu contexto

Problemas
típicos

Gerenciamento de
estoque, gerenciamento de contêineres em navios, planejamento de produção,
entre outros.

Planejamento
estratégico, NPD com foco em inovações incrementais, entre outros.

Planejamento
estratégico, NPD com foco em inovações incrementais, entre outros.

Quadro 1. Abordagens
de avaliação de desempenho

Fonte: Adaptado de Roy (1993)

Escolher a abordagem
Construtivista como visão de mundo a ser seguida, significa afirmar que o
decisor possui papel fundamental, pois ele é a pessoa que tem a responsabilidade
e a autoridade necessária para a tomada de decisão na organização (Marafon et
al., 2015). É a partir do sistema de valores e preferências do decisor que
os modelos de avaliação serão construídos. Uma vez que o facilitador criou as
condições para o decisor expandir seu entendimento sobre seus valores e
preferências, ele trabalha em disponibilizar este conhecimento para que o
decisor consiga visualizar os efeitos de suas decisões dentro do contexto em
questão (Ensslin et
al., 2020). Assim, o conhecimento construído suportará o decisor na
identificação das consequências da situação atual e sua evolução, segundo suas
decisões embasadas em seus objetivos estratégicos, gerando assim um processo
recursivo de aprendizagem (Lacerda, 2012).

O Construtivismo
será adotado como abordagem do presente trabalho por entender as incoerências
entre discurso e prática como algo positivo, pois essas divergências acontecem
frequentemente nas organizações e elas servem para gerar conhecimento (Bortoluzzi,
Ensslin, Ensslin, & Almeida, 2017). Além disso, a abordagem construtivista
reconhece a singularidade do contexto (Calvetti et
al., 2019), ou seja, os trabalhos realizados sob essa perspectiva, só são
aplicados no contexto que foram criados, uma vez que os modelos são construídos
com base nos valores e preferências de um decisor específico (Lacerda,
Ensslin, Ensslin, Knoff, & Martins Dias Júnior, 2016)..

4
MÉTODOS ADOTADOS

A pesquisa consiste
em um estudo exploratório uma vez que permite o aperfeiçoamento de teorias e
ideias por meio da familiarização do pesquisador com um problema específico, da
explicitação das características do mesmo e pela elaboração de recomendações de
como esse problema pode ser endereçado (Gil & Vergara,
2015). Quanto à natureza da pesquisa, este trabalho científico
utilizará estudo de caso para aprofundar o conhecimento em relação ao objeto de
pesquisa de forma a ampliar e detalhar o conhecimento necessário para atingir
os objetivos da pesquisa (Gil, &
Vergara, 2015; Raupp & Beuren, 2006). Outra característica do estudo de caso é a
manutenção das peculiaridades significativas dos acontecimentos da vida real,
tornando-se um elemento para a consolidação da natureza prática do estudo (Yin, 2013).

Esta pesquisa
utiliza como fontes de dados, dados primários e secundários. Os dados primários
consistem em entrevistas com os atores envolvidos para fins de contexto
decisório e estruturação do modelo proposto. Os dados secundários são referentes
às pesquisas de publicações científicas realizadas nas bases de dados como
parte da metodologia deste trabalho.

O presente projeto
de pesquisa possui ambas as abordagens: qualitativa no que se refere à
estruturação do modelo para apoiar as decisões em nível estratégico segundo os
valores e preferências de um gestor em dado contexto e quantitativa no que se
refere à integração das escalas cardinais em escalas globais para a avaliação
das alternativas durante o processo de entendimento.

Para construir o
modelo de avaliação de desempenho pretendido nesta pesquisa, foi escolhida a
Metodologia de Apoio à Decisão – Construtivista (MCDA-C) por ser um instrumento
que permite desenvolver conhecimento de contexto no decisor, ao mesmo tempo que
reconhece quais são os critérios que ele mais valoriza (Tasca,
Ensslin, & Ensslin, 2010; Tasca, Ensslin, Ensslin, & Alves, 2012). A principal contribuição dessa metodologia é
a geração de conhecimento no decisor que acontece de forma recursiva e não
linear entre as diferentes fases do processo (Lacerda et
al., 2016).

O desenvolvimento de
um modelo multicritério, utilizando a metodologia MCDA-C, dá-se em três fases
conhecidas como: Estruturação, Avaliação e Recomendações. As fases, etapas e
seus objetivos principais estão apresentadas graficamente na Figura 1.

Figura 1. As etapas da metodologia MCDA-C

Fonte: Ensslin,
Montibeller Neto e Noronha (2001).

5 RESULTADOS

5.1 Estudo de caso 1 - Aquarela

5.1.1 Fase de Estruturação

A Aquarela Advanced Analytics é uma empresa
de Big Data, fundada em 2010, que oferece produtos e serviços para transformar
grandes conjuntos de dados armazenados em informações preditivas. Para fins
deste contexto decisório, foi considerado o produto principal da empresa, a
ferramenta VORTX. Essa aplicação permite a geração de informações preditivas
(cenários) de clientes, pacientes e transações comerciais com base em múltiplos
fatores, além de “descobrir” os pesos de cada fator em relação aos objetivos de
negócio. No ano de 2016 uma versão mais robusta da ferramenta foi desenvolvida
com o objetivo de alavancar a comercialização do produto, e que justificou um
investimento da gestão para estudar mercados potenciais e aprimoramento na
identificação de oportunidades latentes.

As pessoas descritas
no Quadro 2 foram identificadas como atores participantes do contexto decisório
da empresa Aquarela.

Descrição

Atores

Decisor

-
Sócio

Intervenientes

-
Mentor da empresa

-
Sócio técnico)

Agidos

-
Colaboradores e clientes da Aquarela

Facilitadores

-
Pesquisadores

Quadro 2. Atores participantes do
contexto decisório da Aquarela.

Fonte: Dados da Pesquisa (2021)

A
partir do ambiente descrito pelo decisor, concluiu-se que o rótulo do problema
a ser estudado poderia ser delimitado como: “Por meio da construção de
conhecimento no decisor, objetiva-se identificar e priorizar projetos que
viabilizem a internacionalização da organização”.

Valendo-se
de entrevistas abertas, foi possível organizar a caracterização do problema da
seguinte forma:

I.
Apresentação do problema: o decisor procura, por
meio de um instrumento de apoio à decisão, a identificação e priorização de
projetos que auxiliem a internacionalização (venda fora do Brasil) de sua
solução de VORTX Big Data.

II.
Justificativa da importância do problema:
necessidade de incrementar a comercialização do produto e a identificação de
potencial de exportação do produto.

III.
Objetivo do trabalho: suprir o decisor de ferramenta
prática, por meio de um modelo de avaliação de desempenho e apoio à decisão,
que permita aperfeiçoar os processos de avaliação de projetos de prospecção de
clientes e parceiros para o produto VORTX Big Data.

IV.
Proposta de trabalho: desenvolvimento de um modelo
para apoio à decisão que identifica e prioriza os projetos para
internacionalização mais relevantes segundo as preferências do decisor.

V.
Resultados esperados: construção de um modelo para
apoio à decisão que identifica e prioriza os projetos de internacionalização
mais relevantes segundo as preferências do decisor, bem como a apresentação de
recomendações que auxiliem no aumento de maturidade dos processos comerciais do
produto VORTX Big Data.

A partir da interação
com os atores, especificamente o decisor e intervenientes, utilizando
entrevistas abertas, foi possível identificar os elementos primários de
avaliação (EPAs) que balizariam a continuidade deste
trabalho. No Quadro 3, é possível verificar quais foram os elementos por eles
mencionados:

Elementos
Primários de Avaliação

1

Abrangência

18

Relacionamento

32

Inglês

2

Qualidade

19

Incentivos

33

Segurança

3

Investimento

20

Concorrência

34

Leis

4

Escala

21

Limitações

35

Impostos

5

Marca

22

Sabotagem

36

Registros

6

Reconhecimento

23

Diferenciação

37

Propriedade intelectual

7

Parceria

24

Vendas

38

Auto sabotagem

8

Canais

27

Inovação

39

Oportunidades

9

Mercados

28

Fuso horário

40

Barreiras

10

Língua

29

Reuniões

41

Custo de troca

11

Cultura

30

Equipe

42

Reputação

12

Automação

31

Negociação

43

Padrões internacionais

13

Disponibilidade

25

Liderança

44

Tecnologia

14

Viagens

26

Desafio

45

Gestão

15

Burocracia

27

Inovação

46

Resiliência

16

Resistência

28

Fuso horário

47

Maturidade do mercado

17

Estratégia

Quadro 3.
Elementos Primários de Avaliação (EPAs)

Fonte: Dados da Pesquisa (2021).

Após
a apreciação desta primeira etapa, foi realizada uma reorganização de modo que
alguns EPAs, ao invés de representarem novos
conceitos, foram associados aos conceitos de outros EPAs.
Com os conceitos construídos, sua leitura e reflexão, foi possível identificar
grandes áreas de preocupação que, por sua vez, receberam rótulos para
defini-las. A partir dessas áreas, também chamadas de objetivos, uma estrutura top-down foi desenvolvida em que se associa os conceitos
aos objetivos e testa-se quanto à suficiência e necessidade dos conceitos
estabelecidos. A partir dessas informações é construída a Estrutura Hierárquica
de Valor, apresentada na Figura 2.

Figura 2. Estrutura Hierárquica de
Valor

Fonte: Dados da Pesquisa (2021).

Tão
logo a Estrutura Hierárquica de Valor da empresa é construída, é possível
iniciar a Construção dos Descritores que são as escalas ordinais que permitem
mensurar o desempenho das propriedades do contexto e, assim, operacionalizam os
objetivos estratégicos (Ensslin, Montibeller Neto,
& Noronha, 2001). Para chegar nos descritores, é preciso identificar os
critérios e, com este intento, optou-se por usar os mapas cognitivos (Eden,
1988). Os mapas são estruturas baseadas nos conceitos. Na parte superior do mapa
estão os fins, e busca-se os aspectos operacionais. Por isso, chama-se também
“relações meios fins”. Esta atividade é realizada junto com os decisores até
que todos os conceitos tenham sido avaliados e novos conceitos sejam
acrescentados para que os desdobramentos façam sentido de forma a exprimir as
relações de causa e efeito, sempre na perspectiva do decisor. A esses conceitos
adicionadas, foi dada numeração superior a 100.

Em conjunto com os
decisores, se constrói as escalas ordinais, onde devem ser observados todos os
conceitos daquela linha de argumentação. Da mesma forma se desenvolve os níveis
de referência que são classificados em três possibilidades: nível de
excelência, normalidade e nível comprometedor. Por fim, com a construção dos
indicadores, obtém-se a operacionalização dos objetivos estratégicos dos
decisores. Neste momento, se exauriu a capacidade de geração de conhecimento de
forma ordinal e está-se pronto para trabalhar as questões cardinais que
permitirão saber a priorizações das ações.

5.1.1.1 Evidências do
Construtivismo

Durante
a atividade de construção das escalas, os decisores se questionaram se os
clusters identificados eram relevantes para uma empresa com as características
da Aquarela: uma startup ainda
testando o melhor modelo de negócio em um ambiente dinâmico e com conhecimento
limitado. A partir dessa reflexão, alguns clusters acabaram sendo
desconsiderados por não expressarem critérios que valiam a pena ser medidos e
monitorados neste momento da empresa, segundo a visão de seus decisores. Esta
revisão de conceitos já numa etapa mais avançada do trabalho e a consequente
revisão dos conceitos que ficam, dos mapas ajustados, geram uma recursividade
nas discussões que corroboram para o objetivo construtivista de suportar
decisores no seu processo de construir conhecimento a partir da interação
social entre eles e o facilitador.

5.1.2
Fase de Avaliação

5.1.2.1 Construção
das Funções de Valor

A transformação das
escalas ordinais em cardinais pode ser feita de diferentes formas. Foi
escolhido o método MACBETH (Bana e Costa, & Vansnick, 1995) por sua fundamentação teórica,
representatividade e reconhecimento (Tasca, Ensslin, Ensslin, & Alves,
2010). Isto posto, a partir da entrada das avaliações de preferência dos
decisores, por meio de sua representação semântica, o M-Macbeth possui um
algoritmo que gera as escalas cardinais – também denominadas funções de valor –
compatíveis com as escolhas realizadas. Esta atividade de transformação das
escalas ordinais em cardinais é realizada para todos os descritores e, uma vez
concluída, a próxima ação é a construção das taxas de compensação.

5.1.2.2 Identificação
das Taxas de Compensação

Para atingir este
objetivo, são criadas alternativas fictícias para cada conjunto de indicadores,
em que cada uma delas possui um indicador no nível bom e as demais no nível
neutro; e, uma alternativa adicional, em que todos os indicadores estão no
nível neutro. Depois que as alternativas são identificadas, elas deverão ser
ordenadas conforme a preferência dos decisores. Esta atividade de ordenação será
feita de acordo com a matriz de Roberts (Roberts, 1979). Isso quer dizer que
toda vez que o decisor optar pela alternativa contida na linha ao invés da
coluna, adiciona-se um ponto para aquela linha.

Posteriormente,
volta-se à matriz semântica do M-Macbeth para aplicar as escolhas dos decisores
e transformá-las em escalas cardinais, tal como explicitado por Lacerda et al.
(2011). As atividades realizadas devem ser feitas para todos os Pontos de Vista
do modelo, iniciando nos elementos inferiores e evoluindo até as áreas de
preocupação. Após a definição de todas as taxas de compensação do modelo, é
possível identificar quais são os critérios e Pontos de Vista com as maiores
contribuições globais. Para concluir a fase de Avaliação, é necessário ainda identificar
o perfil de impacto das alternativas. Dessa forma, a próxima atividade é a
construção da equação que permitirá determinar o valor de qualquer ponto de
vista do modelo.

Com as fórmulas
construídas para todos os níveis do modelo (pontos de vista e áreas de
preocupação), ele está apto a ser utilizado como apoio à gestão dos projetos de
internacionalização da empresa. Dessa forma, pode-se afirmar que, ao determinar
o status quo de todos os critérios de avaliação (descritores), visando
identificar o desempenho de cada um, e com a atribuição de uma escala cardinal,
torna-se possível identificar os pontos fortes e fracos da empresa em relação
ao problema analisado.

A Aquarela apresentou
7 descritores, dos 15 existentes, que estão com desempenhos comprometedores.
Observando sob a perspectiva dos objetivos estratégicos, conclui-se que dois
desses objetivos estão com desempenho dentro da normalidade (Comercial &
Marketing e Gestão), enquanto um desses objetivos está com nível comprometedor
(Produto). De maneira análoga, essas equações que identificam o desempenho dos
pontos de vista são aplicadas para todo o modelo de forma a obter-se o
desempenho global da organização, conforme Figura 3, em que podemos perceber
que este valor ficou em -9,5 (nove pontos e meio negativos).  Ao final desta fase, pode-se afirmar que este
modelo de avaliação de desempenho, construído com base nas preferências e
valores dos decisores da Aquarela, levou à identificação dos projetos mais
relevantes para o contexto em questão, bem como ao desempenho global da empresa
nestes quesitos.

Figura 3. Perfil
do desempenho global

Fonte: Dados da
pesquisa (2021).

4.1.3 Fase de
Recomendações

Os cálculos
realizados na etapa de Avaliação permitem identificar a contribuição de cada
critério para a avaliação global.
Adicionalmente, as informações obtidas possibilitam apontar quais são os
critérios que, com melhor desempenho, trariam melhoria significativa ao
desempenho global no contexto. Então, considerando a contribuição geral do
critério para o modelo, o desempenho atual e o desempenho potencial, torna-se
possível obter a oportunidade estratégica deles. O Quadro 4 ilustra os
critérios com maior oportunidade estratégica e, portanto, eles representam os
projetos que devem ser tratados com prioridade pela Aquarela.

Quadro 4. Alternativas mais relevantes
para a gestão de forma ordenada.

Fonte: Dados da Pesquisa (2021).

Observando que, os
critérios que trazem a maior oportunidade de ganho ao desempenho global quando
forem trabalhados, estão ligados a Atividades Core, Turnover e
Vendas “self service”; isso sugere que, se
considerarmos a internacionalização como um programa da empresa, e que os
critérios representam projetos que, por sua vez, contemplam um conjunto de
ações a serem trabalhadas. A recomendação é que os seguintes projetos sejam
executados preferencialmente:

·
Projeto 1 – Foco em atividades core: a Aquarela
tem como modelo de negócio desejado possuir parcerias estratégicas tão fortes a
tal ponto que essas outras empresas venderão seu produto embutido em suas
soluções, e o time interno poderá atuar preponderantemente no desenvolvimento
do produto. Dessa forma, uma atividade muito relevante a ser feita neste
momento é identificar essas empresas potenciais e iniciar esse relacionamento,
para que consigam ir evoluindo esse modelo de parceria o mais breve possível.
Atualmente a Aquarela executa todo o processo e o crescimento de dois níveis da
escala, ou seja, deixar de fazer todo o processo como fazem hoje, delegando
apenas uma pequena parte dele, representa passar a avaliação cardinal de -3,94
para +4,92. Na avaliação global isso já representaria subir a escala de -9,5
para -0,7.

·
Projeto 2 – Melhora do turnover: a Aquarela
está utilizando um indicador que é adaptado a empresas pequenas e médias, por
possuírem times pequenos. Ainda assim, houve bastante “baixas” ao longo do
último ano e esse critério foi prejudicado. Portanto, a Aquarela precisa atuar
junto ao time atual no sentido de fidelizá-los à empresa e marca para que não
se sintam descontentes e busquem recolocação no mercado. Essa “fidelização”
precisa contemplar os critérios mais relevantes para essas pessoas: para alguns
é financeiro, para outros é flexibilidade, para outros é desenvolvimento etc.
Quando a Aquarela conseguir subir seu nível atual de turnover de maior
que 0,5 para 0,3, isso representará elevar o desempenho global de -9,5 para 6,0

·
Projeto 3 - Vendas “self service”:
Esse é o nome dado pela Aquarela a uma solução que está em desenvolvimento,
cujo objetivo é ter todo o processo ocorrendo de forma amigável e automatizada
direto pelo cliente final, sem a necessidade da intervenção de um vendedor ou
pessoa de atendimento (como a compra de um aplicativo no celular). Dada a
relevância deste critério no contexto, a empresa deve priorizar em seu dia a
dia, as atividades que contribuirão para que esse projeto se torne realidade o
mais breve possível. As primeiras vendas deste produto já representarão o
aumento do desempenho global de -9,5 para 2,4. Ou seja, já mudaria o desempenho
global de comprometedor para normal.

Como pode-se perceber
com algumas ilustrações mencionadas anteriormente, ter a clareza das
prioridades permite aos decisores da Aquarela simular cenários para avaliar o
esforço requerido para colocar um projeto em prática em detrimento de outro e
assim ponderar qual deve ser priorizado e com qual foco. Considerando as
limitações de escopo, qualidade e tempo, os gestores são constantemente
desafiados a escolher as opções mais promissoras e este modelo apoiará essa
tomada de decisão.

Vale reforçar que,
esta etapa assim como as demais, não possui caráter prescritivo, ou seja, não
objetiva prescrever ao decisor o que ele precisa fazer. Assim como todo o
modelo, o foco é apoiar a tomada de decisões no sentido de orientar ações e
avaliar consequências.

5.2
ESTUDO DE CASO 2 - PENSYS

5.2.1 Fase de
Estruturação

A PENSYS foi
constituída em outubro de 2014, focada no desenvolvimento de soluções
tecnológicas em Eletrônica, Mecânica e Mecatrônica. O objetivo da empresa era
levar soluções inovadoras, eficientes e com expressivas vantagens em redução de
custo e aumento de produção para outras organizações. Os gestores da PENSYS
entendiam que isso podia ser atingido por meio de pesquisas e desenvolvimento
intensivo, integrando conhecimento e competências multidisciplinares e
complementares, para viabilizar tecnologias, serviços e produtos de alto
impacto econômico, produtivo e social.

A PENSYS foi formada
por quatro sócios, sendo que cada um desempenhava um papel específico:
Administrativo, Produtos, Comercial e Operações e todas as decisões da empresa
eram tomadas de forma conjunta. Entre essas decisões, esteve a participação no
processo de incubação do MIDI Tecnológico em Florianópolis, o qual fazem parte
desde 2015. Além dos sócios mencionados, a empresa possuía ainda dois
funcionários. Entre os segmentos para quais desenvolviam produtos estavam:
telecomunicações, agricultura, alimentação e automação industrial.

A partir de
entrevistas realizadas com os sócios (Castro, Müller, Mazute,
& Vasconcellos, 2015), foi possível mapear de forma precisa qual era o
contexto organizacional. Os gestores definiam como “carro chefe” da empresa o
processo de robotização, a inserção e a exploração do mercado de Inteligência
Artificial. Eles entendiam que o principal diferencial da organização era a
união da parte física dos equipamentos (hardware) com a parte de
programação (software), enquanto a maioria das empresas do segmento
focavam majoritariamente no software. O negócio da empresa consistia em
licenciar os produtos fabricados, viabilizando assim que terceiros pudessem
comercializá-los e até mesmo manufaturá-los.

A missão da empresa
era “Desenvolver produtos inteligentes” e a visão “Ser referência no
desenvolvimento de produtos inteligentes”, sendo que os três pilares de ação
constituíam de: Pesquisa, Consultoria e Tecnologia, estabelecendo o primeiro
como prioridade. Todos os projetos vinham sendo desenvolvidos em parcerias com
outras empresas que atuam no ramo ao qual o produto será dirigido. A proposta
de negócio era que a PENSYS fosse responsável pela parte tecnológica, enquanto a
empresa parceira, por sua vez, realizasse a disseminação e venda do produto,
visto que essas já possuem os canais, mapeamento do mercado e networking dentro
do segmento. A PENSYS via neste modelo uma espécie de “sociedade relativa”, em
que eles cobrariam um valor abaixo do mercado por suas horas de elaboração dos
produtos, e em troca, eles permanecerão vinculados ao produto, recebendo o
retorno financeiro em forma de royalties sobre as vendas futuras. Eles até
consideravam a possibilidade de venda de alguns projetos específicos,
dependendo do cenário proposto.

Um dos problemas
vivenciados pela empresa é que ela contava com várias frentes e projetos bem
diferentes, muitas vezes faltavam dados para a tomada de decisão e análise
parciais eram realizadas sobre as prioridades que a empresa devia estabelecer.
Ainda não possuía clareza sobre o momento em que deviam expandir a perspectiva
e o momento que deviam focar em um determinado mercado. Essa dificuldade
ampliava-se, segundo eles, porque os sócios possuíam empregos paralelos dos
quais não podiam desligar-se enquanto a empresa não suprisse economicamente
esta lacuna, ou seja, tornasse mais rentável.

Os projetos
trabalhados eram divididos internamente com gestão individual dos sócios, em
que cada um se responsabilizava pela programação, desenvolvimento tecnológico e
qualidade dos produtos.  Durante essas
conversas formais e informais com os sócios, foi identificado que havia muita
divergência de opiniões e eles mesmos reconheciam isso e viam como algo
positivo pois enriquecia a visão empresarial. Por outro lado, isso dificultava
a tomada de decisão quanto à definição dos projetos prioritários da
organização. Dessa forma, o trabalho proposto foi o de levar os sócios ao
melhor consenso quanto aos critérios preferenciais que, de forma científica, os
ajudaria a identificar os projetos que deveriam direcionar os principais
recursos da empresa. Dessa forma, uma vez descrito o ambiente em que o problema
se estrutura, os atores envolvidos foram formalizados conforme exposto no
Quadro 5.

Descrição

Atores

Decisor

Sócio e Diretor
Comercial

Intervenientes

Sócio e Diretor
de Operações, Sócio e Diretor Administrativo, Sócio e Diretor de Produtos

Agidos

Colaboradores,
Parceiros e Clientes

Facilitadores

Pesquisadores da
UFSC

Quadro 5. Atores
participantes do contexto decisório da PENSYS.

Fonte: Dados da
Pesquisa (2021).

A
partir do ambiente descrito pelo decisor, concluiu-se que o rótulo do problema
a ser estudado poderia ser delimitado como: Identificar os projetos a terem
desenvolvimento e comercialização priorizados pelo time PENSYS, por meio da
construção de conhecimento do decisor.

Valendo-se
das entrevistas realizadas com os sócios, foi possível definir o rótulo e
sumário do problema que veio a ser trabalhado neste modelo:

i.
Apresentação do problema: Definir um roadmap de projetos que deverão ser priorizados em
determinado período.

ii.
Justificativa da importância do problema: O
direcionamento dos esforços em projetos prioritários serve para guiar a
aplicação dos recursos nas demandas que, segundo os valores e preferências dos
decisores, são as mais importantes para atingir os objetivos da empresa.

iii.
Objetivo: Este trabalho busca suprir o decisor de
ferramenta prática, por meio de um modelo de avaliação de desempenho e apoio à
decisão, para identificar os projetos de produtos que são mais prioritários
para o alcance dos resultados da organização.

iv.
Proposta de trabalho: Este trabalho propõe o
desenvolvimento de um modelo de apoio à decisão que, utilizando-se da
Metodologia Multicritério de Apoio a Decisão – Construtivista (MCDA-C), irá
identificar os projetos mais relevantes.

v.
Resultados esperados: Desenvolvimento de um modelo
para apoio à decisão baseado nas preferências do decisor, que identifique e priorize
os projetos de produtos da PENSYS e ainda, se proponha recomendações para a
continuidade deste processo dentro da empresa.

Tomando por base
entrevista realizada com o decisor, chegou-se aos elementos primários de
avaliação (EPAs) que são o ponto de partida para a
criação dos conceitos a serem elaborados na sequência. O resultado desta
atividade está apresentado no Quadro 6.

Elementos
Primários de Avaliação

1

Dedicação
exclusiva

10

Inteligência
artificial

18

Produtos

2

Parcerias

11

Hardware

19

DEIP

3

Concorrência

12

Software

20

Planejamento
estratégico

4

Diversão

13

Pesquisa

21

Afinidades

5

Contatos

14

Royalties

22

Recursos

6

Otimização

15

Fornecedores

23

ROI

7

Pesquisa
de mercado

16

Faturamento

24

Crescimento

8

Prioridades

17

Inovação

25

Investidores

9

Robotização

Quadro 6. Elementos
Primários de Avaliação (EPAs)

Fonte: Elaborado pelos autores (2021).

Uma vez que os
conceitos são elaborados, torna-se possível identificar grandes áreas de
preocupação que, por sua vez, recebem rótulos para defini-las. A partir dessas
áreas, também chamadas de objetivos, uma estrutura top-down
é desenvolvida em que se associa os conceitos aos objetivos e testa-se quanto à
suficiência e necessidade dos conceitos estabelecidos. Uma   que a estrutura top-down
foi testada e legitimada pelos decisores, a Estrutura Hierárquica de Valor é
legitimada e então parte-se para a etapa de Construção dos Descritores, momento
esse em que as escalas ordinais são criadas e isso permitirá avaliar o
desempenho das propriedades do contexto que operacionalizam os objetivos
estratégicos do modelo em questão (Ensslin et al., 2001).

Nesta etapa do modelo,
os conceitos são organizados, por meio da aplicação de relações meios fins ou
mapas cognitivos (Eden, 1988). Da mesma forma que no caso anterior, esta
atividade é realizada junto com os decisores até que todos conceitos tenham
sido avaliados e novos conceitos sejam acrescentados para que os desdobramentos
façam sentido de forma a exprimir as relações de causa e efeito, sempre na
perspectiva do decisor.

Quando se observa as
relações entre os conceitos, percebe-se que há linhas de argumentação que levam
os conceitos mais operacionais aos mais estratégicos, podemos chamar esses
relacionamentos de clusters. Uma vez identificados todos os clusters, eles
serão organizados em uma estrutura arborescente, em que se observa os Pontos de
Vistas relacionados aos objetivos estratégicos (Rogério Tadeu Oliveira Lacerda,
2012). Uma vez que os clusters são definidos, então eles são migrados para a
Estrutura Hierárquica de Valor pois cada um dos elementos de nível inferior
servirá como base para a construção dos descritores. A estrutura hierárquica
completa do contexto em questão está exibida na Figura 4.

Figura 4. Estrutura
Hierárquica de Valor

Fonte: Dados da
Pesquisa (2021).

Em conjunto com os
decisores, se constrói as escalas ordinais, onde devem ser observados todos os
conceitos daquela linha de argumentação. Da mesma forma, se desenvolve os
níveis de referência que são classificados em três possibilidades: nível de
excelência, normalidade e nível comprometedor. Com a construção dos
indicadores, obtém-se a operacionalização dos objetivos estratégicos dos
decisores. Neste momento, se exauriu a capacidade de geração de conhecimento de
forma ordinal e está-se pronto para trabalhar as questões cardinais que
permitirão saber a priorizações das ações.

5.2.1.1 Evidências do
Construtivismo

Em todas as etapas do
processo, houve muita discussão entre os sócios e o resultado de tais
divergências de opinião alimentava a base do Construtivismo que é a construção
do conhecimento nos decisores. Uma vez que o consenso era requerido para a
tomada de decisão, houve diversos momentos que foi necessário retomar uma etapa
anterior para fazer alterações dadas novas percepções que iam se desenvolvendo
ao longo do processo. Assim como no outro estudo de caso, os sócios da PENSYS também
se questionavam quanto à necessidade e importância de alguns conceitos dadas as
características de uma empresa pequena e ainda mais por ser uma startup. Vale mencionar que esse tipo de
recursividade pode acontecer em qualquer uma das fases de aplicação do modelo.

5.2.2 Fase de
Avaliação

Na fase de avaliação
é realizada uma análise de independência, as funções de valores são
construídas, as taxas de compensação são identificadas e, ainda, identifica-se
o perfil de impacto das alternativas. Da mesma forma que foi realizado no
estudo de caso anterior, para que se comprove a viabilidade do uso de um modelo
de avaliação de agregação de síntese, os critérios são testados quanto a sua
independência. Então, utiliza-se a Independência Preferencial cardinal par-a-par
entre todos os critérios e, uma vez testada, pode-se evoluir no modelo
(Lacerda, 2012).

5.2.2.1 Construção
das Funções de Valor

Durante as atividades
do projeto Aprendizagem em Ação, o modelo desenvolvido foi simplificado em
algumas etapas, uma vez que o tempo de projeto, perfil dos alunos de graduação
e objetivos da iniciativa não permitiam aplicá-lo em sua totalidade. Isto
aconteceu, por exemplo, nesta etapa em que, no projeto, o método MACBETH não
foi utilizado. Entretanto, para fins de atender uma apropriada fundamentação
científica, aqui neste estudo de caso, estas carências foram supridas. Com o
uso do MACBETH, há maior segurança de que os critérios atendem características
imprescindíveis como mensurabilidade e homogeneidade. Isto posto, a partir da
entrada das avaliações de preferência dos decisores, por meio de sua
representação semântica, o M-Macbeth possui um algoritmo que gera as escalas
cardinais – também denominadas funções de valor – compatíveis com as escolhas
realizadas. Esta atividade de transformação das escalas ordinais em cardinais é
executada para todos os descritores do modelo e, uma vez concluída, a próxima
ação é a construção das taxas de compensação.

5.2.2.2 Identificação
das Taxas de Compensação

Conforme explicado no
estudo de caso anterior, para desenvolver as taxas de compensação, são criadas
alternativas fictícias para cada conjunto de indicadores, em que cada uma delas
possui um indicador no nível bom e as demais no nível neutro; e, uma
alternativa adicional, em que todos indicadores estão no nível neutro.

Depois que as
alternativas são identificadas, elas deverão ser ordenadas conforme a
preferência dos decisores. Esta atividade de ordenação será feita de acordo com
a matriz de Roberts (Roberts, 1979). Salienta-se que nos casos em que os
decisores disseram que não foi possível definir pois os cenários possuem a
mesma importância na visão deles, contabilizou-se um ponto a linha.
Posteriormente, volta-se à matriz semântica do M-Macbeth para aplicar as escolhas
dos decisores e transformá-las em escalas cardinais, tal como explicitado por
Lacerda et al. (2011).

Da mesma forma que
foi realizado no estudo de caso 1, a matriz de Roberts deve ser aplicada em
todos os Pontos de Vista do modelo, iniciando nos elementos inferiores e
evoluindo até as áreas de preocupação. Após a definição de todas as taxas de
compensação do modelo, é possível identificar quais são os critérios e Pontos
de Vista com as maiores contribuições globais.

O modelo construído
até aqui é considerado integrado e permite uma avaliação global do contexto
decisório, bem como a identificação do perfil de impacto das alternativas. Para
visualizar essas informações, é importante ter em mente a equação que permite
determinar o desempenho atual (status quo) para os projetos avaliados
pela PENSYS.

Para aplicar esta
etapa do estudo, os decisores da PENSYS foram questionados sobre quais os
projetos mais relevantes no momento segundo suas opiniões individuais. Como
resposta, houve três projetos que foram mencionados por pelo menos três dos
quatro sócios. Foram eles: Sequenciador de DNA, Aerogerador e Raio X
veterinário. Então, os modelos foram aplicados para os três projetos em questão
a fim de comparar os resultados.

Para aferir o
desempenho atual (status quo) dos projetos, é necessário calcular o
desempenho em cada um dos pontos de vista. Com as fórmulas construídas para
todos os níveis do modelo (pontos de vista e áreas de preocupação), ele está
apto a ser utilizado como apoio à gestão dos projetos da empresa.

Vale observar que o
cálculo do desempenho atual (status quo) do ponto de vista permite
afirmar que referente a esta área de preocupação, os produtos Aerogerador (69
pontos) e Sequenciador (50 pontos) possuem desempenho bem superior ao do Raio x
(10 pontos negativos). Estes valores foram encontrados a partir do cálculo de
cada um dos pontos de vista elementares, bem como de seus correspondentes
descritores. Então, uma vez cientes do desempenho atual (status quo) de
todos os pontos de vista, é possível calcular o desempenho global de cada um
dos projetos em questão e chegou-se aos seguintes valores: Sequenciador 28
pontos (vinte e oito), Aero gerador 25 pontos (vinte e cinco) e Raio X 02
pontos (dois), conforme demonstrado na Figura 5,  Figura 6 e Figura 7 respectivamente.

Figura 5. Perfil
do desempenho global (Sequenciador)

Fonte: Dados da
pesquisa (2021).

Figura 6. Perfil
do desempenho global (Aero gerador)

Fonte: Dados da
pesquisa (2021)

Figura 7. Perfil
do desempenho global (Raio X)

Fonte: Dados da
pesquisa (2021).

Observando os valores
mencionados, é possível afirmar que os projetos dos três produtos em questão
possuem desempenho caracterizados como “Normal”, entretanto o Sequenciador e o
Aerogerador possuem resultados muito próximos (quase que um empate), enquanto o
projeto do Raio X apresenta desempenho bem inferior comparado a eles. Vale
comentar ainda que, com a informação de desempenho de todos os critérios, é
possível identificar quais são os pontos fortes e fracos dos produtos em
análise, com base nas preferências e valores dos decisores da PENSYS.

5.2.3 Fase de
Recomendações

A metodologia
aplicada até aqui, além de identificar quais os projetos com melhor desempenho
global e por ponto de vista, também permite saber quais são os critérios do
modelo que representam as maiores oportunidades a serem trabalhadas em cada
projeto. Isso é feito ao comparar o desempenho atual por critério com o
desempenho bom, representado pelo valor 100 (cem pontos) na escala cardinal.
Desta forma, o modelo construído permite diferentes análises dependendo dos
objetivos em questão. A primeira delas e a que responde objetivamente ao
problema levantado pelos gestores, é quais projetos deverão ser priorizados em
detrimento de outros. Dentre os três analisados, a resposta seria o
sequenciador de DNA e/ou o aero gerador, visto que ambos apresentaram desempenho
muito similar – praticamente empate -, conforme demonstrado na Figura 8.

No Quadro 7, pode-se
observar que o produto Sequenciador sobressaiu-se no desempenho dos objetivos
de Fatores Externos, enquanto o Aerogerador destacou-se nos Fatores Internos.
Levando em conta que as taxas de compensação já consideram a importância
relativa de cada um na visão dos decisores, essa representatividade já faz
parte do cálculo de desempenho global.

Figura 8. Desempenho
global dos três produtos

Fonte: Dados da Pesquisa (2021).

Quadro 7. Desempenho
global e por ponto de vista de cada projeto.

Fonte: Dados da
Pesquisa (2021).

Vale mencionar ainda
que o modelo aplicado é mais abrangente e permite também identificar o que
deveria ser trabalhado em cada projeto caso queiram elevar a sua prioridade
dentro da empresa. Esta informação pode ser verificada no Quadro 8 que exibe os
critérios com maior oportunidade estratégica. Por exemplo, os três projetos
estão com o mesmo desempenho no que se refere à ROI (descritor FP2): não tem
previsão. Se algum dos produtos prever 100% de ROI em 2 anos, o desempenho
global do projeto em questão já subiria 15 pontos.

Quadro 8. Alternativas mais relevantes
para a gestão ordenadas por sua oportunidade estratégica.

Fonte: Dados
da Pesquisa (2021).

Da mesma forma, para
o critério modelo de rents (descritor FP3) que
atualmente não é uma definição estável, mas ao passar para o nível de “opera
com receita recorrente, arcando com os custos PENSYS do projeto”, representaria
um crescimento de aproximadamente outros 10 pontos no desempenho global. Além
dos exemplos mencionados acima, ao olhar esses critérios de forma conjunta
(como foi feito no Quadro 16), é possível identificar que, exceto por um
critério que aparece isolado (FE2 – Conhecimento público alvo), todos os demais
critérios se repetem entre os projetos, indicando que são pontos relevantes
para os decisores que não estão sendo considerados quando aceitam trabalhar nos
projetos.

Assim sendo, não
obstante a resposta quando à ordenação dos projetos em si que é o que eles
estavam buscando, outra recomendação que pode ser feita ao time PENSYS é sempre
calcular o ROI do projeto para evitar a avaliação baixa por ainda não ter
previsão. A segunda seria, negociar o modelo de rents
antes mesmo do início do projeto. A terceira sugestão seria buscar projetos de
produtos que já tenham fornecedores de insumos definidos ou – alternativamente
– investir mais no desenvolvimento de uma cadeia de fornecedores de confiança.
Além dessas, é pertinente levar em conta que projetos que a empresa já domina a
tecnologia terão mais chance de ser priorizados, portanto, se desejar variar, é
necessário investir no desenvolvimento dessa expertise previamente. Ele se
aplica para preferência por projetos que compartilhem o uso de recursos
(pessoas, equipamentos etc.), indicando a importância de trabalhar com recursos
flexíveis.

Com a conclusão da
etapa de Recomendações do MCDA-C, o time PENSYS tem condições de ordenar seus
projetos e identificar quais são preferenciais e ainda fazer análises pontuais
que indicam as maiores oportunidades em cada projeto. Ou seja, o modelo como um
todo fornece apoio ao decisor para identificar em que ele deve focar, quais
projetos vão gerar resultados com maior impacto no aperfeiçoamento da empresa e
quais as consequências destas ações em nível local (descritor), operacional
(ponto de vista elementar), tático (ponto de vista fundamental) e estratégico
(global) (Ensslin et al., 2010). Da mesma forma que foi mencionado no estudo de
caso anterior, é importante dizer que, esta etapa assim como as demais, não
possui caráter prescritivo, ou seja, não objetiva prescrever ao decisor o que
ele precisa fazer. Assim como todo o modelo, o foco é apoiar a tomada de
decisões no sentido de orientar ações e avaliar consequências.

5
CONCLUSÕES

Nos últimos anos, o
mercado em geral tem se demonstrado cada vez mais ambíguo e complexo, exigindo
maior criatividade e rapidez dos gestores na busca por fazer suas organizações
crescerem e prosperarem. Neste contexto, a área de gerenciamento de projetos que
historicamente sempre demonstrou fragilidades no que se refere à avaliação de
desempenho, é cada vez mais desafiada a conseguir mostrar bons resultados e,
para atender essa demanda, vem se reinventando e criando metodologias. Startups
são organizações que desafiaram o status quo do mercado e ousaram
novos modelos de negócio e se valem, principalmente, do aumento do acesso à
tecnologia pela maior parte da população. Dentro deste contexto, emergiu a
pergunta de pesquisa: Como um modelo de avalição de desempenho construtivista
pode contribuir para o gerenciamento de projetos em startups de base tecnológica? E como objetivo: Desenvolver um
modelo que permita construir conhecimento nos decisores e apoiá-los no processo
de gestão de projetos.

Considerando que os
interesses de pesquisa demonstraram a preocupação de desenvolver conhecimento
no decisor, ao mesmo tempo que assume as escolhas e preferências dele para
definição das premissas do modelo, a metodologia escolhida foi a MCDA-C
(Metodologia de Apoio à Decisão – Construtivista) como a mais apropriada para
esses objetivos. Para que se pudesse avaliar um ambiente caracterizado por
incertezas e que exige rapidez, o universo das startups tecnológicas foi escolhido para a aplicação deste modelo.
Optou-se pela aplicação em duas organizações distintas para assegurar se
haveria alguma prática relevante que poderia destoar e sugerir alguma mudança
na prática deste estudo ou ainda uma nova oportunidade de pesquisa, mas isso
não foi identificado.

Ao cumprir os
objetivos propostos em dois contextos de gestão de projetos em startups de base tecnológica, entende-se
que foi desenvolvido um modelo que permitiu aos decisores de cada uma dessas
organizações construir conhecimento e serem apoiados em seus processos de
gestão de projetos, considerando o ambiente que atuam que é dinâmico e de
conhecimento limitado. Inserido neste ambiente de startups, foi possível conhecer e interagir com os decisores,
observar a forma como tomam suas decisões e a dificuldade em encontrar
respostas mais apropriadas ao seu contexto. O pesquisador percebe o impacto de
um ambiente dinâmico e de conhecimento limitado, cujos gestores precisam tomar
decisões de forma rápida e que considerem as características do contexto que
estão inseridos. Com a conclusão da etapa de Recomendações do MCDA-C, o modelo
como um todo fornece apoio ao decisor para identificar em que ele deve focar,
quais projetos vão gerar resultados com maior impacto no aperfeiçoamento da
empresa e quais as consequências destas ações em nível local, operacional,
tático e estratégico.

Tomando por base os
casos das startups apresentados algumas recomendações específicas podem
ser feitas para auxiliar os decisores na gestão dos projetos, considerando as
nuances entre gerenciamento tradicional e metodologias flexíveis.

a)
Integração: Para as startups, o mais indicado é trabalhar com projetos menores para
facilitar a gestão. O termo de abertura de projeto não poderá ser estático e
precisará a todo momento ser revisto. É comum as abordagens mais flexíveis de
gestão de projetos trabalharem com o papel de facilitador, ao invés de líder. O
time é que toma as decisões, porém o trabalho deles é facilitado por alguém
específico.

b)
Escopo: Devido às características de inovação,
iteratividade e aprendizado contínuo, o escopo destes projetos costuma ter
muitos aspectos desconhecidos e que, portanto, o time não consegue estimar
precisamente. Por isso, tem que ser utilizado o conceito da recursividade ou
elaboração progressiva. Isso quer dizer que o escopo não é todo definido de
antemão. Ele será redefinido/revisado a cada ciclo de execução. Conforme há
mais aprendizado sobre o projeto, o escopo começa a ser decomposto em partes
menores e mais estáveis.

c)
Tempo: Os prazos terão que ser altamente flexíveis,
uma vez que a prioridade neste processo é a construção do conhecimento, em
detrimento do cumprimento de pacotes de trabalho no prazo esperado. O principal
documento gerado nesta fase, que é o cronograma, terá um alto nível de
imprecisão durante os primeiros ciclos de execução do projeto.

d)
Riscos: Gerenciar um projeto inovador, como é o caso
das startups consiste em uma busca
constante para redução das incertezas e, consequentemente, dos riscos. O mais
importante é que o aprendizado destes casos, seja transformado em critérios de
escolha dos próximos produtos a serem trabalhados. Em
projetos com histórico, haverá um documento formal para registro das ações de
gestão de riscos.

A principal limitação
da pesquisa diz respeito à singularidade de contexto que estes estudos foram
feitos, de forma que a metodologia aqui desenvolvida pode ser replicada, entretanto
os modelos criados não podem ser copiados para outro contexto. Como
oportunidade para estudos futuros, propõe-se o uso do modelo durante a execução
dos projetos, continuando assim a construção do conhecimento nos decisores, de
modo que alguns critérios poderão perder o sentido, enquanto outros emergirão,
além da possível variação das taxas de compensação. O ambiente de startups é muito profícuo para o
desenvolvimento de novos estudos, visto que se trata de um contexto muito
dinâmico e que está se reinventando constantemente para atender à rapidez
exigida pelo mercado.

Agradecimentos

Esta pesquisa foi desenvolvida com apoio financeiro
do CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) por
meio da Bolsa de Desenvolvimento Tecnológico e Extensão Inovadora Produtividade
- Nível 2 e com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior - Brasil (CAPES) - Código Financiador 001.

REFERÊNCIAS

Ahmadi, H.; OCass, A. The role of entrepreneurial marketing in new
technology ventures first product commercialisation.
Journal of Strategic Marketing, v. 24, n. 1, p. 47–60, 2016.

Alqahtani, N.; Uslay, C.
Entrepreneurial marketing and firm performance: Synthesis and conceptual
development. Journal of Business Research, v. 113, p. 62–71, 2020.

Albert, M.,
Balve, P., & Spang, K. (2017). Evaluation of project success: a structured literature review. International
Journal of Managing Projects in Business, 10(4).

Ashrafi, A., & Zare Ravasan, A. (2018). How market
orientation contributes to innovation and market performance: the roles
of business analytics and flexible IT infrastructure. Journal of Business and Industrial Marketing, 33(7), 970–983.

Bana
e Costa, C.
A. B., & Vansnick, J. C. (1995). General overview of the MACBETH approach. Advances in multicriteria analysis, 93-100.

Barclay, C., &
Osei-Bryson, K.-M. (2010). Project performance development framework: An
approach for developing performance criteria & measures for information
systems (IS) projects. International
Journal of Production Economics, 124(1), 272–292.

Bortoluzzi,
S. C., Ensslin, S. R., Ensslin, L., & de Almeida,
M. O. (2017). Multicriteria decision aid tool for the operational management of
an industry: a constructivist case. Brazilian
Journal of Operations & Production Management, 14(2), 165–182.

Brady, T., & Davies, A.
(2004). Building project capabilities: from exploratory to exploitative
learning. Organization Studies,
25(9), 1601–1621.

Bredillet, C. (2005). Understanding the very nature of project
management: A praxiological approach. Project Management Institute (PMI)
Research Conference,
2004.

Brown, S.,
& Bessant, J. (2003). The manufacturing strategy‐capabilities links in mass customisation
and agile manufacturing–an exploratory study. International Journal of Operations & Production Management, 23(7).

Calvetti, E. S., de Oliveira Lacerda,
R. T., & Bernardes, M. L. (2019). Um estudo bibliométrico
sobre avaliação de desempenho no processo de desenvolvimento ágil de software
sob a perspectiva do construtivismo. Revista
Brasileira de Gestão e Inovação, 6(3),
1–28.

Carayannis,
E. G., Ferreira, J. J. M.,
Jalali, M. S., & Ferreira, F. A. F. (2018). MCDA in knowledge-based economies:
Methodological developments and real world applications. Technological Forecasting and Social Change, 131, 1–3.

Castela,
B. M. S., Ferreira, F. A. F., Ferreira, J. J. M., & Marques, C. S. E.
(2018). Assessing the innovation capability of small-and medium-sized
enterprises using a non-parametric and integrative approach. Management Decision, 56(6).

Castro, M.,
Müller, A., Mazute, J., & Vasconcellos, R. (2015, 17 set.) Entrevista
com os empresários em 17 set 2015. Universidade Federal de Santa Catarina,
Laboratório de Inovação e Gestão CAD/CSE.

Ciric,
D., Lalic, B., Gracanin, D., Tasic, N., Delic, M., & Medic, N. (2019).
Agile vs. Traditional Approach in Project Management: Strategies, challenges
and reasons to introduce agile. Procedia
Manufacturing, 39, 1407–1414.

Collyer,
S., & Warren, C. M. J. (2009). Project management approaches for dynamic
environments. International Journal of
Project Management, 27(4), 355–364.

Davies, A.,
& Hobday, M. (2005). The business of
projects: Managing innovation in complex products and systems. Cambridge: Cambridge University Press.

Din, S.,
Abd-Hamid, Z., & Bryde, D. J. (2011). ISO 9000 certification and
construction project performance: The Malaysian experience. International Journal of Project Management,
29(8), 1044–1056.

Eden, C.
(1988). Cognitive mapping. European
Journal of Operational Research, 36(1), 1-13.

Ensslin, L., Mussi, C. C., Ensslin, S. R., Dutra, A., & Fontana,
L. P. B. (2020). Organizational knowledge
retention management using a constructivist multi-criteria model. Journal of Knowledge Management, 24(5).

Ensslin, L., Montibeller Neto, G.,
& Noronha, S. M. (2001). Apoio
à decisão: Metodologias para estruturação de problemas e avaliação
multicritério de alternativas. Florianópolis: Insular.

Ghezzi, A. (2019). Digital startupstartups and the adoption and implementation
of Lean Startup Approaches:
Effectuation, Bricolage and Opportunity Creation in practice. Technological Forecasting and Social Change,
146, 945–960.

Gil, A. C.,
& Vergara, S.
C. (2015). Tipo
de pesquisa. Pelotas: Universidade Federal de Pelotas.

Glass, R.
L. (2005). IT failure rates-70% or 10-15%? IEEE Software,
22(3), 110–112.

Gunasekaran,
A., Yusuf, Y. Y., Adeleye, E. O.,
& Papadopoulos, T. (2018).
Agile
manufacturing practices: the role of big data and business analytics with multiple case
studies. International Journal of
Production Research, 56(1–2), 385–397.

Gunasekaran, A., Yusuf, Y. Y.,
Adeleye, E. O., Papadopoulos, T., Kovvuri, D., & Geyi, D. G. (2019). Agile
manufacturing: an
evolutionary review of practices. International
Journal of Production Research, 57(15–16), 5154–5174.

Harms, R., & Schwery, M. (2020).
Lean startup: Operationalizing lean startup capability and testing its
performance implications. Journal of
Small Business Management, 58(1), 200–223.

Helfat, Constance E; PETERAF,
Margaret A. The dynamic resource‐based view: Capability lifecycles.
Strategic management journal, v. 24, n. 10, p. 997–1010, 2003.

Huff, A. S., Milliken, F. J., Hodgkinson, G. P., Galavan, R. J., & Sund, K. J.
(2016). A conversation on uncertainty in managerial and organizational
cognition. In Uncertainty and strategic decision making. In K. J. Sund, R. J.
Galavan, A. S. Huff (Eds.). Uncertainty
and strategic decision making. Emerald Group Publishing Limited, pp 1-30.

Jones, R.; Suoranta, M.; Rowley, J.
Strategic network marketing in technology SMEs. Journal of Marketing
Management, v. 29, n. 5–6, p. 671–697, 2013b.

Jordão, R. V. D., Pelegrini, F. G., Jordão, A. C. T., & Jeunon,
E. E. (2015). Fatores críticos na
gestão de projetos: um estudo de caso numa grande empresa latino-americana de
classe mundial. Gestão & Produção, 22(2),
280–294.

Kerzner, H. (2006). Gestão
de Projetos: As Melhores Práticas. Porto Alegre: Bookman.

Kristiansen,
J. N., & Ritala, P. (2018). Measuring radical innovation project
success: typical metrics don’t work. Journal of Business Strategy, 39(4).

Lacerda,
R. T. O. (2012). Metodologia de apoio à
decisão estratégica para geração contínua de vantagens competitivas a partir
dos recursos organizacionais. (Tese, Doutorado em Engenharia de Produção).
Universidade Federal de Santa Catarina, Florianópolis.

Lacerda, R. T. de O., Ensslin, L.,
Ensslin, S. R., Knoff, L., & Martins Dias Junior, C. (2016). Research opportunities in business
process management and performance measurement from a constructivist view. Knowledge and Process Management, 23(1),
18–30.

Lacerda, R. T. O., Ensslin, L.,
& Ensslin, S. R. (2011). A performance
measurement view of IT project management. International
Journal of Productivity and Performance Management, 60(2), 132-151.

Lacerda,
R. T. de O., Sacco Calvetti, E., Bernardes, L. M., & Cargnin da Silveira,
J. F. (2020). Research opportunities about measuring agility in software
development: A constructivist perspective. Revista de Gestao e Projetos, 11(2).

Larson,
E. W., & Gray, C. F. (2011). Project Management the Managerial Process, 37 McGraw Hill. New York, 38.

Longaray,
A. A., Ensslin, L., Dutra, A., Ensslin, S., Brasil, R., & Munhoz, P. (2019).
Using MCDA-C to assess the organizational performance of industries operating at
Brazilian maritime port terminals. Operations
Research Perspectives, 6(1).

Marafon, A. D., Ensslin, L., Lacerda, R. T. de O., & Ensslin, S. R.
(2015). The effectiveness of multi-criteria decision and methodology. European
Journal of Innovation Management, 18(1).

Mehrabi, H., Coviello, N., & Ranaweera, C. (2019). Ambidextrous marketing capabilities and performance: How and when entrepreneurial orientation makes a
difference. Industrial Marketing
Management, 77, 129–142.

Molin, K.
(2003). Divided loyalties in project management. Proc. 3rd Eur. Acad. Manage. Conf.

Neely, A.
The performance measurement revolution: why now and what next?

International journal of operations & production management, v. 19, n. 2,
p. 205-

228, 1999

O’Connor, G. C.,
& Rice, M. P. (2013). A comprehensive model of uncertainty associated with radical innovation. Journal of Product Innovation Management, 30,
2–18.

Picciotto,
R. (2020). Towards a ‘New Project Management’movement? An international
development perspective. International
Journal of Project Management, 38(8), 474–485.

Pich, M. T., Loch, C. H., & Meyer, A. de. (2002). On uncertainty, ambiguity, and complexity in
project management. Management Science,
48(8), 1008–1023.

Qureshi, S.; Kratzer, J. An
Investigation of Antecedents and Outcomes of Marketing Capabilities in
Entrepreneurial Firms: An Empirical Study of Small Technology-Based Firms in
Germany. Journal of Small Business and Entrepreneurship, v. 24, n. 1, p. 49–66,
2011.

Radujković, M., & Sjekavica,
M. (2017). Project management success factors. Procedia Engineering, 196, 607–615.

Raupp, F. M., & Beuren, I. M. (2006). Metodologia da pesquisa aplicável às ciências. In I. M.
Beuren (Org.). Como Elaborar Trabalhos
Monográficos Em Contabilidade: Teoria e Prática. São Paulo: Atlas, 76–97.

Roberts, F.
S. (1979). Measurement theory, Vol. 7.
Encyclopedia of mathematics and its applications. Reading, MA:
Addison-Wesley.

Shah, R.,
& Ward, P. T. (2007). Defining and developing measures of lean production. Journal of Operations Management, 25(4),
785–805.

Shepherd,
D. A., & Gruber, M. (2020). The lean startup
framework: Closing the academic–practitioner divide. Entrepreneurship Theory and Practice, 16.

Tasca, J. E., Ensslin, L., & Ensslin, S. R. (2012). A
avaliação de programas de capacitação: um estudo de caso na administração
pública. Revista de Administração
Pública, 46(3), 647–675.

Tasca,
J. E., Ensslin, L., Ensslin, S. R., & Alves, M. B. M. (2010). An approach for selecting a theoretical framework for
the evaluation of training programs. Journal
of European Industrial Training, 34(7).

Williams,
T. (2005). Assessing and moving on from the dominant project management
discourse in the light of project overruns. IEEE Transactions on Engineering
Management, 52(4),
497–508.

Yin, R. K.
(2013). Validity and generalization in future
case study evaluations. Evaluation, 19(3),
321–332.

Zhang,
Y., & Fan, Z.-P. (2014). An optimization method for selecting project risk
response strategies. International
Journal of Project Management, 32(3), 412–422.

Zopounidis,
C., Galariotis, E., Doumpos, M., Sarri, S., & Andriosopoulos, K. (2015).
Multiple criteria decision aiding for finance: An updated bibliographic survey.
European Journal of Operational Research,
247(2), 339–348.

Zwikael,
O., & Meredith, J. (2019). Evaluation of project success: a structured
literature review. International Journal
of Managing Projects in Business 10(4), 796-821.