Gestão de
riscos e uma análise dos resultados dos programas de treinamento em uma
instituição privada

Evaluation of risk management
training outcomes at a private institution

Fagner Roger dos Santos

https://orcid.org/0000-0001-7008-3647

Bacharel em
Administração. Universidade Federal de Sergipe (UFS) –
Brasil. [email-masked]

Jeffersson Brasil Pires dos Santos

https://orcid.org/0000-0002-7938-9420

Doutorando em
Saúde Interdisciplinar. Northern Arizona University (NAU) –
Estados Unidos da América. [email-masked]

Adrianne Garcia Corrêa

https://orcid.org/0000-0001-8377-2548

Mestre em
Brasil. [email-masked]

Xênia L'amour Campos Oliveira

https://orcid.org/0000-0003-4178-6006

Mestre em
Brasil. [email-masked]

RESUMO

A gestão de
riscos tem se tornado fundamental para as empresas que desejam alcançar
seus objetivos estratégicos e garantir a sustentabilidade do seu
negócio. Um grande desafio enfrentado pelas organizações
está na dificuldade em realizar treinamentos que contribuam para a obtenção
de resultados positivos em seus processos corporativos. Considerada uma das
ferramentas da Gestão de Pessoas, o Treinamento e Desenvolvimento
(T&D) é uma iniciativa valiosa para a obtenção de
resultados efetivos dentro das instituições. O objetivo deste
estudo foi analisar os resultados da aplicação de treinamentos em
gestão de riscos em uma instituição privada, com base no modelo
desenvolvido por Donald Kirkpatrick (2006), sob a perspectiva análise de
resultados de T&D em quatro níveis: Reação,
Aprendizado, Comportamento e Resultados. Trata-se de um estudo observacional,
de corte descritivo e transversal com abordagem qualitativa e quantitativa. A
coleta de dados ocorreu através entrevistas semiestruturadas realizadas
com cinco colaboradores que participaram do programa de T&D. A
estratégia survey foi utilizada com a aplicação de
questionários a uma amostra de 43 participantes. Evidenciou-se que o
investimento em T&D para os colaboradores contribuiu para o aprendizado
sobre gestão de riscos, além de possibilitar o desenvolvimento de
novos comportamentos e habilidades antes inexistentes. Houve também uma
melhora dos níveis de transparência e qualidade dos processos da
empresa.

Palavras-chave: treinamento e desenvolvimento; gestão de riscos; gestão de
pessoas.

ABSTRACT

Risk
management has become essential for companies that want to achieve their
strategic goals and ensure the sustainability of their business. A
major challenge faced by organizations is the difficulty in conducting training
that contributes to achieving positive results in their corporate processes.
Considered one of the
People Management tools, Training and Development (T&D) is a valuable
initiative for obtaining effective results within institutions. This
study analyzed the results of the application of risk management training in a
private institution, based on the model developed by Donald Kirkpatrick (2006),
under the perspective of analyzing T&D results at four levels: Reaction,
Learning, Behavior and Results. This
is an observational, descriptive and cross-sectional
study with a qualitative and quantitative approach. Data
collection occurred through semi-structured interviews with five employees who
participated in the T&D program. The
survey strategy was used with the application of questionnaires to a sample of
43 participants. It
was evident that the investment in T&D for employees contributed to
learning about risk management, in addition to enabling the development of new
behaviors and skills that did not exist before. It was also an
improvement in the levels of transparency and quality of the company's
processes.

Keywords: training and development; risk management; people
management.

Recebido em 07/01/2022.  Aprovado em 30/05/2022. Avaliado pelo
sistema double blind peer review. Publicado conforme normas da ABNT.

https://doi.org/10.22279/navus.2022.v12.p01-19.1760

1 INTRODUÇÃO

A gestão de riscos é
considerada uma prática estratégica no âmbito empresarial.
No atual cenário globalizado, as organizações buscam
constantemente formas inovadoras de aumentar sua produtividade e se destacar no
mercado, e assim, alavancar os lucros. Entretanto, entre empresas brasileiras,
o ato de aplicar controles sobre as possíveis incertezas no mercado
é recente, assim como na gestão pública e em
instituições privadas que administram recursos públicos de
forma indireta (SOUZA et al., 2020). Ainda,
há uma tendência nacional para aumento no número de
organizações em busca de melhores ferramentas de controle que
possibilitem o aprimoramento de suas atividades, garantindo, assim,
segurança e eficiência no andamento de seus processos (MELO; LIMA,
2019).

Nesse contexto é fundamental que as
empresas invistam em ações de treinamento e desenvolvimento
(T&D) para a implantação de novos processos, visto que, a
preparação de uma equipe pode influenciar no desempenho dos
resultados organizacionais (REZENDE et al.,
2012). Além disso, o Committee
of Sponsoring Organizations of the Treadway Commission (COSO), em
português: Comissão Nacional sobre Fraudes
em Relatórios Financeiros, considerada uma organização
especializada na elaboração de métodos de gestão de
riscos, tem intensificado seus trabalhos nos últimos anos. O
desenvolvimento dessa estrutura possibilitou que as ações de
controles sobre os riscos agregassem valor a qualquer
organização, tornando-a preparada para eventuais
situações que impactam o negócio (COSO, 2017). Profissionais
qualificados e devidamente atualizados para execução de suas
atribuições levam à redução de custos
provenientes de novas contratações além de
valorização dos atuais funcionários (WANZELER et al.,
2018). Nesse contexto, T&D insere-se como um instrumento para a
obtenção de melhorias no desempenho de colaboradores dentro das
empresas, gerando oportunidade de crescimento pessoal e profissional (RUMKE et
al., 2016).

Além de ofertar
capacitações, as empresas precisam avaliar os resultados dessas
atividades por meio de indicadores que mostram melhorias na qualidade do
produto final e rotinas de trabalho (MENEGON; ZAMBARDA, 2019.. É preciso
também conhecer o público para qual o treinamento será
destinado a fim de promover resultados mais eficazes (COELHO JUNIOR; ABBAD,
2010). A análise sistemática dos efeitos das ações
de T&D pode contribuir para obtenção de dados relevantes que
ajudarão no direcionamento das capacitações ao longo dos
anos (RAFIQ, 2015). Ainda, a avaliação dos desfechos dos
treinamentos é primordial para promover subsídios que
darão suporte à permanência do programa educacional,
justificando assim, o investimento de recursos organizacionais para tais
atividades (KIRKPATRICK, 2006).

Segundo Campos et al. (2004), o treinamento
de funcionários em empresas brasileiras destaca-se por ser
essencialmente uma atividade rotineira do setor de recursos humanos ao invés
de um componente de planejamento estratégico objetivando o
desenvolvimento organizacional, o que demonstra uma falta de conhecimento por
parte de gestores sobre os benefícios que esse campo pode gerar para as organizações.
Além disso, a avaliação de resultados de capacitações
é fundamental para o sucesso organizacional, pois inovações
em performance administrativas podem ocorrer a partir do momento em que
empresas passam a investir em ações de T&D ao capital humano
já existente em detrimento de contratações de novos
funcionários (MANRESA; BIKFALVI; SIMON, 2019). Portanto, avançar
a produção científica sobre o planejamento sistemático
de avaliação de resultados de T&D, especialmente no contexto
brasileiro, pode fornecer às organizações recursos
intelectuais que subsidiarão o progresso empresarial no país. Isso
devido ao fato de que o aprofundamento sobre avaliação de T&D
em gestão de risco poderá proporcionar informações relevantes
para gestores e organizações para a identificação
de oportunidades de aprimoramento dos treinamentos e, portanto, para a melhoria
do serviço prestado (BALDAM et al., 2017). Também é
importante realizar pesquisas acerca dos resultados de treinamentos em empresas
localizadas além do Estado de São Paulo, onde a industrialização
é bem menor (CAMPOS et al., 2004).  Neste sentido, o objetivo deste estudo foi
analisar os resultados e a influência da aplicação de
treinamentos no processo de gestão de riscos, além de
aprofundar-se na análise de retorno sobre os investimentos de T&D através
do Modelo de Kirkpatrick (2006). Tendo em vista a busca de resultados sobre a
efetividade das ações de T&D, este estudo poderá
fornecer informações sobre a relevância desta área
na gestão de pessoas na estruturação de processos nas
organizações, bem como contribuir com a produção
acadêmica ao explorar métodos de avaliação de
resultados de treinamento.

2 REFERENCIAL TEÓRICO

Esta
seção contém o
embasamento teórico que direcionou o estudo. Inicialmente, apresentam-se
informações sobre treinamento e desenvolvimento (T&D), bem
como avanços na área de T&D na gestão de pessoas,
análise na eficácia de ações de treinamento e T&D no processo de implantação
da gestão de riscos. Posteriormente, aborda-se o Modelo de Kirkpatrick como método de
avaliação dos resultados de treinamento.

2.1 Treinamento e Desenvolvimento (T&D)

As organizações tem vivenciado
constantes mudanças sob influência da globalização.
Para acompanhar tais eventos com diferencial competitivo, visando atender as
necessidades do mercado, torna-se fundamental a contínua
aquisição de competências dentro das empresas de acordo com
as diversas demandas de trabalho (ZERBINI; ABBAD, 2010).

A busca pelo diferencial competitivo no
mercado tem motivado organizações a investir em
ações de treinamento e capacitação como forma de se
prepararem para o futuro (MOURÃO; MARINS, 2010). Silva e Trevisol (2019)
abordam as vantagens das aplicações de T&D nas
organizações como uma oportunidade de elevação da
qualidade dos processos internos aumentando a produtividade das pessoas. O
aumento da competitividade do mercado pode ser um fator influenciador para as
empresas buscarem melhorias em seu capital humano. A estratégia das
organizações em capacitar seus funcionários tem sido
alimentada através de um planejamento sistemático das
ações de T&D, reforçando a importância da ferramenta
para o desenvolvimento das pessoas no ambiente empresarial (COELHO JUNIOR;
ABBAD, 2010).

2.1.1
Avanços da área de T&D na Gestão de Pessoas

O processo de treinamento e desenvolvimento
transformou-se em uma importante ferramenta de gerenciamento de pessoas. Os
tempos atuais mostram o quanto a atuação da área de
treinamento ganhou força, principalmente como ferramenta de aporte para
acompanhar as mudanças no mercado. A evolução da
tecnologia, influenciada pelas transformações humanas no mercado
corporativo evidenciam a necessidade de pessoas competentes e treinadas
(REZENDE et al., 2012).
Gonçalves e Mourão (2011) enfatizam a responsabilidade de tais
ações em preparar indivíduos para sua
promoção, preencher lacunas provenientes de processos de
recrutamento e seleção ou até mesmo na
correção de falhas constatadas em avaliações de
desempenho.

Além disso, as ações de
T&D são consideradas ferramentas de desenvolvimento institucional pois
são necessárias para aumento de conhecimentos fundamentais para
efetuação de tarefas exigidas (MENESES; ZERBINI; ABBAD, 2010).

2.1.2
Análise de eficácia das ações de T&D

Avaliar a eficácia de programas de
treinamento é parte fundamental do processo de gestão de pessoas.
A compreensão desses resultados tornou-se imperativa no contexto
organizacional, pois permite a identificação de melhorias
através da aprendizagem contínua interna (MOURÃO; MARINS,
2010).

A Comissão Nacional sobre Fraudes em
Relatórios Financeiros  (COSO,
2017) sugere que com as rápidas mudanças no mercado e suas
tecnologias em constante desenvolvimento, é importante que os
colaboradores estejam preparados para novos eventos à medida que as organizações
se modificam e se adaptam. O estudo exemplificado pelo autor, implica sobre a
necessidade de se analisar os níveis de competência de cada
funcionário com a inclusão de análises comparativas ou a
busca de possíveis variações após o treinamento.

Além disso, investir em capital humano
pode influenciar na efetividade dos desfechos de T&D dentro das
organizações. Zerbini e Abbad (2010) enfatizam que
ações educacionais somente terão efetividade caso os
profissionais envolvidos sejam competentes em suas atividades.

Mas como tornar as iniciativas de T&D
eficazes garantindo os princípios da economicidade nas
organizações? Baldam et al. (2017) sugerem que a
aplicação de treinamentos in
company podem auxiliar empresas que expressam altas demandas de treinamento.
Segundo o autor, ações de capacitação aplicadas
internamente corroboram na redução de 36% dos custos
médios em treinamento, além da possibilidade de melhorias nos
processos, resultados eficazes e enxugamento de custos.

A transferência do conhecimento pode
também influenciar na redução de custos de treinamento em
uma organização. Ceribeli, Torres e Melo (2017) sugerem que os
investimentos em treinamentos realizados em funcionários não
impedem que os profissionais participantes compartilhem seus conhecimentos
internamente amplificando ainda mais a eficácia do programa.

2.1.3 T&D
no processo de implantação da Gestão de Riscos

Identificar e gerenciar riscos tornou-se
fundamental no contexto organizacional. Controlar os riscos que influenciam em
eventos negativos dentro das empresas, pode auxiliar as
organizações a atingirem suas metas a curto e longo prazo
(MASSAINI; OLIVEIRA; OLIVA, 2017). Diversas organizações tem
investido na implantação de processos como a gestão de
riscos. Tal rotina fez-se comum nas empresas que buscam domínio sobre
seu negócio e analisam melhor seus concorrentes em busca de
lucratividade (DAROIT; FEIL, 2016).

O ato de controlar riscos pode influenciar na
resposta sobre como uma determinada organização lida com as
incertezas através de seus controles internos. Segundo o TCU (2009),
controles internos funcionam como um conjunto de políticas e
procedimentos que visam principalmente averiguar a conformidade das atividades
internas elevando assim a margem de segurança para alcance das metas
estratégicas. A criação desses mecanismos de controle
sobre eventos indesejados possibilita aos trabalhadores maior conhecimento sobre
o segmento do negócio, tornando os riscos objetos de estudo para
obtenção de lucro e melhoria dos processos (DAROIT; FEIL, 2016).
Tais eventos são considerados incertezas que as
organizações poderão enfrentar nos diversos
cenários do mercado (TCU, 2014).

É neste sentido que o processo de
gestão de riscos auxilia rotineiramente ações para tomada
de decisão, estimulando as organizações a estarem
preparadas, além de contribuir para o surgimento de
soluções e novas ideias. Ávila (2014) sugere que gerenciar
riscos estimula a inovação das empresas, já que as
ações estabelecidas para o controle de tais eventos provocam
resultados efetivos. Miranda, Santos e Almeida (2019) explicitam como o
processo de gerenciar riscos proporciona maior segurança e efetividade no
andamento das atividades internas das organizações. Além
disso, ao gerenciar riscos toda a organização pode se beneficiar
com o aumento do nível de conhecimento e habilidades consideradas
úteis para o bom gerenciamento dos recursos (BALDISSERA; GOULARTE,
2019).

2.2 O Modelo de Kirkpatrick
como método de Avaliação dos Resultados de
Treinamento

É imperativa a utilização de um modelo
teórico para embasar a avaliação de programas de
treinamento. Internacionalmente, o modelo de avaliação de Kirkpatrick
é o mais reconhecido (DEROUIN; FRITZSCHE; SALAS, 2005) e considerado
padrão em pesquisas focadas em T&D (RODRIGUEZ; ARMELLINI, 2013).
Este modelo foi criado 1956 pelo americano Donald Kirkpatrick, que formulou
quatro indicadores para a avaliação de treinamento (quadro 1):
reação, aprendizado, comportamento e resultados. Tais
estágios, quando aplicados sistematicamente, podem promover uma
avaliação efetiva dos desfechos dos treinamentos (RIBAS; SALIM,
2013).

Quadro 1 - Os quatro níveis de
Avaliação de Treinamento de Kirkpatrick

Nível

Natureza

Questão

Instrumento

1.
Reação

Gostaram?

Quantos participantes
gostaram do curso?

Formulários

2.
Aprendizado

Aprenderam?

Quanto eles
aprenderam?

Testes, Exames,
Simulações

3.
Comportamento

(transferência)

Estão
utilizando?

Quanto eles
estão aplicando no trabalho?

Mensuração
do Desempenho

4.
Resultados

Estão
obtendo retorno?

Qual o retorno do
treinamento sobre o investimento?

Análise de custo-benefício

Fonte: Hourneaux Junior e
Eboli (2009, p. 4).

Avaliar a reação é o
primeiro estágio no processo de obtenção de dados sobre as
ações de T&D. O feedback
apresentado pelos treinandos através de questionários sugere
indicadores de eficácia e direcionadores do programa, podendo determinar
a continuidade da capacitação (KIRKPATRICK, 2006). Esse
estágio pode ser medido através da abordagem de questões
relacionadas ao conteúdo do treinamento, materiais, ambientes, dentre
outros (HOURNEAUX JUNIOR; DIAS; EBOLI, 2013). Kirkpatrick (2006) enfatiza a
importância de medir a reação dos treinandos sobre a
possibilidade da obtenção de dados e respostas flexíveis,
além de informações de interesse dos participantes como
motivação e atenção.

A avaliação dos níveis de
aprendizado pode levantar informações valiosas e aprofundadas
acerca dos efeitos do treinamento. Fatores como conhecimento, habilidades e
atitudes podem ser determinados e ao menos um deles poderá ser
alcançado e mensurado (KIRKPATRICK, 2006). A análise comparativa
das atividades realizadas no período anterior e posterior às ações
de treinamento proporcionam dados importantes para avaliação do
conhecimento obtido (HOURNEAUX JUNIOR; EBOLI, 2009).

“A
aprendizagem pode ser definida como a medida em que os participantes mudam suas
atitudes, melhoram o conhecimento e ou aumentam as habilidades como resultado
da participação de um programa” (KIRKPATRICK, 2006, p. 22).
De acordo com o autor, a análise dos níveis de aprendizagem
possibilita a avaliação da eficácia da metodologia
utilizada pelo instrutor no aumento do conhecimento ou mudanças de
atitudes no local de trabalho (KIRKPATRICK, 2006). Ainda, é
possível mensurar o aprendizado quando um ou mais dos seguintes fatores
são alterados:

●       Alteração das atitudes de quem
participou do treinamento;

●       Aumento do conhecimento dos treinados;

●       Habilidades de trabalho melhoradas.

A
avaliação do comportamento é caracterizada pela
análise de mudanças de atitudes ou processos ocorridos
após o treinamento. Nesse estágio, pode-se avaliar o desempenho
dos treinandos e como estão aplicando seus conhecimentos, habilidades e
atitudes em seu trabalho (HOURNEAUX JUNIOR; EBOLI, 2009). As mudanças
comportamentais podem ser observadas através de perguntas em
relação às mudanças realizadas nas atividades
após o treinamento (KIRKPATRICK, 2006). Tais informações
corroboram com a necessidade de questionários de avaliação
de comportamento. No entanto, para
Kirkpatrick (2006), diferentemente da avaliação dos
níveis de reação e aprendizagem, a avaliação
do comportamento requer que o programa de treinamento tenha ocorrido e pode ser
identificada através das seguintes características:

●       Aceitação do conhecimento adquirido e
aplicação das habilidades aprendidas após o treinamento;

●       Resistência ao conhecimento adquirido sem
mudanças no comportamento, mantendo as habilidades já conhecidas;

●       Aceitação do conhecimento adquirido,
mas surgimento de interferências internas no trabalho, como tempo ou
chefe.

No
estágio de avaliação dos resultados, é
possível mensurar se as capacitações afetaram
positivamente os objetivos da organização (HOURNEAUX JUNIOR;
EBOLI, 2009). Kirkpatrick (2006) indica que a avaliação dos
efeitos de T&D, aliada a indicadores como aumento da produtividade,
redução de erros e melhoria na qualidade, contribuirão
para tomada de decisão gerencial. Entretanto, o autor enfatiza que a efetividade desses desfechos depende de um planejamento
estruturado dentro da organização, considerando as seguintes
questões a serem avaliadas:

●       Quanto o programa de treinamento contribuiu para a
melhoria da qualidade em geral para gerentes e supervisores?

●       Quanto o programa de treinamento contribuiu para o
aumento da produtividade nas atividades relacionadas ao treinamento?

●       Qual o retorno sobre o investimento aplicado no
programa de treinamento?

O modelo pode ser utilizado para avaliar se o
programa de treinamento contempla tanto as necessidades da empresa como de seus
colaboradores. É também indicado para avaliação de
qualquer tipo de educação continuada (SMIDT et al., 2009).
A variedade de estudos em que o modelo de Kirkpatrick foi empregado demonstra
seu potencial de adaptabilidade a diversos setores. Rodriguez e Armellini
(2013) analisaram a efetividade de cursos online oferecidos em uma
corporação universitária situada no México. Segundo
os autores, pesquisas futuras são necessárias para examinar
mudanças de performance pós-treinamento. Um estudo realizado na
Indonésia investigou a eficácia de treinamentos em
liderança para funcionários da Universidade Corporacional de
Telkom. Para os pesquisadores, avaliar efetivamente mudanças
comportamentais após treinamentos nas organizações
é algo positivo e necessário (RAZANAUFAL; LANTU, 2019). Rafiq
(2015) ao usar o modelo de Kirkpatrick para examinar os resultados de
treinamento em habilidades leves para funcionários da empresa de
viação Pakistan International Airlines (pilotos,
comissários de bordo, engenheiros, etc.), concluiu que para um
treinamento eficaz é necessária uma avaliação
apropriada. Isso possibilita que os responsáveis façam ajustes
nos programas educacionais, otimizando e reduzindo assim, custos
desnecessários com futuros treinamentos.

Segundo Andhrutkar (2019), em estudo
realizado em duas empresas de software localizadas na Índia, a
avaliação sistemática das repercussões dos
treinamentos proporciona uma melhora na performance dos colaboradores e,
consequentemente, nos resultados das empresas. Na Malásia,
através do modelo de Kirkpatrick, cientistas evidenciaram melhorias
referentes à capacidade empresarial de participantes de treinamento
voltado para o aumento do empreendedorismo em aquacultura (RAHMAN et al., 2019). O referido modelo é também
vastamente empregado para avaliação de treinamentos realizados na
área da saúde (ROUSE, 2011; DORRI; AKBARI; SEDEH, 2016; POWELL;
DICKINS; STOKLOSA, 2017; RAHIMIZADEH et al., 2018; CAMPBELL; TAYLOR;
DOUGLAS, 2019; HEYDARI et al., 2019; CULLINANE et al., 2020; FIROOZNIA;
HAMTA; SHAKERIAN, 2020; RAHMAWATI; LUKITO, 2020; SHAW; KIEGALDIE;
MORRIS, 2020; SHRIVASTAVA et al.,
2021). Li et al. (2020) examinaram sistematicamente os desfechos de
treinamento a enfermeiros de um centro de cirurgias de emergência com
base na demanda clínica decorrente da pandemia da COVID-19. Os
pesquisadores evidenciaram a eficácia do modelo em demonstrar o aumento
no conhecimento e habilidades técnicas dos profissionais em virtude da
capacitação ofertada.

A pesquisa foi norteada pelos seguintes
questionamentos elaborados conforme o referencial teórico:: Quais os
desfechos poderão ser identificados sobre as ações T&D
dentro da organização? Quais são as competências e
motivações dos colaboradores para controle dos riscos após
a realização dos treinamentos?

Tais questionamentos induziram a
inclusão de algumas proposições, elaboradas de acordo com
o referencial teórico deste estudo, a saber:

P1: Empresas que investem em
ações de treinamento e desenvolvimento possuem colaboradores mais
preparados para o desempenho de seus processos;

P2: Ações de treinamento e
desenvolvimento podem reduzir problemas operacionais em seus processos dos
quais colaboradores são treinados;

P3:
Colaboradores que participam de ações de T&D tem maior
probabilidade de aplicarem mudanças em seus comportamentos e atitudes
após o treinamento;

3 MÉTODOS

A presente pesquisa trata-se de um estudo
observacional, de corte descritivo e transversal com abordagem qualitativa e
quantitativa. A abordagem mista de investigação científica
possibilita a identificação de resultados mais robustos a respeito
da realidade da pesquisa (PARANHOS et al.,
2016). O aprofundamento e investigação se deu por meio da
pesquisa descritiva, que tem como objetivo principal descrever as
características de determinado fenômeno (GIL, 2008).

Utilizou-se o método de amostragem
não probabilístico intencional. Tal método refere-se à
quando pesquisadores recrutam participantes que possuem uma
característica ou conjunto de características em comum e que podem
fornecer informações detalhadas acerca de um fenômeno
(JACOBSEN, 2021). Neste estudo, os pesquisadores recrutaram funcionários
de uma instituição privada situada no estado de Sergipe, que
receberam treinamento em gestão de riscos. Ao todo, 43
funcionários aceitaram participar da pesquisa. A coleta de dados ocorreu
entre novembro e dezembro de 2019 e foi realizada em duas fases. Na primeira
fase, realizou-se a coleta de dados qualitativos por meio da
aplicação de entrevistas semiestruturadas através do
aplicativo WhatsApp. Foram entrevistados
05 colaboradores que inicialmente participaram do programa de T&D em
gestão de riscos na cidade de São Paulo (SP) e que, ao retornarem
à Sergipe, implantaram um programa de treinamento interno para 120
funcionários na empresa sobre a temática. Estudos qualitativos
permitem uma maior flexibilidade ao pesquisador, além de possibilitar a
adição ou omissão de perguntas de acordo com o objetivo da
pesquisa (SAUNDERS; LEWIS; THORNHILL, 2012). A realização das
entrevistas foi fundamental para a pesquisa na busca de informações
relevantes ao estudo, reforçando que a coleta de dados e suas
respectivas análises são imutáveis e necessitam da
sensibilidade do pesquisador em alinhar a teoria junto à prática
(VERGARA, 2005).

Na segunda fase, foram aplicados
questionários com perguntas fechadas através do Google Drive para os 05
funcionários que foram previamente entrevistados, e mais 38 dos 120
servidores que receberam treinamento dentro da instituição
(quadro 2). Os dados quantitativos foram coletados através da
estratégia survey, sendo está utilizada para direcionar a
pesquisa em uma suposta investigação dos fatos (CRESWELL, 2009).
As perguntas foram estruturadas com base nos níveis de
reação, aprendizagem, comportamento e resultados, de acordo com
as categorias e elementos de análise descritos no quadro 3.

Quadro 2 - Definição do universo e
amostra da pesquisa

UNIVERSO

AMOSTRA

CRITÉRIO
AMOSTRAL

05 colaboradores
que foram capacitados em São Paulo + 120 colaboradores que
participaram do programa de treinamento em Sergipe.

05 colaboradores
que foram capacitados em São Paulo +

38 colaboradores
participantes do treinamento em Sergipe.

Não-probabilístico
intencional.

Fonte: Elaborado pelos pesquisadores
(2020).

Quadro 3 – Categorias e elementos de
análise

CATEGORIAS

ELEMENTOS DE
ANÁLISE

Perfil do respondente

●
Cargo

●
Tempo de trabalho
na instituição

Avaliação
dos níveis de reação ao treinamento

●       Assuntos abordados no treinamento

●       Líderes responsáveis pelo
treinamento

●       Instalações do treinamento

●       Programação do treinamento

●       Melhoria do programa de treinamento de
gestão de riscos

Avaliação
dos níveis de aprendizagem

●       Conhecimento e habilidade no processo antes do
treinamento

●       Controle das atividades após o treinamento

●       Preparação para transferir
conhecimento adquirido no treinamento

●       Aplicação de ações e
controle após o treinamento

Avaliação
do comportamento

●       Comportamento e atitudes após o
treinamento

●       Implantação de ações
de controle nas atividades

●       Exercer o que foi sugerido em treinamento no
ambiente de trabalho

Avaliação
dos resultados

●       Como o treinamento tem afetado as atividades de
rotina

Fonte: Elaborado pelos pesquisadores
(2020).

Os dados qualitativos foram codificados e
processados por meio de análise de conteúdo. Com a
definição utilização do método qualitativo
Câmara (2013) enfatiza a importância do processo de análise
de conteúdo qualitativo observando o refinamento das
informações ao longo do estudo, tornando-os mais diretos e
específicos. Bardin (2015) interpreta a análise de
conteúdo como um arranjo de técnicas de
interpretação das informações com objetivo de
estruturar procedimentos para a descrição dos dados, indicadores
e mensagens permitindo a obtenção de novos conhecimentos. A
análise de conteúdo foi feita em três etapas: (1) pré-análise, em que
foi organização e preparação dos dados obtidos; (2)
exploração do material, em que foram designados conceitos
relevantes encontrados no conteúdo e, a partir disso, feito o
estabelecimento das categorias analíticas para a
comparação desses dados adquiridos; (3) tratamento de dados, em
que é foi feita a confrontação das
informações que foram obtidas com as já existentes, e a
interpretação delas.

Além disso, o estudo foi conduzido
conforme o protocolo detalhado no quadro 4. O protocolo da pesquisa fomenta o
aumento da confiabilidade do estudo em questão (GIL, 2002).

Quadro 4 – Protocolo da pesquisa

SEQUÊNCIA

DESCRIÇÃO DAS ATIVIDADES

1

Descrição da questão da
pesquisa

2

Seleção da empresa
característica do estudo

3

Elaboração do roteiro da entrevista

4

Elaboração do questionário
de pesquisa

5

Agendamento com caso piloto

6

Entrevista individual com o caso piloto

7

Adequação do roteiro, somente se
necessário

8

Agendamentos de entrevistas individuais

9

Realização das entrevistas
individuais

10

Transcrição das entrevistas

11

Aplicação dos questionários

12

Consolidação dos resultados obtidos
em questionários

13

Consolidação e análise dos
achados da pesquisa

14

Elaboração das conclusões da
pesquisa

15

Realização dos ajustes finais

Fonte: Elaborado pelos
pesquisadores (2020).

4 ANÁLISE E DISCUSSÃO DOS
RESULTADOS

Considerando o primeiro estágio de
análise dos resultados de T&D, os entrevistados da pesquisa foram questionados
a respeito dos assuntos abordados no treinamento externo realizado por
consultoria. Os participantes expressaram uma recepção positiva a
respeito do assunto, ligados aos seus interesses e rotinas no trabalho.
Além disso, os entrevistados alegaram que a participação
do treinamento externo facilitou a execução do programa dentro da
instituição.

A gestão de
riscos está intimamente ligada às minhas atividades no trabalho
porque eu trato os processos da organização (...). O assunto foi
tratado de forma bem abrangente e interessante (...) além dos slides utilizados
durante o treinamento que serviu de consulta para a elaboração
dos nossos treinamentos internos. (ENTREVISTADO S2)

Os assuntos abordados
sobre a gestão de riscos atenderam às expectativas (...) o
conhecimento que adquirimos no treinamento nos proporcionou uma visão
mais crítica em relação aos processos (...) o interesse da
capacitação era que a gente aprendesse depois e multiplica-se
para os demais colaboradores e eu acredito que essa expectativa foi
atendida.  (ENTREVISTADO S4)

Observou-se também a aptidão e
motivação dos entrevistados da primeira fase do programa de
treinamento em participarem de novas capacitações. A maioria dos
entrevistados demonstrou interesse em aprofundar no assunto, corroborando com
os estudos de Carvalho e Mourão (2014) que sugerem que pessoas com maior
motivação para o aprendizado e competência em determinado
assunto tendem a perceber melhor as necessidades de treinamento para
execução de suas atividades. Dentre os achados coletados nos
questionários para os participantes do programa de treinamento realizado
internamente, a maioria (48,8%) dos voluntários classificaram os
assuntos abordados como “muito bom”, caracterizando uma
predominância positiva na capacitação (figura 1). Isso pode
sugerir a aceitação do tema como influência no desempenho
das ações de treinamento (FARIAS; RESENDE, 2021).

Figura 1
– Análise da Reação: Avaliação dos
Assuntos abordados no Treinamento

Fonte: Elaborado pelos
pesquisadores (2020).

Quanto aos níveis de aprendizagem, os
entrevistados foram questionados sobre seus conhecimentos acerca
da gestão de riscos antes da participação no programa.
É importante observar que grande parte já conhecia o processo, no
entanto, todos alegaram que seu conhecimento era básico,
reforçando parte da teoria de Souza et
al. (2020), na qual a gestão de riscos não é um tema
recente entre processos institucionais, porém, em muitas empresas ainda
precisa ser explorado.

Antes meu
conhecimento era bem básico, sem domínio no uso de ferramentas de
gestão específicas sobre risco (...) eu tinha dificuldade de
diferenciar riscos de problemas e de classificá-los. (ENTREVISTADO S2)

Antes do treinamento
meu conhecimento era bastante raso, eu não tinha tanto conhecimento
sobre o assunto. (ENTREVISTADO S3)

Eu não
possuía conhecimento nem domínio sobre a gestão de riscos
(...) apenas sabia do que se tratava por ouvir falar e em algumas palestras,
nada aprofundado. (ENTREVISTADO S4)

A mesma pergunta foi realizada para os
participantes dos treinamentos internos, tendo como predominância (58,1%)
o conhecimento básico sobre o assunto proposto (figura 2).

Figura 2 – Análise de Aprendizagem:
Conhecimento e Habilidade no Processo de Gestão de Riscos antes do
Treinamento

Fonte: Elaborado pelos pesquisadores
(2020).

Acerca
do conhecimento obtido após o treinamento, todos os entrevistados
afirmaram que a participação do programa contribuiu para a
aprendizagem, além de abordarem de forma técnica iniciativas
realizadas na organização após a participação
do evento:

Atualmente eu tenho
conhecimento mais aprofundado sobre matriz de riscos, conheço exemplos
que podem ser adaptados à organização; tenho uma
capacidade de avaliar riscos e verificar ações das
ações tomadas além de classificá-los. (ENTREVISTADO
S2)

Após o
treinamento obtive um entendimento mais claro sobre o tema de gestão de
risco, além de fazer parte do grupo de gestão de risco da empresa
onde eu trabalho (...) montamos um grupo dentro da empresa e melhoramos o
processo na instituição. (ENTREVISTADO S3)

Após o
treinamento o conceito de risco ficou mais ampliado, consequentemente se tornou
mais simples diferenciar um risco de problema dentro dos processos em que
trabalho, bem como classificá-los analisando a fonte, probabilidade de acontecimentos,
impacto, grau de atenção e quais medidas podem ser tomadas para
evitar determinadas consequências. (ENTREVISTADO S5)

A mesma pergunta foi realizada para os
participantes da segunda fase do programa conforme a figura 3. Destes, 90,7%
afirmam que os controles melhoraram após a participação do
curso, no entanto, 9,3% dos entrevistados afirmaram que o controle dos riscos
estagnou, uma característica que precisaria ser investigada na
instituição para identificação deste desfecho.
Apesar desta característica, os resultados contribuem para os estudos de
Salvador e Cançado (2013) que afirmam que a transferência do
conhecimento desencadeia em melhorias de competência dos
funcionários.

Figura 3 – Análise de Aprendizagem:
Controle de Riscos na Área ou Atividades de Trabalho após o
Treinamento

Fonte: Elaborado pelos
pesquisadores (2020).

Ainda, a identificação de
melhorias após o treinamento em gestão de riscos corrobora com os
estudos de Ceribeli, Torres e Melo (2017), que sugerem que a transferência
do conhecimento entre funcionários amplifica ainda mais as
repercussões de programas de T&D. Os estudos levantados pela
Comissão Nacional sobre Fraudes em Relatórios Financeiros (COSO, 2017)
enfatizam que a análise comparativa antes e após o treinamento
é uma ferramenta de identificação da efetividade do
processo em gestão de riscos.

Quanto ao indicador capacidade de
transferência do conhecimento, os entrevistados que receberam treinamento
por consultoria afirmaram em sua maioria que se sentiam competentes em
transferir conhecimento sobre o tema para colegas de trabalho. Algo confirmado
através de evidências apresentadas ao longo da entrevista, em que
os próprios funcionários desenvolveram um programa de treinamento
interno dentro da instituição.

Eu me considero
preparada para transferir conhecimento; o treinamento possibilitou aos
participantes da primeira fase promoverem workshops envolvendo toda a
instituição a respeito do tema. (ENTREVISTADO S1)

Eu me considero
preparado para tal (...) fui um dos elaboradores da apresentação
dos assuntos abordados no programa de treinamento interno aos colegas da
organização, também auxiliei ministrando treinamentos
internos para o levantamento dos riscos de diversos setores. (ENTREVISTADO S2)

Sim, me sinto
preparada! Na realidade transferir conhecimento para os colegas, era uma das
missões que sabíamos que teríamos que realizar,
então promovemos eventos e treinamentos por setores da empresa.
(ENTREVISTADO S4)

Os
dados acima indicam o surgimento da capacidade de transferência do
conhecimento. A mudança de atitude dos colaboradores em
relação ao tema proposto corrobora o estudo de Kirkpatrick
(2006), que afirma que os participantes do treinamento mudam suas atitudes ou
melhoram suas habilidades em decorrência sua participação
no programa. No entanto, para os voluntários participantes do
questionário, 65,1% afirmaram estar parcialmente preparados para treinar
um colega de trabalho a respeito do tema e 20,9% afirmaram ter pouco preparo
para treinar outros funcionários, conforme a figura 4, sugerindo que
funcionários satisfeitos com programas de treinamento após a
pesquisa de satisfação não indicam necessariamente
níveis elevados de aprendizagem sobre o tema proposto em treinamento
(KIRKPATRICK, 2007).

Figura 4
– Análise de Aprendizagem: Preparação para
transferir o Conhecimento sobre a Gestão de Riscos para outro Colega de
Trabalho

Fonte: Elaborado pelos
pesquisadores (2020).

A respeito das ações realizadas
no controle dos riscos em suas atividades de trabalho, apenas os entrevistados
S1 e S2 apresentaram como poderiam provar a existência de tais controles
e suas ações para mitigá-los.

Nós criamos
mecanismos de proteção para mitigar o risco e controlar as
atividades (...) passamos recentemente por auditoria externa e apresentamos ao
auditor os riscos, onde foi constatado amadurecimento do processo.
(ENTREVISTADO S1)

A maioria dos riscos
da área onde eu trabalho foram mitigados através de
ações de treinamento aos colaboradores para cobrir
possíveis ausências dos executores de suas atividades (...) nossa
organização rotineiramente trabalha com evidências
objetivas como documentos datados e assinados e controles através de
sistemas por se tratar de uma instituição certificada pela ISO
9001. (ENTREVISTADO S2)

Para
entender os níveis de comportamento, os colaboradores foram questionados
a respeito de suas atitudes no ambiente de trabalho após o programa.
Dentre as características identificadas, os entrevistados S4 e S5
relataram o surgimento da mentalidade voltada para a
identificação de riscos antes não identificados em suas
atividades. Tais mudanças estão alinhadas com os estudos de
Rezende et al. (2012) sobre a
influência das aplicações de T&D no surgimento de novas
atitudes e comportamento para os indivíduos.

Em
relação ao meu comportamento eu fiquei com uma
sensação de que toda atividade possuía riscos a serem
controlados, então sempre que eu vou desenvolver ou participar de alguma
atividade nova, eu penso: qual é o risco que essa atividade tem?
(ENTREVISTADO S4)

O treinamento me fez
ter mais atenção às minhas rotinas do dia a dia, ao
invés de realizar apenas um trabalho mecânico. A minha capacidade
de análise ficou mais aguçada. (ENTREVISTADO S5)

Os relatos acima reforçam o estudo de
Kirkpatrick (2006) onde ações desencadeadas após o
programa indicam mudança de comportamento. Hourneaux Junior e Eboli
(2009) também reforçam sobre a possibilidade da mudança de
comportamento à medida que as pessoas aplicam seus conhecimentos e
habilidades em suas rotinas de trabalho. Tais informações podem
ser identificadas no relato dos entrevistados S2 e S4:

Hoje estou mais
atento a outros tipos de riscos que antes não visualizava, tais como os
riscos legais. O comportamento atualmente é alertar a gestão,
consultar o jurídico e profissionais especialistas em outras
áreas para auxiliar no tratamento das atividades em que eu trabalho.
(ENTREVISTADO S2)

Após o
treinamento os processos foram mapeados novamente e alguns riscos foram
incluídos na análise do setor, onde antes não eram
pontuados ou não eram vistos em meu setor (...) eu fui encorajada a
buscar um conhecimento sobre o tema. (ENTREVISTADO S4)

A mudança de comportamento foi identificada
também nos participantes do programa de treinamento interno, onde 86%
afirmaram que mudanças de comportamento e aumento para a mentalidade de
riscos ocorreram, conforme figura 5.

Figura 5
– Comportamento: Como você caracteriza seu Comportamento e
Atitudes após o Treinamento em Gestão de Riscos?

Fonte: Elaborado pelos pesquisadores
(2020).

Em busca de informações a respeito
dos resultados de T&D para conclusões mais robustas, os
entrevistados foram questionados sobre como a participação do
treinamento tem afetado suas atividades de rotina.

Minha
avaliação é positiva porque hoje eu tenho muita
informação registrada sobre riscos, algo que eu não sabia
que fazia para mitigar os riscos em minhas atividades (...) o treinamento abriu
a mente. Em minha área não foram todos os processos que a gente
conseguiu maturidade em gestão de riscos, mas em outros realmente foi
muito positivo.  (ENTREVISTADO S1)

O treinamento trouxe
como benefício a previsibilidade dos diversos riscos (...) meu trabalho
se tornou mais abrangente para atender melhor aos anseios da
organização. O principal problema não é em
relação ao treinamento, mas sim ao gerir o tempo que precisa ser
dedicado a essa atividade. (ENTREVISTADO S2)

Como eu trabalho na
área de diretoria, com o conhecimento que foi adquirido e multiplicado
para os demais colegas, alguns processos passaram a exigir que a matriz de
riscos fosse apresentada como um pré-requisito para
aprovação, o que evidencia que a política está
sendo aplicada (...) Tal prática evidencia que estamos trabalhando para
reduzir os riscos. (ENTREVISTADO S4)

As informações do entrevistado
S4 reforçam os estudos de Ávila (2014), pois o processo de
gestão de riscos deve estimular a inovação das empresas em
consequência das ações realizadas durante o processo de
mitigação de tais ameaças.

Aspectos como: aumento no registro de
evidências, mentalidade para identificação de riscos e
aplicação de melhorias de processos apresentado pelo entrevistado
S1 corroboram com o estudo da Comissão Nacional sobre Fraudes em
Relatórios Financeiros (COSO, 2017) que sugere a influência
positiva do processo de gestão de riscos nos processos, agregando valor
a qualquer organização. Ainda, as novas habilidades identificadas
após o treinamento pelo entrevistado S1 contribuem para o estudo de
Wanzeler et al. (2018) onde
ações de T&D estimulam aos indivíduos ao conhecimento
de novas habilidades antes não exploradas.

Na figura 7, características como
Produtividade e Redução de Custos foram citadas pelos
respondentes participantes dos treinamentos internos. Como destaque, 51,2% dos
respondentes descreveram o aumento da qualidade dos processos como
contribuição da participação no treinamento em
gestão de riscos e 41,9% descreveram o aumento da transparência
como fator positivo após o treinamento. Os aspectos identificados
corroboram com a teoria de Kirkpatrick (2006), onde a avaliação
dos resultados está intimamente ligada aos indicadores como aumento da
produtividade, redução de erros, aumento das vendas ou melhorias
na qualidade.

Figura 7 – Resultados: Análise dos
resultados de Treinamento no Processo de Gestão de Riscos e as
Atividades de Rotina

Fonte: Elaborado pelos pesquisadores
(2020).

4.1 Respostas às
proposições

P1: Empresas que
investem em ações de treinamento e desenvolvimento possuem
colaboradores mais preparados para o desempenho de seus processos. A
proposição foi aceita dentre os entrevistados. Foi
possível observar características e indicadores que evidenciam o alinhamento dos
participantes ao tema proposto, aplicando iniciativas para desempenho em seus
processos.

P2:
Ações de treinamento e desenvolvimento podem reduzir problemas
operacionais em seus processos dos quais colaboradores são treinados. Não
foi possível averiguar a essa proposição com maior
veracidade, visto que identificar a redução de problemas
operacionais necessitaria da aplicação de outras técnicas
de análise, como pesquisa documental ou observação de
determinados eventos.

P3: Colaboradores
que participam de ações de T&D têm maior probabilidade
de aplicarem mudanças em seus comportamentos e atitudes após o
treinamento. A proposição foi aceita. Ficou claro entre os
entrevistados e respondentes participantes do programa de treinamento interno
diversos indicadores que evidenciam mudanças de comportamento e atitudes
após o treinamento. Algo confirmado através da literatura
estudada.

P4: Quando
executado por pessoas competentes e treinadas, as ações de
T&D desencadeiam em um aumento dos controles internos dentro das
organizações. A proposição foi aceita. Com base nas
entrevistas, os participantes relataram que a participação do
treinamento auxiliou no processo de melhoria dos controles internos, visto que,
o tema gestão de riscos está intimamente ligado ao assunto.

5 CONCLUSÕES

Em suma, a utilização do modelo
de Kirkpatrick para avaliação dos resultados das
ações de T&D realizadas na instituição
evidenciou que os funcionários participantes do treinamento se sentiram
mais competentes para execução do processo de gestão de
risco. Os mesmos também reportaram um aumento na motivação
para a aplicação do processo em suas atribuições,
assim como no empenho em transferir os conhecimentos obtidos nas
capacitações. A aplicação de programas de
treinamentos e workshops internos realizados
pelos próprios colaboradores representa uma forte característica
de efetividade dos investimentos em treinamento realizado pela empresa
estudada. Observou-se que a avaliação dos quatro níveis
elegidos por Kirkpatrick (2006) pode subsidiar em informações
relevantes para as organizações do ponto vista prático e
no aprimoramento dos programas de treinamentos.

Foram identificados altos níveis de
aceitação do processo de gestão de riscos pelos
funcionários após o programa de T&D. Os diversos
benefícios apresentados pelos programas de treinamento
contribuíram positivamente para as rotinas de trabalho dos
funcionários, tais como: aumento da transparência, melhorias na
produtividade, redução de custos e qualidades dos processos em
geral. Ainda, os programas de treinamentos aplicados pela
organização influenciaram os participantes a desenvolverem a
mentalidade de risco. Tais evidências reforçam a importância
dos programas de T&D no processo de aprendizagem e mudança cultural
da empresa.

Este estudo apresenta
limitações. A pandemia da COVID-19 impactou o andamento da
pesquisa, visto que houve uma redução temporária de
aproximadamente 70% dos colaboradores da instituição. Diante
disso, foi necessário o adiamento da coleta de dados, algo
posteriormente resolvido com a condução de entrevistas
através do aplicativo Whatsapp
e aplicação dos questionários online via Google Forms.
Além disso, os resultados obtidos são pouco abrangentes, pois o
estudo ocorreu em apenas uma empresa e com número reduzido de participantes.
Portanto, sugere-se futuros estudos de casos múltiplos e com amostragem
mais abrangente. Outro fator limitante da pesquisa foi a ausência de
avaliação dos desfechos da capacitação para a
empresa em questão. Para tal, seria preciso uma análise
documental aprofundada, o que demandaria tempo maior do que os pesquisadores
dispunham. Para Kirkpatrick (2006), à medida em que cada um dos
níveis de avaliação é concluído, o processo
torna-se mais difícil e demorado. Então, são
necessárias futuras pesquisas que façam um levantamento detalhado
de dados acerca de melhorias nos resultados organizacionais decorrentes de
treinamentos em gerenciamento de risco.
Sendo assim, os dados aqui apresentados poderão ser utilizados
como linha de base para futuras pesquisas nacionais e internacionais focadas na
avaliação de resultados advindos de T&D em gestão de
riscos.

REFERÊNCIAS

ANDHRUTKAR, Rupesh. A Study of Impact of Behavioural
Training on Individual Performance Measured through Kirkpatrick Model for
Select Software Firms in Pune. Indira Management Review, v. 13, p. 69-85, 2019.

ÁVILA,
Marta Dulcélia Gurgel. Gestão de Riscos no Setor Público. Revista Controle:
Doutrinas e artigos, v. 12,
n. 2, p. 179-198, 2014.

BALDAM,
Roquemar de Lima.; FIOROT, Guilherme Marques; SILVA, Rafael Moreira Grazia;
PITANGA, Tulio Rocio; VIEIRA, Vitor Açari. Atendendo à Alta
Demanda de Treinamento nas Organizações e Reduzindo os
Custos. RACE: Revista de
Administração, Contabilidade e Economia, v. 17, n. 1, p.
129-149, 2017.

BALDISSERA,
Jaqueline; GOULARTE, Jeferson. Planejamento do Órgão de Controle
Interno com a Metodologia de Auditoria baseada em Riscos (ABR). RAGC: Revista de Auditoria
Governança e Contabilidade, v. 7, n. 27, p. 121-137, 2019.

BARDIN,
Laurence. Análise de Conteúdo. São Paulo:
Edições 70, 2015.

CÂMARA,
Rosana Hoffman. Análise de conteúdo: da teoria à
prática em pesquisas sociais aplicadas às
organizações. Gerais, Revista Interinstitucional de Psicologia,
v. 6, n. 2, p. 179-191, 2013.

CAMPBELL,
Karen; TAYLOR, Vanessa; DOUGLAS, Sheila.. Effectiveness
of Online Cancer Education for Nurses and Allied Health Professionals; a
Systematic Review Using Kirkpatrick Evaluation Framework. Journal
of Cancer Education. v. 34,
n. 2, p. 339-356, 2019.

CAMPOS,
Keli Cristina de L.; Barduchi, Ana Lúcia J.; MARQUES, Daniela G.; RAMOS,
Kátia Perez; SANTOS, Lígia Angeli D. dos.; BECKER, Tatiana J.
Avaliação do sistema de treinamento e desenvolvimento em empresas
paulistas de médio e grande porte. Psicologia: reflexão e
crítica, v. 17, n. 3, p. 435-446, 2004.

CARVALHO,
Sirley; MOURÃO, Luciana. Análise de necessidades de treinamento
em call centers. Revista
Eletrônica de Administração, v. 79, n. 3, p. 740-772,
2014.

CERIBELI,
Harrison; TORRES, Thaís; MELO, Jorena. Análise dos Programas de
Treinamento e Desenvolvimento Internacional sob a Perspectiva dos Treinandos. Reuna, v. 22, n. 1, p. 05-20, 2017.

COELHO
JUNIOR, Francisco Antonio; ABBAD, Gardenia da Silva. Construção e
validação de uma escala de avaliação de impacto em
profundidade de um treinamento a distância em uma
organização do setor bancário brasileiro. Revista Eletrônica de
Administração, v. 16, n. 1, p.
01-28, 2010.

COSO - Committe Of Sponsoring
Organizations of the Treadway Commission. Enterprise
Risk Management Integrating with Strategy and Performance. 2017. Disponível em:
https://www.coso.org/Shared%20Documents/2017-COSO-ERM-Integrating-with-Strategy-and-Performance-Executive-Summary.pdf
Acesso em: 16 maio 2022.

CRESWELL, John. Research design: Qualitative, quantitative, and mixed methods approaches.
3. ed. Los Angeles: Sage, 2009.

CULLINANE, Meabh; MCLACHLAN, Helen L.; NEWTON,
Michelle S.; ZUGNA, Stefanie A.; FORSTER, Della A. Using the Kirkpatrick Model
to evaluate the Maternity and Neonatal Emergencies (MANE) programme: Background
and study protocol. BGM Open, v. 10, n. 1, p. 1-10, 2020.

DAROIT,
Dariele; FEIL, Alexandre. Modelo de gestão de riscos em um prestado de
serviços. Revista Ciência
Administração, v. 22, n. 2, p. 637-668, 2016.

DEROUIN,
Renée E.; FRITZSCHE, Barbara
A.; SALAS, Eduardo. E-learning in Organisations. Journal of Management, v. 31, n. 6, p. 920–940, 2005.

DORRI, Safoura;
AKBARI, Malekeh; SEDEH, Mahmoud Dorri. Kirkpatrick Evaluation Model for
in-service training on Cardiopulmonary Resuscitation. Iranian Journal of Nursing Midwifery Research, v. 2, n. 5, p.
493-497, 2016.

FARIAS, Josivania; RESENDE, Marília. Impacto do treinamento na
implantação de novo sistema eletrônico e
aceitação de novas tecnologias em uma instituição
federal de ensino superior. Revista
Administração, v. 13, n. 4, p. 773-791, 2021.

FIROOZNIA,
Mahtab; HAMTA, Amir; SHAKERIAN, Sareh.  The effectiveness
of in-service training "pharmacopeia home health" based on
Kirkpatrick's model: A quasi-experimental study. Journal of Education and Health Promotion, v. 9, p. 1-5, 2020.

GIL, Antonio. Como
elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2002.

GIL,
Antonio. Métodos e
técnicas de pesquisa social. 7. ed. São Paulo: Atlas, 2008.

GONÇALVES,
Arquiléia; MOURÃO, Luciana. A expectativa em
relação ao treinamento influencia o impacto das
ações de capacitação? Revista de Administração Pública, v. 45, n. 2,
p. 483-513, 2011.

HEYDARI,
Mohammad R.; TAGHVA, Fatemeh; AMINI, Mitra; DELAVARI, Somayeh. Using
Kirkpatrick’s model to measure the effect of a new teaching and learning
methods workshop for health care staff. BMC
Research Notes, v. 12, n.
1, p. 1-5, 2019.

HOURNEAUX
JUNIOR, Flávio; DIAS, Carolina Aparecida de Freitas; EBOLI, Marisa
Pereira. Avaliação de Resultados em Educação
Corporativa: Análise dos Níveis de Avaliação de
Kirkpatrick-Phillips e sua Relação com o Balanced Scorecard. In: ANPAD, 2013. Anais [...]. São Paulo: ANPAD, p. 01-16, 2013.

HOURNEAUX
JUNIOR, Flávio; EBOLI, Marisa. Os 50 anos da Metodologia de Kirkpatrick:
Reflexões sobre a Mensuração de Resultados em
Educação Corporativa. In:
ENCONTRO DA
ASSOCIAÇÃO NACIONAL DE PÓS
GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO (ANPAD),
33., 2009. Anais [...].
São Paulo: ANPAD, p. 01-14, 2009.

JACOBSEN, Kathryn. Introduction
to Health Research Methods: A Practical Guide. 3. ed. Burlington, Massachusetts:
Jones & Bartlett Learning, 2021.

KIRKPATRICK, Donald James. Evaluating training programs. 3. ed. Oakland: Berrette-Koeheler
Publichers Inc., 2006.

KIRKPATRICK, Donald James. Implementing The Four Levels: A
Practical Guide for effetctive Evaluation of Training Programns. San
Francisco: Berrett-Koeheler Publichers Inc., 2007.

LI, Zheying; CHENG, Jing; ZHOU, Ting; WANG, Sa; HUANG,
Sufang; WANG, Hui. Evaluating a Nurse
Training Program in the Emergency Surgery Department Based on the Kirkpatrick's
Model and Clinical Demand During the COVID-19 Pandemic. Telemedicine journal and e-health, v.
26, n. 8, p. 985-991, 2020.

MANRESA, Alba; BIKFALVI, Andrea; SIMON, Alexandra. The
impact of training and development practices on innovation and financial
performance. Industrial
and Commercial Training, v. 51,
n. 7/8, p. 421-444, 2019.

MASSAINI,
Silvye Ane; OLIVEIRA, Viviane Renata F. de; OLIVA, Fábio Lotti..
Identificação de Riscos Corporativos no Ambiente de Valor de
Instituições de Ensino Superior Privadas (IES). Revista Administração em
Diálogo, v. 19, n. 1, p. 89-111, 2017.

MELO,
Hildegardo; LIMA, Adilson. Instituto compliance no Brasil e a eficácia
na mitigação ao risco corporativo. Revista
Evidenciação Contábil & Finanças, v. 7, n. 3,
p. 60-82, 2019.

MENEGON,
Elizangela; ZAMBARDA, Andrea. Percepção dos colaboradores sobre as
ações de treinamentos em uma indústria têxtil. Revista de Gestão e Tecnologia,
v. 9, n. 1, p. 07-20, 2019.

MENESES,
P.; ZERBINI, T.; ABBAD, G. Manual de
treinamento organizacional. Porto Alegre: Artmed, 2010.

MIRANDA,
Ludiany. B. S.; SANTOS, Nalbia. A.; ALMEIDA, Fernanda. M. Gestão de
Riscos de Contratos da Terceirização no Setor Público. Contabilidade Vista & Revista, v.
30, n. 2, p. 143-160, 2019.

MOURÃO,
Luciana; MARINS, Jesiane. Quem está Motivado para Aprender nos Cursos
Oferecidos pelas Empresas?. Universidade
de São Paulo, Faculdade de Filosofia Ciências e Letras de
Ribeirão Preto, v. 20, n. 46, p. 187-196, 2010.

PARANHOS,
Ranulfo; FIGUEIREDO FILHO, Dalson Britto; ROCHA, Enivaldo Carvalho da; SILVA
JÚNIOR, José Alexandre da; FREITAS, Diego . Uma
introdução aos métodos mistos. Sociologias,
v. 18, n. 42, p. 384-411, 2016.

POWELL, Clydette; DICKINS,
Kirsten; STOKLOSA, Hanni. Training US health care
professionals on human trafficking: where do we go from here? Medical education online, v. 22, n. 1, p.
1-12, 2017.

RAFIQ, Mehwish. Training Evaluation in an Organization
using Kirkpatrick Model: A Case Study of PIA. Journal of Entrepreneurship & Organization Management, v. 4, n.
3, p. 152-162, 2015.

RAHIMIZADEH, Aziz; BASIRINEZHAD, Mohammad Hasan;
LAHIJANIAN, Akram Olmolok; ARJMANDI, Reza .
Effectiveness of Health, Safety, and Environment Training Courses Using the
Kirkpatrick Model and Providing Managerial Solutions for the Staff of Sinadarou
Company. Biomedicine and Health. v.
3, n. 1, p. 54–61, 2018.

RAHMAN, Anis; YAACOB, Mohd R.; IBRAHIM, Mohd A. H. B.;
SHAUPI, Nor Shuhada A.; PERMARUPAN, P. Y. A/P; SHUAIB, Azlinda S. Md. Measuring
the Remode Entreprenurship training programme at behaviour level of Kirkpatrick
Model in aquaculture industry. Research
in World Economy, v. 10, n. 2, p. 1-5, 2019.

RAHMAWATI, Widya; LUKITO, Hendra. Evaluation the
Effectiveness of Training with Kirkpatrick. Jurnal Program Studi Pendidikan Ekonomi, v. 8, n. 2, p. 117-129,
2020.

RAZANAUFALl, Muhammad; LANTU, Donald. Evaluation of
Leadership Training Program Using Kirkpatrick. Model Case Study in Telkom
Corporate University. Research
Journal of Finance and Accounting, v. 10, n. 4, p. 119-132, 2019.

REZENDE,
Jorvesi Luiz; SCHMIDT, Alberto Souza; RINAUDO, Roberto; FERREIRA, Jorge Leandro
D. O treinamento de Pessoal em Organizações de Pequeno Porte: um
estudo de caso na cidade de Maringá. Revista Ciências Administrativas, v. 18, n. 2, p. 689-709,
2012.

RIBAS,
Andréia; SALIM, Cassiano. Gestão de Pessoas para Concursos.
Rio de Janeiro: Leya, 2013.

RODRIGUEZ, Brenda, ARMELLINI, Alejandro. Interaction
and Effectiveness of Corporate e-Learning Programmes. Human Resource Development International, v. 16, n. 4, p.
480–489, 2013.

ROUSE, Donald N. Employing Kirkpatrick's evaluation
framework to determine the effectiveness of health information management
courses and programs. Perspectives in
health information management, v. 8, n. Spring, p. 1-5, 2011.

RUMKE, Bruna; RAMOS, Dionir; FABRICIO, Adriane;
OBREGON, Sandra L.; LOPES, Luis Felipe Dias. Levantamento das necessidades e
elaboração de plano de treinamento e desenvolvimento para empresa
de TI. Revista de Carreira Pessoas,
v. 6, n. 2, p. 188-205, 2016.

SALVADOR,
Regina; CANÇADO, Vera. Impacto de treinamento no trabalho: um estudo de
caso da Fundação Hemominas. Revista
Teoria e Prática em Administração, v. 3, n. 2, p.
70-98, 2013.

SAUNDERS,
Mark; LEWIS, Philip; THORNHILL, Adrian. Research methods for business students. 7. ed.  Harlow: Pearson, 2012.

SILVA,
Dárica; TREVISOL, Josely. A gestão por competências e o
processo de treinamento e desenvolvimento de pessoas (T&D): Estudo de caso
na empresa KL Embalagens - São João Batista/SC. Revista Visão: Gestão Organizacional, v. 8,
n. 2, p. 79-100, 2019.

SMIDT, Andy; BALANDIN, Susan; SIGAFOOS, Jeff; REED,
Vicki A. The Kirkpatrick Model: A useful tool for evaluating training outcomes.
Journal of Intellectual & Developmental, v. 34, n. 3, p. 266-274, 2009.

SOUZA,
Flávio Sergio R. N. de; BRAGA, Marcus Vinícius de A.; CUNHA,
Armando Santos M. da; SALES, Patrick Del B. de. Incorporação de
modelos internacionais de gerenciamento de riscos na normativa federal. Revista de Administração Pública, v. 54,
n. 1, p. 59-78, 2020.

SHAW, Louise; KIEGALDIE, Debra; MORRIS, M. E. Educating
health professionals to optimise falls screening in hospitals: protocol for a
mixed methods study. BMC Health
Services Research, v. 20, n. 54, 2020.

SHRIVASTAVA, Ritu; POXON, Richard; ROTTINGHAUS, Erin et al. Leveraging gains from African
Center for Integrated Laboratory Training to combat HIV epidemic in sub-Saharan
Africa. BMC Health Services Research, v. 21, n. 22, p. 1-15, 2021.

TCU.  Tribunal de Contas da União. Critérios Gerais de Controle Interno
na Administração Pública: Um Estudo dos modelos e das
normas disciplinadoras em diversos países. Diretoria de Métodos
de Procedimentos de Controle. Brasília: TCU 2009.

TCU.
Tribunal de Contas da União. 10 Passos Para a Boa Governança.
Brasília: TCU, Secretaria de Planejamento, Governança e
Gestão, 2014.

VERGARA,
Sylvia. C. Métodos de pesquisa em administração.
São Paulo: Atlas, 2005.

WANZELER,
Rafaela; SOUZA, Cláudia Cristina C. de; RODRIGUES, Kátia Cristina de S. S.; OLIVEIRA,
Márcia Cecília R. de; DIAS, Edgar José P. Gestão de
Pessoas: Visão Estratégica sobre treinamento e desenvolvimento no
contexto das organizações do século XXI. Revista de Administração e
Negócios da Amazônia, v. 10, n. 2, p. 67-84, 2018.

ZERBINI, Thaís; ABBAD, Gardênia.
Transferência de treinamento e impacto do treinamento no trabalho:
análise crítica da literatura. Revista Psicologia: Organizações e Trabalho,
Florianópolis, v. 10, n. 2, p. 97-111, 2010.