Os Efeitos da Capacitação do
Sistema Eletrônico de Informação em uma Instituição Pública Federal

The Effects of
Electronic Information System Training in a Federal Public Institution

Leonardo Ferreira
Bezerra

http://orcid.org/0000-0003-1132-2139

Doutor em
Administração. Universidade do Grande Rio (Unigrario)
– Brasil. [email-masked]

Clayton Pereira Gonçalves

http://orcid.org/0000-0001-9743-8057

Doutor em
Administração. Universidade do Grande Rio (Unigrario) – Brasil. [email-masked]

Diego de Oliveira
da Cunha

http://orcid.org/0000-0002-0738-046X

Doutorando e
Mestre  em Administração. Universidade do Grande Rio (Unigrario) – Brasil.. [email-masked]

Deborah Moraes Zouain

https://orcid.org/1234-5678-1234-5678

Doutora em Engenharia de Produção.
Universidade Federal do Rio de Janeiro (UFRJ) – Brasil. [email-masked]

RESUMO

Com o advento do gerencialismo na Administração Pública, diversos órgãos
desenvolveram instrumentos de tecnologia da informação, com o objetivo de uma
gestão mais eficiente e transparente. Entre essas ferramentas destaca-se o
Sistema Eletrônico da Informação (SEI), que modernizou os processos
administrativos de vários órgãos. Em função da complexidade desse sistema,
alguns órgãos vêm promovendo capacitações internas sobre o SEI, com a
finalidade de fornecer habilidades necessárias para a utilização do supracitado
sistema. Nesse contexto, o presente estudo teve o objetivo de analisar o
impacto das ações de capacitação e desenvolvimento na utilização do SEI em uma
instituição pública federal. Para se chegar a esse objetivo, foi realizado
estudo de caso descritivo, de abordagem quantitativa, com uso da técnica de
Análise Fatorial Exploratória e um Modelo de Mediação. A coleta de dados foi feita
por meio de questionário, tendo amostra de 99 respondentes. Como resultado, foi
identificado que o grau de aprendizagem medeia a relação entre a qualidade do
treinamento a aplicabilidade do treinamento. Tal resultado pode auxiliar
gestores da área de desenvolvimento de pessoas de órgãos públicos a nortear
políticas relacionadas à capacitação de servidores públicos.

Palavras-chave: administração pública; sistema eletrônico de informação; capacitação e
desenvolvimento.

ABSTRACT

With the advent of managerialism in
Public Administration, several bodies have developed information technology
instruments, aiming at more efficient and transparent management. Among these
tools, the Electronic Information System (SEI) stands out, which modernized the
administrative processes of various institutions. Due to the complexity of this
system, some agencies have been promoting internal training on the SEI, in
order to provide the skills needed to use the aforementioned system. In this
context, this study aimed to analyze the impact of training and development
actions on the use of the SEI in a federal public institution. To reach this
objective, a descriptive case study, of quantitative approach, using the
Exploratory Factor Analysis technique and a Mediation Model, was carried out.
Data collection was made through a questionnaire, with a sample of 99
respondents. As a result, it was identified that the degree of learning
mediates the relationship between training quality and training applicability.
This result can help managers in the area of ​​people development in public agencies to guide policies related to the
training of civil servants.

Keywords: public administration; electronic information
system; training and development.

Recebido
em 22/11/2021.  Aprovado em 09/05/2022.
Avaliado pelo sistema double blind
peer review. Publicado conforme normas da APA.

https://doi.org/10.22279/navus.2022.v12.p01-16.1725

1 INTRODUÇÃO

A
partir da crise fiscal nos anos 1980, percebeu-se que seriam necessárias
mudanças estruturais no modelo de gestão pública. Assim, iniciou-se um
movimento conhecido como reforma da gestão pública (Pereira, 2014) ou new public management (Ferlie, Fitzgerald & Pettigrew,
1996). Esse movimento era o rompimento com o modelo burocrático, tendo como
principais diretrizes o foco no resultado e busca pela excelência na prestação
de serviços públicos. As Tecnologias de Informação e Comunicação (TICs) nos
órgãos públicos também seguiram esta tendência. Reinhard e Dias (2005) dividem
os períodos da utilização da TIC em quatro períodos: Pioneirismo, anos 50 até
meados dos anos 60; Centralização, de meados dos anos 60 até final dos anos 70;
Terceirização, anos 80; e Governo Eletrônico, a partir dos anos 90.

Nesse
contexto, no Brasil, a Administração Pública Federal lança, em 2012, o projeto
Processo Eletrônico Nacional (PEN), que tem como principal objetivo desenvolver
uma infraestrutura de processo administrativo eletrônico e dar mais
transparência à administração pública, contemplando, inclusive, a entrega de software
de processo eletrônico que atenda aos órgãos e entidades das esferas federal,
estadual e municipal, incluindo outros poderes. Entre todos os sistemas
criados, destacou-se o Sistema Eletrônico de Informação (SEI), que foi
desenvolvido pelo Tribunal Federal da 4º Região (TRF4), que por meio de
parceria com o Ministério do Planejamento, Desenvolvimento e Gestão,
disponibilizou a diversos órgãos da Administração Pública Federal (APF).

Deste
modo, concomitante à implantação do SEI, os setores de Gestão de Pessoas dos
órgãos foram demandados a planejarem e executarem ações de capacitação, com o
objetivo de disseminar aos futuros usuários os conhecimentos e habilidades
necessárias para a utilização do SEI. Então, a partir da análise de uma
autarquia federal, que promoveu um processo de capacitação como escopo do
projeto de adesão ao SEI, foi estudada a influência de ações de capacitação e
treinamento nesse projeto.

Diante
disto, esse estudo tem por objetivo geral: analisar a percepção dos servidores
em relação à qualidade do treinamento, aprendizagem e aplicação em um processo
de implantação do SEI em uma instituição pública federal. Para se chegar ao
resultado esperado, foi feito um estudo de caso à luz de Yin (2005), por meio
de um questionário eletrônico aplicado aos servidores de uma instituição
pública. A análise dos resultados foi realizada com base em abordagem
quantitativa, que de acordo com Creswell (2010)
apresenta uma descrição quantitativa de tendências, atitudes ou opiniões de
determinada população.

Assim,
analisar em que medida as ações de capacitação auxiliaram a implantação dessa
ferramenta nos órgãos públicos, pode auxiliar os tomadores de decisão da alta
direção e gestores de projetos do SEI a terem subsídios para tomar decisões e
implementar melhorias ao escolher estratégias de treinamento e desenvolvimento
na implantação desse sistema. Percebe-se, assim, uma lacuna de estudo que
mostre os resultados dos treinamentos e sua influência para o projeto de
implantação desse sistema.

Espera-se
que, com os resultados obtidos neste estudo, os responsáveis por implantar o
SEI em seus órgãos, principalmente relacionados à área de Recursos Humanos,
possam ter insumos para aprimorar políticas de treinamento na fase inicial do
SEI em suas instituições. Além disso, esse estudo pode ser replicado em outras
intuições para que as questões levantadas sejam observadas sobre outros
prismas, visto que essa pesquisa foi realizada em apenas uma instituição
pública.

2 REFERENCIAL TEÓRICO

A
partir do final do século XX, as corporações perceberam a “necessidade de
informação”, pois essa tornou-se um elemento essencial para a continuidade das organizações,
já que por meio da gestão da informação é possível identificar os dados mais
importantes, disponibilizados no momento correto (Braga, 2016). Dessa forma,
iniciou-se o desenvolvimento de diversas TICs, que, de acordo com Paludo (2012), são instrumentos utilizados para alavancar a
modernização, aumentar a competitividade e apoiar o desenvolvimento econômico e
social de todos os setores da economia: local, nacional e mundial – públicos e
privados. De acordo com Albertin (2004, p. 52), podem
ser definidos como “tudo aquilo com o que podemos obter, armazenar, tratar,
comunicar e disponibilizar a informação”.

Nesse
movimento, após a consolidação do e-commerce na iniciativa privada, na
esfera pública começou o desenvolvimento de ferramentas de TICs, tendo como
objetivo a universalização dos serviços e infraestrutura avançada. Essa fase
foi denominada E-gov, contribuindo para a mudança de
um governo burocrático para um mais flexível e moderno (Diniz, 2000; Lenk & Traunmüller, 2002; Agune & Carlos, 2005; Totti & Anjo, 2022).

A
adoção do E-Gov foi impulsionada pelo movimento gerencialista na administração pública brasileira, também
chamado de Nova Administração Pública (NAP). Também chamada Administração
Pública Gerencial (APG), esse movimento ganhou força a partir da década de
1990, na qual prevalecia uma agenda governamental mais liberal. Apesar de
tentativas de reforma gerencial no Brasil desde a década de 60, com o Decreto
Lei n° 200/1967 (Bresser-Pereira, 1996), o grande marco inicial no Brasil foi a
publicação do Plano Diretor de Reforma do Aparelho do Estado (PDRAE). Esse
plano propôs um novo paradigma na administração pública: a ênfase nos
resultados em detrimento aos meios, ou seja, o foco não estava na burocracia
excessiva, mas nos resultados gerados pela máquina pública à sociedade (Souza,
2012). Esse movimento tem características bem definidas. Di Giacomo (2005) sintetiza de forma
clara os principais atributos da NAP, também chamada de Nova Gestão Pública
(NGP).

Neste
contexto, de acordo com escopo deste trabalho, foi publicada a Lei nº 12.527
(Brasil, 2011), conhecida como Lei de Acesso à Informação, que representa uma
mudança de paradigma em matéria de transparência pública, pois estabeleceu que
o acesso é a regra e o sigilo, a exceção. Deste modo, o cidadão poderá
solicitar acesso a qualquer informação dos órgãos públicos que não forem
sigilosas, e o administrador público sempre terá que fundamentar a razão do
sigilo. Neste cenário, vários órgãos dos três poderes (legislativo, judiciário
e executivo) desenvolveram sistemas balizados por essas legislações. Entre os
sistemas desenvolvidos destaca-se o Sistema Eletrônico de Informações (SEI).

2.1 Sistema
Eletrônico de Informações (SEI)

O
SEI foi concebido para atender às demandas administrativas do TRF4. As
atividades finalísticas já utilizavam o processo eletrônico, enquanto as
atividades meio, que também tem papel fundamental nas organizações, não tinham
um sistema informatizado que apoiasse a tramitação de processos
administrativos. Essa ferramenta dá suporte à produção, edição, assinatura e
trâmite de processos e documentos, proporcionando, desta forma, a virtualização
destes. O tempo de realização das atividades é reduzido, por permitir a atuação
simultânea de várias unidades em um mesmo processo, ainda que distantes
fisicamente. Desta forma, apresenta-se como uma solução flexível para ser
adaptada à realidade de órgãos da administração pública federal, independente
dos processos e fluxos de trabalho.

De
acordo com Medeiros (2018) as principais características do SEI são:

·  Portabilidade: 100%
web e pode ser acessado por meio dos principais navegadores do mercado:
Internet Explorer, Firefox e Google Chrome;

·  Acesso Remoto: em
razão da portabilidade já mencionada, pode ser acessado remotamente por
diversos tipos de equipamentos, como microcomputadores, notebooks, tablets
e smartphones de vários sistemas operacionais (Windows, Linux, IOS da
Apple e Android do Google). Isto possibilita que os usuários trabalhem a
distância;

·  Acesso de usuários externos: gerencia o acesso de usuários
externos aos expedientes administrativos que lhes digam respeito, permitindo
que tomem conhecimento do teor do processo e, por exemplo, assinem remotamente
contratos e outros tipos de documentos;

·  Controle de nível de acesso: gerencia a criação e o trâmite
de processos e documentos restritos e sigilosos, conferindo o acesso somente às
unidades envolvidas ou a usuários específicos;

·  Tramitação em múltiplas unidades: incorpora novo conceito de
processo eletrônico, que rompe com a tradicional tramitação linear, inerente à
limitação física do papel. Deste modo, várias unidades podem ser demandadas
simultaneamente a tomar providências e manifestar-se no mesmo expediente
administrativo, sempre que os atos sejam autônomos entre si;

·  Funcionalidades específicas: controle de prazos, ouvidoria,
estatísticas da unidade, tempo do processo, base de conhecimento, pesquisa em
todo teor, acompanhamento especial, inspeção administrativa, modelos de
documentos, textos padrão, sobrestamento de processos, assinatura em bloco,
organização de processos em bloco, acesso externo, entre outros;

·  Sistema intuitivo: estruturado com boa
navegabilidade e usabilidade.

No poder executivo federal, a implantação do SEI estar
sendo balizada pela Portaria Conjunta nº 3 (Brasil, 2014), firmada pelo MP e
TRF4. O primeiro seria o responsável por disseminar e apoiar os órgãos da
administração pública federal a utilizar o SEI, enquanto o último cederia o
direito de uso do sistema desenvolvido por sua equipe de TIC para os órgãos
interessados. De acordo com os dados do Portal Gov.br (Brasil, 2019), foi
elaborado o Quadro 1, com os quantitativos de órgãos que aderiram ao SEI.

Fase / Esfera

Federal

Estadual

Municipal

Total

Implantado

171

11

0

182

Em fase de Implantação

46

3

4

53

Total

217

14

4

235

Quadro 1. Dados de Implementação do SEI

Fonte: Elaborado pelos autores.

A partir da análise do Quadro 1, percebe-se que
diversos órgãos públicos já aderiram ao SEI - 182 no total, e outros 53 em fase
de implementação. Hoje, para aderir esse sistema, é necessária a assinatura do
“Acordo de Cooperação Técnica” junto ao ME. A Figura 1 explica as etapas de
Implantação do SEI de uma forma mais holística:

Figura 1.
Metodologia
de Implantação do SEI

Fonte: Cristina (2018).

Cada círculo da Figura 1 representa uma etapa da
implantação do SEI. A seguir, será esquematizado, em linhas gerais, as atividades
correspondentes a cada etapa:

·  Diretrizes: apoio institucional, alinhamento com
missão, valores e visão da instituição;

·  Aspectos Organizacionais: A cultura
organizacional e o uso do papel, gestão de mudanças
e o apoio da alta administração no processo de mudança;

·  Processos: delimitação
do escopo,
diagnóstico e mapeamento de processos de negócio;

·  Pessoas: equipes de
trabalho,
treinamento e desenvolvimento, sensibilização;

·  Infraestrutura
e Tecnologia:
ambiente operacional;

·  Comunicação: interna e
externa;

·  Aspectos Legais: termo de
adesão e normativos internos e

·  Plano de Implantação:
Parametrização e Cronograma de Implantação.

Percebe-se que a implantação do SEI é um grande
projeto, que passa por diversos setores das organizações, sendo muitas áreas
demandadas, principalmente as de Tecnologia da Informação, Arquivo, Protocolo e
Recursos Humanos. O objeto do estudo encontra-se inserido nesta última área,
pois o trabalho irá se aprofundar em aspectos relacionados ao treinamento e
desenvolvimento e como esses fatores podem contribuir para o projeto de
implantação do SEI nos órgãos públicos. Desta maneira, será dado maior destaque
à etapa “Pessoas” da Figura 1.

2.2 Impacto do
Treinamento nas Organizações

Para Marras (2017), treinamento é um tipo de
processo de curto prazo, que faz com que o colaborador assimile a cultura
organizacional, com o objetivo de transmitir conhecimentos, habilidades e
atitudes relacionadas à execução de tarefas e otimização do trabalho. Já Boog e Boog (2013) e Cunha et al. (2020) consideram que uma ação
de treinamento tem foco no médio e longo prazo, tendo três fatores a serem
considerados: aumento na produtividade, que consiste na capacitação da equipe e
consequentemente à entrega de melhores resultados; aumento na motivação, que é
o reconhecimento do colaborador, que a empresa está investindo nele e, por fim,
a retenção de talentos, pois cria um elo entre a empresa e o empregado.

Assim, cada vez mais as organizações preocupam-se
em mensurar os treinamentos corporativos. Especificamente em órgãos públicos,
essa avaliação pode ter várias finalidades, como fornecer informações sobre
lacunas entre a equipe treinada e instrutores, perceber falhas de planejamento,
observar a utilidade do treinamento para a organização e mensurar quais
habilidades aprendidas estão sendo aplicadas no dia a dia laboral dos
funcionários (Meneses, Zerbini & Abbad, 2011; Pereira
et al., 2015). Moraes (2011) e Severiano Junior et al. (2021) listam que na avaliação
de reação de treinamento, devem ser analisados: instrutor, conteúdo
programático, material didático, carga horária e instalações, para que os
responsáveis pelo treinamento possam avaliar o desempenho dos instrutores,
assim contribuindo para a melhoria da capacitação.

Quanto ao relacionamento entre os níveis de
avaliação, reação, aprendizagem e impacto do treinamento no trabalho, Abbad, Gama e Borges-Andrade (2000) encontraram que as
reações estão fortemente correlacionadas com o impacto, porém fracamente com a
aprendizagem. Da mesma forma, Abbad et al. (2001) verificaram que a
aprendizagem não está diretamente relacionada com reação nem com o
impacto. Bastos (2012) encontrou resultados semelhantes em seu estudo: constatou associação
positiva entre reação e impacto, relação fraca entre reação e aprendizagem e
ausência de relação entre aprendizagem e impacto. Do ponto de vista gerencial
Mantovani et al. (2017) apontam que cada vez mais as ações de desenvolvimento
têm utilizado tecnologias educacionais, pois essas podem ser úteis na
compreensão dos resultados, auxiliando na definição das melhores estratégias de
aprendizagem.

2.3 Políticas de Desenvolvimento de
Pessoas na Administração Pública Brasileira

O
treinamento é um processo educacional de curto e médio prazos, aplicado de
maneira organizada, para que pessoas adquiram conhecimentos, posições e
habilidade de acordo com suas atividades laborais, com a finalidade de
aprimorar a produtividade, sem influenciar o comportamento (Volpe & Lorusso 2009). Já Almeida (2007) destaca que a principal
função do treinamento e desenvolvimento de pessoas nas organizações é
fundamental para a preparação do indivíduo no exercício satisfatório das
atividades do cargo ocupado. Por último, Milkovich e Boudreau (2010) definem treinamento como um processo
sistematizado com o objetivo de promover a aquisição de habilidades, regras e
atitudes, gerando um maior alinhamento entre as características dos
funcionários com as exigências do cargo ocupado.

O
grande marco legal da APF foi o Decreto 5.707 (Brasil, 2006), que entre outras
finalidades, instituiu a Política e as Diretrizes para o Desenvolvimento de
Pessoal da administração pública federal direta, autárquica e fundacional. A
partir desse Decreto, os órgãos deveriam estimular os servidores a se
capacitarem e planejar os recursos de capacitação por meio do Plano Anual de
Capacitação. Essa política foi atualizada pelo Decreto 9.991 (Brasil, 2019), que, entre outras medidas,
instituiu a obrigatoriedade de planejamento e utilização de recursos de
capacitação de forma mais racional nos órgãos públicos.

2.4 Capacitação do
SEI na Instituição Estudada

O órgão estudado é uma autarquia vinculada ao
Ministério da Ciência, Tecnologia, Inovações e Comunicações, com sede no Rio de
Janeiro. A utilização do SEI nessa instituição foi iniciada em janeiro de 2019.
Desde seu início, a instituição promoveu cursos a
distância para todos os servidores. Todavia, com a crescente adesão dessa
ferramenta pelos servidores, constatou-se a necessidade de treinamentos
presenciais.

Os treinamentos presenciais ocorreram entre os meses
de novembro e dezembro de 2019. Foram 35 turmas nas quais foram capacitados 400
agentes públicos. Todos os treinamentos tiveram abordagem prática, ministrados
em sala com computadores para os alunos, com três modalidades de treinamento:

·  Básico:
destinado a agentes públicos e colaboradores que não realizaram nenhum
treinamento do SEI ou que apresentam alguma dificuldade em utilizar comandos
básicos do Sistema.

·  Avançado:
com foco em agentes públicos que têm facilidade de acessar o SEI e gostariam de
aprimorar-se no sistema, principalmente em relação às ferramentas oferecidas.

·  Gerencial:
chefias que
gostariam de utilizar o SEI como ferramenta gerencial, com base em estatísticas
geradas no Sistema e boas práticas de gestão a partir da utilização de
ferramentas próprias.

3
METODOLOGIA

De acordo com a taxonomia de Vergara (2014), em
relação aos fins, trata-se de uma pesquisa descritiva, pois explica
características de determinada população, estabelecendo correlações e definindo
natureza, não se preocupando em explicar o fenômeno que estuda. Em relação aos
meios, trata-se de um estudo de caso. Yazan (2015)
ressalta que é um dos métodos de pesquisa mais utilizados. Pode ser definido,
de acordo com Yin (2005), como o estudo de um fenômeno dentro de um contexto
real. Para o referido autor, esse método é ideal para avaliar programas, sendo
composto por cinco aspectos: o objetivo do estudo, as preposições (se houver),
unidade analisada, relacionamento entre os dados e preposições e, por último,
os critérios de interpretação dos dados.

Em
relação à abordagem, trata-se de uma pesquisa quantitativa, já que utiliza os
dados obtidos de determinada amostra relacionados às opiniões e atitudes de uma
população, por meio de uma descrição numérica (Creswell,
2010). O instrumento escolhido para essa pesquisa foi o questionário, que pode
ser definido como um instrumento de
coleta de dados formado por questões ordenadas, que de acordo com Zanella
(2009), podem ser descritivas, comportamentais ou preferenciais, sendo
constituídas por questões abertas ou fechadas. Ainda de acordo com a autora,
dentre as vantagens, destacam-se o anonimato e o atingimento de um vasto número
de pessoas em um amplo espaço geográfico, não sendo necessária a presença
física do pesquisador.

Essa pesquisa apresenta com unidade amostral
servidores e colaboradores.

O questionário enviado do presente estudo, conforme
Quadro 2, foi denominado “Avaliação de Reação”. É composto por 17 perguntas,
sendo 12 fechadas, utilizando-se a escala de resposta
tipo Likert de cinco pontos, variando de 1 (Não
Concordo/Péssimo) a 5 (Concordo Totalmente/Excelente), conforme demonstrado por
Pilati e Borges-Andrade (2005), e 5
abertas, para opinião dos respondentes quanto
aos pontos fortes, pontos a serem melhorados e comentários gerais sobre o
projeto.

A amostra desse questionário foi formada por
terceirizados e servidores de uma autarquia vinculada ao Ministério da Ciência,
Tecnologia, Inovações e Comunicações, com sede no Rio de Janeiro que
participaram de treinamento de ambientação do SEI nessa instituição. A pesquisa
foi enviada um mês após a conclusão do treinamento.

O questionário, conforme Quadro 2, foi elaborado com
base no modelo proposto por Abbad (1999) e Portaria
ME n° 498 (Brasil, 2019) e teve a finalidade de
colher informações sobre diferentes aspectos dos treinamentos ministrados,
visando o aperfeiçoamento das próximas ações de capacitação a serem realizadas
pelo Comitê Gestor do SEI da Instituição.

Na
análise dos dados, utilizou-se, além da estatística descritiva, a técnica de Análise
Fatorial Exploratória (AFE). Para Brown (2014), a AFE é um conjunto de técnicas
multivariadas com o objetivo de identificar uma estrutura implícita em uma
matriz de dados, determinando o quantitativo e natureza das variáveis latentes,
também chamada de fatores. Essa técnica é complexa e exige do pesquisador,
decisões criteriosas e com embasamento técnico (Damásio,
2012; Figueiredo; Silva, 2010).
Ela se baseia no pressuposto de que alguns fatores subjacentes são responsáveis
pela covariação entre variáveis, de modo a identificar as variáveis mais
representativas ou criar um conjunto, com um quantitativo menor de variáveis,
sendo utilizada em fases iniciais da pesquisa, podendo ser utilizadas para
criação de variáveis que podem ser utilizadas em modelos de regressão (Kim;
Mueller, 1978; Hair et al., 2019).  Uma das
vantagens da AFE é o refinamento dos itens do questionário, sendo um
instrumento muito aplicável na validação de constructos, nessa análise o
pesquisador desconhece quais os fatores que irão surgir após a análise (Huck,
2012).

Em
seguida, analisamos os fatores gerados na etapa anterior por meio de um modelo
de mediação (Hayes, 2022). Neste modelo, a mediação funciona como um mecanismo
capaz de tornar uma variável propícia a agir sobre a variável dependente e
afetando a relação direta entre variável independente e dependente
(Baron; Kenny, 1986).

Em
relação ao número de casos Hair et al. (2019) sugerem amostra
superior a 50 observações, sendo ideal o mínimo de 100 casos. Além disso, a
razão entre quantitativo de casos e variáveis deve ser maior que 5. Dessa
forma, o presente estudo atende às recomendações, visto que o n da amostra é
99, e a referida razão é 8,25. Além disso, foi verificada a normalidade pelo
teste Kolmogorov-Smirnov e Shapiro-Wilk e gerados
gráficos de dispersão e histogramas. Por fim, por meio do gráfico boxplot, foram identificados outliers.
Após essas etapas, antes de realizar análise fatorial exploratória, também foi
verificada a correlação dos itens.

Para
a aplicação adequada da análise fatorial exploratória, deve-se seguir os
seguintes passos: analisar a matriz de correlações; verificar a estatística
Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de
Barllet; selecionar método de extração dos fatores;
decidir como rotacionar os fatores; definir o quantitativo de fatores úteis; e,
finalmente, analisar as cargas fatoriais na matriz anti-imagem
(Huck, 2012; Fávero et
al., 2009). Para isso, foi
utilizado o software SPSS, norteado pelos procedimentos propostos por Field (2018). O quadro a seguir, mostra os
indicadores que serão utilizados:

Nível
de Mensuração

Variáveis Contínuas e Discretas

Tamanho
da Amostra

Amostras
mínimas de 50 a 100 casos; razão entre o número de observações e a quantidade
de variáveis de ser igual ou superior a cinco.

Correlação

Maioria
dos coeficientes de correlação deve apresentar valores acima de 0,30.

Kaiser-Meyer-Olklin (KMO)

0,50 é o mínimo esperado, podendo ser
superior.

Bartelett Test of Spherecity (BTS)

p<0,05.

Quadro 2. Indicadores
utilizados na AFE

Fonte: Adaptado de Figueiredo
e Silva (2010)
e Hair
et al. (2019).

Para
Friel
(2009), o KMO deve
seguir a seguinte interpretação: excelente: 0,90 - 1; bom: 0,80 - 0,89;
mediano: 0,70 – 0,79; medíocre: 0,60-0,69; ruim: 0,50-0,59 e inadequado: 0 -
0,49. Enquanto o Teste de esfericidade de Bartlett é
um usado para examinar se as variáveis não são correlacionadas na população;
devendo ser obtido o resultado p<0,05 (apud
Hair et al., 2019).

Por
fim, foi gerada uma matriz de correlação de Pearson, que expressa o grau de
dependência linear entre duas variáveis quantitativas, variando de -1 a 1,
quando positivo indica que o aumento de uma variável a outra também aumenta,
quando negativa indica que quando uma variável aumenta a outra diminui (Johnson
& Wichern, 2014). A seguir vamos apresentar um
quadro com o resumo da metodologia da pesquisa:

Quanto
ao objetivo

Exploratória

Quanto
aos meios

Pesquisa Bibliográfica

Pesquisa de Campo

Método

Quanti

Técnica
de Coleta de dados

Revisão Bibliográfica

Análise Documental

Levantamento (Survey)

Instrumento

Questionário Eletrônico

Análise
do Resultado

Análise Descritiva

Análise Fatorial Exploratória

Criação de Modelo de Mediação

Quadro 3. Resumo da Metodologia da Pesquisa

Fonte: Elaborado pelos autores

4
RESULTADOS E ANÁLISES

A
seguir, apresentam-se alguns resultados sobre a percepção da qualidade do curso
pelos alunos, acompanhado do respectivo item do questionário enviado:

·
Item
3 - Adequação do conteúdo programático aos objetivos do curso

Resultado:
94% dos respondentes consideraram boa ou excelente a adequação entre
o conteúdo e o objetivo do curso;

·
Item
8 - Estímulo para aplicar os conhecimentos e habilidades aprendidas

Resultado:
88% concordaram que, após a conclusão do curso, se sentiram estimulados em
aplicar os conhecimentos adquiridos em seu setor;

·
Item
10 - A qualidade do meu trabalho melhorou nas atividades diretamente
relacionadas ao conteúdo do treinamento.

Resultado: 83% concordaram que as tarefas de seu
setor que utilizam o SEI, após o curso,
foram realizadas com mais qualidade, e

·
Item
11- Após minha participação no treinamento, tenho sugerido, com mais
frequência, mudanças nas rotinas de trabalho.

Resultado:
68% consideraram que a realização do treinamento incentivou a melhorar suas
rotinas de trabalho. A Figura 2 consolida as
informações supracitadas.

Figura 2. Indicadores
de Qualidade do Treinamento

Fonte: Elaborado pelos autores.

Desse modo, pode-se
inferir que, em geral, os agentes públicos que participaram do treinamento
consideraram que as ações de desenvolvimento foram efetivas. Diante dessa
inferência, foram iniciadas as análises para o desenvolvimento da análise
fatorial.

A
primeira etapa foi verificar se a amostra poderia ser considerada normal, para
isso foi gerado o gráfico boxplot e identificado um outlier. Em função disso, foi retirado da amostra o respondente 34,
tendo diminuído a amostra para 98 respondentes.

Em
seguida foi feita a matriz de correlação das variáveis, sendo verificado que a maioria
das correlações foram significativas e obedecem à recomendação de Hair et al. (2019), que afirma que para uma análise
fatorial, a maioria das correlações deve ser superior a 0,3. Na amostra
selecionada, apenas uma variável foi menor que 0,3 e a mesma também não foi
significativa (p > 0,05).

Nesse
sentido, extraímos os fatores por meio da análise dos componentes principais,
avaliando primeiramente sua adequação por meio dos testes Kaiser-Meyer-Olkin (KMO = 0,904) e de esfericidade de Bartlett (p < 0,001). Para
Kaiser (1974), esse valor acima de 0,9 é excelente, indicando que os padrões de
correlação são compactos. O teste de Bartlett indica
que as correlações entre os itens são suficientes para seguir para a análise
fatorial (Field, 2018). Após isso, foi avaliado o número de fatores por meio do
método scree plot, que
apontou para três dimensões. Extraindo 3 fatores, a variância
total explicada foi de 80,5%. Submetemos os três fatores à rotação ortogonal Varimax, assim como a obliqua (Oblimin),
objetivando melhorar a interpretação das cargas fatoriais. Observamos que para
ambos os métodos de rotação, os itens se enquadraram de forma idêntica a cada
um dos fatores. Por isso, utilizamos a saída da rotação Varimax, que é mais simples de
interpretar (Rossoni; Engelbert; Bellegard, 2016). No que se refere
ao critério de corte dos itens, excluímos aqueles com cargas fatoriais menores
que 0,4, como assim sugerem Hair et al.
(2019). Por fim, analisamos a confiabilidade das dimensões por meio do teste
alfa de Cronbach,
descartando os itens que as diminuíam, considerando-as confiáveis se o valor do
alfa fosse maior que 0,7 (Nunnaly, 1978). Na Tabela
1, apresentamos os três fatores identificados. A escala foi reduzida para 10
itens, agrupadas em três fatores por meio da média simples.

Tabela 1.
Estatística Descritiva e Correlações das Dimensões de Reação ao Curso

Itens

Média

Variância

%

Alpha de Cronbach

(2)

(3)

1. Aplicabilidade
do treinamento

4

4,12

33,40

0,91

,466**

,636**

2. Qualidade
do treinamento

4

4,68

32,17

0,92

,720**

3. Grau
de Aprendizagem

2

4,48

17,82

0,92

Nota: ** p
< 0,01, n = 98

Fonte: Elaborado pelos autores.

Após
realizar uma nova análise fatorial, determinando o número fixo de três fatores
e suas respectivas variáveis, conforme Tabela 1, a variação total explicada
aumentou para 83%, mostrando uma melhora na explicação em comparação à primeira
análise. Em seguida, foram criadas 3 novas variáveis, à luz do resultado da
análise fatorial. O Fator 1 apesenta variáveis relacionados à aplicabilidade
do treinamento do trabalho, ou seja, se o aluno entendeu todas as
funcionalidades do SEI que foram ensinadas nos treinamentos. O Fator 2,
relaciona-se à qualidade do treinamento, com variáveis relacionadas à
adequação e ordenação do conteúdo e atingimento dos objetivos do projeto. Por
último, o Fator 3, que tem variáveis que focam no grau de aprendizagem do
conteúdo, ou seja, se o aluno conseguiu refletir sobre as ferramentas e
propor melhorias no seu dia a dia de trabalho.

Para
realizar uma análise, buscou-se entender a correlação entre essas variáveis.
Assim, por meio da correlação de Pearson, foi possível mensurar a direção e o
grau da relação linear entre essas variáveis (Moore & Kirkland, 2007). Dessa
forma, ao fazer uma interpretação mais analítica das correlações, podemos
destacar:

·
A maior correlação é entre os fatores 2 e
3 (0,72), considerada forte, demonstrando que a percepção da qualidade está
relacionada ao grau de aprendizagem do curso. Como as ações do treinamento
foram realizadas em um laboratório específico, com metodologia dinâmica e foco
na prática da ferramenta, já era esperado que esses dois fatores tivessem alta
correlação. Para Reginatto e Pinheiro (2004), o treinamento
auxilia o indivíduo a tornar-se mais eficiente, aprimorando atitudes, já que
por meio de uma ação de capacitação, pode-se aprender fazendo, tendo como
resultado a mudança de comportamento.

·       A
segunda relação mais robusta foi entre os fatores 1 e 3 (0,636), considerada
forte, demonstrando que quanto maior o grau de aprendizagem, maior a noção de
aplicabilidade. Pantoja e Borges-Andrade (2004) definem aprendizagem como um
processo que o indivíduo adquire e retém competências para, futuramente,
conseguir mudar seu comportamento no trabalho. Dessa forma, a instituição
estudada seguiu essa definição, na qual aprendizagem está relacionada com
aplicabilidade. O fato de ter sido um treinamento prático, com foco em uma
ferramenta, contribuiu para tal definição. Entretanto, Meneses, Zerbidini e Abbad (2011)
consideram que a aprendizagem não garante a aplicação do conhecimento para o
trabalho, pois para esses autores, aprendizagem é condição necessária, mas não
suficiente para a utilização do conteúdo no cotidiano profissional.

·       Por
último, a menor relação foi entre os fatores 1 e 2 (0,466), indicando que a
percepção da qualidade do treinamento e a aplicabilidade apresenta uma relação
média, assim como propuseram Araujo, Abbad e Freitas (2019). Esse resultado pode ter sido
influenciado pela característica de organizações públicas em resistir à
implementação de novas ideias e conhecimentos obtidos em treinamentos. Os
servidores consideraram o treinamento satisfatório, entretanto esse índice não
foi acompanhado pelo aumento de aplicabilidade. Esse resultado contrasta com a
afirmação de Azeredo (2019), que conclui que ações de desenvolvimento
interferem diretamente no resultado da empresa, pois profissionais motivados
oferecem mais soluções e inovações no ambiente corporativo.

Diante
do exposto, buscamos construir um modelo capaz de possibilitar que
realizássemos uma inferência preditiva acerca dos fatores gerados. Sendo assim,
propomos um modelo em que qualidade do treinamento afeta positivamente a
aplicabilidade no trabalho, como proposto por Azeredo (2019). Contudo, o grau
de aprendizagem é crucial para uma efetiva aplicabilidade do treinamento
no trabalho (Pantoja & Borges-Andrade, 2004). Dessa forma, propomos que o grau
de aprendizagem medeia a relação entre a qualidade do treinamento e
a aplicabilidade do treinamento no trabalho (vide Figura 3).

Para
análise do modelo utilizamos o modelo 4 da macro PROCESS (Hayes, 2022) usando
10.000 re-amostras pelo sistema de bootstrapping. O procedimento foi realizado
utilizando a variável aplicabilidade do treinamento como dependente, a
variável grau de aprendizagem como mediadora e a qualidade do
treinamento como variável independente.

As
Tabelas 2 e 3 indicam os resultados da mediação e suas respectivas
significâncias, em seguida a Figura 3 apresenta os resultados no próprio modelo
proposto. O efeito total, sem a presença da variável mediadora, foi
significativo e positivo (b = 0,89; p<0,001), indicando que quanto maior a qualidade
do treinamento maior a aplicabilidade do treinamento. Contudo, ao
incluirmos a variável grau de aprendizagem como mediadora os
resultados indicam um efeito indireto positivo e significativo por meio do
método de bootstrapping com intervalos consistentes
confirmando a mediação (b=0,86; [0,52; 1,36]), indicando que quanto
maior o grau de aprendizagem do aluno maior será a aplicabilidade do
treinamento, ao ponto de que a qualidade do treinamento passa a ser
não significativa para a aplicabilidade, como pode-se observar pelo
efeito direto (b=0,03; P>0,05), ou seja, o grau de aprendizagem passa
a absorver todo o efeito.

Dessa
forma, os resultados indicam uma mediação completa (Baron & Kenny, 1986;
Burke, Eckert & Sethi,
2020; Vieira, 2009) do grau
de aprendizagem entre qualidade do treinamento e aplicabilidade do treinamento.
Sendo assim, o grau de aprendizagem absorve todo o efeito da qualidade do
treinamento na aplicabilidade, ou seja, na prática quanto maior grau de
aprendizagem maior a aplicabilidade do treinamento, independente da qualidade
do treinamento, mostrando-se a importância dos processos de aprendizagem como
mecanismos de absorção do conteúdo para a prática profissional no serviço
público.

Tabela 2. Modelo Linear de Preditores do Grau de Aprendizagem

Saída: Grau de
Aprendizagem

(R² = 0,52; F
=103; p<0,001)

B

se

t

Sig.

Constante

-0,061
[- 0,95; 0,83]

0,45

-0,14

0,89

Qualidade do Treinamento

0,97
[0,78; 1,16]

0,10

10,17

0,000

Fonte: Elaborado
pelos autores.

Tabela 3. Modelo Linear de Preditores da Aplicabilidade do Treinamento

Saída:
Aplicabilidade do Treinamento

(R² = 0,41; F =
32,34; p<0,001)

B

se

T

Sig.

Constante

0,03 [-1,38; 1,43]

0,71

0,04

0,97

Grau de aprendizagem

0,88 [0,56; 1,20]

0,16

5,48

0,000

Qualidade do Treinamento

0,03 [-0,40; 0,46]

0,22

0,14

0,89

Efeitos

Total

0,89 [1,23; 0,47]

0,17

5,16

0,000

Direto

0,03 [-0,40; 0,46]

0,22

0,14

0,89

Indireto

0,86 [0,52; 1,36]

0,21

Fonte: Elaborado pelos autores.

Nesse
sentido, pode-se afirmar que o grau de aprendizagem medeia completamente
a relação entre qualidade do treinamento e a aplicabilidade do
treinamento (R²=0,41; F(2; 95=32,34); p<0,001) como apresentado na
figura 3.

Figura 3. Modelo Proposto de Análise

Fonte: Elaborado pelos autores.

Consequentemente,
podemos inferir que quanto maior o grau
de aprendizagem do conteúdo
por parte do aluno, maior será o potencial de aplicabilidade do treinamento em
seu ambiente de trabalho, ficando em segundo plano a qualidade do treinamento
que recebeu, mostrando-se que para um treinamento ser efetivo no ambiente de
trabalho, é fundamental que o profissional compreenda as atividades que está
desenvolvendo. Além disso, apesar do grau de aprendizagem receber um incremento
por meio da qualidade do treinamento, uma efetiva aplicabilidade
dependerá do grau de aprendizagem do indivíduo. Esse resultado está
alinhado com Milkovich e Bourdreau
(2010), que conceituam que um treinamento tem por objetivo a aquisição e
aplicabilidade de habilidades, com o intuito de adequar as características do
indivíduo às exigências do cargo que ocupa. Assim, como o foco da capacitação
era a aplicabilidade da ferramenta, a aplicabilidade explica que um curso
considerado de qualidade, consegue ser considerado prático (aplicável), aos servidores.
Contudo, o resultado representa que na verdade a aplicabilidade do
treinamento independe da qualidade do treinamento, desde que o
profissional consiga assimilar o aprendizado.

O
resultado supracitado está alinhado à Pantoja e Borges-Andrade (2004), que
descrevem que a aprendizagem se mostra como um processo eficaz para retenção de
competências capaz de influenciar de forma positiva o comportamento do
indivíduo no trabalho. Por outro lado, vai de encontro ao afirmado por Meneses,
Zerbidini e Abbad (2011) e
Cunha, Bezerra e Zouain (2019), que consideram que a
aprendizagem não garante a aplicação do conhecimento para o trabalho. Para
esses autores, aprendizagem é condição necessária, mas não suficiente para a
utilização do conteúdo no cotidiano profissional.

5 CONCLUSÃO

Diante
do exposto, esse estudo teve por objetivo analisar a percepção dos servidores
em relação à qualidade do treinamento, aprendizagem e aplicação em um processo
de implantação do SEI em uma instituição pública federal. Assim, após análise
do resultado de um questionário de reação do curso, por meio de técnicas
quantitativas, percebeu-se que o treinamento em questão teve impacto efetivo na
utilização do SEI. O treinamento, quando feito sob medida à comunidade a ser
pesquisada, pode obter resultados positivos que, em última análise, tendem a
aumentar a capacidade da comunidade de alunos a melhorar os resultados do desempenho
no trabalho e eliminar as disparidades no ambiente laboral (Cunningham-Erves et al., 2020).

O
principal achado da pesquisa foi que aplicabilidade do treinamento independe
da qualidade do treinamento desde que o profissional consiga
assimilar o aprendizado. Não significa dizer que a qualidade do treinamento não
seja importante. Mostra-se importante tanto que seu efeito na aplicabilidade do
treinamento é significativamente positivo. Contudo, o grau de aprendizagem
medeia esta relação de forma completa, tornando não significativo o efeito da
qualidade do treinamento sobre a sua aplicabilidade.

Além
disso, a partir das correlações foi possível observar que o treinamento foi
considerado de qualidade, e isso fez com que os alunos entendessem o objetivo
do curso e os principais tópicos abordados. Mediante o entendimento do conteúdo
ministrado, os agentes públicos foram capazes de refletir sobre essa ferramenta,
ou seja, entendê-la de forma macro e imaginar situações na qual poderiam
utilizar o SEI. Por outro lado, a correlação mais fraca foi entre qualidade e
aplicabilidade. Este fato pode estar relacionado a muitos setores não
utilizarem o SEI em seu processo de trabalho, seja por resistência, ou até
mesmo desconhecimento da ferramenta, uma vez que a instituição estudada conta
com cerca de 2 mil servidores, e apenas 400 pessoas se inscreveram nos cursos.
Logo, até consideraram o curso satisfatório, mas não viram sua aplicabilidade
no cotidiano funcional.

Araujo,
Abbad e Freitas (2019), ao avaliarem a reação de
treinamentos realizados em uma instituição pública, chegaram a resultados
semelhantes ao demonstrado no presente artigo, principalmente em relação à
baixa correlação entre a percepção de qualidade de um treinamento e sua
aplicabilidade.

É
importante destacar o conceito de Chen, Smithson
e Popovic (2002), que afirmam que não é a estatística
que determina se relações causais podem ser alcançadas ou não, mas sim os
pesquisadores. Nessa direção, não deve ser considerada exclusivamente uma
técnica quantitativa para concluir a relação causal entre duas variáveis.
Deve-se, também, considerar outras percepções sobre o fenômeno, seja de outros
artigos ou da percepção do próprio pesquisador.

Em
relação à administração pública, os resultados desse estudo podem ser
utilizados por gestores da área de desenvolvimento de pessoas de órgãos
públicos para nortear políticas públicas relacionadas à capacitação de
servidores, como proposto pelo Decreto 9.991 (Brasil, 2019). Como lacuna do corrente
estudo, pode-se analisar os resultados das questões abertas do questionário de
reação, para confrontá-los com os achados dessa pesquisa. O SEI foi um grande
marco na administração pública e entendermos melhor formas de treinamento para
aumentar sua adesão é fundamental para a adesão e ampliação dessa ferramenta no
serviço público.

Diante
de todo exposto, pode-se concluir que objetivo do presente trabalho foi
alcançado. A partir desse estudo, pode-se entender em que medida um treinamento
pode influenciar de forma positiva a utilização de uma nova ferramenta laboral,
e como a qualidade do treinamento pode influenciar nas dimensões de aplicabilidade
e grau de aprendizagem. Como os cursos foram ministrados de forma
prática, com a utilização do sistema de forma concomitante ao curso, demonstrou
o quão impactante é esse tipo de ação para uma organização, principalmente na
esfera pública, cujo resultado de um treinamento interfere diretamente na
qualidade do serviço do agente público, que reflete em toda a sociedade.
Sugere-se que o mesmo instrumento seja aplicado em treinamentos do SEI em
outras organizações públicas, para constatar a importância da qualidade do
treinamento no processo de aprendizagem.

REFERÊNCIAS

Abbad, G.
(1999). Um modelo integrado de avaliação do impacto do treinamento no
trabalho–IMPACT. Brasília (DF): Universidade de Brasília.

Abbad, G. D.
S., Borges-Andrade, J. E., Sallorenzo, L. H., Gamas,
A. L. G., & Morandine, D. (2001). Projeto
instrucional, aprendizagem, satisfação com o treinamento e autoavaliação de
impacto do treinamento no trabalho. https://periodicos.ufsc.br/index.php/rpot/article/view/6820/6302.

Abbad, G.,
Gama, A. L. G., & Borges-Andrade, J. E. (2000). Treinamento: análise do
relacionamento da avaliação nos níveis de reação, aprendizagem e impacto no
trabalho. Revista de Administração contemporânea, 4, 25-45.

Agune, R.,
& Carlos, J. A. (2005). Governo eletrônico e novos processos de trabalho.
Gestão pública no Brasil contemporâneo, 1-16.

Albertin, A. L. (2004).
Administração de informática: funções e fatores críticos de sucesso. (4. ed.). São
Paulo: Atlas.

Almeida,
M. A. D. (2007). Percepção de gestores e técnicos sobre o processo de gestão de
competências em organizações no Brasil.

Araujo, M. C.
D. S. Q. D., Abbad, G. D. S., & Freitas, T. R. D.
(2019). Avaliação de aprendizagem, reação e impacto de treinamentos
corporativos no trabalho. Psicologia: Teoria e Pesquisa, 35. DOI: 10.1590/0102.3772e35511.

Azeredo,
F. C. (2019). Treinamento e desenvolvimento como instrumento de retenção de
talentos nas organizações. Revista Brasileira de Administração Científica,
10(1), 14-30. DOI: 10.6008/CBPC2179-684X.2019.001.0002.

Baron, R.
M. & Kenny, D. A. (1986). The moderator–mediator
variable distinction in social psychological research: Conceptual, strategic,
and statistical considerations. Journal of personality and social psychology,
51(6), 1173. DOI: 10.1037/0022-3514.51.6.1173.

Bastos, L. F. L. (2012). Avaliação
da reação, aprendizagem e impacto de treinamento em um hospital do município de
São Paulo (Doctoral dissertation,
Universidade de São Paulo).

Boog, G., & Boog, M. T. (2013). Desenvolvimento: Gestão e Estratégias. (6. ed.).
São Paulo: Pearson.

Braga, A.
(2016). A gestão da informação. Millenium. https://docplayer.com.br/2530667-A-gestao-da-informacao-ascencao-braga.html.

Brasil.
(2006). Decreto nº 5.707, de 23 de fevereiro de 2006. Institui a Política e as
Diretrizes para o Desenvolvimento de Pessoal da administração pública federal
direta, autárquica e fundacional, e regulamenta dispositivos da Lei no 8.112,
de 11 de dezembro de 1990. http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2006/decreto/d5707.htm.

Brasil.
(2011). Lei nº 12.527, de 18 de novembro de 2011. Autoriza o Poder Executivo a
instituir a Fundação Centro de Formação do Servidor Público - FUNCEP, e dá outras
providências. http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm.

Brasil.
(2014). Portaria Conjunta nº 3, de 16 de dezembro de 2014. Institui o modelo de
governança do Sistema Eletrônico de Informações - SEI no âmbito do projeto
Processo Eletrônico Nacional e dá outras providências. https://www.comprasgovernamentais.gov.br/index.php/legislacao/portarias/575-portaria-conjunta-n-3-de-16-de-dezembro-de-2014.

Brasil. (2019a). Decreto 9.991, de 28 de agosto de 2019. Dispõe sobre a Política
Nacional de Desenvolvimento de Pessoas da administração pública federal direta,
autárquica e fundacional, e regulamenta dispositivos da Lei nº 8.112, de 11 de
dezembro de 1990, quanto a licenças e afastamentos para ações de desenvolvimento.
http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2019/Decreto/D9991.htm.

Brasil.
(2019b). Portaria nº 498, de 14 de maio de 2019. Dispõe sobre o pagamento da
Gratificação por Encargo de Curso ou Concurso (GECC), no âmbito do Ministério
da Economia, e dá outras providências.http://www.in.gov.br/web/dou/-/portaria-n%C2%BA-498-de-14-de-maio-de-2019-108889759.

Bresser-Pereira, L. C. (1996). Da administração pública
burocrática à gerencial. https://repositorio.enap.gov.br/handle/1/1734.

Brown, T. A. (2014). Confirmatory factor analysis for
applied research. Guilford Publications.

Burke, P. F., Eckert, C., & Sethi, S. (2020). A multiattribute benefits-based choice model with multiple
mediators: New insights for positioning. Journal of Marketing
Research, 57(1), 35-54, de DOI: 10.1177/0022243719881618.

Chen, P. Y., Smithson, M., ter
Y, C., & Popovich, P. M. (2002). Correlation: Parametric and nonparametric
measures (No. 139). Sage.

Creswell, J. W.(2010). Projeto de pesquisa: Métodos
qualitativo, quantitativo e misto. Artmed.

Cristina, M (2018). Introdução ao
SEI. 2018. https://softwarepublico.gov.br/social/sei/manuais/metodologia-de-implantacao/introducao.

Cunha, D. O., Bezerra,
L. F., & Zouain, D. M. (2019). Análise de
Desempenho Individual: Percepção de Servidores de uma Autarquia Federal à Luz
da Análise de Conteúdo. Revista
de Administração e Negócios da Amazônia, 11(2), 106-117. DOI: https://doi.org/10.18361/2176-8366/rara.v11n2p106-117.

Cunha, D.
O., Bezerra,
L. F., Pinto, J. F., & Zouain, D. M.
(2020). Gestão Societal e Avaliação de Desempenho sob a Ótica de Servidores de
uma Autarquia Federal. Revista FSA, 17(3). DOI: http://dx.doi.org/10.12819/2020.17.3.4

Cunningham-Erves, J.;
Joosten, Y.; Hollingsworth, C. P.; Cockroft, J. D.;
Murry, V. M.; Lipham, L.; Luther, P.; Vaughn, Y.; Miller, S. T. (2020).
Implementation and Evaluation of a Dual-Track Research Training Program for
Community Members and Community-Based Organizations. Progress in community
health partnerships: research, education, and action, 14(1), 75. DOI: 10.1353/cpr.2020.0010.

Damásio,
B. F. (2012). Uso da análise fatorial exploratória em psicologia. Avaliação
Psicológica, 11(2), 213-228. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007.

Di Giacomo, W. Á. (2005). O New Public Management no Canadá e
a gestão pública contemporânea. Interfaces Brasil/Canadá, 5(1), 155-170. DOI: 10.15210/interfaces.v5i1.6508.

Diniz, E.
H. (2000). Uso do comércio eletrônico em órgãos do governo. Relatório 18/2000.
Núcleo de Pesquisas e Publicações. EAESP/FGV.

Fávero,
L. P., Belfiore, P., Silva, F. D., & Chan, B. L.
(2009). Análise de dados: modelagem multivariada para tomada de decisões.

Ferlie, E.,
Fitzgerald, L., & Pettigrew, A. (1996). The new public management in action. Oxford University
Press, USA.

Field, A. (2018). Discovering Statistics Using IBM
SPSS Statistics. SAGE Publications.

Figueiredo
Filho, D. B., & Silva Júnior, J. A. D. (2010). Visão além do alcance: uma
introdução à análise fatorial. Opinião pública, 16(1), 160-185.

Hair, J. F., Black, W. C., Babin, B.
J., Anderson, R. E. (2019). Multivariate Data Analysis. Cengage Learning, EMEA.

Hayes, A. F. (2022). Introduction to
mediation, moderation, and conditional process analysis: A regression-based
approach. Guilford press.

Huck, S. W. (2012). Reading
statistics and research. Pearson Education.

Johnson, R. A., & Wichern, D. W. (2014). Applied multivariate statistical analysis (Vol. 6).
London, UK: Pearson.

Kaiser,
H. F. (1974). An index of factorial simplicity. Psychometrika,
39(1), 31-36. DOI: 10.1007/BF02291575.

Kim, J. O., & Mueller, C. W. (1978). Factor analysis: Statistical methods and practical
issues (Vol. 14). sage.

Lenk, K., & Traunmüller,
R. (2002). Electronic government: where are we heading?.
In International Conference on Electronic Government (pp. 1-9). Springer,
Berlin, Heidelberg.

Mantovani,
D. M. N., Viana, A. B. N., dos Reis Luz, L. B., & Carvalho, L. C. (2017).
Estratégias de aprendizagem na educação a distância entre estudantes
brasileiros e portugueses. Revista Ciências Administrativas, 23(2), 293-307. DOI: http://dx.doi.org/10.5020/2318-0722.23.2.293-307.

Marras,
J. P. (2017). Administração de recursos humanos. São Paulo: Saraiva Educação
SA.

Medeiros, H (2018). Sobre o SEI. https://softwarepublico.gov.br/social/sei/sobre-o-sei.

Meneses, P., Zerbini, T., & Abbad, G. (2011). Manual de
treinamento organizacional. Porto Alegre: Artmed Editora.

Milkovich, G. T.; Boudreau, J. W. (2010). Administração de Recursos Humanos. São Paulo: Atlas.

Moore, D. S., & Kirkland, S. (2007). The basic practice of statistics (Vol. 2). New York:
WH Freeman.

Moraes,
M. V. G. D. (2011). Treinamento e desenvolvimento: educação corporativa: para
as áreas de saúde, segurança do trabalho e recursos humanos. São Paulo: Érica.

Nunnally, J. C. (1978). Psychometric theory—25 years
ago and now. Educational Researcher, 4(10), 7-21. New York: McGraw-Hill Book
Company.

Painel PEN (2020).http://processoeletronico.gov.br/index.php/aderiu-ao-sei.

Paludo, A. V.
(2012). Administração pública. São Paulo: Elsevier.

Pantoja, M. J., &
Borges-Andrade, J. E. (2004). Contribuições teóricas e metodológicas da
abordagem multinível para o estudo da aprendizagem e sua transferência nas
organizações. Revista de Administração Contemporânea, 8, 115-138. DOI: 10.1590/S1415-65552004000400007.

Pereira,
L. C. B. (2014). Reforma da nova gestão pública: agora na agenda da América
Latina, no entanto. Revista Do Serviço Público, 53(1), 5-27. DOI: https://doi.org/10.21874/rsp.v53i1.278.

Pereira, R., Castro, S., Marques,
H., Botelho, L., Silva, T., & Freitas, A. (2015). A Informatização de
Processos em Instituições Públicas: o caso da Universidade Federal de Viçosa.
Navus - Revista de Gestão e Tecnologia, 6(1), 17-29. DOI: https://doi.org/10.22279/navus.2016.v6n1.p17-29.314.

Pilati, R., & Borges-Andrade, J. E.
(2005). Estratégias para aplicação no trabalho do aprendido em
treinamento: proposição conceitual e desenvolvimento de uma medida. Psicologia:
Reflexão e Crítica, 18, 207-214. DOI: 10.1590/S0102-79722005000200009.

Reginatto, A. P., & Pinheiro,
R. F. (2004). Equipes campeãs: potencializando o desempenho de sua equipe. Porto
Alegre: SEBRAE/RS.

Reinhard, N., & Dias, I. (2005). Categorization of
e-gov initiatives: a comparison of three perspectives. In Anales....

Rossoni, L., Engelbert, R., & Bellegard, N. L.
(2016). Normal science and its tools:
Reviewing the effects of exploratory factor analysis in management. Revista
de Administração (São Paulo), 51, 198-211. DOI: 10.5700/rausp1234.

Severiano Junior, E.,
Cunha, D. O., Zouain, D. M., & Gonçalves, C. P.
(2021). Produtivismo Acadêmico e suas Consequências
para a Produção Científica na Área de Administração. REAd.
Revista Eletrônica de Administração, 27(2), 343-374. DOI: https://doi.org/10.1590/1413-2311.317.103796.

Souza, B. T. D. (2012). Dezesseis anos do plano diretor de
reforma do aparelho do Estado (PDRAE): Introdução à análise crítica sobre o
papel do Estado brasileiro contemporâneo. Revista Brasileira de Políticas
Públicas, 2(2). DOI: 10.5102/rbpp.v2i2.1676.

Totti, A., & Anjo, J. (2022). A
Implantação do Sistema Eletrônico de Informações em uma Superintendência
Regional de Ensino de Minas Gerais. Navus - Revista de Gestão e Tecnologia, 12,
01-16. DOI: https://doi.org/10.22279/navus.2022.v12.p01-16.1689

Vergara, S. C. (2014). Projetos e relatórios de pesquisa. São
Paulo: Atlas.

Vieira, V. A. (2009).
Moderação, mediação, moderadora-mediadora e efeitos indiretos em modelagem de
equações estruturais: uma aplicação no modelo de desconfirmação
de expectativas. Revista de Administração-RAUSP, 44(1), 17-33. http://200.232.30.99/busca/artigo.asp?num_artigo=1359.

Volpe, R.
A., & Lorusso, C. B. (2009). A importância do
treinamento para o desenvolvimento do trabalho. Psicologia Online, 01-08. http://www.psicologia.pt/artigos/textos/TL0136.pdf.

Yazan, B. (2015). Three approaches to
case study methods in education: Yin, Merriam, and Stake. The qualitative
report, 20(2), 134-152. https://nsuworks.nova.edu/tqr/vol20/iss2/12.

Yin, R.
K. (2005). Estudo de Caso: Planejamento e métodos. Bookman Editora.

Zanella, L. C. H. (2009). Metodologia de estudo e de pesquisa
em administração. Florianópolis: Departamento de Ciências da
Administração/UFSC, 129-149.