Recebido em 08/02/2018. Aprovado em 25/05/2018.
Avaliado pelo sistema double blind peer review.
Publicado conforme normas da ABNT.

http://dx.doi.org/10.22279/navus.2018.v8n4.p53-68.714

Usabilidade e
transparência da informação: um estudo do aplicativo
Transparência Móvel-SC[1]

Wilnei
Aldir Schneider

Mestre em Administração. Universidade
do Estado de Santa Catarina (UDESC) – Brasil. [email-masked]

Tainá
Apoena Bueno

de
Oliveira

Mestre em Design. Universidade do Estado de Santa
Catarina (UDESC) – Brasil. [email-masked]

Gabriel de
Andrade

Conradi
Barni

Mestre em Administração. Universidade
do Estado de Santa Catarina (UDESC) – Brasil. [email-masked]

Marcelo
Gitirana

Gomes Ferreira

Doutor em Engenharia Mecânica. Universidade do
Estado de Santa Catarina (UDESC) – Brasil. [email-masked]

Rafael
Tezza

Doutor em Engenharia de Produção.
Universidade do Estado de Santa Catarina (UDESC) – Brasil. [email-masked]

RESUMO

A apresentação
da informação e a interatividade em dispositivos móveis
vêm sendo um desafio tanto para ciência da informação
quanto para computação. Neste meio, a usabilidade ganha destaque
e torna-se central, seja no âmbito comercial ou público. No
âmbito público, portais de transparência, também
acessados de dispositivos móveis, apresentam particularidades de
interfaces que podem inibir ou potencializar o uso de aplicativos criados para
este fim. Neste contexto, o presente artigo analisa as possíveis causas
do baixo uso, em comparação aos acessos por computador ou notebook, do Aplicativo
Transparência Móvel-SC para dispositivos móveis. O objetivo
do estudo foi identificar possíveis dificuldades que limitem os
usuários de dispositivos móveis a acessarem o sistema. Enquanto
que o acesso a websites comerciais
por meio de dispositivos móveis ultrapassa a casa dos 30%, o acesso ao
Aplicativo Transparência Móvel-SC ainda permanece abaixo de 1%.
Para isso, testes de usabilidade foram realizados. Com base nos resultados
obtidos, considera-se que a presente pesquisa revelou as dificuldades mais
críticas que os usuários de dispositivos móveis enfrentam
durante o uso do Aplicativo Transparência Móvel-SC. Acredita-se
que as dificuldades encontradas nesta pesquisa poderão ser utilizadas na
melhoria de aplicativos semelhantes, o que poderia gerar maior
utilização por parte dos cidadãos.

Palavras-chave: Usabilidade. Aplicativo.
Portal da transparência. Smartphone.

Usability and transparency of information: a study of the app
Transparência Móvel-SC

ABSTRACT

The presentation of information and
interactivity on mobile devices has been a challenge for both information
science and computing. In this environment, usability gains prominence and
becomes central, be it commercial or public. In the public domain, transparency
portals, also accessed from mobile devices, have interface peculiarities that
may inhibit or enhance the use of apps created for this purpose. In this
context, the present article analyzes the possible causes of the low use, in
comparison to the accesses by computer or notebook, of the app
Transparência Móvel-SC for mobile devices. The objective of the
study was to identify possible difficulties that limit mobile users to access
the system. While access to commercial websites through mobile devices exceeds
30%, access to the Transparência Móvel-SC app still remains below
1%. For this, usability tests were performed. Based on the results obtained, it
is considered that the present research revealed the most critical difficulties
that mobile users face during the use of the app Transparência
Móvel-SC. It is believed that the difficulties encountered in this
research can be used in the improvement of similar apps, which could generate
its greater use by the citizens.

Keywords:
Usability. App. Transparency portal. Smartphone.

1 INTRODUÇÃO

Nos últimos anos, tem sido interesse da
Administração Pública melhorar a transparência de
seus gastos. Tanto na esfera Federal, quanto Estadual e Municipal há,
desde 2009, obrigação legal da divulgação de
informações relacionadas a receitas e despesas. Tal
obrigação foi imposta por meio da Lei Complementar 131, de 27 de
maio de 2009, que altera a redação da Lei de Responsabilidade
Fiscal no que se refere à transparência da gestão fiscal
(PLATT NETO; CRUZ; VIEIRA, 2010).

Considerando a Lei Complementar 131, o Estado de Santa
Catarina mantém as informações relacionadas aos gastos
públicos estaduais reunidas no Portal da Transparência do Estado
de Santa Catarina, no qual é possível acessar informações
detalhadas sobre pagamentos efetuados aos fornecedores, pagamentos de
diárias aos servidores, convênios e repasses aos
municípios, subvenções sociais e outras
informações que permitem ao cidadão acompanhar a
prestação de contas do governo estadual (SANTA CATARINA, 2016).

Atualizado diariamente pela Diretoria de Contabilidade
Geral, da Secretaria da Fazenda, o objetivo do portal é aumentar a
transparência das informações no que tange à
gestão pública, o que permite ao cidadão participar e
fiscalizar as contas do Poder Executivo Estadual. Para estender a possibilidade
de acesso aos relatórios para os usuários de dispositivos
móveis (smartphones e tablets), a Secretaria da Fazenda,
responsável pelo Portal da Transparência, também
disponibiliza um aplicativo móvel, denominado “Aplicativo
Transparência Móvel-SC”. Este aplicativo pode ser instalado
em equipamentos com os principais sistemas operacionais disponíveis no
mercado (Android, iOS e Windows Phone). No entanto, a quantidade de consultas
realizadas por meio do aplicativo é significativamente menor do que a
quantidade de consultas pelo website, utilizando
computadores do tipo desktop ou notebook.

Com informações disponibilizadas pela
própria Secretaria, verificou-se que, durante o ano de 2015, a
quantidade de acessos por meio de computador ou notebook ultrapassou 700 mil. Enquanto isso, os acessos realizados
por meio do aplicativo, entre abril de 2015 e março de 2016, foram pouco
mais de 400, representando menos de 0,1% do total de acessos. Frente ao uso de
dispositivos móveis para acessar outros tipos de serviços eletrônicos,
como páginas comerciais na internet,
o acesso ao Aplicativo Transparência Móvel-SC pode ser considerado
baixo. Apenas para fins de comparação, durante o ano de 2015, no
Brasil, cerca de 35% dos acessos aos websites
comerciais foram realizados por meio de dispositivos móveis (E-BIT,
2016).

Considerando a baixa utilização, acredita-se
que possam existir fatores que estejam restringindo o uso do aplicativo. Sendo
assim, no presente estudo testa-se a usabilidade do Aplicativo
Transparência Móvel-SC, disponibilizado pela Secretaria da Fazenda
do Estado de Santa Catarina, com o objetivo de identificar possíveis
dificuldades que limitem os usuários de dispositivos móveis a
acessarem o aplicativo. Em termos específicos, este estudo busca: (a)
verificar se os usuários de dispositivos móveis conseguem
facilmente localizar e instalar o Aplicativo Transparência
Móvel-SC; (b) verificar se os usuários de dispositivos
móveis conseguem facilmente realizar as consultas desejadas dentro do
Aplicativo Transparência Móvel-SC; e (c) verificar como os
usuários de dispositivos móveis avaliam o aplicativo em termos de
usabilidade.

2 USABILIDADE

A usabilidade, no entendimento de Rubin e Chisnell (2008),
consiste em uma qualidade que os produtos têm ou não têm.
Mas ela apenas é um problema quando é falha ou ausente, pois algo
tem usabilidade quando não há frustração durante
seu uso. Em outras palavras, algo tem [boa] usabilidade quando “o
usuário pode fazer o que ele quer, do jeito que ele espera ser capaz de
fazê-lo, sem obstáculos, hesitação ou
dúvidas” (RUBIN; CHISNELL, 2008, p. 4). No que diz respeito ao
mundo digital, a usabilidade tem sido um assunto largamente pesquisado no
escopo da interação homem-máquina. O sucesso na
interação entre homem e máquina é um fator-chave no
desenho e implementação de sistemas computacionais (LEE; KOZAR,
2012).

Tratando especificamente de websites, Stienmetz, Levy e Boo (2012) revisam diversos conceitos
de usabilidade encontrados na literatura. O que fica evidente nos conceitos
apresentados pelos autores é a recorrente presença de
variáveis como satisfação, eficiência e
eficácia (ou sucesso). Tais variáveis estão alinhadas com
a norma ISO 9241-11 (1998) que define usabilidade como a capacidade que um
sistema interativo oferece a seu usuário, em determinado contexto de
operação, para realização de tarefas de maneira
eficaz, eficiente e agradável.

Como pode ser visto na revisão de literatura
realizada por Harrison, Flood e Duce (2013), a avaliação da
usabilidade de um produto ou sistema pode ser realizada por meio de diferentes
técnicas metodológicas. Apesar dos diferentes métodos
utilizados, a pesquisa dos autores aponta que a maioria dos estudos
(aproximadamente 60%) avalia a usabilidade por meio de experimentos controlados
e aproximadamente 27% avaliam a usabilidade por meio de estudos de campo. Nesta
pesquisa, optou-se pela avaliação da usabilidade por meio da
técnica de pesquisa de campo. Por esse motivo, o próximo
tópico aborda, preferencialmente, questões avaliadas em pesquisas
de campo. Além disso, o foco é a usabilidade em dispositivos
móveis.

2.1 Mensuração de usabilidade móvel

A
mensuração de usabilidade móvel é um assunto
relativamente recente e ainda não há consenso entre os autores.
Diferentes atributos são analisados por diferentes pesquisadores.
Coursaris e Kim (2006) realizaram uma revisão de literatura e, em
seguida, um teste empírico analisando a relação dos
fatores encontrados com a usabilidade. Em ordem decrescente de
importância, os autores verificaram relação entre a
usabilidade e os seguintes fatores: efetividade, eficiência,
satisfação, facilidade de aprendizagem, acessibilidade,
operacionalidade, memorização, aceitabilidade e flexibilidade. Um
estudo semelhante foi realizado por Harrison, Flood e Duce (2013), que
verificaram que os atributos mais utilizados para mensurar usabilidade
móvel são, em ordem decrescente de frequência,
satisfação, eficiência, eficácia, erros, carga
cognitiva, facilidade de aprendizagem e memorização. Os
três primeiros são os definidos pelo padrão ISO (HARRISON;
FLOOD; DUCE, 2013). Atributos semelhantes são apontados por Rubin e
Chisnell (2008), que apontam a utilidade, a eficiência, a
eficácia, a satisfação, a facilidade de aprendizagem e a
acessibilidade como formas de mensuração da usabilidade.

Além
destes, há ainda os atributos para mensuração de
usabilidade definidos por Nielsen e Budiu (2014), que diferem dos anteriores:
taxa de sucesso, tempo de download,
rolagem, páginas poluídas, falta de familiaridade, problemas de
JavaScript e mídia antiga. Atributos semelhantes a serem avaliados
são indicados por Tullis e Albert (2008), que citam o sucesso da tarefa,
o tempo para realização da tarefa, o erro, a eficiência e a
facilidade de aprendizagem.

De
modo geral, constata-se que o foco, na avaliação da usabilidade
móvel, é em atributos técnicos relacionados ao software, à infraestrutura de
rede (velocidade da conexão) e à experiência e
percepção do usuário.

Harrison,
Flood e Duce (2013) fazem uma análise crítica do uso desses
atributos para avaliação da usabilidade móvel. De acordo
com os autores, esses atributos são derivados das antigas formas de
mensuração de usabilidade, que tinham por objetivo avaliar a
usabilidade de aplicativos para computador. Com o advento dos dispositivos
móveis, eles afirmam que surgiram novos desafios de usabilidade.
Mencionando Zhang e Adipat, Harrison, Flood e Duce (2013) destacam algumas
questões antes não consideradas que surgiram com o advento dos
dispositivos móveis: contexto de uso do dispositivo móvel,
conectividade, tamanho de tela reduzido, resolução de tela diferenciada,
capacidade de processamento limitado e diferentes métodos de entrada de
dados. Yeh e Fontenelle (2012) também já demonstravam
preocupação em relação ao uso de métodos
tradicionais de avaliação da usabilidade para avaliar usabilidade
de dispositivos móveis, inclusive questionando o uso desses
métodos no caso das tecnologias móveis.

As
questões apresentadas neste tópico focam, basicamente, na
avaliação de usabilidade durante os testes com usuários.
Conforme visto anteriormente, a satisfação é um componente
importante em questões de usabilidade, inclusive um dos mais recorrentes
(HARRISON; FLOOD; DUCE, 2013). Entretanto, acredita-se que a
satisfação, ou insatisfação, não é
captada em sua amplitude durante os testes. Por esse motivo, recorre-se a
ferramentas que visam avaliar a percepção de usabilidade
após os testes.

2.2 System usability scale (SUS)

Apesar das diferentes ferramentas para
mensuração da usabilidade após a sessão de testes
apresentadas por Tullis e Albert (2008), neste estudo utilizou-se a ferramenta
SUS. A opção por essa ferramenta deu-se devido aos resultados da
pesquisa de Tullis e Stetson (2004), que realizaram uma
comparação entre as ferramentas mais comuns para
mensuração da usabilidade pós-teste. Comparando as
ferramentas SUS, QUIS, CSUQ, uma adaptação do Product Reaction Cards e uma ferramenta
própria, os autores constataram que os melhores resultados foram
atingidos por meio da ferramenta SUS.

O SUS, desenvolvido em 1986, é um
questionário fechado de 10 questões. Em cada questão o
respondente classifica seu grau de concordância em uma escala de 5
pontos. O escore calculado a partir das questões do SUS pode variar de
zero a cem, onde uma pontuação mais elevada indica melhor
usabilidade (TULLIS; ALBERT, 2008).

Para saber se determinado escore SUS significa boa ou
má usabilidade do produto, Tullis e Albert (2008) realizaram uma
revisão da literatura para identificar as pontuações
resultantes nos estudos com o SUS, visando determinar um parâmetro de
análise. Os autores encontraram 50 estudos que utilizaram o SUS em 129
diferentes condições para diferentes tipos de produtos – websites, dispositivos móveis, hardware de computador, entre outros. A
média das pontuações do SUS resultou em 66 pontos e a
mediana 69 pontos, enquanto o quartil inferior encontrado foi igual a 57 e o
superior 77 (TULLIS; ALBERT, 2008). Com base nisso, entende-se que um sistema,
para ter usabilidade aceitável, deve apresentar um escore SUS pelo menos
igual à mediana, ou seja, 69 pontos. Entre a mediana e o quartil
inferior, entende-se que a usabilidade é ruim e, abaixo do quartil
inferior (57 pontos), péssima. Entende-se que boa usabilidade seria um escore
SUS acima do quartil superior (acima de 77 pontos), o que colocaria o sistema
entre os 25% com melhor usabilidade dentre os avaliados nos estudos abordados
na pesquisa de Tullis e Albert (2008).

2.3 Avaliação heurística

A avaliação heurística é um
método de validação de usabilidade desenvolvido por
Nielsen e Molich (1990), com a intenção de avaliar o design de uma interface para
usuário por meio de uma lista de verificação simplificada.
Esta lista foi revisada por Nielsen (1995) e resume-se a: Visibilidade do
sistema – feedback em tempo
razoável; Correspondência entre sistema e mundo real – falar
a linguagem dos usuários; Controle do usuário e liberdade –
oferecer uma saída de emergência bem sinalizada;
Consistência e padrões – manter padrões;
Prevenção de erros – design
cuidadoso que impede a ocorrência de erros; Reconhecimento em vez de
lembrança – minimizar a carga de memória do usuário,
tornando objetos, ações e opções visíveis;
Flexibilidade e eficiência de uso – os aceleradores podem acelerar
a interação para o usuário experiente; Estética e design minimalista – os
diálogos não devem conter informações irrelevantes
ou pouco necessárias; Ajudar os usuários a reconhecer,
diagnosticar e se recuperar de erros – mensagens de erro devem ser
expressas em linguagem simples (sem códigos), indicar o problema com
precisão e sugerir uma solução; e Ajuda e
documentação – pode ser necessário fornecer ajuda e
documentação, mesmo que o sistema seja simples.

Tais aspectos, quando observados durante o desenvolvimento
de um sistema, proporcionam uma experiência mais agradável aos
usuários.

2.4 Problemas de usabilidade em sistemas

Na
literatura, é possível encontrar uma série de estudos que
avaliam questões de usabilidade de produtos e serviços (ROSA;
VERAS, 2013; DA COSTA; RAMALHO, 2010; SANTAMARIA; MONTERO, 2013). Em muitos
casos, diferentes problemas são reportados.

Os
problemas de usabilidade, em geral, se dão no desempenho do
usuário durante o uso da ferramenta (SIMERAL; BRANAGHAN, 1997) e uma
interface é considerada com problemas de usabilidade quando há
dificuldades, de um usuário ou de um grupo de usuários, em
realizar uma tarefa (PADILHA, 2004). Para Winckler e Pimenta (2002), os principais problemas
relacionados a interfaces Web
são relacionados à navegação – dificuldade
para encontrar a informação desejada, ou não conseguir
retornar à página anterior. Além dos problemas que os
autores abordam, Padilha (2004) adiciona a invalidade de links com URLs.

Wei,
Chang e Cheng (2015), ao testarem a usabilidade de um aplicativo de biblioteca,
encontraram problemas relacionados à eficiência (tempo de resposta
do sistema) e à facilidade de se compreender o aplicativo. Outros problemas
de usabilidade móvel ainda podem ser como os encontrados no estudo de
Vélez et al. (2014), que testaram um aplicativo móvel de
saúde. E, tratando especificamente de sistemas de governo
eletrônico, Huang e Benyoucef (2014) afirmam que tais sistemas, especialmente
os sites de e-government, normalmente apresentam diversos
problemas de usabilidade, tais como: difícil compreensão do
conteúdo, formatos inconsistentes, baixa capacidade de
navegação e desorientação.

Os estudos apresentados neste tópico demonstram que
os problemas de usabilidade em sistemas podem ser dos mais variados tipos. No
caso de aplicativos móveis, percebe-se que pode haver problemas
relacionados não apenas ao aplicativo, mas também ao
próprio dispositivo. Algumas limitações impostas pelo dispositivo
podem ser superadas quando o aplicativo for desenvolvido considerando-se tais
limitações, como a dificuldade de digitação, mas
outras são mais difíceis de compensar com um bom aplicativo, como
o tamanho de tela, por exemplo.

3 PROCEDIMENTOS METODOLÓGICOS

Este é um estudo avaliativo, no qual foram coletados
dados primários, por meio de questionários e testes com
usuários, sobre a usabilidade do Aplicativo Transparência
Móvel-SC, disponibilizado pela Secretaria da Fazenda do Estado de Santa Catarina.

3.1 Amostra pesquisada

A população deste estudo é todo
cidadão catarinense que faz uso de dispositivos móveis. Para o
estudo foi utilizada uma amostra de 10 servidores públicos. Entende-se
que estes cidadãos têm maior interesse de consulta aos dados
disponibilizados no Portal da Transparência do Estado de Santa Catarina,
já que esses dados estão relacionados ao seu trabalho. A
seleção foi feita por conveniência e o número de 10
indivíduos está ligada a técnica de teste de usabilidade e
é justificada por Tullis e Albert (2008) e Nielsen (1993). Os testes
foram realizados no mês de junho de 2016.

3.2 Coleta de dados

Os dados utilizados neste artigo foram coletados em
diferentes momentos e por diferentes meios. Inicialmente foi enviado um questionário
on line, por meio da plataforma
Google Drive, aos servidores públicos lotados em dois Centros
Universitários do estado de Santa Catarina. O objetivo do
questionário (APÊNDICE A) foi identificar pessoas que estariam
dispostas a participar de um teste presencial de usabilidade do Aplicativo
Transparência Móvel-SC. Neste questionário ainda se
identificou o perfil dos respondentes, a disponibilidade de utilizarem seu
próprio smartphone para
realização dos testes, entre outras questões.
Método semelhante de seleção de participantes para teste
de usabilidade em dispositivos móveis foi utilizado por Yeh e Fontenelle
(2012).

A partir dos resultados obtidos e considerando o perfil dos
respondentes, foram selecionados dez servidores públicos para
realização dos testes presenciais de usabilidade. O local de
realização dos testes foi uma sala da Universidade,
disponibilizada aos estudantes de pós-graduação. Os
participantes sentavam-se à mesa e, antes da realização
dos testes de usabilidade, respondiam a um segundo questionário
(APÊNDICE B), em papel, no qual se buscou identificar, basicamente, suas
expectativas ao utilizarem um smartphone.
Em seguida, o moderador passava a interagir com o participante. Inicialmente
ele era informado de como seria conduzida a sessão e eventuais
dúvidas eram esclarecidas. Para evitar que os participantes precisassem
aprender a utilizar um novo smartphone,
diferente daquele a que estão habituados, optou-se por realizar os
testes utilizando seus próprios dispositivos. Tal estratégia também
foi adotada no estudo de Yeh e Fontenelle (2012). A sessão de testes foi
dividida em duas etapas: na primeira, o participante recebia a tarefa de
encontrar e instalar o aplicativo; já na segunda, foram repassadas
quatro tarefas em ordem randomizada, ou seja, cada participante realizava as
tarefas da segunda etapa em uma ordem diferente dos demais (método
intragrupos). Assumiu-se que não haveria efeito aprendizagem da primeira
para a segunda etapa, mas, dentro da segunda etapa isso poderia ocorrer.

Após os esclarecimentos, uma cartilha com
instruções (APÊNDICE D) a serem lidas pelo participante era
fornecida. Junto a essa cartilha já era entregue a tarefa correspondente
à primeira etapa do teste (APÊNDICE C). À medida que as
tarefas eram concluídas, a próxima era repassada. Entre uma
tarefa e outra, os participantes foram questionados sobre as dificuldades que
sentiram ao realizar as tarefas ou sobre sugestões que teriam para
facilitar o uso do aplicativo. Além dos comentários dos
participantes e percepções dos observadores, ainda foram
registrados outros dados: tempo de realização da tarefa,
quantidade de acessos a páginas erradas, dúvidas,
comentários negativos, retornos à tela inicial, sucesso ou fracasso
da tarefa e eventuais assistências.

Após a realização dos testes, os
participantes respondiam ao questionário pós-teste
(APÊNDICE E). Aplicou-se um questionário contendo a ferramenta SUS
e algumas questões sobre a percepção de facilidade das
tarefas. Todos os dados obtidos foram reunidos em planilha eletrônica.

3.3 Análise dos dados

Com base nos dados coletados, foram realizadas
análises quantitativas, utilizando o software
Microsoft Excel®, e análises qualitativas. Como
análise quantitativa, foram apresentadas as estatísticas
descritivas da amostra analisada e dos resultados obtidos. Para a
análise qualitativa foram consideradas as percepções dos
pesquisadores observadores e os comentários dos participantes. Os
resultados são apresentados na próxima seção.

4 APRESENTAÇÃO E ANÁLISE DOS RESULTADOS
DA PESQUISA

Em relação à análise dos dados
coletados, foram realizadas análises quantitativas, quando
possível, e os demais dados foram analisados qualitativamente.

A amostra selecionada para realização dos
testes de usabilidade do Aplicativo Transparência Móvel-SC foi
composta por dez indivíduos da população alvo apresentada
no tópico dos procedimentos metodológicos. A Tabela 1 resume
alguns dados obtidos antes da realização dos testes de usabilidade
do Aplicativo Transparência Móvel-SC.

Tabela 1 – Estatísticas
descritivas da amostra

Variável

n

Variável

n

Sexo

Qual meio você
utiliza/utilizou (ou prefere utilizar) para acessar o Portal da
Transparência do Estado de SC?

[Duas questões separadas]

Masculino

5

Feminino

5

Faixa etária

Computador e/ou notebook

9

21 a 30 anos

2

Smartphone
(ou tablet)

-

31 a 40 anos

4

(sem
resposta)

1

41 a 50 anos

3

Você sabia que a Secretaria
da Fazenda do Estado de SC disponibiliza um app para acessar o Portal
da Transparência por meio de Smartphone ou Tablet?

51 a 60 anos

1

Grau de instrução

Graduação

1

Sim

-

Pós-graduação
lato sensu

3

Não

10

Pós-graduação
stricto sensu

6

Para uma tarefa que pode ser
realizada tanto no computador/notebook,
quanto no smartphone, qual meio você prefere?

Conhece o Portal da Transparência
do Estado de SC?

Sim

10

Computador/notebook

6

Não

-

Smartphone

4

Já acessou o Portal da
Transparência do Estado de SC?

Você considera útil
no seu dia a dia um aplicativo que permita acessar dados de
Transparência Estaduais?

Sim

9

Sim

8

Não

1

Não

2

Frequência de acesso ao
Portal da Transparência do Estado de SC?

Ao utilizar um aplicativo que
forneça dados de Transparência Estaduais, você espera que
os dados sejam apresentados da mesma forma no smartphone como no
computador?

Uma vez por mês

1

A cada 02 meses

3

A cada 04 meses

2

Sim

6

A cada 06 meses

2

Não

4

Uma vez por ano ou menos

1

(sem
resposta)

1

Fonte:
Dados da pesquisa (2016).

Com base nos dados apresentados na Tabela 1, verifica-se
que a amostra selecionada tem contato relativamente frequente com o Portal da
Transparência do Estado de SC, a maioria acessa-o pelo menos a cada seis
meses. Também se observa que todos que acessam o Portal fazem-no por
meio de computador ou notebook, sendo
esta também a ferramenta preferida para acessar o Portal. Apesar disso,
verifica-se que boa parte da amostra prefere utilizar o smartphone para atividades que podem ser realizadas tanto por
computador quanto por smartphone,
sendo os principais motivos a praticidade, agilidade, rapidez e acessibilidade.
Dentre os que preferem o uso do computador ou notebook para tais atividades, estão motivos como: tamanho
de tela, facilidade de digitar em teclado físico, hábito,
conforto (requer menos esforço), capacidade de processamento e
familiaridade. Observa-se ainda que nenhum dos pesquisados sabia da
existência do Aplicativo Transparência Móvel-SC e oito dos
dez pesquisados classificaram como útil um aplicativo que permitiria
acessar dados de Transparência Estaduais.

A Tabela 2 apresenta os demais dados coletados antes da
realização do teste de usabilidade do Aplicativo
Transparência Móvel-SC.

Tabela 2 – Expectativas dos
participantes ao utilizarem um aplicativo

Variável

Valor
observado*

Média

Desvio
Padrão

Ao utilizar um
aplicativo, você espera que as informações sejam:

Objetivas/diretas

4,80

0,42

Resumidas

3,50

1,43

Fáceis
de localizar

4,70

0,48

Rápidas
de localizar

4,50

0,71

Apresentadas
em um tamanho adequado à tela do smartphone,
sem precisar ampliar

4,60

0,70

Apresentadas
de forma diferente de como seriam apresentadas em um computador/notebook

3,30

1,42

Fonte: Dados da pesquisa (2016).

Nota: *valores mensurados em escala Likert de 5 pontos
(1=discordo totalmente; 5=concordo totalmente).

Analisando
os resultados apresentados na Tabela 2, pode-se entender que a amostra
analisada prefere que as informações apresentadas em aplicativos
sejam adaptadas e resumidas sem perder conteúdo fundamental. Quatro dos
participantes esperam que as informações sejam apresentadas de
forma diferente em um aplicativo, se comparado a um computador, três
não tomaram posicionamento e o restante espera que a informação
seja apresentada da mesma forma. Pode-se entender que os usuários
esperam que a informação seja adequada ao meio em que está
sendo acessada.

Na
Tabela 3 são apresentados os sistemas operacionais dos dispositivos
utilizados no teste de usabilidade do Aplicativo Transparência
Móvel-SC e dados mensurados durante e após a
realização do teste de usabilidade.

Tabela 3 – Sistemas operacionais
e dados relacionados à procura do Aplicativo Transparência
Móvel-SC

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Sistema Operacional dos dispositivos
utilizados (n)

Android

06

-

-

iOS
(Apple)

04

-

-

Encontrar o Aplicativo Transparência
Móvel-SC

Encontrou
o aplicativo sozinho?

Sim

09

-

-

Não

01

-

-

Tempo
para encontrar o aplicativo (segundos)

-

86,4

45,4

Tempo
até desistir de procurar o aplicativo (segundos)

-

94,0

-

Acessos
a páginas erradas (n)

12

1,2

1,6

Dúvidas
(n)

05

0,5

0,5

Comentários
negativos durante a busca do aplicativo (n)

12

1,2

1,0

Retornos
à tela inicial (n)

05

0,5

0,5

Dicas
(n)

02

0,2

0,4

Grau de dificuldade percebido para
encontrar o aplicativo

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

3,0

1,3

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

5,0

-

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Conforme Tabela 3, apenas um participante da pesquisa
não encontrou o aplicativo. Mesmo que o endereço eletrônico
do Portal da Transparência do Estado de Santa Catarina tenha sido
fornecido, seis participantes procuraram o aplicativo primeiro na loja de
aplicativos disponível para cada sistema operacional (Google Play Store ou Apple Store). O participante que
não encontrou o aplicativo restringiu-se à busca na loja. Os
demais, após perceberem que não o encontrariam, optaram por
acessar o website do Portal da
Transparência do Estado de SC. No website,
apenas dois participantes acharam que era razoável ou fácil de
localizar o link para o Aplicativo
Transparência Móvel-SC. Os outros sete que buscaram o aplicativo
no website tiveram dificuldade em
localizar o link. Os sete foram
unânimes na opinião de que o link
deveria estar em destaque na página, preferencialmente na parte
superior. Apenas três participantes não realizaram
comentários negativos durante a busca do aplicativo.

Após encontrarem o aplicativo no website do Portal da Transparência
do Estado de SC, os participantes deveriam instalá-lo em seu smartphone. Os resultados são
apresentados na Tabela 4.

Tabela 4 –
Variáveis mensuradas durante e após a instalação do
Aplicativo e tempo para abertura do Aplicativo Transparência
Móvel-SC em cada sistema operacional

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Instalar o Aplicativo Transparência
Móvel-SC

Instalou
o aplicativo sozinho?

Sim

03

-

-

Não

07

-

-

Tempo
para instalar o aplicativo (segundos)

-

83,0

57,9

Tempo
até desistir de instalar o aplicativo (segundos)

-

71,3

37,6

Erros
durante a instalação (n)

04

0,4

0,8

Dúvidas
(n)

01

-

-

Comentários
negativos durante a instalação do aplicativo (n)

12

1,2

1,8

Retornos
à tela inicial (n)

08

0,8

0,8

Dicas
(n)

01

-

-

Consultas
às instruções (n)

14

1,4

0,8

Abrir o Aplicativo Transparência
Móvel-SC

Tempo
em dispositivos com sistema Android (segundos)

-

15,4

8,3

Tempo
em dispositivos com sistema iOS (Apple) (segundos)

-

6,2

1,0

Grau de dificuldade percebido para instalar
o aplicativo

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

3,0

1,0

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

3,9

1,4

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Apenas três dos dez participantes conseguiram
instalar o Aplicativo Transparência Móvel-SC sem auxílio.
Observou-se que os participantes realizaram diversas tentativas, ficaram
procurando como instalar e apenas alguns dos que consultaram as
instruções da página pelo menos duas vezes conseguiram
completar a tarefa. Apesar de terem sido contabilizados 12 comentários
negativos, metade deles foi proferida por apenas um participante. Algumas
complicações surgiram nesta etapa: um dos dispositivos não
instalou o aplicativo; em outro dispositivo as instruções
apareceram em inglês, impedindo o participante de compreendê-las;
três participantes não conseguiram instalar a partir do navegador
que estavam utilizando (a instrução fornecida não se
aplicava à página em que o usuário estava), sendo
necessário abrir a página com outro navegador para que a
instalação fosse possível; dois participantes estavam
utilizando o smartphone na
horizontal, fazendo com que a opção necessária não
aparecesse na tela (apenas conseguiram instalar após girar o dispositivo
e utilizá-lo na vertical); e em um dispositivo os links do aplicativo não se tornaram clicáveis, mesmo
após instalado. Alguns comentários realizados durante a tentativa
de instalação do aplicativo foram: “poderia ter um
botão clicável que instalasse o aplicativo” (2
participantes); “não entendi como fazer para instalar” (4
participantes); “poderia explicar melhor como instalar, seria mais
fácil na loja” (2 participantes); “nunca vi um app tão difícil de
instalar, difícil de baixar, tela inicial irritante, parece
vírus, deveria ter cara de app,
gosto de usar smartphone, mas o app deveria ser mais fácil,
não deveria abrir na página da web” (1 participante); e “não estou acostumado a
instalar app sem ser na loja, mas
até achei fácil” (1 participante).

De modo geral, percebeu-se que os participantes ficavam
irritados ao não conseguirem instalar o aplicativo e que o processo de
instalação depende do navegador que o indivíduo
está utilizando. Constatou-se que o navegador Mozilla Firefox®,
para Android, não oferece a opção necessária para
instalação do aplicativo em questão, sendo
necessário abrir a página com outro navegador. Após a
instalação, foi mensurado o tempo que cada dispositivo levava
para carregar o aplicativo, conforme Tabela 4. Como pode ser observado, os
dispositivos com sistema operacional Android utilizados nos testes de
usabilidade demoram, em média, mais do que aqueles com sistema operacional
iOS. Apesar da diferença entre os tempos médios de carregamento
ser considerável, não é possível afirmar que ela
é significativa, devido ao tamanho da amostra.

Realizados estes passos iniciais, de busca,
instalação e acesso ao aplicativo, partiu-se para a segunda etapa
do teste, que foi a realização das tarefas dentro do aplicativo
já instalado. Conforme detalhado nos procedimentos metodológicos,
as tarefas dessa etapa foram aplicadas em ordem randomizada. A Tabela 5
apresenta os dados coletados durante a realização da tarefa A,
que consistiu em verificar o salário de um servidor público.

Tabela 5 – Variáveis
mensuradas durante a execução da tarefa A e após o teste

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Tarefa A – ver salário de
servidor

Completou
a tarefa?

Sim
(n)

05

-

-

Não
(n)

05

-

-

Tempo
para realizar a tarefa (segundos)

-

175,7

49,8

Tempo
até desistir da tarefa (segundos)

-

200,0

94,3

Acessos
a páginas erradas (n)

02

0,2

0,4

Dúvidas
(n)

03

0,3

0,7

Comentários
negativos durante a realização da tarefa (n)

10

1,0

1,0

Retornos
à tela inicial (n)

02

0,2

0,6

Dicas
(n)

02

0,2

0,4

Grau de dificuldade percebido na tarefa A

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

1,8

0,4

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

1,2

0,5

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Como
visto na Tabela 5, apenas cinco dos participantes conseguiram completar a
tarefa A. Entretanto, em três dos cinco casos de fracasso, a
página não carregava (problema da página). Dos casos em
que a página carregava, quatro participantes ficaram confusos com os
filtros apresentados para acessar o relatório dos servidores. A
principal dúvida foi se seria necessário saber o nome de um
servidor para conseguir ver o salário. Os filtros não deixam
claro se precisam ou não ser preenchidos. Outro problema nos filtros foi
que, dependendo da informação preenchida, todo o preenchimento
restante era perdido. Uma das sugestões foi que deveria ser
incluído um filtro por cargo. Após conseguirem acessar a lista de
servidores, alguns participantes ficaram confusos com a quantidade de
informação e três (dos cinco que conseguiram) tiveram
problemas para resolver o código de segurança (CAPTCHA). Alguns
conseguiram apenas depois de várias tentativas e uma queixa comum foi
que o sistema deveria informar de forma mais visível (menos sutil) que o
código digitado estava errado. Esta é uma
recomendação também na Avaliação
heurística apresentada no referencial teórico. Pelos menos dois
participantes acharam que seria desnecessário apresentar tantas
informações nos relatórios e consideraram o fato do
aplicativo utilizar uma página web
normal para os relatórios um limitador, já que para tudo é
necessário ampliar a tela. Quanto aos filtros, os participantes
comentaram que seria mais adequado um filtro desenvolvido para dispositivos
móveis. Em relação à perda de informações
durante o preenchimento dos filtros, seria mais adequado se a página
utilizasse filtros em ordem hierárquica, o que evitaria o problema
identificado.

Quanto
à percepção de dificuldade para realizar a tarefa A
(Tabela 5), apesar dos valores apresentados parecerem contraditórios,
esse resultado é justificável por dois motivos: dentre os que
não completaram a tarefa, houve o problema de a página não
carregar, o que não foi uma dificuldade da tarefa, mas um problema de
operacionalização; e percebeu-se que a maioria dos participantes
já tinha familiaridade com o relatório.

A
Tabela 6 apresenta os dados coletados referentes à
realização da tarefa B, que consistia em consultar
informações sobre orçamento público no
Relatório Resumido de Execução Orçamentária.

Tabela 6 – Variáveis
mensuradas durante a execução da tarefa B e após o teste

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Tarefa B – orçamento
público

Completou
a tarefa?

Sim
(n)

04

-

-

Não
(n)

06

-

-

Tempo
para realizar a tarefa (segundos)

-

70,8

33,4

Tempo
até desistir da tarefa (segundos)

-

151,7

85,5

Acessos
a páginas erradas (n)

33

3,3

3,5

Dúvidas
(n)

02

0,2

0,4

Comentários
negativos durante a realização da tarefa (n)

11

1,1

1,0

Retornos
à tela inicial (n)

14

1,4

1,8

Dicas
(n)

-

-

-

Grau de dificuldade percebido na tarefa B

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

2,5

1,3

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

4,4

0,6

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Conforme Tabela 6, apenas quatro participantes completaram
a tarefa B com sucesso. Os seis que não a completaram não sabiam
que o relatório resumido estaria no link
LRF. Alguns não sabiam o que significava LRF e outros acharam que neste link encontrariam a lei. Três dos
que não completaram a tarefa imaginavam que encontrariam esse
relatório no Balanço Geral, além disso, os que não
completaram acharam a sigla LRF confusa. Já dentre os quatro que
completaram a tarefa, um deles procurou o relatório resumido primeiro no
Balanço Geral, depois tentou na guia LRF. Mesmo os quatro que obtiveram
sucesso acharam a sigla LRF confusa e pouco óbvia. Um dos participantes
acessou o link correto por reconhecer
o ícone, pois está acostumado a acessar o relatório pelo
computador. A quantidade de cliques necessários para completar a tarefa
também foi um aspecto negativo mencionado. Foi sugerido que no
aplicativo deveria ser utilizada a mesma nomenclatura que no website, já que neste não
é empregada a sigla LRF. Na Tabela 6 ainda se verifica que os
participantes que não completaram a tarefa passaram um tempo
médio superior aos demais procurando o relatório desejado, mas
mesmo assim não o encontraram. Isso justifica o número de
retornos à tela inicial, acessos a páginas erradas e
comentários negativos durante a realização da tarefa.

Na Tabela 7 são apresentados os dados coletados
referentes à realização da tarefa C, que consistia em
consultar valores gastos com subvenção social. Como pode ser
visto, na tarefa C a taxa de sucesso foi alta, apenas um participante
não conseguiu completá-la. Dos sete acessos a páginas
erradas, seis foram realizados pelo participante que não completou a
tarefa e os comentários negativos contabilizados foram proferidos pelos
que completaram a tarefa. Nove dos dez participantes tiveram dúvidas nos
filtros e afirmaram que os filtros apresentados confundem. O principal problema
é que os participantes não sabiam o que preencher nos campos,
principalmente nos locais em que pede CPF/CNPJ (não sabiam se era o CPF
pessoal ou CNPJ de uma entidade), além disso, achavam que precisariam
preencher o filtro com dados de uma entidade. Um comentário negativo que
também foi proferido é que os filtros deveriam estar adaptados
para dispositivos móveis. Para evitar os problemas observados durante a
realização dessa tarefa, a página deveria informar, de
modo destacado, que não é necessário preencher os filtros
para realizar a busca. Especificamente nesta tarefa, a tela que aparece
após clicar em “Subvenção Social” foi
considerada como algo que confunde, devido às informações
que apresenta. Apenas um participante considerou a tarefa tranquila.

Tabela 7 – Variáveis
mensuradas durante a execução da tarefa C e após o teste

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Tarefa C – subvenção
social

Completou
a tarefa?

Sim
(n)

09

-

-

Não
(n)

01

-

-

Tempo
para realizar a tarefa (segundos)

-

100,22

27,04

Tempo
até desistir da tarefa (segundos)

-

230,00

-

Acessos
a páginas erradas (n)

07

0,70

1,89

Dúvidas
(n)

03

0,30

0,48

Comentários
negativos durante a realização da tarefa (n)

06

0,60

0,70

Retornos
à tela inicial (n)

02

0,20

0,42

Dicas
(n)

-

-

-

Grau de dificuldade percebido na tarefa C

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

2,38

1,19

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

3,00

-

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Na Tabela 8 apresentam-se os dados coletados na
realização da tarefa D, que consistia em consultar valores de
convênios do Poder Executivo com os municípios no ano de 2016.

Tabela 8 – Variáveis
mensuradas durante a execução da tarefa D e após o teste

Variável

Valor
observado

n Total

Média

Desvio
Padrão

Tarefa D – convênios com
municípios

Completou
a tarefa?

Sim
(n)

01

-

-

Não
(n)

09

-

-

Tempo
para realizar a tarefa (segundos)

-

88,00

-

Tempo
até desistir da tarefa (segundos)

-

151,11

87,12

Acessos
a páginas erradas (n)

07

0,70

1,25

Dúvidas
(n)

07

0,70

0,67

Comentários
negativos durante a realização da tarefa (n)

05

0,50

0,97

Retornos
à tela inicial (n)

04

0,40

0,70

Dicas
(n)

-

-

-

Grau de dificuldade percebido na tarefa D

Percepção
de quem completou a tarefa (escala de 1 a 5)*

-

1,00

-

Percepção
de quem não completou a tarefa (escala de 1 a 5)*

-

2,63

1,69

Fonte: Dados da pesquisa (2016).

Nota: *escala de 1 a 5, sendo 1= muito fácil e 5=
muito difícil

Como visto na Tabela 8, apenas um dos participantes
completou a tarefa D. Dos nove participantes que não a completaram, em
sete dos casos a página com os dados não carregava (chegava
apenas até a página do filtro). Além de não
carregar, não havia nenhuma informação sobre se a
solicitação estava sendo processada e se os dados estavam sendo
carregados. Quatro dos participantes mencionaram a falta de um feedback do sistema sobre se a
página estava sendo carregada ou não, alguns deles se sentiram
incomodados durante o uso, pois acharam que tinham preenchido algo errado e por
isso o sistema não estaria respondendo. Quanto ao filtro, também
houve várias dúvidas. Sete dos dez participantes não
sabiam se precisariam preenchê-los, principalmente o campo CPF/CNPJ. Um participante
desistiu da tarefa após deparar-se com os filtros, pois não sabia
o que preencher. O participante que completou a tarefa também ficou em
dúvida, mas foi por tentativa. Todas essas dificuldades são
previstas na Avaliação heurística apresentada no
referencial teórico e seriam evitadas se o sistema fosse desenvolvido
considerando as heurísticas de Nielsen (1993). A nomenclatura utilizada
no aplicativo, no caso da tarefa D, foi considera fácil, não
gerando dúvidas durante o uso. Em resumo, os problemas identificados
para realização dessa tarefa são os filtros, cuja
solução é informar na página que o preenchimento
não é obrigatório, e o fato da página não
carregar na maior parte das situações.

Em relação ao aplicativo de modo geral,
constatou-se, durante a realização dos testes e no
questionário pós-teste, que pelo menos sete dos dez participantes
sentiram-se incomodados ao utilizarem o aplicativo. O que gerou maior
incômodo durante o uso do Aplicativo Transparência Móvel-SC
foram as telas desnecessárias. A tela inicial que o aplicativo apresenta
(Figura 1a) não traz nenhuma informação sobre o
aplicativo, apenas sobre o desenvolvedor, e foi considerada chata e
desnecessária pelos participantes. Já na tela inicial do
aplicativo (Figura 1b), o banner
animado na parte inferior (destacado com a elipse) também gerou
incômodo e foi considerado desnecessário. Alguns participantes
ficaram com medo de permanecer na página, pois acreditavam que o banner era vírus.

Figura 1 – Telas
desnecessárias

Fonte:
Aplicativo Transparência Móvel-SC (2016).

Ainda
em relação às telas, o que gerou maior incômodo e
indignação dos participantes durante o uso do aplicativo foram as
telas intermediárias (Figura 1c), que aparecem após clicar no link apresentado na tela inicial. Cabe
destacar que todos os links
apresentados na tela inicial (Figura 1b) redirecionam para uma tela
intermediária, como a da Figura 1c, na qual são apresentados
detalhes sobre o conteúdo encontrado naquele link e o próprio link
de acesso ao conteúdo. Os participantes perceberam essas telas
intermediárias como desnecessárias e incômodas. Alguns se
demonstraram irritados e afirmaram que parecia que o aplicativo estava
pressupondo que eles não sabiam o que queriam. Em alguns casos, o texto
apresentado na tela intermediária confundiu os participantes durante os
testes. A sugestão de melhoria apontada por eles seria apresentar uma
breve descrição do conteúdo encontrado em cada link já na tela inicial. Eles
consideraram que facilitaria o uso e evitaria cliques desnecessários.

Outra
situação que incomodou a maioria dos participantes é a
falta de adaptação das telas para dispositivos móveis,
como pode ser visualizado nas Figuras 2 (a, b, c, d). As telas apresentadas nas
Figuras 2 (b, c, d) abrem em página web
desktop, tornando necessária a ampliação da tela para
realizar qualquer atividade. Nem os filtros (Figuras 2b e 2c) são
adaptados para dispositivo móvel, o que causou incômodo aos
participantes durante os testes. Em vários momentos eles comentaram que
os filtros deveriam ser adaptados para dispositivos móveis. Quanto
à apresentação dos dados buscados (por exemplo, Figura 2d
e os demais relatórios acessados durante os testes), os participantes
consideraram adequada a apresentação em uma página normal
de web. Em resumo, verificou-se que
os participantes preferem ver a informação buscada em uma
página normal da web, igual
àquela que acessam pelo computador, entretanto, os filtros deveriam ser
adaptados para dispositivos móveis.

Figura 2 – Telas não
adaptadas para dispositivo móvel

Fonte: Aplicativo Transparência Móvel-SC
(2016).

Outra situação crítica constatada
durante os testes é a questão dos tipos de filtros oferecidos.
Problemas específicos em relação aos tipos de filtros
já foram apresentados anteriormente. Entretanto, uma questão que
se repete em mais de um relatório é a solicitação
de CPF/CNPJ ou nome (Figura 2b). Todos os participantes que chegaram em filtros
com tais opções ficaram em dúvida se deveriam preencher
seus dados pessoais ou de alguma entidade cujas informações
estavam interessados em ver. Uma segunda dúvida que permeou a maior
parte dos casos foi a seguinte: “preciso ter os dados da entidade para
conseguir consultar as informações?”. Os participantes
afirmaram que a página deveria ter uma explicação curta de
que não é necessário preencher os filtros para realizar
alguma busca. Algum sinal junto ao filtro (como um asterisco, por exemplo) foi
considerado pelos participantes como algo suficiente para chamar a
atenção. Tal sinal poderia vir acompanhado de uma
explicação, ou acima do filtro, ou no pé da página.
Uma explicação de que os dados do filtro se referem às
entidades também seria interessante. Uma sugestão apresentada por
um dos participantes do teste é que o aplicativo poderia incluir um
sistema de alerta, no qual o usuário se cadastraria e escolheria o tipo de
informação de interesse. A cada postagem de novos dados
referentes àquela informação, o usuário receberia
um alerta pelo próprio aplicativo. Entre os argumentos do participante,
estava que isso incentivaria o uso do sistema e o interesse pelo acompanhamento
dos dados de transparência.

Conforme apresentado no tópico de procedimentos
metodológicos, após a realização dos testes, os
participantes respondiam ao questionário SUS. O escore médio do
Aplicativo Transparência Móvel-SC obtido nesta escala foi de 57,75
pontos, com desvio padrão de 24,96. O intervalo de confiança da
média calculada, a um nível de confiabilidade de 95%, varia de
39,89 a 75,60. Já a mediana encontrada foi de 60,00 pontos. Considerando
a revisão teórica apresentada, pode-se concluir que, no limite
máximo, o Aplicativo Transparência Móvel-SC tem usabilidade
aceitável (75,60 pontos), mas, no limite mínimo da margem de
confiança, é possível afirmar que o Aplicativo
Transparência Móvel-SC tem péssima usabilidade (39,89
pontos). Com base nisso, entende-se que o Aplicativo Transparência
Móvel-SC necessita de melhorias, já que o valor médio
encontrado na pesquisa está no limite do quartil inferior (usabilidade
ruim). Ou seja, em comparação com outros sistemas (TULLIS;
ALBERT, 2008), o aplicativo analisado está dentre os 25% com pior
usabilidade.

5 CONSIDERAÇÕES FINAIS

A apresentação de informação em
dispositivos móveis possui várias peculiaridades quando comparada
à apresentação em dispositivos fixos, seja no âmbito
comercial ou informativo. O presente artigo abordou a
apresentação de informação de utilidade
pública em dispositivos móveis. Conforme apresentado no
tópico introdutório, o objetivo foi identificar possíveis
dificuldades que limitam os usuários de dispositivos móveis a
acessarem aplicativos móveis de apresentação de
informação pública, mais especificamente portais de
transparência.  Para isso,
testes de usabilidade foram realizados com o Aplicativo Transparência
Móvel-SC. Como visto nas análises, o aplicativo apresenta
diversas características consideradas problemáticas pelos
participantes da pesquisa e que geram problemas de usabilidade. Apesar da
disponibilização do Aplicativo Transparência
Móvel-SC ser uma boa ideia, o sistema em si necessita de melhorias para
atender satisfatoriamente ao que se propõe. Da forma como está,
ele não satisfaz as expectativas dos usuários, seja no que diz
respeito à operacionalização, à eficiência e
à eficácia, quanto à confiabilidade.

Com base nos testes realizados, verifica-se que a
estratégia de adaptar uma página web (desktop) já
desenvolvida não é uma boa prática de desenvolvimento de
aplicativos para dispositivos móveis, já que isso acarreta diversos
problemas de usabilidade. Uma prática mais acertada de desenvolvimento
de aplicativos para dispositivos móveis deve considerar as
heurísticas de Nielsen apresentadas no referencial teórico deste
estudo. Tais heurísticas previnem, sem exceção, todas as
dificuldades encontradas durante os testes aqui realizados. Cabe lembrar que a
disponibilização do aplicativo para dispositivos móveis
não é uma exigência legal, é um esforço
adicional despendido pelas secretarias da fazenda dos estados para ampliar o
acesso à informação. Isso, entretanto, não elimina
a necessidade de reprojetar o aplicativo e torná-lo mais adequado ao que
se propõe.

Considerando os resultados obtidos, sugere-se que
aplicativos de transparência sejam projetados como aplicativo para
dispositivos móveis, não como uma ponte para um sistema web já desenvolvido para
computadores desktop ou notebook. Caso o interesse seja manter
uma única página para apresentação dos dados de
transparência, mesmo sabendo das limitações impostas por
essa estratégia, sugere-se que a página web seja redesenhada como uma página mobile. A adaptação de páginas mobile para uso em desktop/notebook é
menos problemática e está tornando-se uma prática comum
entre os desenvolvedores de páginas web
e as páginas têm se mostrado amigáveis aos usuários.

De modo geral, os resultados da pesquisa foram
satisfatórios, visto que atenderam ao objetivo do estudo. Apesar de o
estudo ter sido desenvolvido com apenas dez participantes, esse número
é considerado adequado pela literatura, conforme apresentado no
tópico de procedimentos metodológicos. Constatou-se que, à
medida que os testes iam sendo realizados, as informações obtidas
começavam a repetir-se, podendo-se inferir que os resultados
apresentados cobrem boa parte dos problemas mais críticos do aplicativo
analisado.

REFERÊNCIAS

COURSARIS, C.; KIM, D. A qualitative review
of empirical mobile usability studies. In: AMERICAS CONFERENCE ON INFORMATION
SYSTEMS (AMCIS), 2006, Acapulco. AMCIS
2006 Proceedings. Acapulco: AISeL, 2006. Paper 352.

DA COSTA, L. F.;
RAMALHO, F. A. A usabilidade nos estudos de uso da informação: em
cena, usuários e sistemas interativos de informação. Perspectivas em Ciência da
Informação, v. 15, n. 1, p. 92-117, 2010.

E-BIT. Webshoppers. 33. ed., 2016.
Disponível em:
<http://www.mettodo.com.br/ebooks/Webshoppers_2016.pdf> Acesso: 23 jul.
2018.

HARRISON, R.; FLOOD, D.; DUCE, D. Usability
of mobile applications: literature review and rationale for a new usability
model. Journal of Interaction Science,
v. 1, n. 1, p. 1-16, 2013.

HUANG, Z.; BENYOUCEF, M. Usability and
credibility of e-government websites.
Government Information Quarterly, v.
31, n. 4, p. 584-595, 2014.

ISO, International Organization for
Standardization. Ergonomic requirements for office work with visual display
terminals (VDTs) – Part 11: Guidance on usability. ISO Standard 9241-11:1998. Vernier: ISO, 1998.

LEE, Y.; KOZAR, K. A. Understanding of website usability: Specifying and
measuring constructs and their relationships. Decision Support Systems, v. 52, p. 450-463, 2012.

NIELSEN, J. 10 usability heuristics for user interface design. 1995.
Disponível em:
<https://www.nngroup.com/articles/ten-usability-heuristics/> Acesso em:
16 jul. 2016.

NIELSEN, J. Usability engineering. California: Morgan Kaufmann, 1993.

NIELSEN, J.; BUDIU, R. Usabilidade móvel. 1. ed. Rio de
Janeiro: Elsevier, 2014.

NIELSEN, J.; MOLICH, R. Heuristic evaluation
of user interfaces. In: CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS (SIGCHI),
1990, Seattle. CHI '90 Proceedings of
the SIGCHI Conference on Human Factors in Computing Systems. Seattle:
ACM, 1990. p. 249-256.

PADILHA, A. V. Usabilidade na Web: uma proposta de
questionário para avaliação do grau de
satisfação de usuários do comércio
eletrônico. 2004. 104 f. Dissertação (Mestrado em
Ciência da Computação) - Curso de Ciência da
Computação, Universidade Federal de Santa Catarina,
Florianópolis, 2004.

PLATT NETO, O. A.; CRUZ,
F.; VIEIRA, A. L. A evolução das práticas de uso da
internet para divulgação das contas públicas na
Universidade Federal de Santa Catarina. Revista
Gestão Universitária na América Latina – GUAL,
Florianópolis, v. 3, n. 1, p. 1-14, 2010.

ROSA, J. M.; VERAS, M.
Avaliação heurística de usabilidade em jornais online:
estudo de caso em dois sites. Perspectivas
em Ciência da Informação, Belo Horizonte, v. 18, n. 1,
p. 138-157, 2013.

RUBIN, J.; CHISNELL, D. Handbook of usability testing: how to plan, design, and conduct effective
tests. 2. ed. Indianapolis: Wiley Publishing, Inc.,
2008.

SANTA CATARINA (Estado).
Portal da transparência do poder
executivo de Santa Catarina. 2016. Disponível em:
<http://www.sef.sc.gov.br/transparencia>. Acesso em: 15 jul. 2016.

SANTAMARIA, S. O.;
MONTERO, Y. H. Análise e avaliação de sites
universitários espanhóis do processo de Bolonha. Perspectivas em Ciência da
Informação, Belo Horizonte, v. 18, n. 4, p. 70-92, 2013.

SIMERAL, E. J.; BRANAGHAN, R. J. A
comparative analysis of heuristic and usability evaluation methods. In: SOCIETY
FOR TECHNICAL COMMUNICATION ANNUAL CONFERENCE, 44., 1997, Toronto. 1997 proceedings: 44th Annual Conference.
Toronto: STC, 1997. p. 307-309.

STIENMETZ, J. L.; LEVY, S. E.; BOO, S.
Factors Influencing the Usability of Mobile Destination Management Organization
Websites. Journal of Travel Research, v. 52, n. 4, p. 453-464, 2012.

TULLIS, T.; ALBERT, W. Measuring the user experience: collecting, analyzing, and
presenting usability metrics. Burlington: Morgan Kaufman, 2008.

TULLIS, T. S.; STETSON, J. N. A comparison of
questionnaires for assessing website usability. In: USABILITY PROFESSIONAL
ASSOCIATION (UPA) 2004 CONFERENCE, 2004, Minneapolis. UPA 2004: 13th Annual UPA Conference. Minneapolis: UPA, 2004. p.
1-12.

VÉLEZ, O. et al. A usability study of
a mobile health application for rural ghanaian midwives. Journal of Midwifery &Women’s Health, v. 59, p. 184-191,
2014.

WEI, Q.; CHANG, Z.; CHENG, Q. Usability study
of the mobile library App: an example from Chongqing University. Library Hi Tech, v.
33, n. 3, p. 340-355, 2015.

WINCKLER, M.; PIMENTA,
M. S. Avaliação de usabilidade de sites web. In: ESCOLA DE INFORMÁTICA
DA SBC SUL (ERI), 2002, Porto Alegre. Anais ERI 2002. Porto Alegre: SBC, 2002. p. 85-137.

YEH, S. T.; FONTENELLE, C. Usability study of
a mobile website: the Health Sciences
Library, University of Colorado Anschutz Medical Campus, experience. Journal of the Medical Library Association,
v. 100, n. 1, p. 64-68, 2012.

[1] Os autores
agradecem à Coordenação de Aperfeiçoamento de
Pessoal de Nível Superior (CAPES) e ao Programa de Bolsas de Monitoria
de Pós-Graduação (PROMOP/UDESC) pelo auxílio
financeiro recebido em forma de bolsas de estudo em nível de doutorado e
mestrado, respectivamente.