Um Sistema Baseado em Conhecimento para o Planejamento de Auditorias

Fabiano da Rocha Louzada (Universidade Federal do Espírito Santo)

Download PDF | 811 visitas

Abstract

Os recordes anuais de gastos públicos, associados à necessidade de se garantir a eficiência, legalidade e economicidade na aplicação dos recursos públicos, tem feito a maioria das instituições de controle enfrentar um enorme desafio de alocar recursos limitados de auditoria da maneira mais eficaz. O planejamento de auditoria baseado em riscos, que é uma atividade onerosa em tempo e recursos financeiros, tem como objetivo assegurar que o auditor examine os assuntos de maior risco para o alcance dos objetivos da organização. Neste trabalho propusemos uma metodologia de planejamento de auditorias baseada em avaliação de riscos com o apoio de um sistema especialista que utiliza lógica nebulosa para executar o processo de avaliação de riscos.

As regras do protótipo do sistema foram definidas baseadas em fatores de riscos selecionados do Guia de Combate à Corrupção e Fraude em Projetos de Desenvolvimento, elaborado pelo Centro Internacional de Recursos Anti-Corrupção. As funções de pertinência dos termos linguísticos das regras nebulosas foram definidas, inicialmente, com base no conhecimento do autor, que é Auditor do Estado do Espírito Santo e, posteriormente, foi aplicado um questionário com outros 17 (dezessete) Auditores do Estado, cujo resultado foi utilizado para refinar as funções de pertinência dos termos linguísticos, e para obter a relevância de cada um dos fatores de risco.

O protótipo foi executado utilizando como entrada de dados uma amostra de cem contratos do Governo do Estado do Espírito Santo, obtidos no Portal da Transparência, e o resultado do sistema foi apresentado a Auditores do Estado, que são especialistas no assunto, para que eles verificassem se o sistema emite uma opinião aceitável sobre os processos que devem ser auditados, ou seja, se é capaz de selecionar processos que eles consideram relevantes e rejeitar aqueles que eles consideram irrelevantes.

Com relação aos contratos selecionados pelo sistema e que foram rejeitados pelos especialistas, o sistema obteve uma média de acerto de 80,5%. Já com relação aos contratos rejeitados pelo sistema e que foram selecionados pelos especialistas, o sistema obteve uma média de acerto de 95,13%. Além disso, a heurística adotada pelo sistema, diferente das heurísticas adotadas pelos especialistas, analisa uma amplitude maior de fatores de risco de uma maneira padronizada, confirmando a hipótese levantada inicialmente.

The annual records of public spending, associated with the need to ensure the efficiency, legality and economy in the application of public resources, have made most of the control institutions face a huge challenge of allocating limited audit resources more effectively. The risk-based audit planning, which is a onerous activity in time and financial resources, aims to ensure that the auditor examine the issues of greatest risk to the achievement of organizational goals. In this work, we propose a methodology of audit planning based on risk assessment with the support of a specialist system that uses fuzzy logic to execute the process of risk assessment.

The rules have been defined based on risk factors selected from the Guide to Combating Corruption and Fraud in Development Projects, developed by the International Anti-Corruption Resource Center. The membership functions of the linguistic terms of the nebulous rules were initially defined based on the knowledge of the author, who is Auditor of the State of Espírito Santo, and afterwards a questionnaire was applied with 17 (seventeen) other State Auditors, whose result was used to refine the membership functions of the linguistic terms, and to obtain the relevance of each of the risk factors.

The prototype was executed using, as input, a sample of one hundred contracts from the Government of the State of Espírito Santo, obtained from the Transparency Portal, and the results were presented to State Auditors, who are experts in the subject, to verify if the system gives an acceptable opinion about the processes that must be audited, in other words, whether it is able to select processes that they consider relevant and reject those they consider to be irrelevant.

Regarding the contracts selected by the system and rejected by the specialists, the system obtained an average of 80.5% accuracy. Regarding the contracts rejected by the system and that were selected by the specialists, the system obtained an average of 95.13% accuracy. In addition, the heuristic adopted by the system, different from the heuristics adopted by the specialists, analyzes a greater range of risk factors in a standardized way, confirming the initial hypothesis.

Referências

Qualipesc - Sistema inteligente para auxílio na avaliação da qualidade de pescados. FERNANDES, E. S. ‒ Universidade Federal de Santa Catarina. (2000)

IEC 1131 - Programmable Controllers. Part 7 - Fuzzy Control Programming. INTERNATIONAL ELECTROTECHNICAL COMMISSION (IEC) (1997)

Uses of artificial intelligence in the Brazilian customs fraud detection system. Digiampietri, Luciano A.; Norton Trevisan Roman; Luis A. A. Meira;... ‒ In: Proceedings of the 2008 international conference on digital government research. Digital Government Society of North America (2008)

Data mining: concepts and techniques. HAN, J.; KAMBER, M. (2006)

Fast algorithms for mining association rules in large databases. AGRAWAL, R.; SRIKANT, R. ‒ 20th International Conference on Very Large Data Bases (VLDB´94) (1994)

Rete: A Fast Algorithm for the Many Patterns/Many Objects Match Problem. Charles Forgy ‒ Artif. Intell. (1982)

Programação Java com Ênfase em Orientação a Objetos. Douglas Rocha Mendes (2009)

Sistemas especialistas: um estudo de caso com o expert sinta. Lennon Petrik Spirlandelli; Guilherme Henrique Dias dos Santos; Lu... ‒ Revista Eletrônica de Sistemas de Informação e de Gestão Tecnológica (2011)

jFuzzyLogic: a robust and flexible Fuzzy-Logic inference system language implementation. Pablo Cingolani; Jesus Alcala-Fdez ‒ IEEE International Conference on Fuzzy Systems (2012)

Risk based Government Audit Planning using Naïve Bayes Classifiers. Remis Balaniuk; Pierre Bessiere; Emmanuel F. Mazer; Paulo Roberto ... ‒ Advances in Knowledge-Based and Intelligent Information and Engineering Systems (2012)

International Professional Practices Framework (IPPF). The Institute of Internal Auditors - IIA (2017)

Avaliação de riscos da administração pública como subsídio ao planejamento de auditoria. MASCARENHAS, Flávia Monken ‒ Universidade Gama Filho (2010)

Lei nº 9.938. ESPIRITO SANTO (2012)

Portaria SECONT nº 14-R. ESPIRITO SANTO (2015)

Lei Complementar nº 295. ESPIRITO SANTO (2004)

Global Technology Audit Guide: Developing the IT Audit Plan. Kirk Rehage; Steve Hunt; Fernando Nikitin (2008)

Como Elaborar um Projeto de Pesquisa. Antonio Carlos Gil (2008)

Enterprise Risk Management — Integrated Framework. Executive Summary. Committee of Sponsoring Organizations of the Treadway Commission (2004)

Aplicação da Lógica Nebulosa ao Modelo Muhlbauer Para Análise de Risco em Dutos. Alberto Edwin Ildefonso Alvino ‒ Pontifícia Universidade Católica do Rio de Janeiro (2003)

Lógica Nebulosa Aplicada à Validação de Julgamentos de Valor Obtidos por Votação: Um Exemplo de Aplicação à Análise de Falhas. Hélvio Pessanha Guimarães Santafé Júnior; Helder Gomes Costa ‒ Encontro Nacional de Engenharia de Produção (2000) http://www.abepro.org.br/biblioteca/ENEGEP2000...

Measurement and Combination of Red Flags to Assess the Risk of Management Fraud: A Fuzzy Set Approach. Ashutosh Deshmukh; Jeff Romine; Philip H. Siegel ‒ Managerial Finance (1997)

Modelo de avaliação de risco de controle utilizando a lógica nebulosa. Jeronimo Antunes ‒ Universidade de São Paulo (2004) http://www.teses.usp.br/teses/disponiveis/12/1...
A avaliação dos riscos de que o sistema de controle interno de uma entidade possa falhar na identificação, mensuração, registro e divulgação de eventos econômicos, que deverão ser refletidos nas d... Abstract: A avaliação dos riscos de que o sistema de controle interno de uma entidade possa falhar na identificação, mensuração, registro e divulgação de eventos econômicos, que deverão ser refletidos nas demonstrações contábeis de uma entidade, constitui-se em significativo desafio para os auditores independentes. As metodologias de trabalho empregadas para tal finalidade, normalmente, utilizam como sustentáculo a lógica clássica, em que os elementos que compõem os fatores de riscos são avaliados de forma binária, qual seja, presume-se de modo algo simplista que tais fatores ou estão presentes, ou não, em um determinado tipo de controle ou fase do processo, existem ou não, são realizados ou não, e assim por diante. O objetivo deste trabalho foi a concepção de um modelo de avaliação de risco dos sistemas de controles internos de uma entidade utilizando a lógica nebulosa (fuzzy logic) para contemplar os elementos incertos e difusos que compõem, de maneira representativa, os fatores desse tipo de risco analisados pelos auditores independentes no âmbito de um processo de auditoria das demonstrações contábeis; buscou-se, com o resultado desta pesquisa, permitir que venham a ser produzidos resultados de alcance mais amplo e com maior aproximação da realidade efetivamente encontrada no dia a dia dos negócios, que talvez raramente indique situações pontuais de “sim” ou “não” tal como exigido pela lógica clássica ou pelo método binário de avaliação e julgamento. A validação conceitual do modelo concebido foi realizada por meio de entrevistas e debates com especialistas, bibliografia relevante e manuais práticos de metodologia de trabalho de auditoria de empresas representativas dessa indústria e a validade operacional foi testada com uma massa de dados de casos práticos de entidades que tiveram seus sistemas de controles internos avaliados por empresas de auditoria independente de renome atuantes no Brasil, processados no software FuzzyTech 5.54. Como conclusão do estudo, ficou patente que o modelo de avaliação de risco com o uso da lógica nebulosa, além de eliminar a restrição binária imposta pela lógica clássica, permite tratar, de forma numérica e sistematizada, conceitos ambíguos e incertos, através da aplicação de uma escala psicométrica, para refletir predicados tais como “bom”, “razoável”, “de grande importância” etc., produzindo, dessa maneira, resultados mais amplos e próximos da realidade.

Sistemas Fuzzy. ALMEIDA, P. E. M.; EVSUKOFF, A. G. ‒ Sistemas Inteligentes: Fundamentos e Aplicações (2003)

Análise de Riscos Ambientais e Lógica fuzzy. Sanntiago D’Ávvilla (2008) http://docslide.com.br/documents/analise-de-ri...

Conceitos da Matemática Nebulosa na Análise de Risco. BRAGA, M. J. F.; BARRETO, J. M.; MACHADO, M. A. S. (1995)

Risk Assessment in Audit Planning: A guide for auditors on how best to assess risks when planning audit work. Internal Audit Community of Practice (2014)

Minicurso de Sistema Especialista Nebuloso. Luiz Biondi Neto; Pedro Henrique Gouveia Coelho; Jorge Luís Machad... ‒ XXXVIII Simpósio Brasileiro de Pesquisa Operacional (2006)

Fuzzy Logic With Engineering Aplications. ROSS, T. J. (2010)

Application of fuzzy algorithm for control of simple dynamic plant. MAMDANI, E. H. ‒ Proceedings of IEEE Control and Science (1974)

Vocabulário Jurídico. Oscar José de Plácido e Silva (2003)

Código Penal, Decreto-Lei Nº 2.848. Brasil (1940)

Statistical fraud detection: A review. Richard J. Bolton; David J. Hand ‒ Statistical Science (2002)

Survey of Insurance Fraud Detection Using Data Mining Techniques. Sithic, H. Lookman; Balasubramanian, T. ‒ International Journal of Innovative Technology and Exploring Engineering (2013)

Survey of fraud detection techniques. Kou, Yufeng; Lu, Chang-Tien; Sirwongwattana, S.; Huang, Yo-Ping ‒ IEEE International Conference on Networking, Sensing and Control (2004)

Assessing the risk of management fraud through neural network technology. Brian Patrick Green; Jae Hwa Choi ‒ Auditing: A Journal of Practice & Theory (1997)

Detecção de figurantes em pregões eletrônicos do governo federal brasileiro. Rebouças, R. R. ‒ Universidade Católica de Brasília (2011)

Probabilistic Ontology and Knowledge Fusion for Procurement Fraud Detection in Brazil. Rommel N. Carvalho; Kathryn B. Laskey; Paulo C. G. Costa; Marcelo ... ‒ In: International Workshop on Uncertainty Reasoning for the Semantic Web (2009)

A multi-agent data mining system for cartel detection in Brazilian government procurement. Ralha, Célia Ghedini; Silva, Carlos Vinícius Sarmento ‒ Expert Systems with Applications (2012)

Using Bayesian Networks to Identify and Prevent Split Purchases in Brazil. Rommel N. Carvalho; Leonardo J. Sales; Henrique A. Rocha; Gilson L... ‒ In: Proceedings of the Eleventh UAI Bayesian Modeling Applications Workshop (2014)

Lei de Licitações, Lei Nº 8.666. Brasil (1993)

Lei Anticorrupção, Lei Nº 12.846. Brasil (2013)

Lei da Transparência, Lei Complementar Nº 131. Brasil (2009)

Lei de Acesso à Informação, Lei Nº 12.527. Brasil (2011)

Using Political Party Affiliation Data to Measure Civil Servants' Risk of Corruption. Rommel Novaes Carvalho; Ricardo Silva Carvalho; Marcelo Ladeira; F... ‒ In: IEEE 2014 Brazilian Conference on Intelligent Systems (BRACIS) (2014)

Utilização de técnicas de mineração de dados como auxílio na detecção de cartéis em licitações. Silva, Carlos Vinícius Sarmento; Ralha, Célia Ghedini ‒ In: Anais do Workshop de Computação Aplicada a Governo Eletrônico (2010)

Corruption risk analysis using semi–supervised naïve Bayes classifiers. Remis Balaniuk; Pierre Bessiere; Emmanuel F. Mazer; Paulo Roberto ... ‒ International Journal of Reasoning-based Intelligent Systems (2013)

Challenges and Opportunity for the Accounting Profession: Strengthening the Public's Confidence. Price Waterhouse (1985)

Relevância dos Red Flags para Avaliação do Risco de Fraude: Percepção dos Auditores Internos de Cooperativas de Crédito. Paulo Roberto da Cunha; Cristian Bau Dal Magro ‒ XV Congresso USP de Controladoria e Contabilidade (2015)

Application of Machine Learning Methods to Risk Assessment of Financial Statement Fraud: Evidence from China. Xin-Ping Song; Zhi-Hua Hu; Jian-Guo Du; Zhao-Han Sheng ‒ Journal of Forecasting (2014)

Guide to Combating Corruption & Fraud in Development Projects. IACRC. International Anti-Corruption Resource Center. (2016) http://guide.iacrc.org/

A importância dos red flags na detecção do grau de risco de fraude nas demonstrações contábeis: um levantamento da percepção de profissionais das principais empresas de auditoria. Donizete Reina; Adriel Zunino; Luiz Alberton; Diane Rossi Maximian... ‒ Anais do Congresso Brasileiro de Custos-ABC (2008)

Relevância dos red flags na detecção do risco de fraudes nas demonstrações contábeis: a percepção de auditores independentes brasileiros. Fernando Dal-Ri Murcia ‒ Universidade Federal de Santa Catarina (2007)

Relevância dos red flags na avaliação do risco de fraudes nas demonstrações contábeis: a percepção de auditores independentes brasileiros. MURCIA, F. D. R.; BORBA, J. A.; SCHIEHLL, E. ‒ Revista Universo Contábil (2008)

Knowledge discovery in databases - an overview. Frawley, William J.; Piatetsky-Shapiro, Gregory; Matheus, Christop... ‒ AI Magazine (1992)

A case study of applying boosting Naive Bayes to claim fraud diagnosis. Stijn Viaene; Richard A. Derrig; Guido Dedene ‒ IEEE Transactions on Knowledge and Data Engineering (2004)

Stock fraud detection using peer group analysis. Kim, Yoonseong; Sohn, So Young ‒ Expert Systems with Applications (2012)

FControl®: sistema inteligente inovador para detecção de fraudes em operações de comércio eletrônico. Coelho, Leandro dos Santos; Raittz, Roberto Tadeu; Trezub, Maurício. ‒ Gestão & Produção (2006)

Data mining for credit card fraud: A comparative study. Siddhartha Bhattacharyya; Sanjeev Jha; Kurian Tharakunnel; J. Chri... ‒ Decision Support Systems (2011)

Parallel granular neural networks for fast credit card fraud detection. Syeda, M.; Zhang, Yan-Qinghang; Pan, Y. ‒ In: Proceedings of the IEEE International Conference on Fuzzy Systems (2002)

Random-forests-based network intrusion detection systems. Zhang, Jiong; Zulkernine, Mohammad; Haque, Anwar ‒ IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews (2008)

A new approach to intrusion detection using Artificial Neural Networks and fuzzy clustering. Gang Wang; Jinxing Hao; Jian Ma; Lihua Huang ‒ Expert Systems with Applications (2010)

A fuzzy-based algorithm for auditors to detect elements of fraud in settled insurance claims. Pathak, Jagdish; Vidyarthi, Navneet; Summers, Scott L. ‒ Managerial Auditing Journal (2005)

An expert system for detecting automobile insurance fraud using social network analysis. Lovro Subelj; Stefan Furlan; Marko Bajec ‒ CoRR (2011) http://arxiv.org/abs/1104.3904

Data mining techniques for the detection of fraudulent financial statements. Efstathios Kirkos; Charalambos Spathis; Yannis Manolopoulos ‒ Expert Systems with Applications (2007)

Sistemas Baseados em Conhecimento. REZENDE, S. O.; PUGLIESI, J. B.; VAREJÃO, F. M. ‒ Sistemas Inteligentes: Fundamentos e Aplicações. (2003)

Artificial Intelligence: A Modern Approach. RUSSEL, S. J.; NORVIG, P. (2003)

Sistema especialista para a gestão de projetos de pesquisa acadêmica em instituições do ensino superior. Oliveira, Taciano Tavares de; Mustaro, Pollyana Notargiacomo; Omar... ‒ Universidade Presbiteriana Mackenzie (2016) http://tede.mackenzie.br/jspui/handle/tede/2812
A realização de pesquisas científicas para obtenção de grau em instituições do Ensino Superior como Trabalhos de Conclusão de Curso, Monografias, Dissertações e Teses, geralmente apresentam proble... Abstract: A realização de pesquisas científicas para obtenção de grau em instituições do Ensino Superior como Trabalhos de Conclusão de Curso, Monografias, Dissertações e Teses, geralmente apresentam problemas relacionados ao gerenciamento do tempo, recursos ou até mesmo de qualidade. Nota-se que o mercado corporativo enfrenta as mesmas dificuldades na realização de projetos de produtos ou serviços, e mitigam esses problemas com a aplicação de frameworks e técnicas de gestão de projetos. Tendo em vista que com a evolução da tecnologia, mudanças significativas na dinâmica do comportamento ocorreram, em especial, na comunicação e na forma de gerenciamento de ações, pode-se aliar tais aspectos com os frameworks e técnicas de gestão de projetos ao desenvolvimento de pesquisas científicas no âmbito acadêmico de obtenção de grau. A partir desse cenário, a presente pesquisa apresenta um sistema especialista com aspectos de gestão de projetos baseados no guia PMBOK, complementados por Project Model Canvas, juntamente com elementos pertinentes ao processo de orientação acadêmica, com o intuito de amparar os estudantes ao longo do desenvolvimento de suas investigações de obtenção de grau.

Fundamentos dos sistemas especialistas. FLORES, C. D. (2003)

Inteligência Artificial Teórica e Prática. ARTERO, Almir O. (2009)

Aquisição de conhecimento: O grande desafio na concepção de sistemas especialistas. COSTA, W. S.; SILVA, S. C. M. ‒ HOLOS (2005)

Rule based programming with Drools. Narendra Kumar; Dipti D. Patil; Vijay M. Wadhai ‒ International journal of Computer Science and Information Technology (2011)

Uma revisão da engenharia do conhecimento: Evolução, Paradigmas e Aplicações. ABEL, M.; FIORINI, S. R. ‒ IJKEM Internatinal Journal of Knowledge Engineering (2013)

Um modelo de conhecimento baseado em eventos para aquisição e representação de sequências temporais. MASTELA, L. S. ‒ Universidade Federal do Rio Grande do Sul (2005)

Knowledge acquisition tools, methods, and mediating representations. BOOSE, J. H. ‒ Japanese Knowledge Acquisition for Knowledge-Based Systems Workshop, JKAW (1990)

Elaboração e validação de questionários para coleta de dados sobre serviços especializados e pacientes com imunodeficiências primárias. BARREIRA, Ricardo Balesdent ‒ Instituto Fernandes Figueira (2007) https://www.arca.fiocruz.br/handle/icict/3608

Buscando a qualidade das informações em pesquisas epidemiológicas. Reichenheim, M. E.; Moraes, C. L. ‒ Caminhos do Pensamento: Epistemologia e Método (M. C. S. Minayo & S. F. Deslandes, ed.) (2002)

Elaboração e validação semântica de um instrumento de avaliação da transferência do tratamento diretamente observado como política de controle da tuberculose. Laís Mara Caetano da Silva; Catiucia de Andrade Surniche; Amélia N... ‒ Pan American Journal of Public Health (2015)

Métodos de pesquisa de survey. BABBIE, E. (2003)

An experiment in linguistic synthesis with a fuzzy logic controller. MAMDANI, E. H.; ASSILIAN, S. ‒ Int. J. Man Mach. Stud. (1975)

Outlier Detection for Multidimensional Medical Data. Anbarasi, M.S.; Ghaayathri, S.; Kamaleswari, R.; Abirami, I. ‒ International Journal of Computer Science and Information Technologies (2011)

Validation and verification of intelligent systems-what are they and how are they different?. GONZALEZ, A. J; BARR, V. ‒ Journal of Experimental & Theoretical Artificial Intelligence (2000)

Verifying, validating, and measuring the performance of expert systems. CHING Y. SUEN; PETER D. GROGONO; RAIJAN SHINGHAL ‒ Expert Systems with Applications (1990)

Std. 610.12-1990, Glossary of Software Engineering Terminology. IEEE (1990)

Validating expert systems performance. O’Keefe, R. M.; Balci, O.; Smith, E. P. ‒ IEEE Expert (1987)

Expert system verification and validation: a survey and tutorial. O'KEEFE, R. M.; O'LEARY, D. E. ‒ Artificial Intelligence Review (1993)

US Department of Defense Directive 5000.59. DoDD (199x)

Elementos de amostragem. BOLFARINE, H.; BUSSAB, W. O. (2005)

Sistema Especialista Difuso de Apoio ao Aprendizado do Traumatismo Dento - Alveolar Utilizando Recursos Multimídia. Ana Paula Soares Fernandes ‒ Universidade Federal de Santa Catarina (1997)

Introduction to Expert Systems. JACKSON, P. (1999)

QUALIPESC - Sistema Inteligente para Auxílio na Avaliação da Qualidade de Pescados. Elizabeth Soares Fernandes ‒ Universidade Federal de Santa Catarina (2000)

Reference manual Drools 6.5.0.Final. JBOSS (201X) http://www.drools.org/learn/documentation.html

Sistema Especialista para primeiros socorros para cães. SAVARIS, Silvana Valdemara Aparecida Michelotto ‒ Universidade Federal de Santa Catarina (2002)

Fuzzy-logic based Target Classification using Drools. SARDANA, R.; MUKHERJEE, S. ‒ International Journal of Systems, Algorithms & Applications (2012)

jFuzzyLogic: a java library to design fuzzy logic controllers according to the standard for fuzzy control programming. CINGOLANI, Pablo; ALCALÁ-FDEZ, Jesús ‒ International Journal of Computational Intelligence Systems (2013)

Portal da Transparência. Tesouro Nacional (2017) http://www.portaldatransparencia.gov.br/glossa...

Constituição da República Federativa do Brasil. Brasil (1988)