Modelo de avaliação de maturidade de sistemas de informação em saúde baseada em representação conceitual de requisitos de segurança da informação
Data
2016-05-04
Autores
Carvalho Junior, Marcelo Antonio de 
Orientadores
Faltin, Cristina Lucia Feijo Ortolani Faltin
Tipo
Dissertação de mestrado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
Introduction: The task to score or evaluate a Health Information System (HIS) is com-plex and lays mostly on comparisons. Reference elements used for system evaluation during auditing or tests includes standards, requirement list and other documents that are technical in general. A system under evaluation must therefore meet or exceed reference elements characteristics after careful assessment to be consider equivalent. The limitation of this traditional evaluation method is related to the highly specialized manpower needed to scrutinize all system against reference. Objective: Investigate health information system (HIS) standards content and its outer relationships thru ref-erences. Gather expert scored HIS requirements for evolutional analysis model con-struction providing for a simplified system comparison. Methods: Five main phases and specific tasks were perform to accomplish the outlined objectives. We start identi-fying candidate standards for our reference model assessing standardization entities production based on HIS developers? citation. In a second phase, we assessed a group of 36 HIS? national and international most cited standards to manually identify refer-ence relationships declared within its content. Using automated text analysis (summa-rization and Vector Space Model construction, clusterization, Jaccard, Cosine e Sim-hash similarity comparison), we have build a database containing representative terms and correlations from this collection. On third phase, this database content was use on a web survey tool specially constructed to collect expert map-based scored terms that individually represents five levels of system features maturity stored as a concept-map (CM) linked-term graphical format. During presence sessions at final step from this phase, the experts were prompt to translate the resulting 1-5 CMs to equivalent phrases that describes easily assessable system behaviors and hence consumed by regular people. At the fourth and fifth phases, a web-tool prototype implementing all the acquired CM references and standards meta-data was propose as model usage suggestion. Results: The method execution resulted a table containing the repre-sentative terms of most used standards documents in Brazil. The obtained 1-5 CM graphs were implemented in a usable tool for system evaluation, published at http://tel-emedicina2.unifesp.br/valorarequisitos. Usability evaluation of this tool resulted 72,3 on SUS score. Text analysis allowed for content superposition and document depend-ency discovery. The documents similarity average found was 5% and maximum 89%. The documents outer connection count found was 440. The documents interconnec-tion density is 0,6%, although describing same topic, they are not mutually referencing each other. Thru average-path and Betweeness-Centrality assessment the most influ-ential documents in the studied collection was found. The highest individual standard document-to-CM Jaccard similarity comparison was 11%. Conclusion: Content su-perposition was found on all documents used for HIS requirements support via simi-larity assessment. Using this texts as a restricted vocabulary during expert maturity reference extraction in CM format allowed document-mapping to the reference. By us-ing one of these documents for system construction, we can hence estimate the CM coverage and respective maturity- classification level. According to this criteria, no sin-gle document described all CM existing features. Hence, multiple documents from our collection should be used for system development guidance in order to achieve maxi-mum maturity coverage. The system comparison model was successfully implemented in a prototype tool. Performed tests revealed good usability score for tool usage.
Introdução: A atividade de avaliar ou diferenciar Sistemas de Informação em Saúde (SIS) é complexa e baseia-se em comparações e análises. Elementos referenciais utilizados nestas tarefas incluem normas, listas de requisitos e outros documentos técnicos. Para esta avaliação considerar um sistema aderente ou equivalente a refe-rência, ele deve atender minimamente essas características. A limitação deste formato de avaliação tradicionalmente utilizado é a alta dependência do professional qualifi-cado capaz de reconhecer tais características no sistema. Objetivo: Investigar o con-teúdo e relações existentes entre normas utilizadas para guiar o desenvolvimento e implementação de funcionalidades de segurança da informação em sistemas de infor-mação em saúde (SIS). Identificar e classificar em diferentes níveis de maturidade, conjuntos de características importantes contidas nestes textos com auxílio de espe-cialistas e assim construir um modelo de referência que possa ser utilizado de forma simplificada para avaliação e comparação de sistemas. Métodos: Cinco fases princi-pais foram conduzidas. Na primeira, identificamos normas candidatas a compor nosso modelo, analisando a produção de entidades normativas frequentemente citadas por desenvolvedores de SIS. Um conjunto de 36 normas nacionais e internacionais foram analisadas na fase seguinte com base nessas citações, das quais extraímos manual-mente uma listagem de suas ligações a documentos externos declaradas em seus textos. Por meio de análise textual automatizada destes documentos (sumarização, clusterização e construção de Vector Space Model e comparações de similaridade Jaccard, Cosine e Simhash), construímos uma base de dados contendo termos repre-sentativos desta coleção e correlacionamentos neste conjunto. Na terceira fase, a base de dados construída foi utilizada para obtenção de elementos textuais que, na opinião de especialistas em segurança da informação, caracterizassem funcionalida-des sistêmicas em 5 diferentes níveis de maturidade ou evolução. Este processo uti-lizou como meio de coleta um site web especialmente desenvolvido para propiciar a ligação e composição destes elementos textuais. Estes elementos, colhidos em for-mato de grafo e representando um mapa mental dos especialistas, formaram nossa referência para comparação. Como etapa final desta fase, os especialistas foram so-licitados de forma presencial a analisar os mapas mentais criados e propor frases de fácil entendimento, que representassem comportamentos sistêmicos equivalentes e que pudessem ser identificadas por usuários comuns dos sistemas. A quarta e quinta fases caracterizaram-se pela implementação e teste de um protótipo de ferramenta web, que utilizou os conjuntos de referência obtidos e demais metadados de compa-rações e análises de texto realizadas, como sugestão de uso do modelo. Resultados: A execução do método propiciou a criação de uma tabela de termos representativa dos principais textos utilizados como referência para construção e adaptação de sis-temas de informação em saúde no Brasil, com base em nosso escopo de estudo. A extração de atributos que caracterizam um sistema em níveis de maturidade de 1 a 5 resultou em 5 grafos utilizados como referência e implementados em uma ferramenta de avaliação disponibilizada para uso em http://telemedicina2.unifesp.br/valorarequi-sitos. A avaliação de uso desta ferramenta resultou 72,3 no score SUS. A análise de texto propiciou a identificação de sobreposição de conteúdo e também de dependên-cias entre os documentos. A similaridades média entre pares de documentos é de 5% e máxima de 89%. A quantidade de ligações externas dos documentos analisados é de 440. A densidade dessas ligações entre os documentos é de 0,6%, sinalizando que apesar de descreverem um mesmo tema, não apontam complementariedade mútua por meio de suas referências e bibliografia. A avaliação destas ligações por meio de análise de caminho médio e Betweeness-Centrality identificou as normas mais influ-enciadoras no conjunto. Ao compararmos o conteúdo dos documentos às referências de maturidade construída, a maior similaridade Jaccard obtida foi de 11%. Conclu-são: Os índices de similaridade comparando os documentos de norma contendo re-quisitos SIS comumente utilizados indicam sobreposição de conteúdo. O uso desses textos como vocabulário restrito oferecido aos especialistas para a obtenção de atri-butos sistêmicos que caracterizem referência de maturidade, possibilita que vincule-mos um índice de relevância para cada documento de origem. Ao utilizarmos os do-cumentos que compuseram esse vocabulário como guia para construção ou adapta-ção de um sistema, pode-se portanto, estimar que parcela de características conside-radas maduras estarão presentes no sistema. Baseado nessa relação, podemos ob-servar que nenhum dos documentos avaliados possui relação completa com todos os requisitos apontados nas referências e assim, o uso de múltiplos documentos se faz necessário para a atribuição máxima das características de maturidade. O modelo de avaliação criado utilizando estas referências pôde ser implementado em uma ferra-menta com boa usabilidade.
Introdução: A atividade de avaliar ou diferenciar Sistemas de Informação em Saúde (SIS) é complexa e baseia-se em comparações e análises. Elementos referenciais utilizados nestas tarefas incluem normas, listas de requisitos e outros documentos técnicos. Para esta avaliação considerar um sistema aderente ou equivalente a refe-rência, ele deve atender minimamente essas características. A limitação deste formato de avaliação tradicionalmente utilizado é a alta dependência do professional qualifi-cado capaz de reconhecer tais características no sistema. Objetivo: Investigar o con-teúdo e relações existentes entre normas utilizadas para guiar o desenvolvimento e implementação de funcionalidades de segurança da informação em sistemas de infor-mação em saúde (SIS). Identificar e classificar em diferentes níveis de maturidade, conjuntos de características importantes contidas nestes textos com auxílio de espe-cialistas e assim construir um modelo de referência que possa ser utilizado de forma simplificada para avaliação e comparação de sistemas. Métodos: Cinco fases princi-pais foram conduzidas. Na primeira, identificamos normas candidatas a compor nosso modelo, analisando a produção de entidades normativas frequentemente citadas por desenvolvedores de SIS. Um conjunto de 36 normas nacionais e internacionais foram analisadas na fase seguinte com base nessas citações, das quais extraímos manual-mente uma listagem de suas ligações a documentos externos declaradas em seus textos. Por meio de análise textual automatizada destes documentos (sumarização, clusterização e construção de Vector Space Model e comparações de similaridade Jaccard, Cosine e Simhash), construímos uma base de dados contendo termos repre-sentativos desta coleção e correlacionamentos neste conjunto. Na terceira fase, a base de dados construída foi utilizada para obtenção de elementos textuais que, na opinião de especialistas em segurança da informação, caracterizassem funcionalida-des sistêmicas em 5 diferentes níveis de maturidade ou evolução. Este processo uti-lizou como meio de coleta um site web especialmente desenvolvido para propiciar a ligação e composição destes elementos textuais. Estes elementos, colhidos em for-mato de grafo e representando um mapa mental dos especialistas, formaram nossa referência para comparação. Como etapa final desta fase, os especialistas foram so-licitados de forma presencial a analisar os mapas mentais criados e propor frases de fácil entendimento, que representassem comportamentos sistêmicos equivalentes e que pudessem ser identificadas por usuários comuns dos sistemas. A quarta e quinta fases caracterizaram-se pela implementação e teste de um protótipo de ferramenta web, que utilizou os conjuntos de referência obtidos e demais metadados de compa-rações e análises de texto realizadas, como sugestão de uso do modelo. Resultados: A execução do método propiciou a criação de uma tabela de termos representativa dos principais textos utilizados como referência para construção e adaptação de sis-temas de informação em saúde no Brasil, com base em nosso escopo de estudo. A extração de atributos que caracterizam um sistema em níveis de maturidade de 1 a 5 resultou em 5 grafos utilizados como referência e implementados em uma ferramenta de avaliação disponibilizada para uso em http://telemedicina2.unifesp.br/valorarequi-sitos. A avaliação de uso desta ferramenta resultou 72,3 no score SUS. A análise de texto propiciou a identificação de sobreposição de conteúdo e também de dependên-cias entre os documentos. A similaridades média entre pares de documentos é de 5% e máxima de 89%. A quantidade de ligações externas dos documentos analisados é de 440. A densidade dessas ligações entre os documentos é de 0,6%, sinalizando que apesar de descreverem um mesmo tema, não apontam complementariedade mútua por meio de suas referências e bibliografia. A avaliação destas ligações por meio de análise de caminho médio e Betweeness-Centrality identificou as normas mais influ-enciadoras no conjunto. Ao compararmos o conteúdo dos documentos às referências de maturidade construída, a maior similaridade Jaccard obtida foi de 11%. Conclu-são: Os índices de similaridade comparando os documentos de norma contendo re-quisitos SIS comumente utilizados indicam sobreposição de conteúdo. O uso desses textos como vocabulário restrito oferecido aos especialistas para a obtenção de atri-butos sistêmicos que caracterizem referência de maturidade, possibilita que vincule-mos um índice de relevância para cada documento de origem. Ao utilizarmos os do-cumentos que compuseram esse vocabulário como guia para construção ou adapta-ção de um sistema, pode-se portanto, estimar que parcela de características conside-radas maduras estarão presentes no sistema. Baseado nessa relação, podemos ob-servar que nenhum dos documentos avaliados possui relação completa com todos os requisitos apontados nas referências e assim, o uso de múltiplos documentos se faz necessário para a atribuição máxima das características de maturidade. O modelo de avaliação criado utilizando estas referências pôde ser implementado em uma ferra-menta com boa usabilidade.
Descrição
Citação
CARVALHO JUNIOR, Marcelo Antonio de. Modelo de avaliação de maturidade de sistemas de informação em saúde baseada em representação conceitual de requisitos de segurança da informação. 2016. 69 f. Dissertação (Mestrado) - Escola Paulista de Medicina, Universidade Federal de São Paulo (UNIFESP), São Paulo, 2016.