Autores

5786
Breno Bernard Nicolau de França
2458,296
5787
2458,296

Informações:

Publicações do PESC

Título
Guidelines for Experimentation with Dynamic Simulation Models in the Context of Software Engineering
Linha de pesquisa
Engenharia de Software
Tipo de publicação
Tese de Doutorado
Número de registro
Data da defesa
13/5/2015
Resumo

Estudos Baseados em Simulação (EBS) têm se mostrado uma interessante abordagem de pesquisa para a Engenharia de Software (ES). Entretanto, é possível identificar a falta de informações relevantes nos relatos desse tipo de estudos encontrados na literatura técnica, dificultando o entendimento dos procedimentos e resultados apresentados, bem como sua repetição. Além das limitações de espaço nas publicações, algumas informações não são apresentadas, aparentemente, devido às questões metodológicas não abordadas na condução dos estudos. Estas e outras questões foram identificadas na condução de uma quasi-Revisão Sistemática da Literatura que, após a evolução de uma versão preliminar, resultou na proposta de um conjunto de 30 diretrizes para planejamento e relato de EBS no contexto da ES, cujo objetivo é prover direcionamentos sobre aspectos a serem tratados em diferentes estágios de um EBS, concentrando-se na utilização de modelos de simulação dinâmicos e na identificação e mitigação de potenciais ameaças à validade desse tipo de estudo. O conjunto proposto foi organizado com base em resultados de sucessivos estudos experimentais, utilizando diferentes estratégias de pesquisa. Os resultados das primeiras avaliações indicam que o conjunto de diretrizes proposto é coerente e completo em relação aos aspectos que um EBS deve considerar no planejamento e relato. Ainda, um estudo de observação permitiu caracterizar as diretrizes quanto ao apoio na elaboração e revisão de protocolos para EBS, indicando resultados positivos para eficácia e percepção de utilidade, mas com possibilidades de melhoria principalmente relacionadas à facilidade de utilização. Assim, foi proposta uma nova versão deste conjunto, a qual necessita de avaliações adicionais, sobretudo da comunidade de ES na discussão e aplicação de EBS. 

Abstract

Simulation-based studies (SBS) have become an interesting investigation approach for Software Engineering (SE) research and practice. However, the reports on experiments with dynamic simulation models in the technical literature lack relevant information, hampering the full understanding of the reported procedures and results, as well as their replicability. Apart from the limitations on conference and journal papers length, some of the relevant information seems to be missing due to methodological issues not considered when conducting such studies. These issues were identified in a quasi-Systematic Literature Review and, after evolving the preliminary set, lead to a set of 30 planning and reporting guidelines for SBS in the context of SE. This set of guidelines aims at providing orientation regarding relevant aspects to be considered in different stages of the SBS lifecycle, focusing on the use of dynamic simulation models and on the identification and mitigation of potential validity threats. The development of the guidelines is based on results from successive experimental studies, adopting different research strategies. Preliminary evaluation results indicate a complete and coherent set of guidelines as to aspects that should be considered in SBS planning and reporting. Furthermore, an observational study allowed characterizing the simulation guidelines w.r.t. the support to the elaboration and review of SBS protocols, indicating positive results regarding their effectiveness and usefulness, and improvement opportunities mainly related to ease of use. Therefore, we proposed a new version of this set of guidelines, which requires additional assessment, especially from the SE community on the discussion and application of SBS. 

Topo