Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery

Abstract

Objective: To evaluate the evolution of scientific papers published on digestive tract surgery in Brazilian journals in 20 years and examine whether the level of evidence in the studies has improved, as well as the incorporation of statistical procedures and their proper application. Methods: We selected all original articles related to digestive tract surgery published in the years of 1987 and 2007 in 4 leading Brazilian surgical journals. Studies were divided according to the level of evidence (I: prospective, controlled and randomized, II: prospective without control or randomization and III: retrospective) and compared them to assess whether there was an improvement in the level of evidence between these two years surveyed. We also assessed whether there was increased use of analytical statistics and correct application of statistical procedures. Results: Comparing the articles published in 1987 with those of 2007, we observed no improvement with respect to the level of evidence, with more than half of the articles published being case series and retrospective studies (56.14%). There has been a significant increase in the use of analytical statistics (70.4% in 2007 vs. 40% in 1987) in the 20 years, however 16.7% of the studies published in 2007 did not correctly apply or adequately describe the statistical analyses used. Conclusion: In this study, we observed no improvement in the level of evidence presented in publications on digestive tract surgery in the last 20 years. There was an increased use of statistical analysis, but there is a need to correctly apply statistical procedures.

Objetivo: Avaliar a evolução dos trabalhos publicados sobre cirurgia do aparelho digestivo em revistas brasileiras nos últimos 20 anos, observando se houve melhora no nível de evidência destes trabalhos além da incorporação de procedimentos estatísticos e a sua correta aplicação. Métodos: Selecionamos todos os artigos originais relacionados à cirurgia do aparelho digestivo publicados nos anos de 1987 e 2007 em quatro revistas cirúrgicas nacionais de renome. Os estudos foram divididos de acordo com o nível de evidência (I: prospectivo, randomizado e controlado, II: prospectivo sem controle ou randomização e III: retrospectivo) e comparados para avaliar se houve melhora do nível de evidência entre os dois anos avaliados. Também observamos se ocorreu aumento no uso de estatística analítica e a correta aplicação dos procedimentos estatísticos. Resultados: Comparando os artigos publicados em 1987 com os de 2007, não observamos melhora no nível de evidência, com mais de metade dos artigos publicados tratando de séries de casos e estudos retrospectivos (56,14%). Houve um aumento significante na utilização de estatística analítica (70,4% em 2007 vs. 40% em 1987) nos últimos 20 anos, mas 16,7% dos estudos publicados em 2007 não aplicavam corretamente ou descreviam adequadamente a análise estatística utilizada. Conclusão: Neste estudo observamos que não houve melhora no nível de evidência das publicações brasileiras relacionadas à cirurgia do aparelho digestivo nos últimos 20 anos. Houve aumento do uso de estatística analítica, porém existe a necessidade de se observar a correta aplicação dos procedimentos estatísticos.