Objective structured clinical evaluation as an assessment method for undergraduate chest physical therapy students: a cross-sectional study

Abstract

Background: The Objective Structured Clinical Evaluation (OSCE) has been considered a reliable method for the evaluation of students' clinical skills in health sciences, but it has been rarely applied in the teaching of physical therapy. Objective: To assess the use of the OSCE as a tool to evaluate the abilities of undergraduate chest physical therapy students and to verify the internal consistency of the OSCE exam. Methods: Forty-seven students were evaluated using two types of exams: the traditional exam and the OSCE. Independent educators elaborated the exams. Each question (traditional) or station (OSCE) was given a score ranging from 0.0 to 2.0; being 10.0 the highest possible score of both exams. The relationship between the total score that were obtained from both exams was analyzed using Bland-Altman analysis and Pearson's correlation coefficient. The internal consistency of the OSCE stations was evaluated by four experienced chest physical therapists and it was tested using Cronbach's alpha. Results: The students average score on the OSCE ranged from 4.4 to 9.6. The internal consistency of the OSCE stations was considered good (0.7). The agreement between exams was analyzed, and it was determined that the exams are not comparable. Examiners also observed a low agreement between the two exams (r=-0.1; p=0.9). Conclusion: Our results showed that OSCE and traditional exams are not interchangeable. The OSCE exam had good internal consistency and is able to evaluate aspects that the traditional exam fails to evaluate.

Contextualização: A avaliação clínica objetiva e estruturada (OSCE) é considerada um método confiável para avaliar as competências clínicas de estudantes na área de saúde, entretanto tem sido pouco aplicada no ensino de fisioterapia. Objetivo: Analisar o uso da OSCE como uma ferramenta para avaliar as habilidades dos alunos de graduação em fisioterapia respiratória e verificar sua consistência interna. Métodos: Quarenta e sete alunos foram avaliados por meio de dois exames: tradicional e OSCE. As provas foram elaboradas por educadores independentes. Para cada questão (tradicional) ou estação (OSCE), atribuiu-se uma pontuação de 0 a 2. A pontuação máxima possível em ambos os exames foi de 10. As relações entre as pontuações obtidas nos dois exames foram analisadas por meio de Bland-Altman e Correlação de Pearson. A consistência interna das estações da OSCE foi avaliada por quatro fisioterapeutas experientes e foi testada pelo Alfa de Cronbach. Resultados: A pontuação média dos estudantes na OSCE oscilou entre 4,4 e 9,6. A consistência interna das estações da OSCE foi considerada boa (0,7). A concordância entre os exames foi analisada, e determinou-se que os exames não são comparáveis. Os examinadores também observaram uma baixa concordância entre os dois exames (r=-0,1, p=0,9). Conclusão: Nossos resultados mostraram que a OSCE e o exame tradicional não são intercambiáveis. O exame da OSCE teve uma boa consistência interna, sendo capaz de avaliar aspectos que o exame tradicional não avalia.