Objective structured clinical evaluation as an assessment method for undergraduate chest physical therapy students: a cross-sectional study
Carregando...
Citações na Scopus
8
Tipo de produção
article
Data de publicação
2011
Título da Revista
ISSN da Revista
Título do Volume
Editora
ASSOCIACAO BRASILEIRA PESQUISA POS-GRADUACAO FISIOTERAPIA-ABRAPG-FT
Autores
SOUZA, Flavia F. P.
Citação
REVISTA BRASILEIRA DE FISIOTERAPIA, v.15, n.6, p.481-486, 2011
Resumo
Background: The Objective Structured Clinical Evaluation (OSCE) has been considered a reliable method for the evaluation of students' clinical skills in health sciences, but it has been rarely applied in the teaching of physical therapy. Objective: To assess the use of the OSCE as a tool to evaluate the abilities of undergraduate chest physical therapy students and to verify the internal consistency of the OSCE exam. Methods: Forty-seven students were evaluated using two types of exams: the traditional exam and the OSCE. Independent educators elaborated the exams. Each question (traditional) or station (OSCE) was given a score ranging from 0.0 to 2.0; being 10.0 the highest possible score of both exams. The relationship between the total score that were obtained from both exams was analyzed using Bland-Altman analysis and Pearson's correlation coefficient. The internal consistency of the OSCE stations was evaluated by four experienced chest physical therapists and it was tested using Cronbach's alpha. Results: The students average score on the OSCE ranged from 4.4 to 9.6. The internal consistency of the OSCE stations was considered good (0.7). The agreement between exams was analyzed, and it was determined that the exams are not comparable. Examiners also observed a low agreement between the two exams (r=-0.1; p=0.9). Conclusion: Our results showed that OSCE and traditional exams are not interchangeable. The OSCE exam had good internal consistency and is able to evaluate aspects that the traditional exam fails to evaluate.
Contextualização: A avaliação clínica objetiva e estruturada (OSCE) é considerada um método confiável para avaliar as competências clínicas de estudantes na área de saúde, entretanto tem sido pouco aplicada no ensino de fisioterapia. Objetivo: Analisar o uso da OSCE como uma ferramenta para avaliar as habilidades dos alunos de graduação em fisioterapia respiratória e verificar sua consistência interna. Métodos: Quarenta e sete alunos foram avaliados por meio de dois exames: tradicional e OSCE. As provas foram elaboradas por educadores independentes. Para cada questão (tradicional) ou estação (OSCE), atribuiu-se uma pontuação de 0 a 2. A pontuação máxima possível em ambos os exames foi de 10. As relações entre as pontuações obtidas nos dois exames foram analisadas por meio de Bland-Altman e Correlação de Pearson. A consistência interna das estações da OSCE foi avaliada por quatro fisioterapeutas experientes e foi testada pelo Alfa de Cronbach. Resultados: A pontuação média dos estudantes na OSCE oscilou entre 4,4 e 9,6. A consistência interna das estações da OSCE foi considerada boa (0,7). A concordância entre os exames foi analisada, e determinou-se que os exames não são comparáveis. Os examinadores também observaram uma baixa concordância entre os dois exames (r=-0,1, p=0,9). Conclusão: Nossos resultados mostraram que a OSCE e o exame tradicional não são intercambiáveis. O exame da OSCE teve uma boa consistência interna, sendo capaz de avaliar aspectos que o exame tradicional não avalia.
Contextualização: A avaliação clínica objetiva e estruturada (OSCE) é considerada um método confiável para avaliar as competências clínicas de estudantes na área de saúde, entretanto tem sido pouco aplicada no ensino de fisioterapia. Objetivo: Analisar o uso da OSCE como uma ferramenta para avaliar as habilidades dos alunos de graduação em fisioterapia respiratória e verificar sua consistência interna. Métodos: Quarenta e sete alunos foram avaliados por meio de dois exames: tradicional e OSCE. As provas foram elaboradas por educadores independentes. Para cada questão (tradicional) ou estação (OSCE), atribuiu-se uma pontuação de 0 a 2. A pontuação máxima possível em ambos os exames foi de 10. As relações entre as pontuações obtidas nos dois exames foram analisadas por meio de Bland-Altman e Correlação de Pearson. A consistência interna das estações da OSCE foi avaliada por quatro fisioterapeutas experientes e foi testada pelo Alfa de Cronbach. Resultados: A pontuação média dos estudantes na OSCE oscilou entre 4,4 e 9,6. A consistência interna das estações da OSCE foi considerada boa (0,7). A concordância entre os exames foi analisada, e determinou-se que os exames não são comparáveis. Os examinadores também observaram uma baixa concordância entre os dois exames (r=-0,1, p=0,9). Conclusão: Nossos resultados mostraram que a OSCE e o exame tradicional não são intercambiáveis. O exame da OSCE teve uma boa consistência interna, sendo capaz de avaliar aspectos que o exame tradicional não avalia.
Palavras-chave
physical therapy, clinical competence, educational measurement, professional competence, program evaluation, fisioterapia, competência clínica, avaliação educacional, competência profissional, avaliação de programas, projetos de saúde
Referências
- Agarwal Anurag, 2010, Indian J Radiol Imaging, V20, P83, DOI 10.4103/0971-3026.63040
- Aggarwal R, 2010, QUAL SAF HLTH CAR S2, V19, P34, DOI 10.1136/QSHC.2009.038562
- Newble D, 2004, MED EDUC, V38, P199, DOI 10.1046/j.1365-2923.2004.01755.x
- Schuwirth LWT, 2003, BMJ-BRIT MED J, V326, P643, DOI 10.1136/bmj.326.7390.643
- Turner JL, 2008, FAM MED, V40, P574
- Martenson D, 1999, TEACH LEARN MED, V11, P26, DOI 10.1207/S15328015TLM1101_7
- HARDEN RM, 1979, MED EDUC, V13, P41
- Wass V, 2001, LANCET, V357, P945, DOI 10.1016/S0140-6736(00)04221-5
- Barman A, 2005, ANN ACAD MED SINGAP, V34, P478
- Bartfay Wally J, 2004, Can Nurse, V100, P18
- Gerrow Jack D, 2003, J Dent Educ, V67, P896
- Ilic D, 2009, BMC MED EDUC, V9, DOI 10.1186/1472-6920-9-53
- Larsen T, 2008, EUR J DENT EDUC, V12, P2, DOI 10.1111/j.1600-0579.2007.00449.x
- Linn R. L., 2000, MEASUREMENT ASSESSME
- Mavis BE, 2002, MED EDUC, V36, P408, DOI 10.1046/j.1365-2923.2002.01241.x
- MILLER GE, 1990, ACAD MED, V65, pS63, DOI 10.1097/00001888-199009000-00045
- Miller JK, 2010, J MARITAL FAM THER, V36, P320, DOI 10.1111/j.1752-0606.2009.00143.x
- Miller Patricia A., 2010, Physiotherapy Theory and Practice, V26, P12, DOI 10.3109/09593980802634458
- Nayer M, 1993, Physiother Can, V45, P171
- Pender FT, 2004, J HUM NUTR DIET, V17, P17, DOI 10.1046/j.1365-277X.2003.00474.x
- RETEGUIZ J, 1999, MASTERING OSCE CSA
- Roberts J, 1990, Can J Nurs Res, V22, P51
- Simpson E. J., 1972, CLASSIFICATION ED OB
- Troncon Luiz Ernesto de Almeida, 2004, Sao Paulo Med J, V122, P12, DOI 10.1590/S1516-31802004000100004
- Wessel Jean, 2003, J Allied Health, V32, P266