Collective portfolio: assessment of teaching and learning in health undergraduate courses

Abstract

The potential of the reflective collective portfolio as a method of teaching, learning and assessment needs to be emphasized. The objectives is to assess and validate the quality of the collective portfolio as a method of teaching, learning and assessment in the training of health professional. Portfolio quality was analyzed using an inventory of analysis that was adapted and tested for this study. In total, 70 portfolios were analyzed. The Kappa test was used to analyze reproducibility, confirming the level of agreement between the appraisers. Descriptive analysis and the t-test were performed to compare results from the years the portfolios were produced. The constructs (layout and organization, comprehensive, reflective, critical and creative thought) exhibited Cronbach alpha values above 0.7, confirming the high reliability of the tool. The weighted Kappa test revealed an elevated and significant agreement (+90%) between the appraisers. Notably, certain items and constructs exhibited significant differences over the years. All of the constructs were assessed better from 2011 onwards, when the assessment and self-assessment tool was implemented. The success of the portfolio depends on strategies that provide students with greater clarity and forms of developing the method.

O potencial do portfólio coletivo reflexivo como método de ensino, aprendizagem e avaliação precisa ser enfatizado. Os objetivos consistem em avaliar e validar a qualidade do portfólio coletivo como um método de ensino, aprendizagem e avaliação na formação de profissionais de saúde. A qualidade do portfólio foi analisada utilizando um inventário de análise que foi adaptado e testado para este estudo. No total, foram analisados 70 portfólios. O teste Kappa foi utilizado para analisar a reprodutibilidade, confirmando o nível de concordância entre os avaliadores. Análise descritiva e teste t foram realizados para comparar a construção do portfólio nos diferentes anos. Os construtos (layout e organização, compreensão, reflexão, crítica e pensamento criativo) apresentaram valores de alfa de Cronbach acima de 0,7, confirmando a alta confiabilidade da ferramenta. O teste Kappa ponderado revelou uma concordância elevada e significativa (+ 90%) entre os avaliadores. Notavelmente, certos itens e construtos apresentaram diferenças significativas ao longo dos anos. Todas as construções foram avaliadas melhor a partir de 2011, quando a ferramenta de avaliação e autoavaliação foi implementada. O sucesso do portfólio depende de estratégias que proporcionem aos alunos maior clareza e formas de desenvolver o método.