多源反馈评估机制在护理临床教学中的运用*(4)
3.4 学生自我评估的正确认知
自我评估作为多源反馈评估体系的信息来源也是影响效用的重要因素。自我评估与他人评估可能存在不一致现象从而形成“过高、过低和一致性评价”。尽管如此,自我评估使被评估者主动参与多源反馈评估过程,结果更易被评估者接受。在结构化反馈意见表中,可以将自我评价与他人评价的反馈结果进行比较分析,建立评价一致性四分类和六分类模型,将评价一致性定义为评估者的自我认知能力,可帮助其了解并承认评价者的认知,以及这种认知对临床实践产生的影响。如果他人评估和自我评估的认知程度一致,可进一步支持自我评估的准确性[19]。
综上所述,有效的信息反馈是护理教学质量监控体系的重要组成部分,多源反馈评估体系通过多源性信息来源和结构式反馈,有助于教师全方位了解临床实践学生的学习情况和存在的问题,并制订相适应的学科教育目标和教学计划。
[1] ENGSTR?M M,L?FMARK A,VAE K J U,et students′ perceptions of using the clinical education assessment tool AssCE and their overall perceptions of the clinical learning environment-across-sectional correlational study[J].Nurse Educ Today,2017,51:63-67.
[2] KIESSLING C,TSIMTSIOU Z,ESSERS G,et principles to consider when designing a clinical communication assessment program[J].Patient Educ Couns,2017,100(9):1762-1768.
[3] 聂鑫,谌贵兵,鄢鹏,等.多源反馈评估机制在口腔科学在线课件教学质量评估的应用浅析[J].中国高等医学教育,2017(9):46-47,86.
[4] 刘丽丽,张喜维.多源反馈法在护理领域应用的研究进展[J].护理研究,2017,31(15):1801-1804.
[5] 王欣,周勇,蔡莹,等.高等医科院校临床教师教学绩效评价指标的构建[J].重庆医学,2017,46(29):4171-4172.
[6] WESNER A R,PIERCE R,SLATER N,et of a regional pharmacy residency teaching and learning curriculum program[J].Curr Pharm Teach Learn,2016,8(4):469-476.
[7] VIOLATO C,LOCKYER J M,FIDLER in performance:a 5-year longitudinal study of participants in a multi-source feedback programme[J].Med Educ,2008,42(10):1007-1013.
[8] BRINKMAN W B,GERAGHTY S R,LANP HEAR B P,et of resident communication skills and professionalism:a matter of perspective[J].Pediatrics,2006,118(4):1371-1379.
[9] 李雁平,金凤娟,高洁,等.360度反馈评价法在高职护理实习生考核中的应用[J].中华护理教育,2014,11(12):931-934.
[10] 韩卫丽.360度评估法在临床护生带教中的实践及成效[J].现代临床护理,2014,13(4):69-72.
[11] FANG J T,KO Y S,CHIEN C C,et medical students′ performance in core competencies using multiple admission programs for colleges and universities:from the perspective of multi-source feedback[J].Biomed J,2013,36(4):188-197.
[12] ILGEN D R,FISHER C D,TAYLOR M of individual feed on behavior in organizations[J].J Appl Psychol,1979,64(4):349.
[13] LOCKYER J,BLACKMORE D,FIDLER H,et al.A study of a multi-source feedback system for international medical graduates holding defined licences[J].Med Educ,2010,40(4):340-347.
[14] HEMALATHA R,SHAKUNTALA B S.Using multiple assessors to evaluate core competencies of nursing students:a 360° evaluation approach[J].J Health Allied Sci NU,2013,3(3):13-17.
[15] 马新翠,李宝华,田琨.临床护理教学督导评估过程体验与思考[J].中国医学教育技术,2018,32(1):98-102.
[16] 张黎,杨光耀,季湘年.综合医院临床教师教学绩效考核模式研究[J].西北医学教育,2015,23(1):145-147.
[17] MURPHY D J,BRUCE D A,MERCER S W,et al.The reliability of workplace-based assessment in postgraduate medical education and training:a national evaluation in general practice in the United Kingdom[J].Adv Health Sci Educ Theory Pract,2009,14(2):219-232.
[18] WOOD L,WALL D,BULLOCK A,et al.Team observation:a six-year study of the development and use of multi-source feedback (360-degree assessment) in obstetrics and gynaecology training in the UK[J].Med Teach,2006,28(7):e177-184.
[19] VIVEKANANDA-SCHMIDT P,MACKILLOP L,CROSSLEY J,et al.Do assessor comments on a multi-source feedback instrument provide learner-centred feedback[J].Med Educ,2013,47(11):1080-1088.
护理临床实践教学是促进护生将医学基础知识与临床实践工作相融合的重要教学活动,也是临床思维能力、人文素质及品德教育培养的重要阶段。护理临床实践教学作为联系护理基础理论和临床医学的桥梁和中间环节,其主要任务是使护生充分理解和掌握护理临床操作必需的理论知识,指导专业技能、学术素养和医护及护患沟通能力是提高护理教育质量始终关注的问题,其中科学、合理地反馈护理临床实践工作能力是护理临床教育评估体系的核心[1]。传统临床实践质量评估方式大多由带教老师负责,由于个人观点或评估角度问题,存在收集信息不全、评估结果不够客观的缺陷[2]。而多源反馈评估体系是由与被评价者有密切关系的人,包括被评价者的上级、同事、护工和患者等,分别匿名对被评价者进行评核,被评价者自己也对自己进行评核。其特质在于由主体相关联的多个群体参与,更注重个人能力分析,通过反馈机制以达到持续性改进而受到密切关注[3]。它以创建公正的评估环境、运用有效的评估工具、建立规范的评估程序和统计分析结构化反馈为核心理念,主要用于绩效评估和调查研究。近年来医学教育研究者也逐渐认识到多源反馈评估在教学质量评估体系中的应用价值。在临床护理教学中,以加强素质教育为基础,培养护生创新精神和实践能力为重点的多源反馈临床实践评估体系也逐步开始建立[4]。这种全方位的教学评价与反馈模式从根本上解决了传统教学质量保障模式和评估体系的不足之处,并可作为科室护理质量管理PDCA循环中检查分析的重要环节,构建护理质量管理的标准化、科学化循环体系。因此,本文对近年来多源反馈评估体系在临床实践应用情况、影响因素及发展趋势进行探讨,并结合笔者在临床实践教学工作的应用经验,以期对护理临床教学质量有一定的启示和借鉴作用。1 护理临床教学中多源反馈评估体系的发展前景1.1 护理临床教学体系与实践能力评价要求与理论知识教学相比,护理临床教学更注重基本护理临床能力的提高,实现护理操作技术、操作步骤的程序化和规范化;要求在护理实践中不断加强医学素质培养及协同能力的训练;学会运用临床思维,明确患者要求,树立良好的护士形象;能够正确面对压力,合理调节情绪。护理临床实践能力水平的高低也是护理临床教学体系质量评价的重要指标。临床实践能力评价是基于系统观察的基础上,通过评价内容、评价指标、评价标准等元素,对临床实践起着较强的引导、影响。对临床实践中护生能力的评估,涉及临床实践所必需的一般技能和完成临床工作所必需的特殊技能,目前常规教学评估体系难以衡量学生是否达到临床实践的教学目的和效果,使得实践教学质量和教学评估成为高等护理医学教育的薄弱环节[5]。随着教学改革的深入,对教学评价体系也在进行新的探索和尝试。新的评价体系要求涵盖医学基础和临床知识技能,注重学生的接受程度[6],特别是相关执业和资格考试由单纯侧重理论知识记忆考核逐渐转向对临床思维、技能实践的掌握测试,新的教育思想、新的教学目标需要有新的临床实践评价体系模式 多源反馈评估体系在教学结构模式的探索国内外相关研究人员对于多源反馈评估体系在临床教学活动中的可能性和效能都进行了有益的探索。质量评估体系的最终目的是通过信息反馈实现促进教学实践的不断改进,即PDCA质量管理环节中的检查阶段和处理阶段,检查阶段通过多源反馈评估体系对护生是否符合预期结果进行反馈。处理阶段根据多源反馈评估结构化反馈表分析结果,并采取相应的措施。VIOLATO等[7]将多源信息形成结构评估报告反馈给研究对象,5年持续性研究证实,多源反馈评估可以促进被评估者持续改进工作方式和工作态度。BRINKMAN等[8]对儿科临床实践的学生采用常规反馈和多源反馈比较,发现二者在促进沟通技巧和专业技能的效能方面有明显差异,多源反馈尤其在医患沟通、任务完成时效性及责任心方面可实现学生的持续性改进。这些结果表明多源反馈评估体系有别于以教师为中心的常规专家考评机制,更侧重于以学生为中心的教学质量评估,以多源分析和自我评价模式为特质的结构式反馈表有利于护生发现临床实践中的自身不足,激发护生学习的主动性、创造性和内在潜力。在新教学结构模式中,教师是学习过程的组织者和主导者,多源反馈评估体系形成的信息反馈也有利于教师教学理念的转变,促进教学质量的改进。李雁平等[9]将多源反馈评估体系应用于高职护理实习生的考核中,结果发现多源反馈评估体系有助于临床教师获得比较客观的评价资料,帮助学生得到相对全面的反馈信息。韩卫丽[10]研究发现多源反馈法有助于改进教学中的不足,全面提高护理学生的临床综合能力。在临床实践活动中,笔者采用多源反馈评估体系对护生在科室临床实践情况进行评估,由既往单一带教老师评估优化为带教老师、医生及患者共同评估。虽然多源反馈评估部分数据依赖于非专业人员及非技术技能进行评估,并对医学知识和护理技术操作的能力评估相对欠缺,但由于评估者来自不同层面,收集到的信息是全方位、多角度的,减少了误差,可信度高,能较为公正地评价被评估者。因此,多源反馈评估体系较其他常规形式评估如过程评估、客观结构化临床考试评估等更准确。2 多源反馈评估体系的基本要素及流程2.1 核心与要素多源评价的核心目的是通过对员工多方面的评价,最终提升其绩效,不能简单认为是评价者由单一性过渡为多重性。多源反馈评估体系本质上是一种管理考核工具,可以有效地提高管理者的自我意识,改善团队绩效,建立管理者与上级、人力资源部之间的沟通桥梁。由于多源反馈评估体系自身的特质和要求,在英国已作为医学生培训效果的考核指标和证明材料,纳入实践训练的常规评估体系,并根据反馈信息适时调整学生未来教学规划[11]。正确认识和运用多源反馈评估体系首先应了解其基本要素及结构组成,多源反馈评估体系的基本流程要素包括创建公正的评估环境、运用有效的评估工具、建立规范的评估程序和统计分析与结构化反馈。其中创建公正的评估环境是规避单一主体评价误差的有效方式;评估工具可以保证多源反馈评估体系的统一性和标准化;而统计分析与结构化反馈便于了解护生临床实践效果与目标达成情况。自我评价也是多源反馈评估体系中重要的一部分,用以发现自评和他评之间的差异。在实际运用多源评价时,应根据科室特点及护生发展需求,设立多重而清晰的多源评价目 评价源相对于传统的专家评价,多源反馈评估体系的最大特点就是拥有不同的评价源。评价源是实施和执行多源反馈评估质量评价工作的主体。不同行业和学科多源反馈评估体系的评价源并不一致,概括地说,评价来源主要包括上级、同级、下级及被评价者本身,评价源的构成为多源反馈评估体系提供了多维度的反馈信息。ILGEN等[12]将多源反馈评估法的评价源明确地分为3个体系,第一体系是来自包括上级、同事、直接下属、内部客户等在内的直接接触人群的评价;第二体系是来自工作环境的反馈,包括工作本身及其追加反馈;第三体系是评价对象的自我评价。这种划分为多源反馈评估体系的实施提供了具体可行的指引。在对护生的能力评估中,同事、非医务人员、管理者纳入第一体系,患者纳入第二体系,自我评估纳入第三体系。多源反馈评估体系的信息来源于多源反馈,一方面多角度评价避免了单一评价结果受制于评价者的偏见与武断,但另一方面,多源性由于评价者的角度和水平不一,各类评价源所关注的重点也有差异,因而带来了不同评价源间一致性的问题。这也增加了信息数据的不确定性。只有信息来源置于可信区间,才能够得出更有效和更可靠的结果,即具有较高的可信度与效率。在多源反馈评估体系中,多角度的信息来源是否能保持内部的一致性也通过统计学得到了进一步验证,LOCKYER等[13]通过Cronbach′s α检验,说明该评估体系具有较高的内部一致性 评价工具对护生的临床实践进行评估,首先应设计问卷作为评价工具,一般多采用Likert 5点或7点计分问卷,评价者通过等级量表选择相应的分值,评量指标上进行梯度量化设计。其中谢菲尔德同行审查评估工具(SPRAT)在多源反馈评估体系中得到广泛认同。评价工具在内容设计上,应根据科室特点、专业特色、临床实践对象确定,从问卷的内容来力求客观化、公正化、细节化、多样化;评价工具在格式设计上,应包括自我主观评估和他人客观评估,通过量化评定结果和不同评价者的对照研究,提供指导性意见。对于护理临床实践而言,多源反馈评估体系的评估工具要求重点体现护生在不同环境下运用知识和技能的能力,注重正确的价值观和行为准则。通过多源性分析反馈,从不同角度发现护生的不足或缺陷,通过PDCA循环模式提示临床教学工作的改进措施。对于护生进行评价工具设计时,可以根据实际情况设计不同维度的SPRAT评价表。HEMALATHA等[14]将多源反馈评估体系用于对护理毕业生的核心能力评估,其中SPRAT评估表将素质评估、专业护理实践、治疗性沟通和人际关系4个维度用于注册护士和患者评价表,而在自评和同行评价表加入知识的应用、治疗协作实践、护理服务管理、研究应用和专业进展等维度的评估。笔者针对不同评价源体系在评价工具的内容设置上也有所侧重,第一体系侧重于管理能力、协同能力和临床思维能力,第二体系侧重于临床护理技能及医德医风,第三体系侧重于自我认知水平和胜任能力评价。这种基于多源分析基础上的评价工具从多个角度、多种特性出发,客观而真实反映了患者的需求、学生的医患沟通能力及人文素养、医务人员行为标准和护生的行为?结构式反馈只有将多源反馈评估体系获取的反馈信息准确提供给被评价者,才能体现评估对护生临床实践工作的促进作用。多源反馈评估体系中信息反馈模式多采用结构式反馈,该模式包括资料整理和反馈行为模式的结构效度测试和结构式评价表。资料整理涵盖收集和分析资料,主要采用问卷收集到的数据信息,计算不同评价者问卷分数的平均值,采用统计学分析自我评估与他人评估的差异。反馈行为模式的结构效度测试一般采用自我分析对比分析图、不同体系认知水平图、综合雷达图等形式的图表。结构式评价报告表主要根据不同来源评估者的意见、数据信息的进一步分析及临床实践工作的总结评语[15]。在临床实践活动中,结构式反馈并非教师或学生绩效考核的数据指标,其应用价值在于服务并促进评估者临床综合能力的改进,护生通过结构效度测试可以了解不同维度的自我认知水平和胜任能力;通过对他人评价和自我评价的比较分析,多方位了解自身问题,达到正确认识自我、提高自我认识的目的。根据这一特质,笔者也将多源反馈评估体系结构式反馈作为教学质量PDCA循环的重要环节和评价指标,根据结构式反馈的数据结果分析对研究对象的持续改进作用,具有明显促进应纳入标准化,需进一步调整内容可纳入下一个PDCA循环。3 多源反馈评估体系的影响因素及解决途径与单一来源的评估体系相比,多源反馈评估体系的可靠性及有效性在不同行业已得到认同,但其效用受限于评价者的评价态度、知识背景和功利关系,基于绩效评估模式的多源反馈评估体系是否能完全适用于临床教学评估仍需探讨。不同领域的相关研究对该评估机制的研究结果并不一致。争议的焦点主要集中在以下几个方 多源反馈信息是否客观公正第一体系的评估者由工作中与被评价者关系比较密切、联系比较紧密的人构成,评价者和被评价者的相互利益关系严重影响教学评价结果。研究者发现人际关系和亲疏区别,容易产生晕轮效应和宽大效应。其中,晕轮效应指在被评价者某种特征的影响下,形成固有的印象,从而产生以偏概全的认知偏误;而宽大效应则指评价者在对他人的评价过程中,相对于负面评价,更倾向于正面的肯定与夸赞。当MSF评估主要用于行政管理和绩效考核时,评价者就会考虑到个人利益得失,所做的评价相对来说难以客观公正。对评价者培训的可行性、有效性进行调查,发现超过半数人员认为如何提高评估者的公正性是影响结果准确性的关键问题,因此,有必要应用概括性理论研究来确定可能发生的潜在错误来源并进一步纠正[16] 学生对多源反馈评估体系的认同程度和可接受性护生对多源反馈评估体系的认同程度和可接受性是影响其有效性的重要指标。多源反馈评估体系更注重以学生为中心的教学质量评估,评价护生在临床实践中的特定医疗行为,反映护生的医疗准则与价值观,以期从不同角度与途径探求护生在临床实践中存在的问题,促进护生临床实践能力的持续改进和临床技能的持续提高。但前提是受试者对多源反馈评估体系的重视程度及对应的改进措施是否愿意接受,只有根据反馈意见进行持续性改进才能产生积极作用。研究者将认同程度和可接受性分为:(1)感知反应,对结构性反馈意见的准确性、公平性及有用性反应;(2)情感反应,包括对反馈意见满意度,尤其是自我评价与多源分析具有较大差距时可能产生积极情绪或者消极情绪;(3)行为反应,涉及PDCA的持续性改进,包括绩效改革和近期目标的设立。MURPHY等[17]针对多源反馈评估体系对评估人员态度及行为改变模式的相关性进行研究,结果证实评估者认为多源反馈评估体系是非常准确和可信的,后期的反馈效果就越佳;反之如果评估者对反馈问题不重视,对其认同度及认识有所欠缺,即使后期评估出现工作绩效的改进也认为与其无关。因此,当被评价者感知评价结果是准确、公平且有效的,才能表现出较高的满意度及积极的情绪,从而增强其行为反应,具体表现为持续性改进的信心和 多源反馈评估的时效性常规临床实践教学评估以教师作为主导,更多用于教学总结和学生评语,缺乏对教学质量评估的长期观察,而多源反馈评估体系的目的在于促进护生认知水平并实现持续性改进。多源反馈评估体系的时效性不仅与评价体系相关,而且与评估体系的应用时限和应用频率有关,一般认为3~12个月作为多源反馈评估体系的循环周期更为合理。对于护生的临床实践评估,研究者也倾向于长期持续性模式,WOOD等[18]对妇产科临床实习生进行了为期6年、6个月为1个周期的结构效度测试,研究表明无论教师还是学生都认为结构效度测试后给予的反馈信息比之前给予的反馈信息更有价值和恰当。多源反馈评估体系对学生教育的时效影响,教学研究者也进行细致的分析,通过不同临床实践学生分析发现,高年资学生得分明显高于低年资学生,其主要原因在于高年资学生通过长期持续性反馈,已认识到反馈的应用价值,能合理根据结构化反馈意见进行调整 学生自我评估的正确认知自我评估作为多源反馈评估体系的信息来源也是影响效用的重要因素。自我评估与他人评估可能存在不一致现象从而形成“过高、过低和一致性评价”。尽管如此,自我评估使被评估者主动参与多源反馈评估过程,结果更易被评估者接受。在结构化反馈意见表中,可以将自我评价与他人评价的反馈结果进行比较分析,建立评价一致性四分类和六分类模型,将评价一致性定义为评估者的自我认知能力,可帮助其了解并承认评价者的认知,以及这种认知对临床实践产生的影响。如果他人评估和自我评估的认知程度一致,可进一步支持自我评估的准确性[19]。综上所述,有效的信息反馈是护理教学质量监控体系的重要组成部分,多源反馈评估体系通过多源性信息来源和结构式反馈,有助于教师全方位了解临床实践学生的学习情况和存在的问题,并制订相适应的学科教育目标和教学计划。参考文献[1] ENGSTR?M M,L?FMARK A,VAE K J U,et students′ perceptions of using the clinical education assessment tool AssCE and their overall perceptions of the clinical learning environment-across-sectional correlational study[J].Nurse Educ Today,2017,51:63-67.[2] KIESSLING C,TSIMTSIOU Z,ESSERS G,et principles to consider when designing a clinical communication assessment program[J].Patient Educ Couns,2017,100(9):1762-1768.[3] 聂鑫,谌贵兵,鄢鹏,等.多源反馈评估机制在口腔科学在线课件教学质量评估的应用浅析[J].中国高等医学教育,2017(9):46-47,86.[4] 刘丽丽,张喜维.多源反馈法在护理领域应用的研究进展[J].护理研究,2017,31(15):1801-1804.[5] 王欣,周勇,蔡莹,等.高等医科院校临床教师教学绩效评价指标的构建[J].重庆医学,2017,46(29):4171-4172.[6] WESNER A R,PIERCE R,SLATER N,et of a regional pharmacy residency teaching and learning curriculum program[J].Curr Pharm Teach Learn,2016,8(4):469-476.[7] VIOLATO C,LOCKYER J M,FIDLER in performance:a 5-year longitudinal study of participants in a multi-source feedback programme[J].Med Educ,2008,42(10):1007-1013.[8] BRINKMAN W B,GERAGHTY S R,LANP HEAR B P,et of resident communication skills and professionalism:a matter of perspective[J].Pediatrics,2006,118(4):1371-1379.[9] 李雁平,金凤娟,高洁,等.360度反馈评价法在高职护理实习生考核中的应用[J].中华护理教育,2014,11(12):931-934.[10] 韩卫丽.360度评估法在临床护生带教中的实践及成效[J].现代临床护理,2014,13(4):69-72.[11] FANG J T,KO Y S,CHIEN C C,et medical students′ performance in core competencies using multiple admission programs for colleges and universities:from the perspective of multi-source feedback[J].Biomed J,2013,36(4):188-197.[12] ILGEN D R,FISHER C D,TAYLOR M of individual feed on behavior in organizations[J].J Appl Psychol,1979,64(4):349.[13] LOCKYER J,BLACKMORE D,FIDLER H,et al.A study of a multi-source feedback system for international medical graduates holding defined licences[J].Med Educ,2010,40(4):340-347.[14] HEMALATHA R,SHAKUNTALA B S.Using multiple assessors to evaluate core competencies of nursing students:a 360° evaluation approach[J].J Health Allied Sci NU,2013,3(3):13-17.[15] 马新翠,李宝华,田琨.临床护理教学督导评估过程体验与思考[J].中国医学教育技术,2018,32(1):98-102.[16] 张黎,杨光耀,季湘年.综合医院临床教师教学绩效考核模式研究[J].西北医学教育,2015,23(1):145-147.[17] MURPHY D J,BRUCE D A,MERCER S W,et al.The reliability of workplace-based assessment in postgraduate medical education and training:a national evaluation in general practice in the United Kingdom[J].Adv Health Sci Educ Theory Pract,2009,14(2):219-232.[18] WOOD L,WALL D,BULLOCK A,et al.Team observation:a six-year study of the development and use of multi-source feedback (360-degree assessment) in obstetrics and gynaecology training in the UK[J].Med Teach,2006,28(7):e177-184.[19] VIVEKANANDA-SCHMIDT P,MACKILLOP L,CROSSLEY J,et al.Do assessor comments on a multi-source feedback instrument provide learner-centred feedback[J].Med Educ,2013,47(11):1080-1088.