运用多面Rasch分析来检验评估师训练的有效性
在工业与组织心理学学会第十五届年会上发表
本文试图通过使用多面Rasch测量提供一个评分者培训计划的综合分析。目的是展示这种分析如何提供对反馈有用的关于评分者的具体信息,以及关于评分表单和培训材料的表现的重要信息。这些信息对于正在进行的评估师培训计划特别有用。
交互分析表明,一些评级培训生与特定的机组人员的评级模式不一致。这为培训促进者提供了特别有价值的信息。它允许主持人向这些评分者提供反馈,并调查他们提供评级的原因。它还回避了一个问题,即在培训计划之后,评分者将保持多一致。如果提供随访训练,评分者的一致性可以使用多面Rasch偏倚分析。
这种类型的偏差分析的好处之一是它能够识别评级者和利率之间的差异和意外的交互作用。反馈可以给予,并且同样重要的是寻求,从评分者关于他们对船员的看法,他们有意外的互动。正是这种个人层面的交互分析,使得多方面的Rasch方法对评估评估员培训有用。尽管相互作用可以用g理论建模,但关于单个评级者和评级者相互作用的信息是不可能的。如果相关各方都能接受,就可以根据偏差分析的结果,对特定船员的评分总分进行调整。从培训后对机组人员所作的实际评价的角度来看,这种更正可以根据评定员估计的严重程度作出。用Rasch多层面的说法,这将导致一个更“客观”的评估。