“这个测评很准。”面对一份让自己频频点头的报告,人们很容易这样评价。但这里的准,可能是在说文字像自己,也可能是在说结果稳定,或者觉得它能够解释工作中的表现。几种意思如果混在一起,交流看似达成共识,实际未必回答了同一个问题。

《评心而论》第二期,薛铁鏻原本请张鹤至介绍大五人格,讨论却从维度一路走到题目、编码、信度、效度与考试。话题看起来不断转弯,背后始终围绕一件事:当我们根据一份结果理解一个人,前面到底发生过哪些工作,后面的判断又需要什么依据。

一个维度,怎样把许多表现放到一起

张鹤至先介绍大五中的不同维度,帮助听众理解,工具不只是给人一个整体标签,也会从若干方向描述差异。以开放性为例,他谈到好奇、探索、接受新观点等表现。这样的说明提供一个语言入口,但单个日常行为,还不能直接替整个人的特征下结论。

他随后解释,人的具体行为十分丰富,研究不可能给每一个动作都设置一个独立维度。需要做的,是寻找某些行为之间的联系,尝试用较少的结构组织更多信息。在这一期里,他用词语的归拢与分类来说明这种思路,强调维度并不是随意取一个好听名称就形成了。

对于读报告的人,这一步意味着,分数背后对应的并非一个孤立问题。类似表达反复出现,有时是在从不同角度接近同一类特征。若只按自己对一个词的直觉去理解,便可能跳过工具真正想问的内容,也忽略了不同描述之间原本的关系。

当一个人讲故事,研究者怎样把它变成材料

薛铁鏻抓住“编码”这个词继续追问。他不满足于知道它很专业,而是请张鹤至举例:一个人说自己做事有激情、很有干劲、充满创意,研究者接下来究竟怎样处理这些话?专业流程因此被放到一个能够想象的现场。

张鹤至从访谈讲起。受访者可能说了很多事,例如每次工作结束都详细复盘,研究者再从叙述中提取与问题有关的行为和信息。如果讲的是每天早起、精神充足,散落在不同段落里的材料,也可能被放到一个较接近的类别中。故事仍是那个人的故事,处理方式却不再完全沿着原先的讲述顺序。

薛铁鏻把它理解为,先拆开,再归拢。他又想到教练也会在谈话里听见结构与模式,但张鹤至补充,两种工作有不同要求:个人对话可以更贴近一个人当时的语境,研究中的编码还要考虑,不同处理者能否按相近标准理解同一份材料。

多个人达成共识,不只是各自觉得有道理

这便引出交叉编码。张鹤至介绍,同一段文字可以由多位了解方法的人分别处理,再看大家怎样划分、哪里不一致,经过讨论形成较清楚的意见,然后回到完整材料中继续工作。分类不是一次灵感就结束,还要反复核对。

这一段让节目中的“客观”变得更具体。它并非声称研究者没有任何判断,而是把判断放进能够被讨论、比较与修正的流程。哪些描述被合到一起,哪些需要保留差异,不能只因为某个人听起来很有把握,就自动成为共同标准。

对听众而言,这也提供了理解工具的一种方式。报告里的条目与结论看上去已经很整齐,前面却可能经历了拆分、争议、重组与试验。看到最终页面时,若还能记得它背后有这些工作,就不容易把一份排版完整的结果,直接当成未经解释也能成立的真相。

一把尺子,首先要知道它怎样稳定地工作

聊到信度时,张鹤至用变化很大的测验结果举例。如果对同一个较稳定的特征反复测量,结果却天差地别,使用者便有理由追问,尺子是否可靠。薛铁鏻随即问,谁能证明一个工具信度高,是否开发者自己说高就算数。

张鹤至把回答放回数据。他谈到需要收集样本,分析题目与维度的关系,也解释为什么有些题看起来相似。若工具想从不同侧面接近同一类表现,这些题之间怎样关联,就成为需要检验的内容,而非只凭几句介绍让人相信。

节目也承认,人的作答会受状态影响,现实测量不会没有误差。理解稳定性,不等于期待一个人每次都只能给出完全一样的答案;更重要的是知道,结果的变化应怎样解释,哪些条件会影响它,以及工具有没有相应的分析,而不是一有波动就只怪当事人不诚实。

题目看似很难,也要问它真正考了什么

由测评谈到考试,讨论出现另一个重要问题:一张试卷是否真的在测它声称要测的内容。张鹤至用题意与解题任务之间的差别说明,有时一道题的表现,可能更多受到阅读或其他条件影响,不能只看它印在某个学科试卷上,就觉得它只反映那门学科的能力。

两人又谈到区分。如果一道题所有人都能答对,它在区分不同水平时的作用就很有限。相反,也不能因为一题很多人答错,就宣布它一定设计得好。需要先知道目标:是检查某项要求是否已经达到,还是在一个群体中辨认差异。

随后,张鹤至把合格性与选拔性考试区分开来。前者关心是否达到某个标准,后者涉及不同人的比较。薛铁鏻联想到教练观察中的寻找行为证据,再回头理解学校里的选拔。两种场景看起来都在考试,判断结果的逻辑却不完全相同。

用来认识自己,与用来分配机会,中间还有距离

当薛铁鏻提出,能否用题目筛选适合的教练客户,话题进一步走到使用后果。这个设想来自他的工作困惑:有些合作特别消耗,有些客户可能更适合自己的方式。但如何把偏好的客户样子,变成一套可靠的筛选依据,还需要继续说明。

张鹤至谈到,人格特征与工作表现之间,不能仅凭直觉建立必然联系。即使某种描述听起来很适合一个岗位,也要知道,它是否真与所关心的表现有关。知道一个人偏好怎样,与证明他能够做好某项工作,不应被当成同一个结论。

他以教练为例,如果想研究开放性是否与教练能力相关,可以同时收集相应特征与表现评估,再考察关系。这里重要的是研究的方向,而不是已经替所有教练划定某种人格门槛。先有用途,再收集证据,是这场讨论逐渐变得清晰的一条线。

讨论到这里,也需要把“相关”与对个人的判断分开。张鹤至没有说,一种特征较高就能保证某个人把工作做好;他反而强调,工作本身复杂,单一维度不可能承担所有预测。把群体研究里的关系直接套到眼前一个人身上,容易跳过岗位、技能、经验与现实条件,也可能让一项本来有限的线索,被使用成过重的结论。

两人谈教练能力时,也采用了先提出问题、再找资料的顺序。开放性听起来与倾听新观点有关,因此值得研究;但值得研究,不等于答案已经存在。需要收集哪些表现,怎样评价能力,两个信息之间到底有没有稳定联系,都要实际完成后才能判断。这个顺序恰好提醒实践者,工具不仅需要善意,也需要能够支持用途的说明。

从个人发展的角度看,证据要求并不是为了让人不敢使用方法,而是帮助人知道,眼前能够说到哪里。报告可以用来开启一次谈话,也可以形成后续观察的假设;当它要影响录取、合作与机会时,就应更清楚地说明依据。把不同用途分开,既保护当事人,也让工具真正有机会在适当的位置发挥作用。

作答的人,也在理解他面前的机会

在求职、选拔等场景里,结果会影响机会,当事人的反应自然也会不同。张鹤至提到,有人会倾向于把自己写得更符合社会期待。题目如果一眼就能看出哪种答案更好,也可能难以了解真实差异,这又成为测量设计要面对的问题。

这并不是在鼓励使用者怀疑每一个人,而是承认,测量始终发生在某种关系与目的之中。认真作答、迎合期待、不耐烦或误解题意,都可能进入结果。一个负责的解释,需要把这些条件与工具自身的信息一起考虑,不能只留下一个看似确定的数字。

这一期从大五人格出发,最后为听众提供的,是一组更细的提问。报告描述什么,题目怎样形成,结果是否稳定,准备用到哪里?把这些问题分开以后,“我觉得很像”仍然可以被珍惜,却不必替后面的所有判断负责。测评从一个令人好奇的结果,变成一项需要看懂过程、用途与证据的工作。

阅读 12