發布時間:2013-07-23 09:57:44
點擊數:48377 次
案例分析作為一種測評技術,就是讓被評價者閱讀一些背景材料或案例,然后根據所提出的問題進行分析或決策,提出解決方案的一種測評技術。評價者根據報告的內容和形式,對被評價者的特定能力素質進行判定。由于其前期設計成本高、耗時長,該測評技術主要用于管理人員和專業技術人員的能力素質評價。要有效實施案例分析測評,需格外關注三大關鍵環節:
評什么:確定案例分析評價指標
案例分析測評技術可以考察一般管理能力也可以考察專業能力。書面案例分析一般考察戰略思維、市場意識、行業遠見、問題解決、分析判斷、決策、創新意識等能力素質。而口頭演講式的案例分析,還可以考察口頭表達、溝通、商務展示等能力素質。就具體崗位來說,需要進行崗位分析和能力素質分析,確定具體評價指標。比如,對于商業銀行產品經理能力素質進行評價時,可按照產品經理不同類別(研發創新、營銷支持、產品管理),不同層級(高級、中級、初級),確定不同的評價指標,選擇適合的評價方法,形成評價矩陣。由于產品經理工作專業性較強,且需要信息整合、策劃等能力素質,因此應采用多種評價方法進行評價,保證每個指標都有兩種及兩種以上評價方法,而且為每一種評價方法對某一指標的評價確定一定的權重。如圖1所示,案例分析主要對商業敏感性、策劃與推動、信息整合、專業影響力四項能力素質進行評價。
如何編:結合實際工作編制案例分析題
要實施案例分析測評,編寫案例是關鍵。需要確定誰來編、怎么搜集素材、如何編寫以及怎么制定評價標準等問題。
確定案例編寫者
案例編寫者,既要熟悉被評價崗位的業務實踐,又要掌握案例編寫的方法。一般由測評專家、被評價崗位的任職者、被評價崗位的部門領導三部分人員組成編寫團隊。通過獨立編寫、組織頭腦風暴和小組討論,確定每一個案例如何描述、如何設問、具體考察哪些指標、參考答案是什么等。
搜集和整理素材
案例素材搜集主要采用問卷和訪談兩種形式。問題集中在“近兩年,在此崗位實際工作中處理得最成功的案例,或最不成功(最棘手,最遺憾)的典型事件”。比如,對于產品經理能力素質評價,案例素材具體搜集和整理步驟如下:(1)設計案例編寫規范,主要遵循行為事件訪談(BEI)中的STAR原則(見圖2),包括情景(Situation)、任務(Task)、行動(Action)和結果(Result)四個部分。(2)按照STAR原則設計調查問卷,并與案例編寫規范一同發給各業務部門,業務部門按照調查問卷的要求提供相關案例。(3)遵循STAR原則對各個業務條線的產品經理本人、上級、同事等進行訪談、調研,請他們描述1-3個工作中遇到的典型案例或關鍵事件,同時征詢被訪談者“此案例體現的能力素質要求是什么”。(4)按照STAR原則對案例進行整理,并標明所對應的評價指標。
編制案例
針對搜集來的案例素材,需要按照一定的原則和難度進行編制,而且需要對案例進行預測試,最終形成正式的案例分析測評題本。
(1)確定編制原則
案例分析題的編制要遵循真實性、針對性、典型性、具體性的原則。真實性:案例是一種“情景模擬”,主要的情節、事實盡量真實,敏感問題可以隱瞞或改編。針對性:案例要指向特定崗位和特定評價指標,要保證案例內容要與目標崗位的工作范圍、職責相關,同時明確案例主要考察哪些能力素質指標。一則案例可以考察多種能力素質,也可以幾則案例考察一種能力素質。典型性、具體性:案例內容應當是被評價崗位實際工作中遇到的典型難題,案例的敘述要具體,要給出回答問題所需的足夠信息。
(2)把握案例難度
案例分析測評的難度要根據測評的目的來界定,用于選拔,難度稍高;用于培養,難度可以適當降低。對于難度的把握可以從三個方面考慮:一是概念難度,即案例包含的問題數量的多少,理解深度以及是否跨學科、跨職能等。二是分析難度,做決策的過程主要包括以下7個環節:發現問題、分清主次、分析原因、擬定方案、權衡比較、制定決策、再實施。案例的時間點越靠前,案例的難度就越大。三是表達難度,案例中提供的信息是集中或是分散、是直接或是間接、是相關的或是不相關的、是真實或是誤導、是完整或是殘缺的,都決定了案例的難度。
(3)編制問題項目
有研究表明,案例分析題后的選擇題信度效度都很難保證。所以案例分析測評更應該采用開放式問題。問題設計要嚴謹,不能反映考官的偏好,也不能有社會稱許性的問題,問題表述要清晰明了,不能模棱兩可;問題不能過大也不能過小,“過大”容易導致被評價者泛泛而談,回答“理論上的答案”,而不是回答“實際怎么做”:“過小”容易導致被評價者鉆牛角尖;問題的順序要先易后難,先一般后專業,這樣做容易讓被評價者放松心情,從容作答,不至于導致被評價者過度緊張;案例來自于實際工作中搜集的素材,在調研中就可以了解到一些具體做法,從中可以總結出每個問題項目的部分答案,包括導致成功或失敗的措施,編寫出初步參考答案。
(4)預測試和題本修訂
案例編寫好以后要進行預測試,以便搜集反饋意見,修訂題本和完善初步答案。比如,在產品經理能力素質評價中,預測試操作流程如下:首先,編制成案例初稿,共10個案例,包括“案例、問題項目、對案例的建議、你認為處理此案例需要的能力素質”四部分,“對案例的建議”,是為了在試測的時候搜集被評價者對案例的修改建議!澳阏J為處理此案例需要的能力素質”,是為了進一步驗證案例與能力素質的對應設計是否合理。第二,選擇被評價者進行預測,每個案例至少選擇10位被評價者參與。第三,根據被評價者的預測結果增加、刪除、修改案例,同時充實完善初步答案。第四,將修改后的案例和初步參考答案反饋給業務專家,請他們提出相應建議。最后,形成正式的案例分析測評題本。
確定評價標準和記分方法
評價標準是幫助評價者按照規范化的要求進行標準化記分的具體說明。雖然案例分析難以制定客觀的評價標準,但是有了標準總比沒有標準好。將能力素質進行行為化描述,并分成幾個等級,形成評價標準,同時盡可能搜集積累各等級的答題結果,制定出參考答案。比如,將素質模型中的分級行為描述演化為評價構面,將每個評價指標根據評價構面,分成三個等級(好、中、差),再對每個等級的行為特征進行界定。同時,注重案例分析參考答案的積累、完善,并進行分等級整理,最終形成非專業人員也可以操作的評價標準和參考答案。評價者根據被評價者的反應與各等級上行為特征和參考答案的吻合程度進行評分(如圖3所示)。
評價者在進行評分時,可以采用二級記分判斷法。比如,首先理解和把握每個能力素質及評價構面,然后按照每個等級的行為描述和參考答案,結合主觀的理解,確定“好、中、差”中的一個等級。在確定好等級后再進行二次評分,即再進一步評價該被評價者的回答情況是屬于該等級的“上、中、下”。如果,記分采用十分制。最高分為10分,最低分為1分。1-10分,又被分成好(8-10)、中(5-7)、差(1-4)三個等級,針對某一個記分點,如果評價者對被評價者做出“好”的評價后,對其再進行二次評價,即確定 “8-10”中具體分數值。
怎么評:緊扣評價標準進行科學評價
在實施案例分析測評時,要明確指導語,以便與被評價者建立良好關系;在進行評價時,要對評價者進行培訓,以便評分緊扣標準。
與被評價者建立良好的關系
案例分析測評實施過程中要與被評價者建立良好的關系,關注被評價者的感受。書面的案例分析題目不能太多,以能評價出要評價的指標為準。時間不宜太長,否則被評價者容易疲倦和厭煩。為了讓被評價者盡可能認真、如實回答問題,需要設定指導語,向被評價者說明測評的目的,消除他們的顧慮。
對評價者進行必要的培訓
對評價者必須經過科學的選擇和嚴格系統的培訓,同時還要求他們具有較強的責任感。一般選擇被評價崗位的業務骨干、上級領導或者專業的測評師作為評價者。在正式測評之前,可組織評價者進行模擬測評,加深評價者對案例題目、評價標準及參考答案的理解。
評分要緊扣標準,減少主觀影響
在進行評價打分時,評價者要緊扣評分標準和參考答案,標出得分點。一般來說,每個案例都應對應一定的評價指標,一個評價指標可能由一個案例進行評價,也有可能由幾個案例進行評價。如果某個案例未能評價出所要評價的對應指標,而在其他案例中體現了此對應評價指標,也可以綜合起來進行評價。為了保持評價的獨立性,評委可先獨立打分,然后再對有明顯異議的進行討論。盡量不要受其他無關信息的影響,比如不能因為被評價者的學歷、職務等影響客觀判斷。