「後設分析的細節是什麼?」
節錄自 “A Meta-analysis and Utility Analysis of the Relationship between Core Employee Opinions and Business Outcomes” 作者:James K. Harter, Ph.D. 與 Ame Creglow, M.S.
研究背景:13 項核心題目#
過去 25 年,Gallup 針對管理實務的員工觀感進行了大量質化與量化評估。除了為個別組織設計客製調查,也致力建立一組跨組織適用的核心題目——既能衡量重要觀感,又不過度複雜,適合忙碌的企業人員使用。
經過數千場質化焦點團體的演進,13 項核心題目(13 Core statements)浮現:
- Overall Satisfaction:五點量表,你對(公司名)作為工作場所的滿意度?(5 = 極度滿意;1 = 極度不滿)
- 我知道工作上對我的期待
- 我有做好工作所需的材料與設備
- 工作上,我每天都有機會做我最擅長的事
- 過去七天,我因為出色的工作受到認可或讚美
- 我的主管或同事關心我這個人
- 工作上有人鼓勵我的發展
- 工作上,我的意見似乎被重視
- 公司的使命/目的讓我覺得我的工作重要
- 我的同事們致力於做高品質的工作
- 我在工作上有最好的朋友
- 過去六個月,有人和我談過我的進步
- 過去一年,我在工作上有機會學習與成長
題目 2-13 即本書第一章所呈現的「十二題」(Q1 是整體滿意度題,不計入核心十二題)。
後設分析(Meta-analysis)是什麼?#
- 把跨多個研究的資料進行統計整合
- 控制測量誤差、取樣誤差與個別研究的特異性
- 提供對真實效度(true validity)或真實關聯(true relationship)的估計
- 心理學、教育、行為、醫學、人事選任領域已完成超過 1,000 場後設分析
假設#
- 13 項核心題目所衡量的員工管理觀感品質 → 與事業單位層級的結果指標相關
- 這些觀感的效度能跨組織一般化
研究組成#
- Gallup 資料庫中的 28 個研究
- 這些研究在事業單位層級將員工觀感平均值與以下結果指標計算相關:
- 顧客滿意度/忠誠度
- 獲利能力
- 產能
- 員工流動率
- 整體涉及 105,680 位員工回應、2,528 個事業單位(平均每事業單位 42 位員工、每公司 90 個事業單位)
產業分佈#
- 28% 金融組織
- 21% 醫療
- 18% 餐飲
- 其餘:娛樂、雜貨、研究、電信/出版、醫療銷售、電子、旅宿、政府、教育
業務類型#
- 31% 零售
- 28% 金融
- 21% 醫療
- 9% 教育
- 11% 其他
方法#
- 使用加權平均真實效度估計
- 標準差估計
- 校正取樣誤差與績效變數的測量誤差(利用 Hunter & Schmidt, 1990 建議的方法)
- 採用人工物分佈後設分析校正績效變數測量誤差(人工物分佈來自各研究的年度 test-retest 信度)
對「可一般化」的判準#
- 若某題對某結果指標有正向的 90% 可信度值(即 90% 的真實效度都是正的),則該題被視為可一般化
- 若超過 70% 的變異來自取樣誤差與其他人工物,該題在該結果指標上被視為可跨情境一般化
結果摘要#
對顧客滿意度的效度#
- 所有 13 項題目效度都是正向
- 效度範圍:.057 到 .191
- 11 項有正向 90% 可信度值;6 項跨研究無顯著差異
- 整體跨題平均變異解釋量 66.96%
- 效度最高的題目:
- 我在工作上有最好的朋友
- 工作上,我每天有機會做我最擅長的事
- 我知道工作的期待
- 主管或同事關心我這個人
對獲利的效度#
- 13 項中10 項有正向 90% 可信度值
- 9 項可解釋超過 70% 變異
- 整體平均變異解釋量 69.21%
- 未能跨公司一般化的:「談過進步」、「使命」、「材料與設備」、「最好的朋友」
- 獲利效度最高的題目:
- 整體滿意度
- 同事致力於高品質工作
- 工作上每天做最擅長的事
- 主管關心我這個人
對產能的效度#
- 所有 90% 可信度值都是正向
- 11 項可解釋超過 70% 變異
- 整體平均變異解釋量 83.72%(最低的可能調節效應)
- 產能效度最高的題目:
- 我知道期待
- 我的意見被重視
- 公司的使命讓我感到工作重要
- 整體滿意度
- 同事致力於高品質工作
對流動率的效度(負相關為預期方向)#
- 4 項有負 90% 可信度值;2 項接近零
- 也就是對其中 6 題,方向明確為負(更高分 → 更低流動率)
- 10 項可解釋超過 70% 變異
- 整體平均變異解釋量 91.96%(調節效應的空間很小)
- 流動率效度最高的題目:
- 我有做好工作所需的材料與設備
- 整體滿意度
- 主管關心我這個人
Table 1:題目統計摘要#
| 準則 | 研究數 | 平均事業單位數 | 平均觀察相關 | 平均真實效度 |
|---|---|---|---|---|
| 顧客 | 18 | 2,170 | .107 | .122 |
| 獲利 | 14 | 1,490 | .084 | .133 |
| 產能 | 15 | 1,148 | .126 | .128 |
| 流動率 | 15 | 1,552 | -.023 | -.045 |
整體平均相關 .107。題目與顧客、獲利、產能相關度相近;與流動率相關度較低。
四個向度(Gallup School of Management 教授架構)#
Gallup 把題目組合成四個常用向度(constructs):
Base Camp:「What do I get?」(我得到什麼?)#
- Item 2:知道期待
- Item 3:材料與設備
Camp 1:「What do I give?」(我付出什麼?)#
- Item 4:做最擅長的機會
- Item 5:認可/讚美
- Item 6:主管關心我
- Item 7:鼓勵發展
Camp 2:「Do I belong?」(我屬於這裡嗎?)#
- Item 8:意見被重視
- Item 9:使命/目的
- Item 10:同事致力品質
- Item 11:最好的朋友
Camp 3:「How can we grow?」(我們如何成長?)#
- Item 12:談過進步
- Item 13:學習與成長機會
向度相關摘要#
- 12 題總合(不含整體滿意度)對顧客滿意/忠誠、獲利、產能的真實分數相關 = .19
- Base Camp 與流動率相關度最高(知道期待 + 有好工具 → 低流動率)
- Camp 1 與獲利相關度最高
- Base Camp + Camp 2 與顧客滿意/忠誠相關度最高
- Camp 3 與各指標相關度最低(但仍為正向)
結語#
這份後設分析提供了十二題的實證支撐——證明員工對管理實務的觀感確實與事業單位層級的結果相關,且能跨組織一般化。
完整報告可向位於 47 Hulfish St., Princeton, N.J. 的 Gallup 總部索取。報告每年更新,納入 Gallup 最新研究發現。