現代互聯網組織愈發依賴數據，收集反饋，以正確有效的決策。
本文以軟件工程師的績效考覈爲例，展現瞭如何通過數據分析，調整和改進量化的評分系統。
業務問題：
基於360度績效考覈方法，現代組織會設計問卷調查表，請被考覈員工的同事客戶針對多個問題進行打分，以得到該員工量化的績效結果。
在實踐中，這套方法遇到兩個問題：
問卷調查問題的設計是否合理： 理想中，每個問題都應該相互獨立，也就是問題1的結果不會對問題2造成影響。問卷表很難在第一個版本中就設計完備，設計問題本身也是一個基於反饋分析的迭代過程。
有時候，調查結果與經理的主觀判斷有差異。有經驗的經理作爲專家，其主觀判斷應該作爲評價結果的重要輸入。 那如何調整才能考慮經理判斷的同時，又不失評分系統的公允呢？
工具選擇：
我們有了某組織某年度所有員工的績效評分數據，那選擇什麼數據分析工具呢？
這類業務問題的數據量通常不大，而且對分析結果的實時性要求也不強，所以沒有必要使用Hadoop，Spark等平臺；
中小量的非實時數據分析，工具有很多選擇： Excel用的最多，初步的數據清理和呈現，Excel是很方便的。複雜些的分析，可以選擇Python或R，Python作爲通用語言，各平臺對它的支持很好，像新浪的PaaS SAE可以直接支持Python；而R的庫很全，基本可以覆蓋所有的統計需求。
這個例子中，我們使用R。
分析過程和結論：
經過數據清洗，我們有了某組織某年度所有員工的績效評分數據如下：
第一列是工程師名字，Average of Q1 到 Q5是該工程師在5個問題上得分的平均值，最後一列是該工程師最後的總分。
針對兩個業務問題：
問卷調查問題的設計是否合理：
使用R中的cor()函數直接對由“Average of Q1 到 Q5”的5列構成的dataframe進行運算，可以得到這5列（5個問題）分數的相關性係數矩陣：
Average.of.Q1 Average.of.Q2 Average.of.Q3 Average.of.Q4 Average.of.Q5
Average.of.Q1 1.0000000 0.8800744 0.7240493 0.6420953 0.7840079
Average.of.Q2 0.8800744 1.0000000 0.7142950 0.7632830 0.8766518
Average.of.Q3 0.7240493 0.7142950 1.0000000 0.7035622 0.6683055
Average.of.Q4 0.6420953 0.7632830 0.7035622 1.0000000 0.8190740
Average.of.Q5 0.7840079 0.8766518 0.6683055 0.8190740 1.0000000
相關性係數越接近1，相關性越強。
由矩陣可以看出，Q1和Q2，Q2和Q5 相關性較強，由此，我們需要考慮更換Q2。
不失公允的專家調整
經理，作爲專家應該發現系統潛在的不足，並進行調整。
以本績效評分系統爲例，每個組織都有績效優良的考評，對總分在“重點線”之上的員工給與優良績效。此例中“重點線”爲60分，覆蓋前30%的員工。
但每個組織都存在“老黃牛”型員工，他們任勞任怨，做了很多不出彩的髒活累活。他們很難得到同事客戶在評分上的認可。然而，他們是組織中不可或缺的一份子，在績效考覈中需要考慮這個因素。
根據經理的日常觀察，Anna，Jone，Barry，Neo是幾位典型的“老黃牛”型員工。他們的總分分別爲：Jone 58，Anna 55，Barry 54， Neo 53，平均爲55分。
爲了彌補評分系統本身的不足，也就是說要彌補“老黃牛”在“重點線”的競爭力，我們可以把“調劑線”設置到55分。對處於調劑線上的“老黃牛”可以酌情考慮其優良績效。
通過R的density()函數，可以表達該組織中，每位員工績效得分的分佈和“調劑線”、“重點線”的關係。
如下圖，通過分佈曲線，“調劑線”和“重點線”剛好在分佈上有“區分度”的兩個區段。從另一個方面也說明了其合理性。
注意：“調劑線”的設置一定要不失公允。從統計上說，參與“調劑”的樣本一定要少，本例中 <10%。 如果過多樣本參與“調劑”，會對總體分佈造成影響，使得系統的一些基本情況發生變化。
總結：
現代組織越發依賴數據進行決策，而數據決策系統本身也存在不斷校準的過程。
本文就數據分析系統中的兩個重要問題：問卷評分中問題的選擇，和系統的專家調整，進行了分析和闡述，並結合R語言給出了分析的例子。
本文的思路和方法，適用於所有的數據分析系統改進，比如客戶反饋評分系統 ，而不僅侷限於員工績效評分系統。