Site Network: um_bloggers | imagebank | videoworks | essence | business home

Welcome to the official blog of Uncle Ming's Gallery

I have always been among those who believed that the greatest freedom of speech was the greatest safety, because if a man is a fool the best thing to do is to encourage him to advertise the fact by speaking. (我以為讓愚蠢的人自暴其醜, 正是最大之言論自由所以是最安全的主因)

WOODROW WILSON (編輯組譯)


1. 資科人看世界之25


統計數據的可塑性和可信度
Shapability and Reliability of Data

-20/5/2014

無極 PoleZero


註:  以下內容, 純屬作者一般個人意見,不能視為有法律約束力之專業意見,凡涉及如投資、法律、會計、建築或醫療等受法律規管行業之專業問題,如有疑問請自行向具專業操守 之相關專業顧問或從業員查 詢

免 責條款 DISCLAIMER




由此至終對統計數據都不大當作一回事,説它不算科學會招來臭罵,在下 無意低貶統計學這門學問,事實上它確是科學,但涉及概率的科學,都具有不定性,包括量子力學,那是説你能猜中99次,但錯了一次,事情 (instance)便可以全倒轉過來,相信概率,不如相信上帝的旨意算了,但有人樂此不疲地做統計,希望能够找到事物的真相,但異常事件 (extraordinary/oddity)卻往往在意想不到的情况下出現,專家眼鏡跌滿一地,唯有慌慌忙忙找些理由解釋出錯原因,然後繼續拿經費做統 計,繼續根據統計做預測,没有辨法,對一些人來説,這些工作,既是生計,亦是存在的價值。

在可控環境(controlled environment)下做統計,可靠程度應該高一點,因為有控制組别(controlled group)做變量比較,但環境越複雜,變量太多,根本無法分隔出來,究竟異常事件是因為一些未知變量而產生的必然事件還是真的是出於概率產生的或然事 件,根本説不清楚,所以對人類社會的一切研究調查,無論過程和方法怎樣週詳精密,都無法總結歸納出一條毫無異例的規律,最安全的是將不定性包含在規律中, 即是回至老子所謂道可道,非常道,名可名,非常名的無常即有常的規律中。

稱得上規律便要符合可重覆性(repeatability)的屬性,這是能滿足西方古典科學(science)定義和方法(scientific method)的一個要素,西方人自希臘至今,都相信世界有常規,他們治學和辦事的方法,便是契而不捨地找常規,然後心滿意足地按規律辦事,當悖例出現, 初期會設法找一些導致異常事件出現而又不會推翻原有規律的未知因素,到無法解釋後便建立一個新的規律,能夠完滿將異常事件給出解釋,又再滿心歡喜地沉醉在 新的真理中。其實東方文化也會遵從正反合的過程(process of thesis, anti-thesis and synthesis)來建立新範式(paradigm),但東方人,特别是 中國人,心底裡從一開始便不大信世界有所謂固定不變的常規,無常道的思維令中國人很隨和,不大理會不同理論的矛盾,常常將各種表面上互相排斥的事物揉合在 一起,中西醫術可以並用,風水和建築可以結合,各種待宗教可以共存,也是同一種心態,在認真追求不變真理的西方人眼中,「隨和」便是「隨便」,這種態度不 嚴謹,亦不科學,最後結論是-「中國文化是一種落後愚昧的文化」。不但西方人這樣想,不少中國人也相信了,香港人自忖得到西方文化的真傳,就更多人相信 了。

相信歸相信,是龍的傳人自然流著龍的血液,行為上不知不覺地將國人的傳統思維模式顯露出來,像在下般讀資訊科學的,還是忍不住看道德經和易經,初期 不好意思讓人知道,後來發現同道中人原來多得很,學財經的懂得起卦占卜,學數學的原來打坐念經,學土木工程的原來讀黃帝宅經,學西醫的回家喝湯頭歌訣的湯 水來調理身體,更不用説有看通勝擇日選時來辨大事的習慣。其實西方學科學的人,同樣會進教堂祈禱。老是拿國人迷信來「黑」中國人及中國文化的,自己便保留 不少國人的基因特性,問題在於是優點抑或是缺點。如果能融洭貫通,取中西文化的長處再加以發展,練成東西方不敗,那當然是好事,怕的是集合了兩家的短處, 變成「東不成,西不就」的獨孤求敗、名符其實的雙失民族。

統計學處理的問題涉及概率(probability),本身已具有不定性和誤差,就算在發源地的西方,也會被别有用心的人利用,為早已預設結論的研 究調查提供後補證據,只要在取樣(sampling)和分類(grouping/classification)中花點心思便能左右數據,如果採集數據牽 涉主觀意見,那就更容易在問卷上做手腳。那是在下對統計數據不大以為然的原因。過去便曾舉出薪酬趨勢及薪酬水平調查出現的歧異説明統計數據的不可靠,如果 薪酬趨勢調查的結果可靠,與薪酬水平調查結果應該是同步增減,那會像現在那樣,薪酬水平遠遠落後薪酬趨勢,不必拿沉悶枯燥的數字來解釋,從一些事件便知兩 個統計得出的結論大有分别:

  1. 僱員偏向接納薪酬趨勢調整而不按薪酬水平調整;

  2. 按趨勢調整的僱員,例如公務員,薪金水平跟私營部門差距越拉越遠,同一工種,外判工只及公務員的一左右,再看政府合約工,同一學歷工種,很 多也只付約等如長工的一半工資,所以能從合約工轉長工的便高興得像中了六合彩一樣,當然這裡説的職位是中低層職位,那些法定機構內的高層職位,與私人大財 團的高層薪酬掛鈎,約滿酬金外,還有各式各様的福利和津貼,所以不在此列。

  3. 當薪酬趨勢修改調查方法「以便更客觀反映現實」後,部份公務員便退出機制,説明原統計方法有利,但亦間接反映出統計結果原來不客觀。

原果仍不明白兩種統計出現異步的含義,打過譬喻,媽媽每年量度小朋友的實際高度然和算出增高率,但只告訴在海外工作的爸爸增高率,十年之後,不得 了,爸爸按最初高度和增高率算出小朋友已經長到跟姚明一樣高,回家一看,原來卻只有約一半高度,那媽媽當然是算錯了。這個調查是英國人留下來的,和中國人 和中國文化無關,統計的可靠性可想而知,但現時要跟那些既得利益人士講客觀科學,反應不問而知,既然這樣,不如不再扮成客觀科學説是跟統計反映的大趨勢, 坦白説是高薪養廉好了,以免害得統計學的可信性每年都被踐踏一次。

近日另一個對統計結果的爭論環繞著特首民調(poll test of CE),只覺再次印證了在下的理論,一般的統計數據已經很難客觀準確,涉及主觀意見的量化和量度就更難。第一是進行統計的機構和調查員本身具有立場,甚至 只是中立性被懷疑,那統計便註定有誤差,不認同的受訪對象會有抗拒,可能會拒絕受訪或提供偏激答案,合作的受訪人則是認同居多,所以外國民調,不同立場背 景機構對同一事件調查出現互相矛盾結果很常見;第二是提供問題時是否有傾向及引導性,例如先行調查對有關對像錯失的觀感,才查問整體評價,得分便會偏低, 反之便偏高;第三是在一些差不多是正反各半的統計中,趨勢量度及原始數據中會出現互相矛盾的訊息,選擇性地披露部份數據可以造成向某一方傾斜的印象;第四 是分組時中間數值的定義,例如是次爭論的統計中,50分算是合格還是不合格便具爭議性;在0至100的101個數值中,50在正中央,如果單純講統計學, 合格不一定用過半來定義,不少考試都利用百份率來調整合格分數(俗稱拉曲線),如果講常識,則絕大部份人都會認為達到分界線便視作合格,例如小學是60 分,中學是50分,没有人會以為是61和51,將50分歸入任何一方對正反方的百分比有極大影嚮;第五是利用專業術語將數據作不盡不實的銓釋,非行內人很 難挑戰,局外人亦不明白爭論的内容。

今次爭論,便是用來闡釋以上五點的最佳例證,拿原始數據對照統計數據,其實正反雙方都無法説服對方,最大問題是數據分佈並不依據正常的二項常態分佈 (binomial distribution),如果以圖表表示原始數據的頻率分佈,竟然出現頭、中、尾共3個明顯的尖峰,而正反兩邊的比例相差不過數個百分點,這種分佈最 大的意義其實不是找出簡單大多數,而是説明社會由一個中間意見佔大多數的正常社會演變成二極化的社會(polarized society)。二項常態分佈的圖像是一個鐘形曲線,自然界大部份事物都向中心集中,頭尾少,中間多。例如人類智力分佈,最聰明及最遇蠢的都是小數,平 庸一般是大多數,分佈越聚集在理論的中間值,代表穩定平衡;向低端或高端略作傾斜(skewed)是代表累積了向某方變化的動能(dynamic)。但出 現山字形三個尖峰便絕對不是正常現像,那是説社會正走向極端,如果調查的是意見,那表示温和中間人士繼續向兩端流動,形成兩個尖峰式分佈的M形社會,民眾 被撕裂成兩個對立的族群,以後便是長期的對抗鬥爭和不穩定。誰多了幾個百分點已没有了意義,49%的小數固然不會服從 51%的多數,就是40對60也未必服氣,在下所理解的泰國和烏克蘭便是這個情况,極端份子會不惜使用暴力或乾脆拿起武器打內戰。所以那些還在斤斤計較正 或反方多了多少個百分點的,不知是故意還是看不到問題重心,看西方領導人的民調支持度,不要説在任期的中後段,就是競選時亦未必過半數,很多時要進行第二 輪選舉或組織聯合政府,西方人看來已習慣了低民望政府,但基本上民意仍是依循常態分佈而不是山字形的分佈。在下無意加入正或反方,而是對一門科學的客觀性 和準確性被主觀立場歪曲感到可悲,最驚嚇的是一位前大學講師的評論員,一向在自己的專科範圍內發表的意見都令人拜服,竟然說如果砍掉首尾兩端的異常數據便 是正常的二項分佈,然後肯定包括兩端異常數據計算出來的綜合統計數據可靠,按這個邏輯,把昆昆蟲的翅膀和其中兩隻腳去掉便可當四腳動物研究了!統計學果然 是可塑性極高(highly shapable)的一門學問,只是,這還算不算是講求客觀的科學?


- 完 -


小傳 Biography

自小即獨鍾情科技,小學時已遍讀「十萬個為什麼」,初中物理課講授古典力學 F=ma 之時,私下卻神遊愛恩斯坦狹義相對論之 E=mcc  (即 E=mc2 ), 對經史子集,嗤之以鼻,以為古中國之科技無足稱道,豈料高中某日於圖書館中抱讀廣義相對論、正苦思不解時,偶翻老子道德經以解悶,驚為天書,繼而再閱莊 子, 易經,更嘆為觀止,近代科學之多個劃時代之理論,竟已為古人一一論述,諸如「太極生兩儀,兩儀生四象四象生八卦,八卦生萬物」,惋如將宇宙起源,正反物質 之誕生,基片粒子之結構以至元素周期之規律濃縮為密碼般,再翮閱雜書如周髀算經,以至小說神話如山海經,搜神記,乃知古中國之科技知識及國人之想像力,並 非如想像之不濟,不過為政者重文輕理,獨貴仕而輕農工商,寧務虛而不務實,上有好之者下必有甚然,故聰明才智之仕,盡委身於儒法之學,勤習治人之術,奇兵 利器能工巧藝皆目為形而下者之雕蟲小技,盡皆凐沒在民問,凡與實際生活及經濟生產有關之工藝技術,唯有賴師徒制口授耳聞,代代相傳,有系統整理立於文字 者僅聊聊可數如天工開物,凡涉抽像科學概念之理論,更混合超自然之想像, 化身為比形而上學更形而上之玄學如風水命理等,有見及比,從此自號無極,誓以課餘工餘時間,疏理古代文 獻, 還中國古代科技發展之本來面目

monopole