一隻火雞帶你瞭解大數據預測(經典)

紐約大學特聘教授納西姆·尼古拉斯·塔勒布有一本代表性的著作《黑天鵝》,認爲未來發生的事情是純隨機的,人類要是根據過去的經驗去對未來的事情進行預測,那是完全不靠譜的,正如書名所表示的:在發現澳大利亞的黑天鵝之前,17世紀之前的歐洲人認爲天鵝都是白色的。但隨着第一隻黑天鵝的出現,這個不可動搖的信念崩潰了。黑天鵝的存在寓意着不可預測的重大稀有事件,它在意料之外,卻又改變一切。人類總是過度相信經驗,而不知道一隻黑天鵝的出現就足以顛覆一切。

塔勒布還舉出了一個簡單的例子,如果一隻火雞,每天都去收集主人餵它的飼料是多少,那麼一定時間之後,它認爲能夠預測明天主人喂多少喫的給他,直到感恩節的前一天晚上,還做出了第二天的預測,
在這裏插入圖片描述
結果是第二天命運就突然發生了重大的轉折……這個轉折,就是典型的黑天鵝事件。
在這裏插入圖片描述
這個事件看起來似乎很有道理,這隻火雞統計學家,統計了所有的信息,甚至還可以收集到了他左鄰右舍其他的火雞的食物信息,做出了精確的分析和預測,但是最後感恩之前的那一刀徹底的改變了這個命運。
在以前的文章中,我曾經描述過大數據與小數據的區別,(見大數據與小數據),如果從那篇文章上來看,火雞統計學家,所收集到的一切數據,都算小數據。
從目標上來看,他就是爲了預測明天主人餵食的數量,而收集的數據,這個是一個典型的爲了解答某個問題而去收集特定的數據,不屬於這個問題的數據,他都不去關心。
好了,如果這隻火雞統計學家華麗麗的轉身進化爲火雞大數據學家,那麼它收集的數據就不僅僅是餵食的數據了。他會去收集的數據就不會只針對這一個具體的目標了。
在這裏插入圖片描述
它會去收集天氣信息、地理信息、火雞們的各種習俗、社交數據、LBS信息、火雞祖宗十八代的生老病死、每類火雞不同的生活環境……OK,看見了吧,這位火雞大數據學家,不需要進行具體的分析,也不需要詳細的建模,只需要做很簡單的聚合,就會發現每年的感恩節之前,大量的火雞的生命線戛然而止。它甚至不用明白人類的習俗,也不用具體的去分析原因,數據自然就能揭示出這種規律。
假設這隻火雞大數據學家能夠突破它既定的視野,從觀測火雞昇華到能夠觀測主人,能夠有機會接入人類神奇的互聯網,甚至能夠上微博。那麼他收集的數據會更多,而且只需要觀測類似於“美食”這樣的標籤,就會發現,火雞存在的目的,就是爲了上餐桌……
在這裏插入圖片描述
好了,我們的火雞大數據學家,已經明白了它的宿命,那麼怎麼辦呢?有沒有辦法突破既定的命運呢?它高呼“我命由我不由天!”,
在這裏插入圖片描述
”起來,不願意做奴隸的火雞“……當然,我們都知道,自古聖賢都不得好死,也許這隻火雞會很快就被和諧掉,也有可能被其他的火雞當成巫師燒死……
那麼,作爲一個有大數據思維的火雞,他在無法改變社會的同時,應該如何改變自己呢?繼續從數據入手。
首先,他會在通過聚類分析,大量的數據中發現有一些離羣點,也就是逃過了平安夜之前那一刀的火雞們,找到這些離羣點之後,將他們作爲重點觀察目標。
它通過分析,知道火雞的自然生命是5——6年,那麼再次篩選出能夠逃過3次平安夜的火雞們,看看它們存在一些什麼樣的共同特徵。
接下去,如果小數據情況下,這樣的樣本可能非常少,能三次逃過那一刀的火雞哪怕用鳳毛麟角來形容也不爲過;但是在大數據情況下,根據大數原則,只要數據量只夠多,再低的機率,都會產生大量的樣本。
有這些樣本,火雞大數據學家就開始進行大數據挖掘分析了,比如將這些樣本的習俗特性進行分類,可以生成決策樹,那麼火雞大數據學家,就能夠根據這些if條件,來預言今年平安夜,有哪些火雞有可能逃過一劫。
又如,進行關聯分析,找出與被殺火雞關聯支持度最高的一些特徵,這些頻繁項集都是被殺的先兆,所以它首先要改變自己的習慣,讓自己避免有這些習性。
在這裏插入圖片描述
當然,任何預測和分析,都是有風險的,神通不敵天數……我們偉大的火雞大數據學家預測到了最後,但是氣數已盡,非火雞力所能改變,最終難逃一刀。
在這裏插入圖片描述
故事就這樣結束了麼?錯!神通不敵天數,那好,天數還算不盡人(火雞)心呢!根據博弈論的原理,當對手知道了你的行動,那麼就會做出對自己最有利的絕定,所以這隻偉大的火雞大數據學家做出了一個決定:服!毒!自!殺!!
作爲一個大數據學家,如果只是小小的老鼠藥,就太丟份了,火雞大數據學家會收集大量的禽類和人類死亡和疫病信息,終於選擇了H70N90(比H7N9強大10倍)這種超強病毒!同樣的關聯分析,得出最容易感染H70N90的禽類的行爲,然後有意識帶領着”不明真相的羣衆”一同努力,終於集體感染了這種病毒。
當然,我們的火雞大數據學家只是一個理工屌絲宅,還沒有升級成爲恐怖份子,)如果是恐怖份子,他會在大數據分析的支持下,避免在疫情大爆發的之前表現出被感染的跡象,然後找到各種最容易傳播疫情的方式,足以拖着大量的人類一同去見上帝。)在感染了H70N90之後,還是表現出了各種症狀來提醒人類,讓人類提取有所準備,偉大的火雞大數據學家選擇了在烈火中永生。

    這就是大數據,一個足以改變一切、顛覆一切、毀滅一切、創造一切的神奇造物。

轉自:大蝦盧:黑天鵝與大數據預測
Esri 中國 盧萌

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章