喜歡愛舉例的老師。像我這樣的笨小孩,講某個複雜的理論或者算法之前先來個形象的例子,學起來就快多了。

     信息論中的熵,描述了信息的不確定性。如果一個事件是確定的,比如我叫笨笨,那熵就是0;如果是扔骰子,那是1/2概率朝上,1/2朝下,熵可以通過-(1/2*log1/2+1/2*log1/2)計算,爲1。熵越大,說明這件事的不確定性越大。而隨着周圍環境的變化,一個事件的熵如果發生了變化,比如股票漲幅,起初很不確定,熵較大,隨着掌握的信息越來越多,熵越來越小,直至確定漲了多少,熵爲0,這個過程中,熵的減少即代表着信息量的大小。

     物理學中的熵,測度的是混亂狀態。在一個封閉的環境中,熵總是趨於增大的。比如滴一滴墨水到清水中,它總是會擴散直至二者均勻混合,這個過程熵是增大的。如果人類世界是個封閉世界,熵也是逐漸增大的,也就是趨於混亂的。

     但所幸我們是開放世界。

     混亂蠻好。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章