也不知道這樣理解對不對，管他呢，只要能重塑大腦連接，減少記憶成本就行
記得母校有一年的研究生入學考試中，《概率論》最後一道送命題大概是這樣的：
學渣小明在做一道選擇題，由於小明完全不會做只能從ABCD中蒙一個答案，恰在此時小明看到同桌小紅給這道題選擇了C，鑑於小紅也不是學霸，小明認爲正確答案是C的可能性只有50%。
求小紅帶給小明的信息量？（11分）
小明最後當然會選C，畢竟有50%的把握，那作爲“考生之外的考生”的研究生們該如何分析這道題呢？正確答案是0.21比特。對於當時還沒有接觸過信息論的我來說，看到0.21這個數簡直一臉懵逼。其實0.21是一個近似值，準確的表達式是1.5-log2(6)*0.5，然後我就更懵逼了。
這道題其實非常簡單，甚至不能作爲考研最後一道大題。小紅爲小明帶來的0.21bit減少了那道選擇題的信息熵，小明的熵減少了，自然就敢選C了。至於1.5-log2(6)*0.5到底是怎麼來的，先彆着急，因爲本文不僅要告訴你它的解題思路，還要用這道題帶你走進信息論的大門，迎接新的世界觀。
▶️ 信息熵 = 熱力學熵 ◀️
首先要明確的一點就是，信息熵 = 熱熵。這倆貨是同一個東西，連公式都一模一樣（一個用