原创 基尼係數的直觀解釋

我們在使用分類算法訓練數據後,評價分類模型的優劣時,經常會遇到一個詞,“基尼係數”。那麼,什麼是基尼係數呢? 本文將嘗試用最簡單的方式介紹什麼是“基尼係數”以及它的計算方法和意義。希望能讓大家對基尼係數有個直觀的印象,而不僅僅是記住它枯燥的

原创 神經網絡極簡入門

神經網絡是深度學習的基礎,正是深度學習的興起,讓停滯不前的人工智能再一次的取得飛速的發展。 其實神經網絡的理論由來已久,靈感來自仿生智能計算,只是以前限於硬件的計算能力,沒有突出的表現,直至谷歌的AlphaGO的出現,才讓大家再次看到神經網

原创 pandas:時間序列數據的週期轉換

時間序列數據是數據分析中經常遇到的類型,爲了更多的挖掘出數據內部的信息,我們常常依據原始數據中的時間週期,將其轉換成不同跨度的週期,然後再看數據是否會在新的週期上產生新的特性。 下面以模擬的K線數據爲例,演示如何使用pandas來進行週期轉

原创 最近常用的幾個【行操作】的Pandas函數

最近在做交易數據的統計分析時,多次用到數據行之間的一些操作,對於其中的細節,簡單做了個筆記。 1. shfit函數 shift函數在策略回測代碼中經常出現,計算交易信號,持倉信號以及資金曲線時都有涉及。這個函數的主要作用是將某列的值上下移動

原创 Python裝飾器實戰:打造高效性能計時工具

在數據分析工作中,針對百萬,千萬級別的數據進行分析是常有的事情,因此,分析代碼性能的重要性不容忽視,能夠有一個方便快速的測試函數性能的方法,對於我們快速發現性能瓶頸,及時優化,提高項目的開發效率至關重要。 本文介紹如何通過Python裝飾器

原创 Python裝飾器實戰:實現優雅的重試機制

重試機制在編程中是比較常見的場景,主要被用於處理那些可能由於臨時性故障或網絡波動等原因而失敗的操作。 本文介紹如何通過Python裝飾器來實現重試機制,從而能夠在儘量少修改現有代碼的基礎上,給其中某些函數加上重試機制。 1. 概要 關於Py

原创 扔掉print,用icecream來調試你的代碼

print是我們平時寫些python小工具時,最常用的調試工具。因爲開發代碼時,常常通過print將執行流程、變量的值以及其他關鍵信息輸出到控制檯來觀察,以便了解程序執行情況和調試bug。 但是,print的輸出過於簡單,在輸出變量內容,函

原创 藉助Numpy,優化Pandas的條件檢索代碼

Numpy其實是最早的處理數據的Python庫,它的核心ndarray對象,是一個高效的n維數組結構。 通過這個庫,可以高效的完成向量和矩陣運算,由於其出色的性能,很多其他的數據分析,科學計算或者機器學習相關的Python庫都或多或少的依賴

原创 Pandas:如何讓你的代碼性能飆升

在數據分析相關的工作中,Pandas無疑是一個強大的工具,它的易用性和靈活性廣受青睞。然而,隨着數據量的不斷增長和計算需求的日益複雜,Pandas代碼的性能問題也逐漸浮出水面。如何讓Pandas代碼運行得更快、更高效,成爲了每一個人使用者都

原创 掌握python的dataclass,讓你的代碼更簡潔優雅

dataclass是從Python3.7版本開始,作爲標準庫中的模塊被引入。隨着Python版本的不斷更新,dataclass也逐步發展和完善,爲Python開發者提供了更加便捷的數據類創建和管理方式。 dataclass的主要功能在於幫助

原创 pandas:如何保存數據比較好?

我們在使用pandas處理完數據之後,最終總是要把數據作爲一個文件保存下來,那麼,保存數據最常用的文件是什麼呢?我想大部分人一定會選擇csv或者excel。 剛接觸數據分析時,我也是這麼選擇的,不過,今天將介紹幾種不一樣的存儲數據的文件格式

原创 pandas DataFrame內存優化技巧:讓數據處理更高效

Pandas無疑是我們數據分析時一個不可或缺的工具,它以其強大的數據處理能力、靈活的數據結構以及易於上手的API贏得了廣大數據分析師和機器學習工程師的喜愛。 然而,隨着數據量的不斷增長,如何高效、合理地管理內存,確保Pandas DataF

原创 Pandas導出美化技巧,讓你的Excel更出衆

pandas的DataFrame可以通過設置參數使得在jupyter notebook中顯示的更加美觀,但是,將DataFrame的數據導出excel時,卻只能以默認最樸素的方式將數據寫入excel。 本文介紹一種簡單易用,讓導出的exce

原创 輕鬆駕馭Python格式化:5個F-String實用技巧分享

F-String(格式化字符串字面值)是在Python 3.6中引入的,它是一種非常強大且靈活的字符串格式化方法。 它允許你在字符串中嵌入表達式,這些表達式在運行時會被求值並轉換爲字符串,這種特性使得F-String在編寫Python代碼時

原创 機器學習面試中常見問題整理

機器學習(ML)作爲目前一個比較火領域,提供了許多有趣且高薪的工作和機會。 無論你是剛剛踏入機器學習領域的新手,還是已經積累了一定經驗的從業者,面試都是檢驗你技能和知識的重要環節。本文將梳理一些常見的面試問題,讓你在面試中更加自信從容。 1