原创 pickle——保存python中數據結構的模塊

前些天自己借用《machine learning in action》一書中的FP-Growth代碼,實現了頻繁項集的發現和關聯規則的挖掘。由於數據量比較大,在用python跑的時候有時會出現kernel die的提示,kernel重啓後

原创 python數據挖掘入門與實戰——學習筆記(第5、6章)

chapter 5 用轉換器抽取特徵(感覺有點特徵工程的意思) 本章所討論的是如何從數據集中抽取數值和類別型特徵,並選出最佳特徵。 特徵抽取 對於各個實物,我們只有先把現實用特徵表示出來,才能藉助數據挖掘的力量找到問題的答案。特徵選擇的另

原创 python數據挖掘入門與實戰——學習筆記(第1、2章)

使用numpy讀取數據集:import numpy as np dataset_filename = 'affinity_dataset.txt'

原创 python數據挖掘入門與實戰——學習筆記(第3、4章)

chapter 3 決策樹預測獲勝球隊 pandas加載數據集 import pandas as pd dataset = pd.read_csv('filepath+filename') 數據清洗,可在讀入時清洗 dataset =

原创 使用sklearn實現tfidf特徵計算

最近在做一些文本方面的工作,記錄一下,方便以後查看。 使用sklearn進行tfidf特徵提取主要有兩種方法: 方法一: #method1 from sklearn.feature_extraction.text import Count

原创 FP-Growth算法理解

第一次接觸FP-Growth是在《數據挖掘概念與技術》,當時對它的理解只停留在概念層面。後來又在《機器學習實戰》中接觸到了它,結合着書中的講解和代碼,跑了點結果,理解加深了一點。最近,工作中需要使用到它,又重新撿起,開始精讀和思考,發現收

原创 git學習

目錄1 創建版本庫2 添加文件到版本庫小結3 版本管理3.1 版本回退小結3.2 工作區和暫存區3.2.1 工作區(Working Directory)3.2.2 版本庫(Repository)3.3 管理修改3.4 撤銷修改3.4.

原创 Linux系統上深度學習環境配置

1 安裝相關依賴 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-

原创 Spatial Pyramid Pooling net 論文閱讀理解筆記

1 動機 常見的用於識別、分類的cnn都要求輸入的圖像size是固定的,如224*224。因爲CNN由卷積層和全連接層兩部分組成。卷積層就是一個大小固定的滑動窗在圖像上滑動計算窗口覆蓋區域的特徵,這其實對圖像的size是沒有要求的,無

原创 面向對象高級編程

本文摘錄自廖雪峯python教程 ,作爲學習筆記之用,如有侵權,請聯繫刪除。 1 使用__slots__ 正常情況下,當我們定義了一個class,創建了一個class的實例後,我們可以給該實例綁定任何屬性和方法,這就是動態語言的靈活性

原创 Python面向對象編程

本文摘錄自廖雪峯python教程 ,作爲學習筆記之用,如有侵權,請聯繫刪除。 1 訪問限制 如果要讓類的內部屬性不被外部訪問,可以把屬性的名稱前加上兩個下劃線__,在Python中,實例的變量名如果以__開頭,就變成了一個私有變量(p

原创 高階函數

本文摘錄自廖雪峯python教程,作爲學習筆記之用。如有侵權,請聯繫刪除。 變量可以指向函數,函數的參數能接收變量,那麼一個函數就可以接收另一個函數作爲參數,這種函數就稱之爲高階函數。 def add(x, y abs): r

原创 生成器generator與迭代器iterator

本文摘錄自廖雪峯python教程 ,作爲學習筆記之用。如有侵權,請聯繫刪除。 生成器 通過列表生成式,我們可以直接創建一個列表。但是,受到內存限制,列表容量肯定是有限的。而且,創建一個包含100萬個元素的列表,不僅佔用很大的存儲空間,

原创 ASCII編碼和Unicode編碼的區別

本文摘錄自廖雪峯的python教程 如有侵權,請聯繫刪除。 ASCII編碼是1個字節,而Unicode編碼通常是2個字節。 字母A用ASCII編碼是十進制的65,二進制的01000001; 字符0用ASCII編碼是十進制的48,二進制

原创 tf.name_scope與tf.variable_scope用法區別

本文由網絡上一些回答和博文彙總而成。 要將這個問題解釋清楚,得結合tensorflow中創建變量的兩種方式tf.get_variable()和tf.Variable()一起說明。 在tf.name_scope下: tf.get_varia