原创 HMM原理1

1. 簡介 隱馬爾可夫模型(HMM)是關於時序的概率模型。假設我們有三種骰子(A、B、C),每種骰子都有6面,但是這三種骰子不都是均勻的,即骰子出現數字1-6的概率不同,這三種骰子每個都有自己的概率分佈且三者概率分佈不同。現假設我

原创 自然語言處理基本概念、詞向量發展、語言模型

1. 基本概念 1. 1 語料庫&詞典 一般語料庫就是很多篇文章(可能一篇文章有好幾句話,也可能只有一句話),在實際業務中,每篇文章一般要先進行分詞 詞典:語料庫中詞的種類數,即有多少個詞,一般用|V|表示 樹中根節點就是最上面

原创 Sublime text3修改tab鍵爲縮進四個空格

在用sublime寫python腳本時,如果混用空格和tab,可能會報錯,因此可以設置將tab改爲4個空格,以便統一格式。 添加上圖紅框處代碼即可 # 設置保存時自動轉換 "expand_tabs_on_save": true

原创 datetime的操作

from datetime import date, time, datetime, timedelta, tzinfo 1. datetime模塊簡介 python中關於時間的格式: 時間對象格式struct_time(

原创 sklearn中f1_score參數解析

1. f1_score sklearn.metrics.f1_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’, sample_weight=None

原创 pytorch入坑指南

1. 內存爆炸問題 1.1 loss.item或 float(loss) 首先附上主要代碼 下圖接上圖 上面爲定義的TextCNN模型,下圖爲主要的訓練及預測測試集的過程 下圖接上圖 可以從第三張圖片看到綠框部分有一個tr

原创 java基本語法4

4.1 繼承 實際場景: 如我們有一個Person的類,該類中有姓名、性別、年齡三個屬性以及打印信息的方法。 我們還有一個學生類,該類中也是姓名、性別、年齡是三個屬性及打印信息的方法 此外,我們還有工人類、教師類等,也是上述屬性和

原创 python使用flask封裝restful API

1. 簡介 使用flask封裝,簡單來講就是將python文件引入flask。這樣的結果就是在網頁上輸入一個url就能得到結果。下面就講如何進行實現。 2. 任務1:求兩數之和 2.1 代碼講解 新建一個server.py的文件,

原创 java與python類對比

1. 構造器 方法和變量 super、self、this 4. python代碼實例 class Test(): # 類屬性 country = '中國' province = '陝西省' c

原创 os操作

os常用的爲: os.walk os.listdir os.path模塊 假如test文件夾下有a、b兩個文件夾和一個ex.txt文本文檔。a文件夾下有a.txt和b.txt兩個文本文檔。

原创 HMM原理2:decoding問題解法(維特比算法,近似算法)

1. 維特比算法 1.1 前提概要 我們知道HMM需要解決三個問題,其中的decoding問題需要用維特比算法,那麼什麼是維特比呢?維特比算法是一種動態規劃算法,在學xgboost的時候我們使用了一個技巧,t+1時刻的預測值爲t時

原创 jupyter notebook相關問題

1. Password or token 打開jupyter notebook,有時會出現下圖: 如果不記得密碼,可以win+r後輸入jupyter notebook password修改密碼,連續輸入兩次密碼即可修改,然後重啓

原创 xlsxwriter/ExcelWriter

1. 將數據保存到excel result如下圖所示: from openpyxl.utils import get_column_letter result_copy = result.copy() # result是一個Da

原创 df.rank & pd.pivot_table & pd.read_excel & df添加行 &調整df行列順序(reindex再理解)

1. df.rank df.rank針對指定的序列進行排序(從大到小或從小到大),並返回排名的序列(從第一名到最後一名) rank有兩個重要參數:ascending、method。 ascending:爲True時,表示按從小到

原创 tensorflow2 gpu使用

待補充圖片和1.4 1. tensorflow2 默認情況下,tensorflow2會自動選擇設備,如果有GPU,優先使用GPU,且自動佔滿多塊GPU顯存。 1.1 設置使用cpu os.environ['CUDA_VISIBL