原创 【報錯】windows下安裝kenlm報錯error Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++
一、問題： 直接使用pip instal kenlm安裝時報錯error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Buil
2020-07-05 00:28:56
3
原创 中英文拼寫糾錯開源框架梳理
一、中文： 1、Pycorrector：https://github.com/shibing624/pycorrector 當前主流的中文糾錯框架，支持規則和端到端模型 2、FASPell：https://github.com/
2020-07-05 00:28:56
49
原创 【聊天機器人】NLP知識
一、文本處理工具庫： 1、NLTK python上著名的自然語言處理庫。自帶語料庫，詞性分類看；自帶分類，分詞，等功能。有強大的社區支持，和N多的簡單版wrapper(eg.TextBlob) 2、TextBlob 包–英文分析
2020-06-23 13:03:41
4
原创 Pytorch實現CNN模型的遷移學習——蜜蜂和螞蟻圖片分類項目
很多時候當訓練一個新的圖像分類任務時，一般不會完全從一個隨機的模型開始訓練，而是利用預訓練的模型來加速訓練的過程。經常使用在ImageNet上的預訓練模型。 這是一種transfer learning的方法。我們常用以下兩種方法
2020-06-23 13:03:40
11
原创 python中跨文件引入.py文件
在本地可以通過在pycharm裏將文件目錄調整爲sources root實現。但在服務器裏，需要通過如下方式跨文件調用.py文件。 一、同級目錄下的調用 程序結構如下： – src |-- mod1.py |-- test1.py
2020-06-23 13:03:40
原创 Python如何將字符串(str/json)轉換字典(dict)
一、字符串str轉爲字典dict 1、使用json進行轉換 import json a = '{"a":"1", "b":"1"}' c=json.loads(a) print(c, type(c)) 輸出： {‘a’: ‘1’
2020-06-23 13:03:40
原创 Pytorch實現CNN經典網絡框架（LeNet、AlexNet、VGGNet、GoogLeNet、ResNet）
卷積神經網絡可謂是現在深度學習領域中大紅大紫的網絡框架，尤其在計算機視覺領域更是一枝獨秀。CNN從90年代的LeNet開始，21世紀初沉寂了10年，直到12年AlexNet開始又再煥發第二春，從ZF Net到VGG，GoogLeN
2020-06-23 13:03:40
原创 Dataframe處理速度測試
一、定義一個50000行的Dataframe a1 = np.random.randint(1,100,[1,50000]).T a2 = np.random.rand(1,50000).T c = np.hstack((a1,a
2020-06-23 13:03:30
原创 BiLSTM維度詳解
一、BiLSTM 之前文章有介紹過LSTM，BiLSTM就是由前向的LSTM與後向的LSTM結合而成。比如，我們對“我愛中國”這句話進行編碼，模型如圖所示。 二、二種BiLSTM的應用 1、字向量表示 前向的LSTMLLSTM
2020-06-23 13:03:30
原创 使用bert-service獲取句向量和詞向量
一、下載已訓練好的模型 本文選擇的是BERT-Base, Chinese：Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M param
2020-06-23 13:03:29
原创 【深度學習】常用的激活函數
一、什麼是激活函數 神經網絡中的每個神經元節點接受上一層神經元的輸出值作爲本神經元的輸入值，並將輸入值傳遞給下一層，輸入層神經元節點會將輸入屬性值直接傳遞給下一層（隱層或輸出層）。在多層神經網絡中，上層節點的輸出和下層節點的輸入之
2020-06-23 13:03:29
原创 【聊天機器人】深度學習構建檢索式聊天機器人原理
一、檢索式與生成式聊天機器人對比 1、基於檢索的chatterbot 2、基於生成的chatterbot 3、聊天機器人的一些思考： （1）基於檢索的chatterbot 根據input和context，結合知識庫的算法得到
2020-06-23 13:03:29
8
原创 PyTorch中的循環神經網絡（RNN+LSTM+GRU）
一、RNN網絡 1、Pytorch中的RNN參數詳解 rnn = nn.RNN(*arg,**kwargs) （1）input_size：輸入xtx_txt的維度 （2）hidden_size：輸出hth_tht的維度 （3
2020-06-23 13:03:29
3
原创 【項目】使用Bert+CRF完成命名實體識別項目
說明： 1、本文對lonePatient的BERT-NER-Pytorch進行復現。僅供學習，如涉及版權請聯繫我刪除 2、原作者github鏈接：https://github.com/lonePatient/BERT-NER-Py
2020-06-23 13:03:29
原创 Pytorch搭建CNN實現MNIST圖像分類任務
對於MNIST數字圖像分類任務，之前採用三層的全連接層進行分類，現在嘗試採用CNN卷積神經網絡對圖片任務進行訓練。 一、模型的構建 import torch.nn as nn from torch import nn,optim
2020-06-23 13:03:29