原创 對Python之gzip文件讀寫的方法詳解

今天小編就爲大家分享一篇對Python之gzip文件讀寫的方法詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧 gzip文件讀寫的時候需要用到Python的gzip模塊。 具體使用如下:

原创 linux管理遠程會話之screen命令的常見操作(自己填坑系列)

SSH 或者 telent 遠程登錄到 Linux 服務器進行系統備份、ftp傳輸或者訓練模型,我們必須扥他執行完畢,在此期間可不能關掉窗口或者斷開連接,否則這個任務就會被殺掉,一切半途而廢了。 在putty中設置“seconds bet

原创 Python之批量創建文件

批量創建文件其實很簡單,只需要按照需要創建寫文件、寫完關閉當前寫文件、創建新的寫文件、寫完關閉當前文件、、、不斷循環即可,以下是一個簡單例子,將大文件big.txt按照每1000行分割成一個個小文件,具體做法如下: # -*- codin

原创 Python之gzip文件讀寫

gzip文件讀寫的時候需要用到Python的gzip模塊。具體使用如下: # -*- coding: utf-8 -*- import gzip # 寫文件 f_out = gzip.open("xxx.gz", "wb") # 讀文

原创 NLP中涉及的一些基本概念

監督學習:   使用已知正確答案的數據,也就是標記過的數據來訓練神經網絡。   監督學習分爲兩類:迴歸(regression)分類(classification);   迴歸:試圖預測連續值,我們將輸入變量和輸出用一個連續函數對應起來。

原创 斯坦福大學自然語言處理的QA數據集SQuAD

真英雄,成名於少林寺武俠大會;好算法,驗證在斯坦福公開數據。 武俠小說中一個公平且有影響力的平臺,可以讓俠之大者脫穎而出,科研也是,一個優秀的公開數據集可以讓好算法脫穎而出,並同時讓那些靠吹的算法身敗名裂。本文將詳細敘述今年目前爲止自然語

原创 NLTK數據下載

1、直接網盤下載 直接從官方網站上下載會比較慢。如果出現連接不到服務器的情況,可以直接從百度網盤上下載(https://pan.baidu.com/s/1kVJRJev)。 把下載解壓的文件夾放在python目錄下即可。 2、nltk.d

原创 測試代碼的執行時間:%time和%timeit

對於規模更大、運行時間更長的數據分析應用程序,你可能會希望測試一下各個部分或函數調用或語句的執行時間。你可能會希望瞭解某個複雜計算過程中到底是哪些函數佔用的時間最多。幸運的是,在開發和測試代碼的過程中,IPython能夠讓你輕鬆得到這些信

原创 win10+anaconda+tensorflow安裝經驗

一、anaconda下載安裝 直接去官網搜索下載或者去六維上查找資源 官網:https://www.anaconda.com/download/ 六維:http://bt.neu6.edu.cn/thread-1576957-1-1

原创 python之multiprocessing.pool

Pool相關函數 1、apply(func[, args[, kwds]]) apply用於傳遞不定參數,同python中的apply函數一致(不過內置的apply函數從2.3以後就不建議使用了),主進程會阻塞於函數。 主進程的執行流程

原创 python:txt文件轉換爲csv文件

這篇博客主要是應用python將txt文本文件轉換爲csv文件。主要實現如下: #-*-coding:utf-8 -*- import csv with open('file.csv', 'wb') as csvfile: sp

原创 python之匿名函數lambda

高階函數可以接收函數做參數,有些時候,我們不需要顯式地定義函數,直接傳入匿名函數更方便。 在Python中,對匿名函數提供了有限支持。還是以map()函數爲例,計算 f(x)=x2 時,除了定義一個f(x)的函數外,還可以直接傳入匿名函數

原创 jieba中文分詞應用

應用結巴分詞工具對某文件進行中文分詞。 具體方法如下: # -*- coding:utf-8 -*- import jieba # 加載自定義字典,字典裏面的專有名詞在分詞時就不會被切割 jieba.load_userdict(r"dic

原创 python之批量讀取文件

python的os模塊可以實現普遍的操作系統功能,並且和平臺無關。以下爲實現根目錄下文件的批量讀取。 os.listdir(dirname)可以列出dirname下的目錄和文件,依次讀取相應的文件即可。 # -*- coding:utf