原创 linux下 mysql 主從配置
mysql服務器的主從配置，這樣可以實現讀寫分離，也可以在主庫掛掉後從備用庫中恢復 需要兩臺機器，安裝mysql，兩臺機器要在相通的局域網內 主機A: 192.168.1.100 從機B:192.168.1.101 可以有多臺從機
2020-06-16 06:38:31
1
原创 python | sklearn ，做一個調包俠來解決新聞文本分類問題
https://zhuanlan.zhihu.com/p/30455047?utm_medium=social&utm_source=qq 本文介紹一下使用樸素貝葉斯算法來做文本分類任務。 數據集是搜狗新聞數據集“corpus_6_
2020-06-16 06:38:20
原创 常見的七種Hadoop和Spark項目案例
如果您的Hadoop項目將有新的突破，那麼它必定與下邊介紹的七種常見項目很相像。有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情，他們最終卻會做別人正在做的事情。如比較火爆的Hadoop、Spa
2020-02-20 23:27:21
原创 Hadoop中的Python框架的使用指南
adoop的數據流(streaming)是最快也是最透明的選項，而且最適合於文本處理。mrjob最適合於在Amazon EMR上快速工作，但是會有顯著的性能損失。dumbo 對於大多數複雜的工作都很方便(對象作爲鍵名(key))，但是仍然
2020-02-20 23:26:54
原创 python 字符串操作
字符串 字符串本質是字符序列。Python的字符串是不可修改的。無法對原字符串進行修改，但是可以將字符串的一部分賦值到新字符串，來達到相同的修改效果。 字符串運算+和* + 字符串的拼接 * 字符串的複製 使用[
2020-02-20 23:26:53
原创 大數據前景分析：Hadoop將被Spark替代？
談到大數據，相信大家對Hadoop和Apache Spark這兩個名字並不陌生。然而，最近業界有一些人正在大張旗鼓的宣揚Hadoop將死，Spark將立。他們究竟是危言聳聽？譁衆取寵？還是眼光獨到堪破未來呢?與Hadoop相比，Spark
2020-02-20 23:26:53
原创 python 字典
字典 字典key:value 鍵值對 （無序） 字典是另一種可變容器模型，且可存儲任意類型對象 鍵是唯一的 值不必 鍵必須是不可變的 如：字符串 數字 元組 字典創建 info = {'name':'班長', 'id':
2020-02-20 23:26:53
原创 python 列表 元組
列表 列表非常適合利用順序和位置定義某一個元素，尤其是當元素的順序或內容經常發生改變的時候。與字符串不同，列表中元素的值是可以修改的。我們可以直接對列表中進行添加新元素、刪除元素、或覆蓋已有的元素。（不同元素） 元組 與列表類似，
2020-02-20 23:26:53
原创 TensorFlowOnSpark 源碼解析
這兩天琢磨了下spark-deep-learning和spark-sklearn兩個項目，但是感覺都不盡人如意。在training時，都需要把數據broadcast到各個節點進行並行訓練，基本就失去實用價值了（tranning數據
2020-02-20 23:26:53
原创 Python程序重複執行方法
###方法一： 報錯後，重新啓動.py文件，繼續執行 while 1: run_ticker = 'python ticker.py' run_depth = 'python depth.p
2019-08-01 15:46:06
3
原创 python包導入規範
python包導入規範 1 單行導入 eg: import os impor sys 2導入總應該放在文件頂部, 位於模塊註釋和文檔字符串之後, 模塊全局變量和常量之前. 導入應該按照從最通用到最不通用的順序分組: 標準庫
2019-08-01 15:46:05
原创 解決ubuntu環境依賴問題 sudo apt install -f
更改Ubuntu系統中默認的Python版本 sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.6 2
2019-07-30 15:39:31
原创 將pandas.Dataframe轉化爲字典格式的兩種方法
將pandas.Dataframe轉化爲字典格式的兩種方法 da = df.to_dict(orient='records') das = df.to_json(orient='records')
2019-07-30 15:39:19
原创 ubuntu優化問題 更改分辨率
1，選好自己適合分辨率，比如我的是1440×900, 終端運行： cvt 1440 900 輸出： 1440x900 59.89 Hz (CVT 1.30MA) hsync: 55.93 kHz; pclk: 106.50 MH
2019-07-30 15:39:19
1