原创 shell獲取腳本路徑
以下四種： $(pwd) ## 獲取當前運行（主函數）腳本的路徑 $(dirname $0) ## 相對路徑 $( cd " $(dirname $0) " && pwd ) ## 當前運行腳本的絕對路徑 $(
2020-07-06 17:29:18
2
原创 jieba分詞流程及算法學習
目錄jieba特點算法jieba分詞流程圖Trie 樹建立 DAG 詞圖分詞 DAG 代碼實現計算全局概率Route ，基於詞頻最大切分組合隱馬爾可夫HMM 算法引用 jieba Python 中文分詞庫： github: htt
2020-06-21 05:32:25
15
原创 計算最長公共子序列（LCS）的兩種算法
最長公共子序列 LCS： 動態規劃法得出以下： LCS(Xm,Yn) = LCS(Xm-1,Yn-1)+1 ## xm=yn LCS(Xm,Yn) = MAX{LCS(Xm-1,Yn),LCS(Xm,Yn-1)} ##
2020-06-21 05:32:15
1
原创 Spark環境配置筆記
Spark環境配置筆記 本地Pycharm調試Spark環境配置 Pycharm 首先得裝上(儘量別用社區版) Java8/ Python2都安裝好（沒難度，有問題自行百度） 下載Hadoop包/Scala包/Spark-Had
2020-06-21 05:32:15
原创 【樹莓派】樹莓派遠程視頻監控與Nginx代理配置
背景介紹： 嘗試用樹莓派板實現遠程視頻監控，so在淘寶上入手一個樹莓派攝像頭，它是通過CSI接口連接到樹莓派板上，之前我的樹莓派使用的是CentOS系統，在網上找了很久，沒有發現能在CentOS系統下的攝像頭驅動（如果各位看客有相
2020-06-02 07:13:21
原创 獲取樹莓派內網IP
通常在使用不帶外設輸入輸出設備的樹莓派時（本文是以CentOS7系統爲例），如果不給樹莓派固定靜態IP，重啓後樹莓派IP可能發生變化，由於需要重新確認樹莓派IP，找顯示器、鍵盤甚至鼠標等各種操作隨之而來，導致重連樹莓派的這個過程會
2020-06-02 07:13:21
原创 Python調用c動態鏈接庫
1. 在macos下編譯c動態鏈接庫： (在編譯前請確認c文件路徑是否正確，h頭文件應和c文件在同目錄下) “serial_control.c”，“format_log.c” 是我編寫的c文件 “serial_control.so
2020-06-02 07:13:21
原创 Nginx反代站點獲取訪問用戶真實IP
Nginx反代站點獲取訪問用戶真實IP實例環境實例說明修正配置引用 實例環境 用戶IP 192.168.1.3(內網) ｜ 220.134.113.91(外網) Nginx代理 ll.chinared.xyz:80 frp內網
2020-04-12 18:47:28
原创 樹莓派4 安裝opencv4 報錯解決
樹莓派4 安裝OpenCV4 教程基於： 在Raspberry Pi上安裝OpenCV 4 樹莓派4(RaspberryPi4)安裝OpenCV4 ============ 更新 cmake 命令 ==============
2019-09-08 16:38:42
5
原创 Spark性能調優 - 關鍵性能考量
Spark關鍵性能考量一、RDD並行度二、數據序列化格式三、內存管理四、硬件供給1. 執行器節點內存2. 執行器節點佔用核心數及節點總數3. 本地磁盤數參考 一、RDD並行度 默認情況下，Spark會對RDD自動分配合適的並行度，
2019-08-28 17:08:35
原创 Python map/reduce/zip 內建函數使用
示例 # -*- coding:utf-8 -*- try: # 做Python2的兼容 from itertools import izip as zip # izip比zip在處理大列表時更快 except E
2019-08-28 17:08:34
原创 大數據各系統及組件的控制檯網址/啓動方式彙總
Hadoop 控制檯： http://master:8088/cluster 檢查運行狀態：jps master: ResourceManager NameNode SecondaryNameNode slave:
2019-08-28 17:08:34
原创 樹莓派gpio接ttl轉usb串口調試
樹莓派設置修改 以下教程只在樹莓派3B+驗證測試通過。其它版本未經測試僅供參考。 1> 修改config.txt enable_uart=1 # 找到這行，將值改爲1 dtoverlay=pi3-miniuart-bt
2019-08-28 17:08:34
原创 Python實現單例模式的四種方法
1. 使用__new__方法 首先理解一下 __new__ 和 __init__ 的區別 __new__是一個靜態方法，而__init__是一個實例方法 __new__方法會返回一個創建的實例，而__init__什麼都不返回 只
2019-08-28 17:08:34
原创 Shell - sort命令學習
sort [-bcdfimMnr][-o<輸出文件>][-t<分隔字符>][+<起始欄位>-<結束欄位>][–help][–verison][文件] -b：忽略每行前面開始的空格字符,空格數量不固定時,該選項幾乎是必須要使用的
2019-07-09 17:26:26