原创 Python3 檢測文件真實類型（walker）
測試環境 Windows 10 Python 3.6.7 filetype 1.0.5 安裝 filetype pip3 install filetype -i https://pypi.doubanio.com/simple/ 示例
2019-11-08 10:15:31
原创 Requests：爲人類設計的HTTP庫
簡介 Requests 是一個優雅易用 HTTP 庫，專爲人類構建 本文針對 requests 2.x requests 的作者是 Kenneth Reitz，爲專注於 requests3 的開發，Kenneth Reitz 已將 req
2019-10-23 14:25:29
原创 XPath 與 CSS （parsel）
前言 XPath 即爲XML路徑語言（XML Path Language） 層疊樣式表（Cascading Style Sheets）是一種用來表現 HTML或XML等文件樣式的計算機語言 parsel 是從 Scrapy 獨立出來的解
2019-10-23 11:35:25
2
原创 Python3 讀取 toml 配置文件（UTF-8/UTF-8-BOM）
吐槽 先吐槽一下其他幾個配置文件。 ini：表達能力不夠，比如不能表達列表等結構；沒有官方註釋符號，雖然一般以分號作爲註釋符號。 json：沒有官方註釋符號，雖然某些第三方包提供了註釋結構。 yaml：語法比較複雜，可讀性不太高。
2019-10-18 09:55:19
原创 Linux 查看某個用戶組的所有用戶（Python實現）
code # encoding: utf-8 # author: walker # date: 2017-07-31 # summary: Linux 查看某個用戶組的所有用戶 # filename: group_users.py imp
2019-10-17 19:25:28
1
原创 Linux 系統資源查看（walker）
OS 版本 lsb_release -a uname -a cat /proc/version 系統資源概覽 top 內存 free -h cat /proc/meminfo 磁盤 # 磁盤容量及分區狀況（不能查看未掛載分區） df -Th
2019-10-17 19:25:28
1
原创 關於 SUID, SGID 和 Sticky（walker）
SUID Set-user Identification SUID 屬性只能運用在可執行文件上，當用戶執行該執行文件時，會臨時擁有該可執行文件所有者的權限。 示例 # 查找具有 SUID 的文件 root@qhost:/home/wal
2019-10-17 19:15:27
原创 Linux 用戶管理相關命令（walker）
相關文件 口令文件（/etc/passwd）中的登錄項有7個以冒號分隔的字段組成，依次是： 登錄名:加密口令:用戶ID:組ID:註釋字段:起始目錄:shell程序 加密口令存放在 /etc/shadow 中。 組文件（/etc/group
2019-10-17 19:15:27
6
原创 Spark2 的序列化（JavaSerializer/KryoSerializer）
環境 JDK 1.8.0 Scala 2.11.8 Spark 2.1.2 簡單說明 官方文檔: Data Serialization spark 默認的序列化器是 JavaSerializer，能夠支持所有對象自動的序列化
2019-10-12 17:35:22
9
原创 IntelliJ IDEA Tips
idea自動生成方法註釋（含參數及返回值） walker 在 IntelliJ IDEA 2019.2 社區版的設置如下Template text ** * $VAR1$ $params$ * @return $returns$ * @
2019-10-11 17:35:23
原创 Oozie(HUE) 調度 Spark2
環境 JDK 1.8.0 Scala 2.11.8 Spark 2.1.2 Oozie Hue yarn local 模式 進入 Workspace 進入 lib 目錄，並上傳 jar 和 配置文件 拖拽 Spark
2019-10-11 11:56:22
原创 Spark RDD 轉化操作與行動操作
本文摘自《Spark 快速大數據分析》 概述 RDD 支持兩種操作：轉化操作（Transformation）和行動操作（Action）。 轉化操作時返回一個新的 RDD 的操作，比如 map() 和 filter()。 行動操作則是向驅動
2019-09-25 16:45:43
3
原创 Spark 2.x 與 Java 8 下 WordCount 示例
不用 lambda 的基礎版 import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache
2019-09-25 11:55:27
2
原创 AES 加密解密示例（walker）
AES 簡介 密碼學中的高級加密標準（Advanced Encryption Standard，AES），又稱Rijndael加密法，是美國聯邦政府採用的一種區塊加密標準。這個標準用來替代原先的DES（Data Encryption Sta
2019-09-19 15:15:18
4
原创 Hadoop MapReduce Spark 配置項
適用範圍 本文涉及到的配置項主要針對 Hadoop 2.x，Spark 2.x。 MapReduce 官方文檔 https://hadoop.apache.org/doc...左下角: mapred-default.xml 配置項舉例 ma
2019-09-19 11:45:13