原创 在Spark中加載Redshift數據問題彙總
1. java.sql.SQLException: No suitable driver 這個錯誤是因爲,連接Redshift時需要一個driver,而程序執行時找不到能用的driver,所以報錯。AWS提供了多個版本連接Reds
原创 nginx 轉發錯誤 13 permission denied
今天在做 nginx 轉發的時候,總是權限的錯誤: 2019/11/23 14:22:28 [crit] 19986#19986: *1 connect() to 127.0.0.1:5050 failed (13: Permis
原创 「原碼 反碼 補碼 移碼」一探究竟(上)
拋開復雜的理論,直探事物的本質。 0. 二進制 相比於二進制,十進制數字大家都比較熟悉。從右往左依次是個位、十位、百位、千位等,每個位置上的數字範圍 [0, 9]。個位上的 1 表示 1,十位上的 1 表示 10,百位上的 1
原创 『Effective Java』讀書整理
書地址 :鏈接: https://pan.baidu.com/s/1kUAwYgv 密碼: ij4j - Chapter 3 適用於所有對象 8. 重寫equals方法 三個原則:對稱性、傳遞性、一致性 9. 重寫equals
原创 RHEL(Red Hat Enterprise Linux) 安裝 zip、unzip
多數的系統鏡像文件中都是包含這兩個命令,但總有意外。 一般方法 $ sudo yum install zip unzip 如果一般方法報錯,這個是安裝unzip $ sudo rpm -ivh https://rpm
原创 ELK 單機部署,多 beat 節點
參考文章 適用場景:多個項目或服務,獨立部署,各個服務有自己的 log 文件。爲便於查看、過濾等,可單機部署 ELK 服務後,各個服務通過 filebeat 服務將 log 發送至 ELK 機器。 一、安裝 java $ sud
原创 React - Webpack 項目腳手架搭建
把手還是伸向了前端,抽空折騰了幾天,算是理清了起步門檻。 一、首先確保安裝了 npm,如果沒裝…那就想辦法裝上 $ npm Usage: npm <command> where <command> is one of:
原创 yum 安裝最新版本 mysql
一. 先到官網查詢最新的版本,官網地址 注意選擇自己Linux對應的版本,查詢方式: $ cat /etc/*-release NAME="Red Hat Enterprise Linux Server" VERSION="7.7
原创 AWS EMR 上運行Spark + Kinesis: NoSuchMethodError: org.apache.spark.internal.Logging
如題,因有需求,這兩天在弄這個Spark,用的是AWS的EMR,具體是什麼就不解釋了。上面這個問題卡了很久,故在此記錄一下。 Spark支持多種語言,如Scala、Java、Python、R,我用的是Python。 官方有
原创 nginx路由匹配
= 精確匹配 ^~ 精確前綴匹配 ~ 正則匹配(大小寫敏感) ~* 正則匹配(大小寫不敏感) /uri 普通前綴匹配 / 通用匹配
原创 在AWS Lambda中使用psycopg2連接Redshift
環境:MacOS 10.12.6 開始說正題。 Redshift是基於PostgreSQL的二次開發應用,所以,能連接PostgreSQL的工具都可以用來連接Redshift。我選擇的是使用最廣泛的psycopg2。 如果上來
原创 保持ssh遠程連接不斷開
通過ssh user@server登陸到遠程服務器時,經常會遇到一個問題, Connection closed by remote host 意思就是服務器斷開了這個連接。 解決方法 // 先登錄到遠程服務器 $ ssh -i
原创 Flask API 單元測試 unittest,mock && patch
單元測試,主要是爲了測試某個方法,或是某個代碼快,對於各種輸入的處理,輸出是否符合預期。但由於其他庫、或模塊的依賴,以至於很難獨立測試我們自己實現的邏輯代碼。 對此,引出 mock。 一、Flask Flask是個輕量 API 框
原创 Android改變圖片屬性之飽和度
ImageView image = (ImageView) findViewById(R.id.image); ColorMatrix matrix = new ColorMatrix(); matrix.setSatura
原创 golang 項目結構
好久沒寫golang的項目了,前兩天接個臨時需求,需求不難,但要求必須用golang來寫。一時間竟然忘了如何開始,從哪入手了,故在此做個記錄,以備不時之需。 環境: MacOS IDE:GoLand 項目路徑 爲了便於