原创 java項目整合scala項目打包（調用外部jar包）
一、引入外部jar包 在用到外部jar包的時候，可以將jar包放入到本地的maven倉庫，然後在pom.xml文件中添加相應的依賴即可。 例如：有一個ipdatabase.zip項目文件。 方法一： 將ipdatabase.zip文件解壓
2020-06-24 10:24:46
原创 ip地址解析（scala）
在日誌處理過程中，常常會遇到ip地址的分析，就要涉及到ip地址解析爲城市的操作。 下面介紹2種方法： 方法一：只能夠進行中國的ip地址轉換爲城市的操作，國外的解析不是很實用。 方法二：可以進行全球的ip地址的各項解析，解析城市、國家、經緯
2020-06-24 10:24:46
原创 利用Anaconda3建立python2.7虛擬環境
據目前發展來講，python3.x 使用率逐年上升，但是很多歷史項目常常會用到python2.x，這就涉及到2.x和3.x的虛擬環境的切換。 本文爲大家介紹一個好的方法，在安裝Anaconda3前提下，建立python2.7的虛擬環境。（
2020-06-24 10:24:46
原创 java 線程Thread同步synchronized使用
很多人都知道，在Java多線程編程中，有一個重要的關鍵字，synchronized。但是很多人看到這個東西會感到困惑：“都說同步機制是通過對象鎖來實現的，但是這麼一個關鍵字，到底有什麼作用呢？” synchronized定義在方法中，保證
2020-06-24 10:24:35
2
原创 Spring Boot通過註解讀取配置文件，並解決讀取配置文件中文亂碼問題
在編寫Spring boot項目時，註解幫助我們簡化了大量的代碼量。 現在給大家介紹一個通過註解讀取配置文件的例子。 配置文件：resources/config.properties 內容如下： conf.plugin.key1=小米
2020-06-24 10:24:35
1
原创 IDEA禁止控制檯日誌輸出
在進行代碼編寫時，現在流行的工具是IDEA，但是在測試的時候，控制檯會輸出大量的日誌信息，影響測試。 先介紹一種控制日誌輸出的方法： 1）查驗是否含有resources目錄 查看main目錄下（如果用於測試，可以查看test目錄），是否有
2020-06-24 10:24:35
原创 使用sql自動生成測試數據
在進行代碼編寫的時候，常常會用到大量的測試數據。手動的進行測試數據的編寫費時費力，下面給大家介紹一個使用sql自動生成測試數據的方法。 1）建立測試數據表 CREATE TABLE `datatable` ( `id` int(11
2020-06-24 10:24:35
原创 sql去除某一字段重複的數據（去重）
已知一個person表，表中數據如下：需求是刪除email相同的數據。 該問題是傳統的數據去重問題，可以採用row_number() over進行排序篩選，這裏不進行詳細介紹。 再此介紹一個利用笛卡兒積的方法進行去重，該去重方法較爲簡單
2020-06-24 10:24:35
原创 解決：IDEA不能識別*.js文件
在進行IDEA進行前端開發時，必不可少的會用到JavaScripts，在進行*.js文件時，發現其不識別，爲文本樣式。 如下圖所示： Setting--> Editor--> File Types -->JavaScript -->
2019-08-28 20:24:18
5
原创 sql去除某一字段重複主鍵的數據（去重）
已知一個person表，表中數據如下：需求是刪除email相同的數據。 該問題是傳統的數據去重問題，可以採用row_number() over進行排序篩選，這裏不進行詳細介紹。 再此介紹一個利用笛卡兒積的方法進行去重，該去重方法較爲簡單
2019-05-08 01:00:20
原创 時間工具類DataUtils.java，通過輸入開始時間和截至時間，獲取之間的日期
在進行數據統計時，常常需要通過接收2個參數，起始時間和結束時間，獲取2個時間之間的日期。 例如：輸入參數：2019-04-01，2019-04-10 需要獲取2個時間之間的日期：即：[2019-04-01,2019-04-02,2019
2019-05-05 21:36:44
原创 maven項目不能打包scala代碼
在建立maven項目時，遇到問題，只能對java代碼的打包。 此問題出現的原因時，在建立項目的時候，建立的時java的項目，後期進行scala的添加，但是在pom.xml中並沒有出現scala代碼的打包配置，導致只能進行java代碼的打包
2019-04-12 19:57:58
原创 java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date
在進行spark程序連接mysql數據庫時，遇到以上問題。 java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date 在mysql數
2019-04-11 19:51:46
原创 spark-shell進行換行代碼的粘貼
在用spark-shell進行測試時，常常會遇到換行代碼，或者想要統一將代碼進行粘貼的情況。 例如以下代碼： val mysqlDF = spark.read.format("jdbc") .option("url"
2019-04-11 19:51:46
2
原创 SecureCRT解決命令行無法退格/刪除
在通過CRT進行spark-shell程序編碼時，發現不能進行退格和刪除。 解決辦法： 進行SecureCRT的設置。 Options --> Session Options Torminal --> Emulation --> Ter
2019-04-11 19:51:46
1