原创 spark如何將數據寫入mongo
業務中的數據庫使用的mongo，離線使用spark計算的每天統計指標需要累加到歷史指標中，然後將結果寫到mongo庫中。如果mongo庫中已經有這條記錄則覆蓋，mongo庫中沒有此記錄則爲新增。 官方文檔：https://docs.m
2020-06-25 06:07:06
1
原创 hash值不均勻的情況排查
使用uuid產生字符串，然後用hash值取餘100， 結果小於50和大於50的比例並不是1：1，而是3：1 原因是因爲，hash值產生了負數，結果區間是-100~100之間； 究其原因：是因爲有些uuid的hash值超過了int的最大取值
2020-06-17 18:52:16
原创 修改 git 歷史提交 commit 信息
git log查看歷史提交記錄 如果只修改最新一條提交信息的 log 內容,直接使用命令 git commit --amend 就可以完成修改 如果修改更早歷史的： 修改近3次的信息：git rebase -i HEAD~3 進入到vi
2020-06-17 10:55:03
原创 Spring JPA 實現slecet count(*) group by
@Repository public interface AAARepository extends JpaRepository<AAA, Long>, QuerydslPredicateExecutor<AAA> {
2020-06-17 10:03:54
原创 Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Lists
代碼在編譯的時候有時候會遇到Caused by: java.lang.ClassNotFoundException 如果在查閱完代碼，發現沒問題的時候，那麼，有一種可能是你的此依賴包並沒有下載完整。 舉個場景來說，你在網絡不好的時候，去編
2020-06-17 10:03:54
1
原创 《代碼整潔之道》讀書筆記 持續更新中
第四章 註釋： 這裏，作者的中心觀點就是若編程語言足夠描述，就不應該再去添加註釋，唯一真正好的註釋就是你想辦法不去寫註釋，而是用代碼去闡述（良好的類名、變量名和結構）。 1.註釋存在越久，就離其所描述的代碼越遠，越來越變得全然錯誤，因爲
2020-06-17 10:03:54
原创 Mac 配置多個ssh-key
應用場景 我們經常將代碼託管到github、gitlab這樣的網站上。爲了避免每次push代碼時都要輸入用戶名和密碼，通常會選擇使用ssh協議，將公鑰保存到託管網站上。在實際開發中，往往要將代碼託管到多個不同的網站上。比如，公司的代碼需要
2020-04-26 21:43:52
原创 flink無法消費kafka消息的一次問題記錄
flink無法消費kafka的消息，本地開發時也沒有錯誤信息打印，後來排查到注掉addsink()後就可以消費到消息； 繼續排查發現是寫入hbase的配置中，由於地址無法連通導致的。
2020-03-15 15:50:02
原创 第一章 Mac os下編譯openJDK 7
本人和書上的作者一樣，編譯的是openjdk 7. 過程中也是遇到了不少坑，查閱了很多資料，嘗試了使用jdk8,jdk7,jdk6，最終使用jdk7u71編譯成功，下面紀錄一下流程，以便他人能夠借鑑。 一、準備工作： 1.安裝Xcode，
2020-02-20 21:17:13
原创 dubbo學習
1.什麼是微服務： Martin fowler的關於微服務的介紹：http://martinfowler.com/articles/microservices.html 2.什麼是dubbo: 阿里巴巴開發的一款開源高性能rpc
2020-02-20 21:17:13
原创 Mac OS下命令行終端無法輸入中文或中文顯示？
之前一段時間因爲配置openjdk，修改了一些環境變量，今天在提交代碼時，發現在命令行中，無法輸入中文了，即使複製過來也是不行。ls命令顯示的文件名，中文的也被轉成了？？？ 如果你也遇到了這種情況，在嘗試了一些方法之後還未解決，那麼你可
2020-02-20 21:17:12
原创 FeignClient訪問第三方地址
FeignClient不僅可以訪問微服務之間的地址，還可以訪問外部地址；以接口的形式進行調用，大大簡化了調用過程； 參考如下：https://blog.csdn.net/qq_21084687/article/details/95
2020-02-20 21:17:12
原创 hibernate使用時遇到的小問題
1.@Value取不到值： @Value取不到值引出的spring的2種配置文件applicationContext.xml和xxx-servlet.xml 項目中經常會用到配置文件,定義成properties的形式比較常見,爲了方
2020-02-20 21:17:12
原创 leetcode: 4. Median of Two Sorted Arrays (java)
題目鏈接：https://leetcode.com/problems/median-of-two-sorted-arrays/ 題目： There are two sorted arrays nums1 and nums2 of siz
2020-02-20 21:17:12
原创 cv2.imread, skimage.io.imread和keras.preprocessing.image.load_img的區別與轉換
這裏寫自定義目錄標題區別轉換............ 區別 from keras.preprocessing import image img = image.load_img(img_path) img = image.img
2019-10-25 15:13:35
6