原创 docker 啓動container的時候出現iptables failed
問題： docker: Error response from daemon: driver failed programming external connectivity on endpoint redis-sentinel-263
2020-06-16 16:42:17
原创 Mac 本升級系統後Git出現xcrun: error: invalid active developer path的問題
升級完系統後，git使用過程中會出現錯誤： xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun
2020-06-16 16:42:17
原创 Hadoop與Hbase 版本兼容（官網）
Hbase與JDK兼容問題： Hadoop 與 Hbase 版本兼容問題： 打對號的 兼容。http://hbase.apache.org/book.html#replication Hadoop Pre-2.6.1 an
2020-06-16 16:42:17
原创 springboot項目在spark yarn 集羣上部署運行
需求： 項目採用springboot開發，用於實現歷史數據的統計分析及算法計算，通過spark-yarn運行跑出結果。 環境： JDK：1.8 操作系統：centos 7.6 大數據架構：Hadoop -Yarn-HA；spark
2020-05-21 01:46:04
原创 Only UTF-8 is available
今天採用https 進行Post數據並解析接收到的數據，很奇怪地接收到響應“Only UTF-8 is available.” ，這是什麼東東？！ 百度google了半天，沒查到。自己動手了~~ Only UTF-8 is availa
2020-05-07 08:45:13
原创 JAVA-List to Map
現在記錄其中一種實現方式： Map<String, String> item_id2title_map = item_conf_df.select("movieId", "title").collectAsList().stream()
2020-02-23 01:25:10
原创 spark DataSet和DataFrame join 關聯多列操作
spark在進行兩個dataFrame join時，關聯條件爲多列時，我們可以這樣做： JAVA： Dataset<Row> resultTemp = user_prefer_ds4 //字段列進行關聯時
2020-02-23 01:25:10
原创 XGBoost：參數解釋
原文鏈接：https://blog.csdn.net/zc02051126/article/details/46711047 XGBoost參數 在運行XGboost之前，必須設置三種類型成熟：
2019-09-16 01:47:32
原创 [絕殺技] 通過.ibd對mysql數據恢復
1、需求： 環境：Centos7+Mysql5.7+ ; 假設我們現在想恢復Mysql數據庫 test中表person中的數據。其原始數據如下： 表結構如下： CREATE TABLE `person` ( `id` bigint
2019-08-23 01:07:12
1
原创 Centos7.6 搭建es docker腳本
一份Centos7.6 搭建elasticsearch 6.4.3 docker腳本： 1、docker腳本 docker run -itd --name bigdataES \ --restart=always \ --net=
2019-08-15 01:14:38
原创 併發編程——上線文切換、死鎖
1、什麼是線程上線文切換 時間片是CPU分配給線程執行的時間，由於時間片非常短，所以CPU通過不停切換線程執行。時間片時長一般幾十毫秒。 在切換線程前會保存當前任務線程的狀態，以便下次再切回這個任務時可以再加載這個任務 的狀態。任務從保存
2018-11-26 05:04:26
原创 JVM 垃圾收集器
線程私有： java內存運行時區域，其中程序計數器、本地方法棧、虛擬機棧隨着線程而生，隨線程而終結；虛擬機棧中的棧幀隨方法的進入和退出有條不紊地執行者出棧和入棧。每個棧幀中分配的內存基本上是類結構確定下來時就已知
2018-11-20 05:26:33
原创 Java 開發中的23種設計模式詳解(轉)
Java 開發中的23種設計模式詳解(轉) 設計模式（Design Patterns） ——可複用面向對象軟件的基礎 設計模式（Design pattern）是一套被反覆使用、多數人知曉的、經過分類編目的、代碼設計經驗的總結。使用設計模式
2018-11-07 05:09:18
原创 Java單鏈表反轉 Java實現單鏈表翻轉
https://blog.csdn.net/guyuealian/article/details/51119499
2018-11-07 05:09:18
原创 深入理解 Java 虛擬機
Java 代碼編譯和執行的整個過程 Java 代碼編譯是由 Java 源碼編譯器來完成，流程圖如下所示： Java 字節碼的執行是由 JVM 執行引擎來完成，流程圖如下所示： Java 代碼編譯和執行的整個過程包含了以下三個重要的機制
2018-11-04 05:38:16