原创 MapReduce--10--學生成績（基礎版）--需求1
對於剛入門MapReduce的同學來說，學會mapreduce的基本編程套路，懂得mapreduce是如何對於大批量數據集做分佈式運算的是非常關鍵的。 這裏有一個需求，增強各位對mapreduce編程的理解 首先看數據： compute
2019-06-18 02:25:37
2
原创 斐波拉契數列 Java三種實現
對於很多Java初學者來說，求解斐波拉契數列，基本上所使用的方式都是遞歸。對於求解斐波拉契數列來說，遞歸的實現方式的效率是極其低下的。 在此，我貼出三種實現（遞歸，迭代，動態規劃）： 我們先看代碼的執行效果： 再看代碼實現： pa
2019-06-12 00:35:05
原创 Spark-2.x 中文文檔
Spark 概述 編程指南 快速入門 Spark 編程指南 概述 Spark 依賴 Spark 的初始化 Shell 的使用 彈性分佈式數據集（RDDS） 並行集合 外部數據集 RDD 操作 RDD 持久化 共享變量 Broadcas
2019-06-10 19:14:46
原创 Kafka面試題
Kafka是現在流行的消息中間件，在大數據開發面試中被問到的可能性非常大，下面放出一些kafka面試中，經常可能被問到的kafka的面試題，大家可以學習學習： Kafka的用途有哪些？使用場景如何？ Kafka中的ISR、AR又
2019-06-10 19:14:46
原创 Kafka的ack參數詳解
（0）寫在前面 面試大廠時，一旦簡歷上寫了Kafka，幾乎必然會被問到一個問題：說說acks參數對消息持久化的影響？ 這個acks參數在kafka的使用中，是非常核心以及關鍵的一個參數，決定了很多東西。 所以無論是爲了面試還是實際項目使
2019-06-10 19:14:46
原创 最常用的15大Eclipse開發快捷鍵技巧
做Java開發的，經常會用Eclipse或者MyEclise集成開發環境，一些實用的Eclipse快捷鍵和使用技巧，可以在平常開發中節約出很多時間提高工作效率，下面我就結合自己開發中的使用和大家分享一下Eclipse中常用到的快捷鍵和技巧
2019-06-10 19:14:46
1
原创 一千行MySQL學習筆記（MySQL常見SQL語句全詳解）
/* 啓動MySQL */ net start mysql /* 連接與斷開服務器 */ mysql -h 地址 -P 端口 -u 用戶名 -p 密碼 /* 跳過權限驗證登錄MySQL */ mysqld --skip-grant-
2019-05-09 04:14:05
原创 Hadoop-3.x新特性
相對於之前主要生產發佈版本Hadoop 2，Apache Hadoop 3整合許多重要的增強功能。 Hadoop 3是一個可用版本，提供了穩定性和高質量的API，可以用於實際的產品開發。下面簡要介紹一下Hadoop3的主要變化。 1、
2019-04-12 17:27:12
原创 Spark面試精選題（01）
1、Spark中的RDD是什麼，有哪些特性 概念：RDD（Resilient Distributed Dataset）叫做彈性分佈式數據集，是Spark中最基本的數據抽象，它代表一個不可變、可分區、裏面的元素可並行計算的集合。 Datas
2019-04-11 17:21:03
原创 Spark面試精選題（03）
1、Spark master使用zookeeper進行HA的，有哪些元數據保存在Zookeeper？ 答：spark通過這個參數spark.deploy.zookeeper.dir指定master元數據在zookeeper中保存的位置，包
2019-04-11 17:21:03
原创 Spark面試精選題（06）
1、Operation category READ is not supported in state standby是什麼原因導致的 org.apache.hadoop.ipc.RemoteException(org.apache.ha
2019-04-11 17:21:03
原创 Spark面試精選題（02）
1、driver的功能是什麼？ 1）一個Spark作業運行時包括一個Driver進程，也是作業的主進程，具有main函數，並且有SparkContext的實例，是程序的人口點； 2）功能：負責向集羣申請資源，向master註冊信息，負責了
2019-04-11 17:21:03
原创 Spark面試精選題（04）
1、MRV1有哪些不足 1) 可擴展性（對於變化的應付能力） a) JobTracker內存中保存用戶作業的信息 b) JobTracker使用的是粗粒度的鎖 2) 可靠性和可用性 a) JobTracker失效會
2019-04-11 17:21:03
原创 Spark面試精選題（05）
1、簡答說一下hadoop的map-reduce編程模型 首先map task會從本地文件系統讀取數據，轉換成key-value形式的鍵值對集合使用的是hadoop內置的數據類型，比如longwritable、text等將鍵值對集合輸入m
2019-04-11 17:21:03
原创 分佈式之Redis精講
引言 爲什麼寫這篇文章? 考慮到絕大部分寫業務的程序員，在實際開發中使用redis的時候，只會setvalue和getvalue兩個操作，對redis整體缺乏一個認知。又恰逢博主某個同事下週要去培訓redis，所以博主斗膽以redis爲題
2019-03-25 01:40:50