原创 深入理解java虛擬機（第一篇）
在eclipse中查看內存溢出的案例： package main; import java.util.ArrayList; import java.util.List; /** * @author 劉衛衛 * 2018年9月12
2018-09-13 07:50:38
原创 深入理解RDD
什麼是RDD？ RDD 是一個分佈式的可變集合 常用的Transformation（即轉換，延遲加載） 通過並行化scala集合創建RDD 數據既可以放到內存當中，又可以放在磁盤當中 五個特點： 1、一系列分區組成 2、每一個分區上都會有
2018-09-12 06:48:34
2
原创 java集合框架源碼解析
給jdk寫註釋系列之jdk1.6容器(1)-ArrayList源碼解析 給jdk寫註釋系列之jdk1.6容器(2)-LinkedList源碼解析 給jdk寫註釋系列之jdk1.6容器(3)-Iterator設計模式 給jdk寫註釋系列之j
2018-09-09 20:32:54
原创 RDD算子2
http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSpark
2018-09-04 22:33:12
原创 Hbase高可用集羣搭建
下載Hbase安裝包，並解壓 1、修改hbase-1.2.6/conf/hbase-env.sh 配置文件 export JAVA_HOME=/apps/jdk1.8.0_171 export HADOOP_HOME=/apps/had
2018-09-04 22:33:12
原创 RDD算子1
RDD 是一個分佈式的可變集合 #常用的Transformation（即轉換，延遲加載） #通過並行化scala集合創建RDD scala> val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,
2018-09-04 22:33:12
4
原创 RDD常用的transformation及分區詳解
常用的transformation（轉換，延遲加載） 創建RDD有兩種方法： 1.通過driver端，也就是spark-shell端通過集合來創建。 2.可以通過集羣上的數據來創建。 通過driver端創建的集合通過parallelize
2018-09-01 11:04:03
4
原创 spark中的reduceByKey VS groupByKey
在編寫spark程序時，reduceByKey和groupByKey都可以實現分組聚合的功能，但是在實際中使用哪一個更好呢。 還記的在寫MapReduce程序的時候，每一臺機器上的數據會經過shuffle，分發到屬於自己的機器上進行彙總計
2018-09-01 11:04:02
3
原创 什麼是RDD
RDD是Spark計算的時候操作的數據集，全稱是Resilient Distributed Datasets(彈性分佈式數據集)。 數據是分佈在多臺機器上的，爲了好處理，將這些分佈的數據抽象成一個RDD。這個RDD就是所有數據的代理，操作
2018-09-01 11:04:02
1
原创 Spark+HDFS實現wordCount
首先啓動環境： 1、啓動hdfs [root@master conf]# start-dfs.sh 2、然後啓動spark [root@master spark-2.2.0]# sbin/start-all.sh --mast
2018-09-01 11:03:58
原创 2018第九屆藍橋杯-入門訓練 Fibonacci數列（C語言）
入門訓練 Fibonacci數列 時間限制：1.0s 內存限制：256.0MB問題描述Fibonacci數列的遞推公式爲：Fn=Fn-1+Fn-2，其中F1=F2=1。當n比較大時，Fn也非常大，現在我們想知道，Fn除以10007的
2018-08-29 16:09:02
3
原创 Spark集羣中的Master和Worker之間的通信原理
worker是如何知道master在哪臺機器上的？在配置文件中也沒有配。 配置文件如下： export JAVA_HOME=/apps/jdk1.8.0_171 export SCALA_HOME=/apps/scala-2.11.
2018-08-29 16:08:51
原创 JAVA視頻資料百度網盤分享
1、javascript視頻教程 鏈接:點擊打開鏈接 密碼: d9ei 2、JPA視頻教程 鏈接: 點擊打開鏈接 密碼: fwwd 3、馬士兵hibernate視頻教程 鏈接
2018-08-29 16:08:49
原创 HA高可用集羣namenode啓動後自動停止解決辦法
由於hadoop自帶的啓動腳本start-dfs.sh 中 journalnode的啓動在namenode之後。[root@slave1 ~]# cd /apps/hadoop-2.8.0/sbin/ [root@slave1 sbin]
2018-08-29 16:08:36
7
原创 2018第九屆藍橋杯-入門訓練 圓的面積（C語言）
入門訓練 圓的面積 時間限制：1.0s 內存限制：256.0MB問題描述給定圓的半徑r，求圓的面積。輸入格式輸入包含一個整數r，表示圓的半徑。輸出格式輸出一行，包含一個實數，四捨五入保留小數點後7位，表示圓的面積。說明：在本題中，輸
2018-08-29 16:08:25
1