原创 spark中updateStateByKey引發StackOverflowError的解決
spark中updateStateByKey引發StackOverflowError的解決 問題描述 寫的spark程序, 運行幾個小時候總是會出現 StackOverflowError. 程序使用 spark-1.1 運行.
2020-06-22 04:47:57
7
原创 （轉）基於MapReduce的HBase開發（續）
示例 代碼： [java] view plaincopy import java.io.ByteArrayOutputStream; import java.io.DataOutputStream;
2020-06-22 04:47:54
1
原创 （轉）Linux進程間通信——使用信號量
這篇文章將講述別一種進程間通信的機制——信號量。注意請不要把它與之前所說的信號混淆起來，信號與信號量是不同的兩種事物。有關信號的更多內容，可以閱讀我的另一篇文章：Linux進程間通信——使用信號。下面就進入信號量的講解。 一、什麼是
2020-06-22 04:47:52
原创 （轉）基於MapReduce的HBase開發
在僞分佈式模式和全分佈式模式下 HBase 是架構在 HDFS 上的，因此完全可以將MapReduce 編程框架和 HBase 結合起來使用。也就是說，將 HBase 作爲底層“存儲結構”，MapReduce 調用 HBase 進行特殊的
2020-06-22 04:47:52
原创 （轉）使用 Boost 的 IPC
使用非常流行的 Boost 庫進行併發編程非常有意思。Boost 有幾個用於併發編程領域的庫：Interprocess (IPC) 庫用於實現共享內
2020-06-22 04:47:52
原创 LeakTracer-內存泄露檢測工具
LeakTracer－Linux、Solaris和HP-UX下跟蹤和分析C++程序中的內存泄漏。 推薦到LeakTracer的github上去看看，連接是https://github.com/fredericgermain/LeakTra
2020-06-22 04:47:52
原创 nginx源碼剖析-紅黑樹ngx_rbtree_t（添加lookup操作）
前一篇轉自他人的rbtree結構分析，但是前一篇只有init、insert、delete操作，沒有介紹lookup操作。 所以在此添加lookup操作介紹。 依然借用nginx源碼，源碼文件名爲ngx_resolver.c。 1. ini
2020-06-22 04:47:52
原创 spark streaming 示例
1、監控本地文件夾下的文件信息 [java] view plaincopy import org.apache.spark.SparkConf import org.apache.spark.streaming
2020-02-21 17:45:59
原创 （轉）Linux進程間通信——使用共享內存
一、什麼是共享內存 顧名思義，共享內存就是允許兩個不相關的進程訪問同一個邏輯內存。共享內存是在兩個正在運行的進程之間共享和傳遞數據的一種非常有效的方式。不同進程之間共享的內存通常安排爲同一段物理內存。進程可以將同一段共享內存連接到它們
2020-02-21 17:45:59
原创 （轉）nginx源碼剖析-紅黑樹ngx_rbtree_t
轉自http://blog.csdn.net/chen19870707/article/details/40515287 1.ngx_rbtree優勢和特點 ngx_rbtree是一種使用紅黑樹實現的關聯容器，關於
2020-02-21 17:45:59
原创 Spark as a Service之JobServer初測
spark-jobserver提供了一個用於提交和管理Apache Spark作業(job)、jar文件和作業上下文（SparkContext）的RESTful接口。該項目位於git（https://github.com/ooyala
2020-02-21 17:45:59
原创 Linux sigsuspend與sigprocmask使用詳解
1.sigsuspend()函數作用詳解 一個錯誤示例： 參考APUE中的代碼： 1)頭文件：#include <signal.h> 2）一個保護臨界區代碼的錯誤實例：(sigprocmask()和pause()實現) #include
2020-02-21 17:45:58
原创 spark Master URLs的意思
創建SparkContext的時候，new SparkContext(master, appName, [sparkHome], [jars])， 第一個參數是master，具體含義如下： Master URLs 傳遞給Spark的ma
2020-02-21 17:45:58
原创 hbase設計特點
1.hbase的特點 （1）隨機讀寫操作 （2）大數據上高併發操作，例如每秒PB級數據的數千次的讀寫操作 （3）讀寫均是非常簡單的操作，例如沒有jo
2020-02-21 17:45:58
原创 （轉）Linux epoll
1.什麼是epoll epoll是當前在Linux下開發大規模併發網絡程序的熱門人選，epoll 在Linux2.6內核中正式引入，和select相
2020-02-21 17:45:58