原创 後端生成PDF一些工具

大致分爲以下幾種 1.利用PDF模板,讀入模板,填充數據,生成帶數據的PDF 先要生成自己的PDF模板,然後在模板中定義變量,等待代碼填充變量值。 優點:代碼簡單; 缺點:模板要先提供,表單域的變量只能是name,age這樣的簡單變量,而

原创 spark streaming 提交offset不是你想的那樣

 背景:   需要用streaming+kafka消費一批數據,數據處理的過程中可能會有一些問題,導致沒有消費成功,所以想記錄每個分區消費的offset,在創建createDirectStream的時候指定offset。     測試過程

原创 MultiThreadedHttpConnectionManager遇到的坑

先說背景,使用的是commons-httpclient 3.1版本封裝的HttpUtils,請求一個失效的url。設置了重試大小3次, 因爲是失效的url,所以應該重試3次直接退出。但是現象是重試了兩次後,第三次一直等不到結果,並且請求不

原创 HttpClient 學習整理

HttpClient 是我最近想研究的東西,以前想過的一些應用沒能有很好的實現,發現這個開源項目之後就有點眉目了,令人頭痛的cookie問題還是有辦法解決滴。在網上整理了一些東西,寫得很好,寄放在這裏。 HTTP 協議可能是現在 Int

原创 C語言單鏈表實現19個功能完全詳解

#include "stdafx.h" #include "stdio.h" #include <stdlib.h> #include "string.h"   typedef int elemType

原创 java併發編程-Executor框架

Executor框架是指java 5中引入的一系列併發庫中與executor相關的一些功能類,其中包括線程池,Executor,Executors,ExecutorService,CompletionService,Future,Cal

原创 es 構造dsl性能優化點記錄

1 regexpFilter或者wildcardQuery之類的模糊查詢,本身的性能不高,因爲有可能會觸發多次匹配操作, 尤其是避免以*或者.*開始,性能會有瓶頸

原创 hadoop讀取文件java.io.EOFException解決

今天調試hadoop讀取文件系統的時候遇到了一個java.io.EOFException異常 原始代碼 String path="hdfs://master:9000/user/hadoop-0.20.2/tmp/7-0-initial-

原创 關於Java中的可變與不可變類

所謂不可變類,是指當創建了這個類的實例後,就不允許修改它的屬性值。在JDK的基本類庫中,所有基本類型的包裝類,如Integer和Long類,都是不可變類,java.lang.String也是不可變類,雖然他不是基本類型。 如:Str

原创 多數據更新衝突處理機制

一 背景         在做一個數據合併項目的時候,遇到了多數據源更新同一數據,導致併發更新衝突的問題。具體場景是,有一個數據實時採集服務,然後通過數據merge服務,完成最終的數據合併操作。但是在做合併操作時,有可能會存在併發衝突,後

原创 NumberFormatException

今天在調試Hadoop程序的時候,提示NumberFormatException:for input string ""異常 一直找不到是什麼問題 最後發現居然是路徑寫錯了 現在都沒搞清爲什麼會出現這個錯誤提示

原创 myeclipse修改亂碼(編碼格式修改)

一、設置新建常見文件的默認編碼格式,也就是文件保存的格式。  在不對MyEclipse進行設置的時候,默認保存文件的編碼,一般跟簡體中文操作系統(如windows2000,windowsXP)的編碼一致,即GBK。  在簡體中文系統

原创 subString() jdk1.7改進

String b = a.subString(2); JDK6中通過觀察源碼發現b雖然創建了一個新的對象,但是value[]屬性域仍然指向原來的a所指向的字符數組,只是重新定義了起始位置以及長度。 原因是爲了避免內存拷貝、加快速度

原创 HttpClient入門

HttpClient 是 Apache Jakarta Common 下的子項目,可以用來提供高效的、最新的、功能豐富的支持 HTTP 協議的客戶端編程工具包,並且它支持 HTTP 協議最新的版本和建議。本文首先介紹 HTTPCl

原创 Es對Date類型的處理

  當我們想要存儲一個業務bean的時候,一般都會添加createTime,updateTime字段。如果使用數據庫,我們一般會將時間字段設計爲Date類型,但是如果是使用es,倘若不瞭解其底層機制,那麼會遇到一些意向不到的問題。