原创 spark使用java代碼實現foreachPartition
System.setProperty("hadoop.home.dir","h:\\hadoop2.3.7"); string mastor="local" string name="wordcount"+system.currentT
2019-03-06 17:51:35
原创 解析超大數據的json文件，存入數據庫
需求：導出json文件，解析數據存入數據庫 json格式[{k:v,k:v},{..},{..}] json文件是json數組中包含json對象，json對象是表的字段名和值 json數據大約有200w條，如果直接用流的方式讀成對象，不太
2019-03-06 17:51:35
原创 HttpURLConnection與HttpClient
這篇博文的地址：http://blog.csdn.net/zhliro/article/details/46877519一）HttpURLConnection與HttpClient淺析1. GET請求與POST請求HTTP協議是現在Int
2018-09-04 05:08:28
原创 MD5加密方法
爬蟲搜狐郵箱的時候，發現祕密是經過md5加密的，從網上找個方法可以轉化public class Md5Util { public String Pd(String str) throws Exception { S
2018-09-04 05:08:28
原创 Httpclient 實現https請求，繞過SSL 方法
import java.security.KeyManagementException; import java.security.KeyStoreException; import java.security.NoSuchAlgorit
2018-09-04 05:08:28