原创 遊戲報表方案設計
一.三種方案 方案1. spark streaming 做實時數據分析，hive 做數據倉庫 ，spark sql 做離線數據分析 方案2. spark streaming 做數據同步，es做數據倉庫， spark sql
2020-06-29 18:40:29
4
原创 hive源數據服務啓動錯誤
一.配置hive 源數據服務 1. 在 hive-site 配置文件裏將下面的配置文件刪除（這個配置時用來集成hue的，刪除就不集成了） <property> <name>hive.metasto
2020-06-12 21:35:03
原创 hbase問題總結
hbase啓動時 ： zookeeper 掛掉和 hmaster掛掉的問題 A： zookeeper 掛掉 ERROR [main] zookeeper.ZooKeeperWatcher:hconnection-0x6e1721d7, q
2020-06-12 21:35:03
原创 spark程序運行緩慢
spark程序運行緩慢 原因一：在map ，reducebykey ,transform 等算子裏進行耗時操作 耗時操作包括： 讀取配置文件，打印，讀取數據庫的數據 對象 boolean local =ConfigurationMa
2020-06-12 21:35:03
原创 spark遇到的死鎖
數據庫基礎知識： http://blog.csdn.net/luyaran/article/details/53502917 死鎖：如果需要“修改”一條數據，首先數據庫管理系統會在上面加鎖，以保證在同一時間只有一個事務能進行修
2020-06-12 21:35:03
原创 windows運行 HiveContext 報錯
裝在 windows 的 ideal 運行 val sqlContext = new HiveContext(sc) 報 錯 Caused by: java.lang.NullPointerException at
2020-06-12 21:35:03
原创 快遞質量監控實時統計方案設計
目錄 數據流程圖和關係 數據流程圖 數據流程關係 需求描述 框架和版本 方案一 說明 問題 方案二 說明 數據同步問題 es 查詢問題 方案三 說明 es 查詢問題 方案四（選擇方案） 說明 es 查詢問題 數據流程圖
2020-06-12 21:35:03
原创 Spark集成 hadoop，hbase 的 maven衝突
Spark和Hadoop、HBase集成，使用Maven管理依賴的時候需要考慮包的兼容性： 報錯：java.lang.SecurityException: class "javax.servlet.FilterRegistratio
2020-06-12 21:35:03
原创 hadoop任務卡死
hadoop 運行mapreduce的時候會卡死在 mapreduce.Job:Running job: job_1477030467429_0002 位置不動 思路一：分析：mapreduce卡死不動，原可能是 resourc
2020-06-12 21:35:03
原创 快遞行業實時報表方案
一.需求 1.需求描述 統計每天，每個網點的快遞單數（有修改，攬收狀態，簽收狀態，是否退件等） 表： waybill 字段: 時間 ：input_time，網點 network ,訂單唯一ID : waybillId 2. 需求sq
2020-06-12 21:34:53
原创 spark序列化溢出
序列化緩存溢出 Causedby：org.apache.spark.SparkException：Kryo序列化失敗：緩衝區溢出。可用：0，必需：21.要避免此情況，請增加spark.kryoserializer.buffer.max C
2020-02-21 19:17:06
原创 機頂盒焦點問題
1.需要某個控件具有焦點 在佈局裏添加屬性 android:focusable="true" android:focusableInTouchMode="true" 2.狀態選擇器<?xml version="1.0" encod
2020-02-21 19:17:05
原创 Spark任務卡死
spark階段 parkcore standalone /yarn 模式運行的時候 client 模式正常運行， cluster 模式卡死 spark-env.sh 裏的配置 SPARK_MASTER_PORT=7077 SPA
2020-02-21 19:17:05
原创 spark性能調優--jvm調優
一.問題切入 調用spark 程序的時候，在獲取數據庫連接的時候總是報 內存溢出 錯誤 （在ideal上運行的時候設置jvm參數 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=
2020-02-21 19:17:05
原创 hadoop 文件錯亂
一個datanode長期掛掉的後，重新運行spark程序報錯 java.io.IOException:Cannot obtain block length for LocatedBlock 解決方法： 在Hadoop測試集羣運行job的過
2020-02-21 19:17:05