原创 手撕項目-Flink電商實時分析八
目錄 hive中建表 sqoop flink batch實現產品成交分析 總結 hive中建表 在hive中創建與業務數據一樣的表 CREATE TABLE cartinfo(userid string, productid st
2020-06-13 05:59:00
原创 List你可能沒遇到的坑！
目錄 入坑 解惑 真相大白 意外發現 總結 入坑 @Test public void test() { String[] str = new String[]{"1", "2", "3",
2020-06-13 05:59:00
原创 手撕項目-Flink電商實時分析七
目錄 回顧 後續分析 本地Mysql數據庫添加部分電商數據 安裝Mysql和Hive 總結 回顧 上篇中addSink一直沒有執行，後來在countWindow中加了第二個參數（slide）莫名可以執行，【還可能和kafka不穩定
2020-06-10 10:07:40
原创 關於solr的一些總結和問題
關於solr的一些總結和問題 今天是2018年的第一天，目前已經工作一年了，項目也在不斷的“升級”，寫的東西越來越多，偶爾總結一下，也算是一種學習吧。休息了幾天，今天把前段時間關於Solr的一些問題總結一下。 在之前自己搭過單機
2020-06-10 10:07:40
原创 手撕項目-Flink電商實時分析六
目錄 回顧 頻道新鮮度編寫 總結 回顧 之前編寫了計算pvuv的mapredice，並且可以在本地進行測試，將計算結果存入hbase 頻道新鮮度編寫 新鮮度：每天的活躍用戶中，新用戶的數量和老用戶的數量的一個比例 m
2020-06-10 10:07:40
原创 手撕項目-Flink電商實時分析五
目錄 Hbase搭建 Hbase工具類 添加Pv（訪問量）,Uv（獨立訪客）相關邏輯 修改map邏輯 修改reduce邏輯 總結 Hbase搭建 下載hbase-1.0.0-cdh5.5.1.tar.gz，解壓並修改配置文件 修改co
2020-05-22 18:19:01
1
原创 手撕項目-Flink電商實時分析四
目錄 1.前端服務 2.hadoop環境搭建 3.總結 1.前端服務 構建前端服務DsViewservice，創建項目，添加對應的maven依賴 測試前端服務連redis服務 引入maven <dependency> <gro
2020-05-21 05:58:04
原创 手撕項目-Flink電商實時分析三
目錄 Redis服務 將本地應用放在服務器上測試 報錯記錄 總結 Redis服務 在服務器上搭建redis服務，本次採用redis-5.0.8，官網下載gz包，tar解壓，再進行make操作，不報錯的話，進入src（出現redis-s
2020-05-09 11:10:52
1
原创 手撕項目-Flink電商實時分析二
由於沒有大量的測試數據，所以我們需要手動編寫一些測試數據通過上報服務上傳，做一些mapreduce操作。 1.模擬電商瀏覽記錄 創建ScanlogProduce類 主要字段是 頻道id 類別id 產品id 用戶id 打開時間 離開時
2020-05-05 17:38:41
原创 手撕項目-Flink電商實時分析一
本次主要記錄項目的架構圖、上報服務和kafka服務的搭建 項目架構 2.上報服務 使用springboot框架，用戶調用接口收集數據（暫時是一個架子，後續完善） 核心代碼： @PostMapping("webInfoSJ
2020-05-03 07:49:56
原创 你也可以使用的加密解密
一、簡介 加密技術是最常用的安全保密手段，利用技術手段把重要的數據變爲亂碼（加密）傳送，到達目的地後再用相同或不同的手段還原（解密） 今天主要介紹通過異或加密。 二、技術介紹 異或是一種數學運算符，計算機符號爲“xor”，數學符號爲“⊕
2020-04-30 22:04:54
3
原创 第一次開通博客，暫時隨便侃侃
目前是個java工作一年的小白，目前還在摸索中，在此寫點東西，紀念一下自己工作一年，作爲一個小小的警示。 希望一年後的自己看到此刻的博客，不要懷着遺憾的心情。 如果有人不巧看到，也可以和我聊聊經驗，故事什麼的（經常看博客私信的）。 目前在
2018-08-24 22:57:20
原创 關於d3生成圖片的一些實例
最近項目需要，正好多看了一下，下面就是一些記錄，日積月累第一次。。。 1.需求 爲了生成關係圖譜，選擇力導向圖(force)，在D3.js和echarts.js中選擇了D3.js(沒有對比過)來實現力導向圖。 利用D3.js
2018-08-24 22:57:19