原创 kafka數據通過flume進hdfs
之前本想用下面這種架構搭建一個集羣來學習大數據 但是發現這種情況下，flume到sparkstreaming的數據並不是實時過去，都是嗝了一個很長很長的間隔突然過來一堆，很玄學。這裏並不是我設置Spark的採集週期的問題。 後來改變架構
2020-06-19 17:47:06
原创 SparkStreaming 遇到LZ4BlockInputStream報錯
今天在學習Spark的流式處理的時候，執行map算子和其他算子都正常，但是唯獨執行groupbykey算子的時候回報如下錯誤 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4
2020-06-19 17:01:15
原创 kafka連接flume把數據分別推到HDFS和SparkStreaming
kafka沒有辦法多個消費者重複消費同一個topic，所以就在kafka後面掛載flume，然後利用replicating的selector把數據分別發往HDFS做存儲和sparkstreaming中實時分析。下面我貼一下flume的配置
2020-06-19 17:01:15
原创 把hive的元數據都保存在mysql裏面(hive連接mysql)
1.下載mysql-connector-java-bin.jar並放置在xxx/apache-hive-1.2.1-bin/lib文件夾下 mysql-connector和mysql的版本對照 2.在mysql中創建 metastore
2020-06-19 17:01:04
原创 gitlab-ci部署Android自動生成APK
1.在目標機器上安裝Java1.8，這裏用的ubantu 2.安裝sdkmanager wget https://dl.google.com/android/repository/sdk-tools-linux-3859397.zip 3
2020-03-18 22:22:59
原创 Cocos2d-x學習之路(一)
前文 我呢，現在在一家手遊公司上班，但是我之前一直學習的是做Android應用的，來這家公司後就在做SDK渠道接入的工作，工作好清閒啊，但是感覺自己來了一個多月了也沒什麼提高。可能是我太笨了吧。哇咔咔咔。By the wa
2020-02-24 11:28:34
原创 GoogleCloudMessage推送的使用一（申請）
今天老大給安排一個任務，在項目中用GCM推送，好難用有木有，根本和極光推送沒得比啊。難用要死。但是沒辦法，耐心研究API吧，搜索了好多大牛的文章，發現都是以前的，Google console都更新幾代了。害得我走了不少彎路。
2020-02-24 11:28:24
原创 Mac OS上常用環境變量配置
JAVA_HOME 配置環境變量 # 使用vim打開.bash_profile文件，加入java環境變量 $ vim .bash_profile export JAVA_HOME=$(/usr/libexec/java_home)
2020-02-24 11:28:24
原创 學習設計模式筆記之工廠模式1
本文繫個人的筆記，是總結大神的講解，不是本人原創，重要的事情說三遍。 1、工廠方法模式（Factory Method） 工廠方法模式分爲三種： 1.1、普通工廠模式 就是建立一個工廠類，對實現了同一接口的一些類進行實例的創
2020-02-24 11:28:24
原创 GoogleCloudMessage推送的使用二(正式使用走起)
上一期記錄了申請過程，就這個申請過程很噁心啊，卡了我好久。兩個Key傻傻分不清楚，導致最後推送一直失敗失敗失敗。 讓我們繼續，ADT升級最新版後，打開SDK Manager，下載下面這些，有些人會在Extra下面直接有那個Google C
2020-02-24 11:28:24
原创 學習spring boot2的一些記錄1
最近接了個私活.....emmmmmm, 我一個Android工程師現在寫上了後臺代碼，也是貧窮限制呀。不過話說spring boot還是挺好玩的。接下來會更新一些學到的東西。 spring boot版本：2.1.1.RELEASE 今天
2019-02-01 17:38:09
原创 關於Android的Databinding在RecyclerView上使用的記錄
首先我是 不太喜歡Databinding這玩意的，雖然用着還是蠻爽的，一綁定所有的控件直接拿到，也不用findViewbyid了，但是這東西出錯誤了巨難差。你要是在xml裏面寫錯了，AndroidStudio不報錯的那種錯誤
2018-11-19 23:33:05
原创 記錄一下在centos6.4上安裝mysql8.0的過程
感謝作者：原文：https://blog.csdn.net/liyanwei1007/article/details/80728800 搞得我研究了一下午，頭疼啊。記錄一下 1.去下載編譯好的mysql8.0，直接執行wget就行。下載
2018-11-08 03:12:25
原创 在centos6上安裝python3.7以及一大堆垃圾問題安裝
一.安裝 1.wget下載python3.7。 wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 2.配置 && 編譯安裝python ./configure
2018-11-08 03:12:25
原创 記錄一下頭條面試的慘敗題(遍歷回形數組)
之前找工作的時候去頭條碰碰運氣，然後結果一面就慘敗回家。不得不說頭條的面試很有分量。一面小哥開場看了一下我的簡歷，然後直接就說那你做個題吧。然後現場寫了個回形數組，讓我寫個算法遍歷下。說實話本人算法 真的很水。也沒有 刻意去研
2018-10-10 02:16:21