原创 解決org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)

1、複製以下代碼 /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements.

原创 Kafka偏移量(Offset)管理

1.定義 Kafka中的每個partition都由一系列有序的、不可變的消息組成,這些消息被連續的追加到partition中。partition中的每個消息都有一個連續的序號,用於partition唯一標識一條消息。 Offset記錄着

原创 matlab時域頻域信號特徵提取資料整合

1 前言 最近在做一個項目,需要將聲納信號中的特徵都提取出來進行分析。資料查到頭禿終於整合出來了些東西,記錄一下。 由於不是專業人員,如果發現任何錯誤請不要大意的附在評論區,我會及時修改,謝謝! 2 思路 思路這段引用自知乎大佬aresm

原创 Flume入門指南

Flume Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving

原创 劍指OFFER思路總結與代碼分享——數組和字符串篇(Java實現)

劍指OFFER數組和字符串相關03 數組中的重複數字53-I 在排序數組中查找數字53-II 0到n-1中缺失的數字29 順時針打印矩陣04 二維數組中的查找58-II 左旋轉字符串58-I 翻轉單詞順序67 把字符串轉化爲整數

原创 大數據入門:Spark+Kudu的廣告業務項目實戰筆記(一)

1.簡介 本項目需要實現:將廣告數據的json文件放置在HDFS上,並利用spark進行ETL操作、分析操作,之後存儲在kudu上,最後設定每天凌晨三點自動執行廣告數據的分析存儲操作。 2.項目需求 數據ETL:原始文件爲JSON格式數據

原创 大數據入門:Spark+Kudu的廣告業務項目實戰筆記(五)

1.統計需求 本章主要實現需求四:APP統計。需求如下: 2.代碼編寫 入口搭好: AppStatProcessor.process(spark) 先看一下第一步的運行情況: package com.imooc.bigdat

原创 劍指OFFER思路總結與代碼分享——鏈表篇(Java實現)

劍指OFFER鏈表相關22 鏈表中倒數第k個節點24 反轉鏈表35 複雜鏈表的複製52 兩個鏈表的第一個公共節點18 刪除鏈表的節點 注:順序是先篩選分類再按LeeCode上的通過率排的,每題最後的總結代碼都是在LeeCode上跑

原创 Kudu報cannot import authentication data from a different user: old='', new='XXX'解決辦法

今天Kudu又抽抽了,在導入數據的時候報錯如下: java.lang.IllegalArgumentException: cannot import authentication data from a different user: o

原创 【從0開始の全記錄】Crontab+Flume+Kafka+Spark Streaming+Spring Boot 統計網頁訪問量項目

1.需求說明 1.1 需求 到現在爲止的網頁訪問量 到現在爲止從搜索引擎引流過來的網頁訪問量 項目總體框架如圖所示: 1.2 用戶行爲日誌內容 2.模擬日誌數據製作 用Python製作模擬數據,數據包含: 不同的URL地址->url_

原创 劍指OFFER思路總結與代碼分享——樹篇(Java實現)

劍指OFFER樹相關55-1 二叉樹的深度27 二叉樹的鏡像54 二叉搜索樹的第K大節點32-II 從上到下打印二叉樹07 重建二叉樹68-I 二叉搜索樹的最近公共祖先68-II 二叉樹的最近公共祖先32-I 從上到下打印二叉樹3

原创 (超詳細)通過一個SpringBoot與Mysql交互的例子入門SpringBoot開發

1.前言     一年多沒碰Spring,在學scala的時候突然又接觸到了,有點懵逼,故根據PK老師的一份Spring Boot與mysql交互的基礎代碼來回顧一遍Spring Boot。前前後後找了很多文章,又喚醒了塵封的記憶。  

原创 WPS顯示無法創建對象,請確認對象已在系統註冊表中註冊

寫論文想插公式發現沒法插入了,註冊表又不知道改哪個,所以乾脆: 1.卸載WPS,不保留信息 2.選擇另一個不同的路徑重新安裝即可  

原创 XGBoost4J-Spark 1.0.0運行流程與排坑指南

XGBoost4J-Spark配置全解0.前言1.確認版本2.Maven配置3.代碼4.運行 0.前言 XGBoost4J-Spark能夠讓我們在Spark上玩XGBoost,對於海量數據來說應該是很有用的。這篇文章主要介紹了將其

原创 劍指OFFER思路總結與代碼分享——棧和堆篇(Java實現)

劍指OFFER棧和堆相關09 用兩個棧實現隊列30 包含min函數的棧59-II 隊列最大值59-I 滑動窗口的最大值40 最小的k個數41 數據流中的中位數 注:順序是先篩選分類再按LeeCode上的通過率排的,每題最後的總結代