原创 Java面試題（持續日更）
1、Java面向對象都有哪些特性以及你對這些特性的瞭解。 繼承：繼承是從已有的類得到繼承信息創建新類的過程。提供繼承信息的類被稱爲父類（超類、基類），得到繼承的是子類。 封裝：把數據和操作數據的方法綁定起來，對數據的訪問只能通過定義的接口
2020-06-22 08:39:29
原创 MySQL的logbin
目錄 一、開啓binlog日誌： 二、常用binlog日誌操作命令 三、查看某個binlog日誌內容，常用有兩種方式： 四、恢復binlog日誌實驗 mysql-binlog是MySQL數據庫的二進制日誌，是MySQL最重要的日誌，用於記
2020-06-22 08:39:28
1
原创 SparkCore 筆記（二）
目錄 一、RDD中的函數傳遞（序列化問題） 1、傳遞一個方法 2、傳遞一個屬性 二、RDD依賴關係 1、Lineage（容錯機制） 2、窄依賴 3、寬依賴 4、DAG 5、任務劃
2020-06-22 08:39:28
原创 Java SE中串行、並行與併發、分時調度與搶佔式調度
1、並行和併發概述 並行：指兩個或多個事件在同一時間點發生 併發：指兩個或者多個事件在同一時間段內發生 詳談： 並行(parallel)：指在同一時刻，有多條指令在多個處理器上同時執行。就好像兩個人各拿一把鐵杴在挖坑，一小時後，每人一個大
2020-06-22 08:39:28
原创 ElasticSearch筆記（一）
目錄 一、簡介 二、爲什麼不用Lucene？ 三、ES優點及作用 四、核心概念 五、舉例理解 六、ES安裝、集羣安裝 七、ES分佈式原理 八、ElasticSearch常用api 九、DSL語言 十、路由機制 十一、版本衝突 十二、
2020-06-22 08:39:28
原创 SparkCore 筆記（一）
目錄 一、什麼是RDD 二、RDD編程模型 1、RDD三種創建方式 三、RDD的轉換（面試開發重點） 1、value類型 2、雙Value類型交互 3、 Key-Value類型 四、 Action 五、案例應用 一、什麼是RDD RD
2020-06-22 08:39:27
原创 大數據面試題（一）
一、Mapreduce的理解？Mapreduce 的執行原理？ Mapper 階段 1、先將HDFS中的輸入文件file按照一定的標準進行切片 2、調用自己編寫的map邏輯，將輸入的鍵值對<k1，v1>變成<k2，v2> 3、按照一定的
2020-06-22 08:39:27
原创 愛奇藝大數據實時項目統計項目
一、項目介紹 1、功能開發： 功能一：今天到現在爲止，每個欄目的訪問量 功能二：從搜索引擎引流過來的，每個欄目的訪問量 二、Pyhton腳本實現模擬日誌生產，定時執行 #coding=UTF-8 import random import
2020-06-22 08:39:27
原创 ETL工具之Kettle
目錄 一、什麼是Kettle? 二、Kettle核心知識點 三、案例操作 四、資源庫 五、Linux下使用 六、調優 一、什麼是Kettle? ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程，
2020-06-22 08:39:27
原创 Azkaban教程
目錄 一、簡介 二、各種調度工具特性對比 三、安裝配置 四、Azkaban實戰 一、簡介 Azkaban是在LinkedIn上創建的用於運行Hadoop作業的批處理工作流作業調度程序。Azkaban通過工作依賴性解決訂購問題，並提供易於使
2020-06-22 08:39:27
原创 BP神經網絡模型
一、簡介 BP神經網絡學習算法可以說是目前最成功的神經網絡學習算法。顯示任務中使用神經網絡時，大多數是使用BP算法進行訓練. 在我看來BP神經網絡就是一個”萬能的模型+誤差修正函數“，每次根據訓練得到的結果與預想結果進行誤差分析，進而修改
2020-05-02 09:25:59
原创 Hive教程（四）之實戰篇
一、統計出每個月，每個用戶的累積訪問次數 select userid,visitdate, sum_count,sum(sum_count) over(partition by userid order by visitdate)
2020-04-30 19:14:26
原创 Hive教程（三）
一、集合數據類型應用 Hive 有三種複雜數據類型 ARRAY、MAP 和 STRUCT 案例：1） 假設某表有如下一行，我們用 JSON 格式來表示其數據結構。在 Hive 下訪問的格式爲： { "name": "songsong",
2020-04-12 17:18:21
原创 大數據電視採集離線項目
一、項目介紹 二、shell 採集日誌腳本上傳HDFS 1、需求分析 點擊流日誌每天都產生在指定文件夾中，在業務應用服務器上，需要準實時上傳至數據倉庫（Hadoop HDFS）上。 2、實現思路 1、shell腳本實現，遍歷日誌文件夾
2020-03-29 17:26:53
原创 SpringBoot 回顧
目錄 （一）SpringBoot 簡單理解 （二）熱部署 (三) 整合Redis （一）SpringBoot 簡單理解 Spring Boot 的設計是爲了讓你儘可能快的跑起來 Spring 應用程序並且儘可能減少你的配置文件。
2020-03-11 17:48:38