原创 新建idea的scala項目報錯

錯誤記錄: 通過IDEA方式創建scala項目後,在修改項目目錄結構時,將src、main、scala目錄全部設置爲Sources時, 運行程序時報錯: Error:(1, 8) hello is already defined

原创 VMware15pro註冊碼,親測可用

VMware Workstation Pro 15 序列號: YG5H2-ANZ0H-M8ERY-TXZZZ-YKRV8 UG5J2-0ME12-M89WY-NPWXX-WQH88 UA5DR-2ZD4H-089FY-6YQ5T-

原创 個人電腦虛擬環境的搭建(VMware Workstation Pro)

對於剛接觸學習Linux系統或大數據的同學,擁有一個自己學習實踐的環境是很必要的,然而我們個人購買或租用實體服務器成本比較大,剩下可選擇的方式就只有購買雲服務器或者在個人電腦上搭建Linux系統了,雲服務器對於學生黨和經濟情況有

原创 sqoop數據遷移指南(參數超詳細解析)

https://blog.csdn.net/Thomson617/article/details/95357486

原创 Scala中的函數和方法(終於搞清楚了)

函數是一組一起執行一個任務的語句。 您可以把代碼劃分到不同的函數中。如何劃分代碼到不同的函數中是由您來決定的,但在邏輯上,劃分通常是根據每個函數執行一個特定的任務來進行的。 Scala 有函數和方法,二者在語義上的區別很小。Sca

原创 Hive內存溢出常見問題

MapReduce作業運行過程中內存溢出錯誤分類 1、Mapper/Reducer階段JVM內存溢出(一般都是堆) 1)JVM堆(Heap)內存溢出:堆內存不足時,一般會拋出如下異常: 第一種:“java.lang.OutOf

原创 大數據面試之——大數據解決方案思維題

1.給定a、b兩個文件,各存放50億個url,每個url各佔64字節,內存限制是4G,讓你找出a、b文件共同的url? 方案1:假如每個url大小爲10bytes,那麼可以估計每個文件的大小爲50G×64=320G,遠遠大於內存

原创 大數據面試系列之——Java基礎

1.String 和StringBuffer的區別JAVA平臺提供了兩個類:String和StringBuffer,它們可以儲存和操作字符串,即包含多個字符的字符數據這個String類提供了數值不可改變字符串而這個StringBu

原创 大數據面試系列之——Kafka

1 什麼是kafka Kafka是分佈式發佈-訂閱消息系統,它最初是由LinkedIn公司開發的,之後成爲Apache項目的一部分,Kafka是一個分佈式,可劃分的,冗餘備份的持久性的日誌服務,它主要用於處理流式數據。 2 爲

原创 面試系列之——數據庫知識(2)

MySQL數據庫在5.0版本後開始支持存儲過程,那麼什麼是存儲過程呢?怎麼創建、查看和刪除存儲過程呢?存儲過程有什麼優點?這些是本章節要探討的問題: 什麼是存儲過程: 簡單的說存儲過程是爲了完成某個數據庫中的特定功能而編寫的語句集

原创 面試系列之——MySQL基礎

MySQL架構 數據庫某種意義上這樣定義:物理操作系統或者其他形式文件類型的集合; 在 MySQL 中,實例和數據庫往往都是一一對應的,而我們也無法直接操作數據庫,而是要通過數據庫實例來操作數據庫文件,可以理解爲數據庫實例是數據庫

原创 大數據面試系列之——Zookeeper

1.簡單介紹下Zookeeper ZooKeeper是一個開放源碼的分佈式協調服務,它是集羣的管理者,監視着集羣中各個節點的狀態根據節點提交的反饋進行下一步合理操作。最終,將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。 分

原创 面試系列之——數據庫知識(1)

事務 事務指的是滿足如下四個特性【ACID特性】的一組操作,可以通過 Commit 提交一個事務,也可以使用 Rollback 進行回滾。 原子性(Atomicity) 事務被視爲不可分割的最小單元,事務的所有操作要麼全部提交成

原创 tar命令的參數詳解

tar支持將多個文件包成一個文件,同時還可通過gzip/bzip將該文件壓縮。目前window的winRAR也支持.tar.gz文件解壓。 一、參數說明 說明: -c/-x/-t/u 不可同時出現 參數參數說明 -

原创 Hbase的性能優化總結

https://www.cnblogs.com/frankdeng/p/9529044.html 點贊 收藏 分享 文章舉報 潛心_守道 發佈了28 篇原創文章 · 獲