R連接HIVE

R連接hive、impala方法：
1、下載並安裝java,並配置好環境變量；
2、下載hive驅動：apache-hive-1.2.1-bin.tar.gz，到官網下載，解壓后里面有lib文件夾
3、在R裏安裝rJava、RJDBC
4、加載包、加載驅動：list.files裏面是驅動解壓後存放的路徑，重點是裏面的lib文件夾路徑
library(RJDBC)
jdbcdriver <-JDBC(‘org.apache.hive.jdbc.HiveDriver’,list.files(‘F:/Rwork/apache-hive-1.2.1-bin/lib’,pattern = “jar$”,full.names=T,recursive = TRUE))
5、連接hive、讀取數據表
conn <- dbConnect(jdbcdriver,sprintf(‘jdbc:hive2://IP:端口’),‘賬號’,‘密碼’)
sql0<-paste0(“select * from ld_clj.shop_money_day where city=‘深圳市’”)
data<-RJDBC::dbGetQuery(conn,sql0)

R中加載rJava失敗的解決辦法：
1、安裝64位版本的JRE，官網下載：http://www.java.com/en/download/manual.jsp
如果電腦是64位，則JRE也要是64位的；
2、配置環境變量
安裝好jre後，比如安裝在C:\Program Files\Java\jre1.8.0_231路徑下，以R命令直接配置java_home比較有用，命令是Sys.setenv(JAVA_HOME=‘C:/Program Files/Java/jre1.8.0_231’)
這個方法最直接有效。

R連接hive: 加載hive-jdbc driver時報錯：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
1、R語言訪問關係型數據庫需要下載如下包：
rJava：R調用Java的類所需要的包
DBI：R訪問關係型數據庫的接口
RJDBC：RJDBC訪問數據庫的包
2、下載所需要的R包以後，還需要將集羣中Hive JDBC的驅動包拷貝出來放在R程序所在的本地。具體步驟爲：
在hive的安裝目錄lib下面一般有一個jdbc-standalone的jar，類似如下名字：
hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar
在hadoop的安裝目錄lib下有一個hadoop-common的jar，類似如下名字：
hadoop-common-2.7.1.2.4.2.0-258.jar
將以上jar包要放到
3、以上jar包的名字根據Hadoop的版本不同而不同，將以上兩個jar包拷貝到R所在的系統的jdbcdriver驅動裏的lib文件夾下面，
比如上面的例子，放到F:/Rwork/apache-hive-1.2.1-bin/lib下。
我新增的驅動jar包有：
hadoop-common-2.8.5.jar、hive-jdbc-3.1.1.jar、hive-jdbc-handler-3.1.1.jar、ImpalaJDBC4.jar
在R中可以通過setwd函數將工作目錄切換到jar包所在的目錄：setwd(‘F:/Rwork/’)
4、如果連接失敗，確認控制面板裏的telnet client服務是否打開，再確認本機是否能正常連接到hive的服務器和端口。
5、另外還發現有人這樣連接：
drv <- JDBC(“org.apache.hive.jdbc.HiveDriver”, “hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar;hadoop-common-2.7.1.2.4.2.0-258.jar”) ###測試加載驅動
完整的R連接hive讀取數據表代碼是：
options(stringsAsFactors = F)
#setwd(’/home/sfapp/clj/mater-xgboost/’)
setwd(‘F:/Rwork/’)
library(xgboost)
library(Matrix)
library(readr)
library(RJDBC)
library(sqldf)
options(sqldf.engine=“R”)
cat(“begin the predicting…\n”)
print(Sys.time())
jdbcdriver <-JDBC(‘org.apache.hive.jdbc.HiveDriver’,list.files(‘F:/Rwork/apache-hive-1.2.1-bin/lib’,pattern = “jar$”,full.names=T,recursive = TRUE))
conn <- dbConnect(jdbcdriver,sprintf(‘jdbc:hive2://IP:端口’),‘賬號’,‘密碼’)
sql0<-paste0(“select * from ld_clj.shop_money_day where city=‘深圳市’”)
data<-RJDBC::dbGetQuery(conn,sql0)

R連接impala，很早的時候RImpala這個包可以用的，現在的版本已經不支持了。

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支持，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫博客：

1. 全新的界面設計 ，將會帶來全新的寫作體驗；
2. 在創作中心設置你喜愛的代碼高亮樣式，Markdown 將代碼片顯示選擇的高亮樣式 進行展示；
3. 增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；
4. 全新的 KaTeX數學公式 語法；
5. 增加了支持甘特圖的mermaid語法¹ 功能；
6. 增加了 多屏幕編輯 Markdown文章功能；
7. 增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設置 等功能，功能按鈕位於編輯區域與預覽區域中間；
8. 增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入代碼：Ctrl/Command + Shift + K
插入鏈接：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替換：Ctrl/Command + G

合理的創建標題，有助於目錄的生成

直接輸入1次#，並按下space後，將生成1級標題。
輸入2次#，並按下space後，將生成2級標題。
以此類推，我們支持6級標題。有助於使用TOC語法後生成一個完美的目錄。

如何改變文本的樣式

強調文本 強調文本

加粗文本 加粗文本

標記文本

刪除文本

引用文本

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入鏈接與圖片

鏈接: link.

圖片:

帶尺寸的圖片:

居中的圖片:

居中並且帶尺寸的圖片:

當然，我們爲了讓用戶更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的代碼片

去博客設置頁面，選擇一款你喜歡的代碼片高亮樣式，下面展示同樣高亮的 代碼片.

// An highlighted block
var foo = 'bar';

生成一個適合你的列表

• 項目
  • 項目
    • 項目

1. 項目1
2. 項目2
3. 項目3

• 計劃任務
• 完成任務

創建一個表格

一個簡單的表格是這麼創建的：

項目	Value
電腦	$1600
手機	$12
導管	$1

設定內容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants將ASCII標點字符轉換爲“智能”印刷標點HTML實體。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

創建一個自定義列表

Markdown

Text-to-HTML conversion tool

Authors

John

Luke

如何創建一個註腳

一個具有註腳的文本。²

註釋也是必不可少的

Markdown將文本轉換爲 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表達式 KaTeX:

Gamma公式展示 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是通過歐拉積分

$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$

你可以找到更多關於的信息 LaTeX 數學表達式here.

新的甘特圖功能，豐富你的文章

• 關於 甘特圖 語法，參考 這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：

這將產生一個流程圖。:

• 關於 Mermaid 語法，參考 這兒,

FLowchart流程圖

我們依舊會支持flowchart的流程圖：

• 關於 Flowchart流程圖 語法，參考 這兒.

導出與導入

導出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章導出 ，生成一個.md文件或者.html文件進行本地保存。

導入

如果你想加載一篇你寫過的.md文件，在上方工具欄可以選擇導入功能進行對應擴展名的文件導入，
繼續你的創作。

---

1. mermaid語法說明 ↩︎

2. 註腳的解釋 ↩︎