MaxCompute初級入門問題整理

本文是基於本人對MaxCompute產品的學習進度,再結合開發者社區裏面的一些問題,進而整理成文。希望對大家有所幫助,下面咱們正式開始。

1、什麼是MaxCompute呢?
MaxCompute是阿里雲自主研發,是由阿里人自主研發的海量數據處理平臺,可以稱它爲計算引擎。它主要提供針對TB/PB級數據、實時性要求不高的分佈式處理能力,主要服務於批量結構化數據的存儲和計算。簡單來說呢,就是數據要存到MaxCompute裏面,需要的時候再取出來。

2、爲什麼要使用MaxCompute呢?
MaxCompute的特點可以簡單總結爲5點:
開箱即用在線服務,五分鐘即可卡通大數據平臺。
高效能低成本,持續高效低成本的大數據引擎。
支持多種分佈式計算模型,滿足不同場景下的技術需求。
生態融合,支持多樣數據源、生態工具和標準。
安全可靠,多租戶數據安全保障機制。

3、使用MaxCompute需要什麼專業技能?
JAVA、SQL、Python。

4、使用MaxCompute需要準備什麼開發工具呢?
這裏面的工具有三種:
Odpscmd:MaxCompute客戶端,喜歡用命令行的同學可以試試。
https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.2.10.effc5c23QM9fMe
因爲odpscmd是基於JAVA開發的,所有記得配置JRE 1.7以上版本,建議使用JRE1.7/1.8。

MaxCompute Studio:是MaxCompute平臺提供的安裝在開發者卡護短的大數據集成開發環境工具,是一套基於流行的集成開發平臺
IntelliJ IDEA的開發插件。
https://help.aliyun.com/document_detail/50889.html?spm=a2c4g.11186623.6.904.1d07a95eRtAoOX

DataWorks:是阿里雲重要的PaaS平臺產品,可以提供數據集成、數據開發、數據管理、數據質量和數據服務等全方位的產品服務,擁
有一站式開發管理的界面,DataWorks是基於MaxCompute座位核心的計算、存儲引擎,可以提供海量數據的離線加工分析、數據挖掘等
功能。
https://help.aliyun.com/product/72772.html?spm=a2c4g.11186623.6.540.7c155030TQjkvs

我想大家看完上面的內容之後,以及對MaxCompute有了初步的瞭解和認知,下面我根據MaxCompute開發者社區裏面大家碰見的問題做一個簡單的整理,我會從初級問題開始一步步整理,大家可以隨時查閱。

問題一:怎麼獲取AccesskeyID和 Access key Secret?

  使用MaxCompute服務前,我們需要準備一個阿里元賬號。
  下面這篇文章可以完美解決大家如何獲取AK祕鑰。

  https://help.aliyun.com/document_detail/27803.html?spm=a2c4g.11186623.6.580.57cc5b9cHsNuU6

問題二:MaxCompute如何計費?

  當我們開通MaxCompute服務時都會碰見一個問題,如何選擇自己的計費方式,怎麼估算?MaxCompute的產品有兩種計費模型, 
  按量付費(先使用再付費)和CU預付費(先購買資源),簡單來說就是資源共享和資源獨享的區別。
  MaxCompute是以project爲計費單元,計費項包括存儲、計算、數據下載三類。就是分爲計算費用(可預付費和後付費)、存儲 
  費用(按量後付費)、下載費用(按量後計費)。

問題三:嘗試把測試環境rds導入,結果遇到了類似分區,不知道怎麼查文檔解決?

  當我們在MaxCompute上面開始建表,查看分區等操作時,總是會碰見一些各種各樣的問題。不怕,咱們有官方文檔,有非常詳細的 
  解釋和介紹。
 
  https://help.aliyun.com/document_detail/27829.html

問題四:EMR和MaxCompute的區別?

  很多人都會問有了EMR,爲什麼還有MaxCompute?下面我給大家解釋一下,
  EMR是構建在阿里云云服務器ECS上的開源Hadoop、Spark、Hive、Flink生態大數據PaaS產品,主要是提供用戶在雲上使用開 
  源技術建設數據倉庫、離線批處理、在線流式處理、及時查詢、機器學習等場景下的大數據解決方案。
  MaxCompute是阿里人自主研發的,對外不開源,封裝使用起來方便,而且運維成本比較低,兩者在使用場景上基本沒有差別。

問題五:如何查看odps裏面sql執行所消耗的資源?

MaxCompute的計費方式有選擇,那我們怎麼去查看呢?怎麼知道我一條SQL耗費了多少資源,下面這篇文章可以給我們很好的解答。

https://help.aliyun.com/document_detail/106521.html? 
spm=5176.11065259.1996646101.searchclickresult.236853falaPHEs

問題六:MaxCompute和DataWorks的權限關係?

  通過MaxCompute的安全模型進行權限控制,並不會影響成員在DataWorks任何界面操作。而通過DataWorks的用戶角色分配, 
  則有可能影響成員MaxCompute資源權限。

 https://help.aliyun.com/document_detail/105012.html? 
 spm=5176.10695662.1996646101.searchclickresult.64ed464ax3GrHI

 也可以通過視頻來了解兩者的關係。

 https://help.aliyun.com/video_detail/99890.html?spm=a2c4g.11174359.2.9.12fe2bf43oR6tU

問題七:需要從odps數據導入到mysql,但是受到數據保護,無法導出,如何解決?

  可以通過關閉數據保護或者配置exception policy 來完成。

 https://help.aliyun.com/document_detail/34605.html? 
 spm=5176.10695662.1996646101.searchclickresult.18133c647pyjk2

問題八:如何賦予操作表的權限?

  MaxCompute可以通過授權方式對其中的表、任務、資源等客體的某種操作權限,包括讀、寫、查看等。

 https://help.aliyun.com/document_detail/27935.html?spm=a2c4g.11186623.6.848.7786360bVvwi9k
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章