maxcompute中dataframe轉換爲pandas中dataframe方法

首先python加載訪問maxcompute包,在這之前需要運維給你開通python訪問maxcompute的白名單,否則是要被拒絕的。

from odps import ODPS
from odps.df import DataFrame
import pandas as pd

然後訪問你的project
project = odps.get_project()

將結果讀爲數據集dataframe,此處是odps數據集,跟pandas的數據集有不同,不能使用pandas裏面的數據集操作,比如設定列名,求數據集長度等
users = DataFrame(odps.get_table(‘sx_001’))

對習慣了pandas數據集的我來說特別不便,嘗試了許多方法,終於找到一種方法將odps數據集轉爲pandas數據集:
b=pd.DataFrame()
for i in range(int(str(users .count()))):
b=b.append([users .head(i+1)[i]])

效率不快,目前只適合數據量較小的數據集,大家如有其他更快的方法也可分享給我。

參考文獻
[1]: https://help.aliyun.com/document_detail/90444.html?spm=a2c4g.11186623.2.16.3fcc1ee6rfVQTN#concept-ch1-lwf-cfb

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章