導讀 | 這篇文章主要介紹了pyspark讀取parquet數據過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下 |
parquet數據:列式存儲結構,由Twitter和Cloudera合作開發,相比於行式存儲,其特點是:
可以跳過不符合條件的數據,只讀取需要的數據,降低IO數據量;壓縮編碼可以降低磁盤存儲空間,使用更高效的壓縮編碼節約存儲空間;只讀取需要的列,支持向量運算,能夠獲取更好的掃描性能。
那麼我們怎麼在pyspark中讀取和使用parquet數據呢?我以local模式,linux下的pycharm執行作說明。
首先,導入庫文件和配置環境:
import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個python版本時需要指定
conf = SparkConf().setAppName('test_parquet')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)
然後,使用spark進行讀取,得到DataFrame格式的數據:host:port 屬於主機和端口號
parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"
df = spark.read.parquet(parquetFile)
而,DataFrame格式數據有一些方法可以使用,例如:
1.df.first() :顯示第一條數據,Row格式
print(df.first())
2.df.columns:列名
3.df.count():數據量,數據條數
4.df.toPandas():從spark的DataFrame格式數據轉到Pandas數據結構
5.df.show():直接顯示錶數據;其中df.show(n) 表示只顯示前n行信息
6.type(df):顯數據示格式
以上就是本文的全部內容,希望對大家的學習有所幫助。Linux就該這麼學