以下示例代碼使用 spark 查詢 hive並把結果存儲爲 libsvm 格式：
from pyspark import SparkConf,SparkContext
from pyspark.sql import HiveContext
hc = HiveContext(sc)
df = hc.sql("select product_key,plu_id from test limit 100")
from pyspark.mllib.util import MLUtils
from pyspark.mllib.regression import LabeledPoint
d = df.rdd.map(lambda line: LabeledPoint(line[0],[str(a) for a in line[1:]]))
MLUtils.saveAsLibSVMFile(d,'hdfs:///zeppelin/aaa')
有的時候遇到的場景是parquet要轉成libsvm。
但是如果parquet太大，單機情形下，內存很不夠。而且帶有 uint8 格式的parquet，spark也讀不了。
怎麼辦？
parquet是列式存儲，可以把parquet一列一列讀出來，讀成csv，然後再轉，就能方便很多。
參考我在github上的項目：https://github.com/rav009/parquet-operator