原创 flink SQL
1.Flink SQL 支持三種窗口類型，分別爲Tumble Windows、HOP Windows 和Session Windows，其中HOP Windows 對應Table API 中的Sliding Window，同時每種
2020-03-31 10:23:43
原创 flink基礎知識
1.框架比較 Storm延遲低但是吞吐量小。 Spark Streaming吞吐量大但是延遲低。 Flink是一種兼具低延遲和高吞吐量特點的流計算技術，還是一套框架中同時支持批處理和流處理的一個計算平臺。 2.flink sta
2020-03-16 13:10:58
原创 spark1.6將數據寫入ES2.4.5衝突解決，自定義依賴包
<?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>my.elasticsearch
2020-02-22 21:33:08
原创 Yarn的基本概念
1.Hadoop1.0與Hadoop2.0結構： 2.Yarn (Yet Another Resource Negotiator)（Hadoop2.0） 基本信息： 1.Hadoop集羣的資源管理系統（ResourceMange
2020-02-22 21:33:08
原创 spark 讀寫mysql
def main(args: Array[String]): Unit = { println("Program Start Running") val properties = new Propertie
2020-02-22 21:33:08
原创 impala AuthorizationException: User 'root' does not have privileges to access
進入impala-shell 使用 invalidate metadata; 點贊 收藏 分享 文章舉報 Yuan_CSDF 發佈了36 篇原創文章 · 獲贊 5 ·
2020-02-22 21:33:08
原创 python使用接口進行模型實時調用
from flask import Flask, jsonify app = Flask(__name__) app.config['JSON_AS_ASCII'] = False @app.route('/') def he
2019-08-03 01:06:47
原创 phoenix創建表連接hbase
如圖，hbase已經存在表 TEST_YUAN 當創建表遇到表創建成功但是數據查詢不到 需要添加column_encoded_bytes=0 create table “TEST_YUAN”(“ROW” VARCHAR PRI
2019-07-31 02:27:40
原创 spark將數據寫入phoenix
// log4j2 使用了全局異步打印日誌的方式，還需要引入disruptor的依賴 def main(args: Array[String]): Unit = { val spark = SparkSession
2019-07-31 02:27:40
原创 Flink error: No implicits found for parameter evidence$2: TypeInformation[(String, String, String)]
Flink error: No implicits found for parameter evidence$2: TypeInformation[(String, String, String)] 需要引入包 import o
2019-07-31 02:27:40
原创 Spark與HBase
1.使用Spark創建Hbase表，以及定義表屬性 object HBaseCreateTable { def main(args: Array[String]) { val TABLE_NAME = "test_yu
2019-07-15 23:50:50
原创 spark ML的使用
val spark = SparkSession.builder().config(new SparkConf().setMaster("local[*]")).getOrCreate() val training =
2019-07-08 01:35:40
原创 Neo4j圖數據庫
1.、數據導入 可以使用 LOAD CSV WITH HEADERS FROM “file:///Inventory.csv” AS row MERGE (s:Store {name: row.store}) WITH * MAT
2019-06-27 02:57:52
1
原创 alluxio 集羣搭建
和HDFS相關的配置 cd /data/alluxio-1.7.0-hadoop-2.6/conf ln -s /etc/hadoop/conf/core-site.xml ln -s /etc/hadoop/conf/hdfs
2019-06-19 01:32:02