原创 數據庫垂直分庫(vertical sharding)的粒度
垂直切分的粒度指的是在做垂直切分時允許幾級的關聯表放在一個shard裏．這個問題對應用程序和sharding實現有着很大的影響． 關聯打斷地越多，則受影響的join操作越多，應用程序爲此做出的妥協就越大，但單表的路由會越簡單，與業
2020-06-29 02:54:35
原创 Oracle組件ODI,Active Data Guard,GoldenGate使用區別
實時數據同步複製或備份則使用GoldenGate 備份整Oracle數據庫則使用Active Data Guard(該組件在8i以支持，不支持備庫只讀，即是不支持讀寫分離) 數據大規模ETL批處理使用ODI
2020-06-29 02:54:35
原创 Building Spark
This will become a table of contents (this text will be scraped). {:toc} Building Spark using Maven requires Mav
2020-06-29 02:54:34
原创 Oracle enq: TX - row lock contention等待事件
參考文章 : 解決一則enq: TX - row lock contention的性能故障
2020-06-29 02:54:34
原创 Oracle 優化器(Optimizer)
優化器概念 優化器具有分析SQL執行計劃和路徑的作用；一條SQL可能有多種執行計劃,但在某一時點一定只有一種執行計劃是最優的,花費時間是最少的。 優化器的優化方式 RBO方式 基於規則的優化方式(Rule-Based Optimi
2020-06-29 02:54:34
原创 Spark SQL
Spark SQL 之 DataFrame Spark SQL 之 Data Sources Spark SQL 之 Performance Tuning & Distributed SQL Engine Spark SQL 之
2020-02-21 07:23:14
原创 Scala implicit
Scala implicit 點贊 收藏 分享 文章舉報 fengyuruhui123 發佈了66 篇原創文章 · 獲贊 29 · 訪問量 7萬+ 私信
2020-02-21 07:23:14
原创 數據庫sharding(分庫分表)
基本思想 Sharding的基本思想就要把一個數據庫切分成多個部分放到不同的數據庫(server)上，從而緩解單一數據庫的性能問題。不太嚴格的講，對於海量數據的數據庫，如果是因爲表多而數據多，這時候適合使用垂直切分，即把關係緊密（
2020-02-21 07:23:14
原创 AWR中的時間模式
———————Response time = Service time + Wait time— 服務時間(Servicetime)就是進程“真正”在cpu上運行的時間，可以簡單理解爲AWR中的cpu time/db cpu
2020-02-21 07:23:14
原创 Oracle Database PSU/CPU
1. 什麼是PSU/CPU？ CPU: Critical Patch Update Oracle對於其產品每個季度發行一次的安全補丁包，通常是爲了修復產品中的安全隱患。 PSU: Patch Set Updates Orac
2020-02-21 07:23:14
原创 ORACLE 優化器和Hints
Hints Oracle Hints是一種機制，用來告訴優化器按照我們的告訴它的方式生成執行計劃，從而認爲干預系統優化器的選擇。我們可以用Oracle Hints來實現： 使用的優化器的類型 基於代價的優化器的優化目標，是al
2020-02-21 07:23:14
原创 spark.sql.hive.convertMetastoreParquet參數優化
Hive metastore Parquet錶轉換（Hive metastore Parquet table conversion） 當向Hive metastore中讀寫Parquet表時，Spark SQL將使用Spark
2020-02-21 07:23:14
原创 數據庫分庫分表(sharding)系列
數據庫分庫分表(sharding)系列(一) 拆分實施策略和示例演示 數據庫分庫分表(sharding)系列(二) 全局主鍵生成策略 數據庫分庫分表(sharding)系列(三) 關於使用框架還是自主開發以及sharding實現層
2020-02-21 07:23:14
原创 Spark 之Broadcast
broadcast功能 broadcast解析 點贊 收藏 分享 文章舉報 fengyuruhui123 發佈了66 篇原創文章 · 獲贊 29 · 訪問量 7萬+
2020-02-21 07:23:14