原创 scp by SAS
options nocenter missing = ' ' mprint mlogic symbolgen; /**************************************/ /* Execute scp over ma
2020-06-16 08:25:57
原创 DW Design
1. 數據類型 如果某PK是很多表的FK，也就是說該表是很多表的父表，那麼在設計這種頂層的表的時候，一般要考慮到將來的變更可能帶來的問題，所以一般在設計這種表的時候要儘量放寬標準，比如列長要寬、約束要小等等 2. ETL pro
2020-06-16 08:25:57
1
原创 data reconciliation/verification TBC
1. 通過（group by字段組合）來查看這些組合（字段映射如group by A, B, C可能蘊含A=f(B,C)）的邏輯關係是否正確，同時計算每個組合的count. eg. SELECT b .USER_STAMP_N
2020-06-16 08:25:57
原创 PET and Prod
今天發生件有意思的事情 我的客戶adri在做財務報表的時候跳出來很不高興的說：“冠軍，上週三你說這個數據已經沒有問題了，現在這個週一怎麼問題還是出現，我感到有點不爽”。其實我也感到有點不爽，上週三我是校驗過數據的，都是沒有問題才發郵件
2020-06-16 08:25:57
原创 [Spark | Yarn | Hadoop] Spark Submit over Yarn
I use pre built package of spark 1.0.2 for Hadoop 2.4.1 edit conf/spark-env.sh export HADOOP_CONF_DIR="/apache/hadoop
2020-06-16 08:25:57
原创 R語言-數據操作之選擇
SQL SELECT * FROM table WHERE a BETWEEN 1 AND 100 R 方法1： 下標選取 > A <- c(10, 20, 30, 40 ,50, 60, 70, 80, 90) > A [1]
2020-06-16 08:25:57
1
原创 Unix 時區
OLDTZ=$TZ export TZ=GMT; echo "GMT: `date +/"%F %R (%Z)/"`" GMT: 2008-10-31 12:30 (GMT) export TZ=Europe/Stockholm; ec
2020-06-16 08:25:57
原创 Customer lifetime value
In marketing , customer lifetime value (CLV), lifetime customer value (LCV), or lifetime value (LTV) is the net pres
2020-06-16 08:25:57
原创 Oracle 常用查詢
1. 如何查看當前Instance的參數設置 方法1. 用 SHOW PARAMETER 命令 show parameter db_block_size show parameter 參數名 參數名可以是前半部分，因爲Oracle會自動加
2020-02-20 15:23:41
原创 [ Hadoop | Spark | Scala ] 搭建 Scoobi 開發環境
Scoobi: An open source Scala library for Hadoop MapReduce. It combines the simplicity of functional programming with t
2020-02-20 15:23:41
原创 Oracle 學習 Day3 - Oracle 文件
文件類型 本節重點討論如下文件 與Instance相關的文件： Parameter File Trace File Alert File 與Database相關的文件： Data File Temp File Control Fil
2020-02-20 15:23:41
原创 做人原則
今天頓悟： 做人要有自己的行事原則，這些原則作爲你行爲處事的判斷的邏輯方法和標準，做任何事情，一定要恪守這些自己的原則和方法，即使這些原則和方法最終導致了行事結果是錯誤的。我很多時候碰到一些事情不知所措，在不同的心情下，可能會有不同的行爲
2020-02-20 15:23:41
原创 DW Performance Notes
第一章 DW性能的要素1.1 性能度量查詢的響應時間查詢提交到返回第一行數據的時間查詢提交到最後一行數據的時間我的理解：響應時間是一個直觀的用戶體驗。本質上是查詢所消耗的CPU 時間，IO開銷，PE效率（並行系統）1.2 生產效率響應時間
2020-02-20 15:23:40
原创 "設計不足"與"過度設計"
什麼是設計不足 (under-engineering)？ 設計出來的系統複用性差，擴展性不強，不能靈活的應對變化，簡言之，設計沒到位。設計不足，多半是因爲經驗有限，設計能力有限。 什麼是過度設計 (over-engineer
2020-02-20 15:23:40
1
原创 R語言的中文支持
Sys.setlocale(,"CHS") 點贊 1 收藏 分享 文章舉報 gjwang1983 發佈了75 篇原創文章 · 獲贊 33 · 訪問量 27萬+ 私信
2020-02-20 15:23:40
1