原创 ETL任務調度
ETL任務用於定義數據的抽取，轉換及裝載規則。而ETL任務調度（簡稱ETL調度）用於控制ETL任務的啓動運行（啓動時間、運行週期及觸發條件），實現數據的傳輸轉換操作。 ETL調度按照功能複雜度分爲簡單定時調度和工作流調度二種方式。 定時調
2020-06-24 07:43:50
原创 MySQL高可用雙活方案
1 需求概述 2 技術方案 2.1 雙活同步條件 2.1.1 自增主鍵 2.1.2 同步用戶 2.1.3 啓用BinLog 2.2 配置複製任務 2.2.1
2020-06-15 21:23:50
2
原创 數據集成方案
也稱ETL、對跨部門的業務數據進行抽取、合併、清洗標準化，處理後的數據可以存入主數據存儲庫向各個業務系統提供一致的數據視圖（主數據管理），也可按照主題數據格式存入大數據平臺進行數據分析、挖掘（數據倉庫、大數據）。數據集成常見問題如下： 1
2020-06-15 21:23:50
原创 Oracle RAC+ASM 數據庫實時同步
採用Beedup對某省交警數據庫實施數據同步，主庫環境Oracle RAC+ASM，內存64G，歷史數據19T，日增歸檔100G，從庫單實例環境，內存192G。 以下是項目實施過程遇到的主要問題： 1 歷史數據同步 啓用Beedup批量複
2020-04-08 11:49:42
原创 啓用Oracle SSL安全連接
1 創建Wallet認證請求 打開Oracle Wallet Manager，選擇Wallet菜單新建命令，輸入Wallet用戶名及密碼，Wallet類型選擇【標準】，點擊【確定】按鈕，在彈出的創建證書請求確認對話框選擇【是
2020-02-21 14:20:15
原创 數據庫容災軟件測試計劃
測試目的 驗證Beedup對SQL Server2008及以上版本的數據庫實時複製、數據容災功能。 瞭解Beedup技術實現方式，依賴的運行環境，爲制定容災方案提供參考。 測試目標 Beedup全量初始化複製、實時增量複製功能 DDL複製
2020-02-21 14:20:14
原创 批量文件同步方案
批量文件同步用於將本地或異地服務器指定目錄下的文件定時或實時同步到異地或本地，保持目錄文件內容一致。進行批量文件同步需要考慮以下問題： 1 網絡帶寬及穩定性。 2 文件內容保密性。 3 同步模式，點對點單向或雙向、一對多、多對一。 4
2020-02-21 14:20:14
原创 SQL Server雙活環境配置
在使用SQL Server數據庫日誌解析方式複製數據庫前，需要首先啓用數據庫完整日誌並對數據庫進行完整備份。隨着業務系統的持續運行，數據庫在線日誌文件會變得越來越大，需要定期備份收縮在線日誌。 1 啓用數據庫完整日誌
2020-02-21 14:20:14
原创 數據庫容災方案
也稱數據庫雙活、數據庫複製，即在本地或異地部署一個與生產庫完全相同的災備數據庫，當生產庫由於各種原因（錯誤操作、系統軟件錯誤、病毒、硬件故障、斷電、火災、地震等）發生故障時，災備數據庫可以立刻接管原有應用，對外正常提供服務。進行數據庫容災
2020-02-21 14:20:13
原创 大數據環境數據追溯
業務數據在生產庫產生後，依據集成需求向其它系統傳遞（如CRM、DW、Hadoop等），數據從產生到最終的使用中間需要跨越多個系統，經歷多次加工處理。隨着集成需求的變化，數據加工處理環節越來越多，瞭解某一數據如何處理變得越來越
2020-02-21 14:20:13
原创 啓用MySQL SSL安全連接
1 查看MySQL SSL環境 登錄MySQL服務器，輸入以下命令 mysql -u root -p -h 127.0.0.1 連接會話建立後，輸入以下命令 SHOW VARIABLES LIKE '%ssl%'; 如果have_open
2020-02-21 14:20:13
原创 Oracle雙向同步測試方案
1. 測試目標 2. 測試環境 2.1 測試數據庫 2.2 創建測試表 2.3 開啓數據庫歸檔 2.4 s3建立同步用戶 2.5 配置同步任務 2.5.1 安裝BeeDI 2.5.2
2020-02-21 14:20:13
原创 多源數據匯聚方案
也稱數據上報、數據集中，採用N+1模式，將地理上分佈於多點的下轄部門日常產生的業務數據同步匯聚到數據中心，匯聚後的數據包含原始業務數據所有信息，用於集中共享或向大數據平臺提供輸入數據。該類項目具有以下特點： 1 部門衆多，每個部門包含多個
2020-02-21 14:20:13