原创 spark sql boardcast join 生效問題探索

這裏寫目錄標題本文針對 版本spark 2.2問題描述問題排查broadcast join 自動觸發條件。執行解決不能自動觸發boardcast join得情況 本文針對 版本spark 2.2 問題描述 spark sql 執行

原创 Java NIO 之 buffer

 Buffer(緩衝區)是一個包裝了基本數據元素數組的對象,提供了比數組更加豐富API操作數據。 1.屬性 Buffer有四個基本屬性:1、capacity  容量,buffer能夠容納的最大元素數目,在Buffer創建時設定並不能

原创 Java設計模式筆記之迭代器模式

1.迭代器模式 迭代器(子)模式(Iterator)又叫遊標模式,是對象的行爲模式。迭代器模式可以順序的訪問一個聚集中的元素,而不用暴露聚集的內部表象。 2.爲什麼需要迭代器模式 一個聚集持有多個對象,就需要對客戶端提供遍歷對象的方法,使

原创 Java IO筆記:標準IO

1.標準輸入和輸出 標準IO是指程序的輸入和標準輸出,用戶和程序之間、程序和程序之間的交流都可以通過標準IO實現。Java中使用System.in(輸入),System.out(輸出)和System.err(錯誤輸出)來提供程序的輸入和輸

原创 Java 筆記:NIO新IO

java 新 IO 從JDK1.4 開始,Java提供了一些列改進IO新特性,放在Java.nio及其子包下。並改進了原包中的很多類以NIO爲基礎進行了改寫,滿足了NIO的功能。 NIO採用內存映射文件的方式來處理輸入/輸出,將文件或者

原创 使用ant管理工程的HelloWorld示例

1.說明 apache ant是一個輕量級的、基於命令行的工程管理工具。 2.安裝ant (1)ant下載:http://ant.apache.org/bindownload.cgi (2)解壓下載的包到任意目錄,記住目錄,例如我的是:

原创 8種Nosql數據庫系統對比

導讀:Kristóf Kovács 是一位軟件架構師和諮詢顧問,他最近發佈了一片對比各種類型NoSQL數據庫的文章。 雖然SQL數據庫是非常有用的工具,但經歷了15年的一支獨秀之後壟斷即將被打破。這只是時間問題:被迫使用關係數據庫,但

原创 Java設計模式筆記之責任鏈模式

1.責任鏈模式 責任鏈模式是對象的行爲模式。 在責任鏈模式中,每個對象對其下家的引用而連接起來形成一條鏈。請求在這個鏈上傳遞,直到鏈上的某一個對象處理這個請求。客戶端並直到鏈上的哪一個對象處理這個請求,使得系統可以在不影響客戶端的情況下動

原创 Java設計模式筆記:解釋器

解釋器模式 解釋器模式是類的行爲模式。給定一個語言之後,解釋器模式可以定義出其文法的一種表示,並同時提供一個解釋器。客戶端可以使用這個解釋器來解釋這個語言中的句子。 解釋器模式的結構 下面就以一個示意性的系統爲例,討論解釋器模

原创 Java設計模式:備忘錄模式

1.備忘錄模式 備忘錄模式又叫(Memento)是對象的行爲模式。 備忘錄對象(Memento)對象是一個用來存儲另外一個對象內部狀態的快照的對象。備忘錄模式的用意是在不破壞封裝的條件下,將一個對象的狀態捕捉,並外部化,存儲起來,從而可以

原创 Java設計模式:命令模式

1.命令模式 命令模式(Command)屬於對象的行爲模式。 命令模式把一個請求或者操作封裝到一個對象中。命令模式允許系統使用不同請求把客戶端參數化,對請求排隊或者記錄請求日誌,可以提供命令的撤銷和恢復功能。 2.命令模式的類圖 參與

原创 java設計模式:狀態模式

1.狀態模式 狀態模式(state),又稱狀態對象模式,是對象的行爲模式。 狀態模式允許對象在其內部狀態改變的時候改變其行爲。這個對象看上去就像是改變了它的類一樣。 2.狀態模式的結構 狀態模式的意圖是讓一個對象在其內部狀態改變的時候,其

原创 java設計模式筆記:調停者模式

調停者模式 調停者模式是對象的行爲模式。調停者模式包裝了一系列對象相互作用的方式,使得這些對象不必相互明顯引用。從而使它們可以較鬆散地耦合。當這些對象中的某些對象之間的相互作用發生改變時,不會立即影響到其他的一些對象之間的相互作用。從而保

原创 Postgres主從分區表應用

1.實現分區表 (1)創建主表 create table tbl_partition ( id integer, name varchar(20), gender boolean, join_date date, dept char(4

原创 PostgreSQL的遞歸查詢(with recursive)

文章轉自:http://my.oschina.net/Kenyon/blog/55137 開發有需求,說需要對一張地區表進行遞歸查詢,Postgres中有個 with recursive的查詢方式,可以滿足遞歸查詢(一般>=2層)。