原创 記一次使用SPARK生成自增ID的解決方案
在這個項目中遇到的一個問題，由於數據庫使用的是GREENPLUM，GREENPLUM提供的SPARK驅動是使用的先生成外部表，然後在使用INSERT 表名 SELECT * FROM 外部表的方式方法導入數據的。並且這種方式不支持自增ID
2018-08-26 10:07:55
原创 linux下caffe環境搭建
我用的是linux mint 18.2 64位，因爲是虛擬機安裝，所以只能用CPU。因爲我的linux mint18.2是基於ubuntu16.04版本的所以按官方文檔安裝說明http://caffe.berkeleyvision.org
2018-08-26 10:07:55
6
原创 大數據學習筆記01-虛擬機環境準備
一、安裝CENTOS及配置網絡使用VMWARE虛擬機安裝CENTOS7，安裝過程不在敘述，這裏主要是要使用NAT方式。然後配置網絡。1、網絡配置IP根據NAT裏面的配置，進行配置。這裏有兩個地方，一個是本機的網絡管理裏VMnet8網卡虛擬
2018-08-26 10:07:55
原创 Zookeeper學習筆記
Zookeeper簡介Zookeeper是一個開源的，針對大型分佈式系統的可靠協調系統。提供的功能包括：發佈/訂閱、分佈式協調\通知、配置管理、集羣管理、主從協調、分佈式鎖等。Zookeeper的特性1、最終一致性 保證最終數據能夠
2018-08-26 10:07:53
3