原创 java 初級、中級、高級工程師

一、初級工程師 1、首先要學習java的基礎知識。 不要被新技術迷惑,所謂萬變不離其宗,新技術都是基於java的基礎之上,如果基礎不紮實,對於這些新技術的理解也是一知半解,學不到根源。 2、做一個java項目 在學習完java的基礎知識之

原创 RabbitMq安裝和常用命令

Windows安裝需要先安裝Erlang,再安裝RabbitMQ,再配置插件,在配置插件的時候可能會出現錯誤 第一步:安裝Erlang OTP,由於RabbitMQ是用Erlang編寫的,所以在安裝RabbitMQ之前要先安裝Erlang

原创 MyISAM和InnoDB的主要區別和應用場景

http://blog.csdn.net/aaa123524457/article/details/54375341   主要區別:   1).[事務]MyISAM是非事務安全型的,而InnoDB是事務安全型的,默認開啓自動提交,宜合併事

原创 BI能給企業帶來的好處

1、整合信息孤島,整體分析問題 BI可以將企業信息化的數據孤島整合起來,提供一個全局的視圖,讓決策者可以更加全面地看待問題,降低決策失誤風險性 2、提高決策質量,深入分析問題 BI能夠將數據轉換爲知識進而輔助決策,能夠使決策者決策更加迅速

原创 各大公司Java面試題超詳細總結

  ThreadLocal(線程變量副本) Synchronized實現內存共享,ThreadLocal爲每個線程維護一個本地變量。 採用空間換時間,它用於線程間的數據隔離,爲每一個使用該變量的線程提供一個副本,每個線程都可以獨立地改變自

原创 PuTTY SSH通道的Kettle鏈接MySQL方法

SSH tunneling using PuTTY and MySQL-Front Create session hostname: any pgrad or ugrad SIT server e.g. grey.ug.it.usyd.

原创 ODS

什麼是ODS 操作數據存儲ODS(OperationalData Store)是數據倉庫體系結構中的一個可選部分,由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。ODS設計與DW設計在着眼點上有所

原创 大數據分析查詢引擎Impala

Impala是Cloudera公司主導開發的新型查詢系統,它提供SQL語義,能查詢存儲在Hadoop的HDFS和HBase中的PB級大數據。已有的Hive系統雖然也提供了SQL語義,但由於Hive底層執行使用的是MapReduce引擎,

原创 解決SSH自動斷線問題

在連接遠程SSH服務的時候,經常會發生長時間後的斷線,或者無響應(無法再鍵盤輸入)。 總體來說有兩個方法: 1、依賴ssh客戶端定時發送心跳。 putty、SecureCRT、XShell都有這個功能,但是並不保險。 此外在Linux下

原创 POI操作Excel常用方法總結

一、 POI簡介             Apache POI是Apache軟件基金會的開放源碼函式庫,POI提供API給Java程序對Microsoft Office格式檔案讀和寫的功能。 二、 HSSF概況       

原创 拖放效果原理

摘錄一些 比較重要的對象和事件以及屬性 * 首先,要使元素能否能被拖拽,必須設置 draggable  = "true"  例如:<div  draggable =“true”>只有設置draggable纔可以被拖拽</div> *

原创 商業智能 BI 發展的新趨勢

 商業智能 BI 發展的新趨勢(2017年-2020年)       第一,雲端化是重要趨勢   在2016年8月份我寫過一篇文章《深入分析 BI 數據可視化市場 SaaS 模式》。在這篇文章中,我提到大概在2018年前後在國內大概

原创 CentOS 7 安裝字體庫 & 中文字體

前言 報表中發現有中文亂碼和中文字體不整齊(重疊)的情況,首先考慮的就是操作系統是否有中文字體,在CentOS 7中發現輸入命令查看字體列表是提示命令無效:   如上圖可以看出,不僅沒有中文字體,連字體庫都沒有,那麼接下來就記錄一下在

原创 Kettle實現循環增量抽取數據

數據量數以千萬計時,初次一次性抽取歷史數據容易出現卡死,針對這種情況可以使用循環年份抽取,並且加入增量程序使得後續抽取增量化! 整體流程: 1、獲取年份極值(獲取歷史有數據的年份最大最小值) 獲取日期: select

原创 kettle性能及效率提升

Kettle數據處理的過程中難免會遇到性能瓶頸,因此性能及效率的提升成爲擺在面前的問題,因此筆者羅列一些常用的優化建議。 kettle優化索引的正確使用數據抽取SQL優化 kettle優化 儘量使用數據庫連接池;儘量提高批處理的com