原创 Hive元數據存儲結構講解與元數據操作

本文介紹Hive元數據庫中一些重要的表結構及用途,方便Impala、SparkSQL、Hive等組件訪問元數據庫的理解。 1、存儲Hive版本的元數據表(VERSION) 該表比較簡單,但很重要。 VER_ID SCHEMA_VER

原创 因果循環,報應不爽

          有時候可能因爲心情不好,或打心底討厭某個人,以至於在交往時做出敵對,不友好的舉動。但就因爲這一次的不友好行爲,兩個人之間的關係就會發生微妙的變化,尤其是在同事之間。而當你想再次去彌補這個裂縫時,可能花的時間和精力會超出

原创 當你迷惘彷徨時應該做什麼?

         晚上把家裏收拾了一遍,換了乾淨的牀單被罩,衣物歸類疊好碼得整整齊齊;地板擦的一層不染,散發着消毒水的清香;買了幾盆花,種了幾顆綠植,房間立馬清爽了,整個人都感覺好了很多。我喜歡經常變動房間的傢俱位置,每次變動都感覺生活多

原创 hive報錯:running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physica終極解決方式

1.案例描述:         hive有個定時任務平時正常,沒有啥問題,正常一般大概執行1個小時左右,但是今天突然報錯了,報錯代碼::running beyond physical memory limits. Current usa

原创 大數據分析股票30年交易數據發現了什麼?

       不進行研究的投資,就像打牌不看底牌一樣,必然失敗        ------彼得.林奇        從網上搜集了A股自1990以來近30年的交易數據,上證指數,深圳指數,交易規模,漲幅,指數時點變動等數據,基於大數據平臺進

原创 智者把握機遇,聖者創造機遇

          紅頂商人胡雪巖有句名言:智者把握機遇,聖者創造機遇。同樣對於公司來說也是一樣,阿里巴巴因其在商業模式上的極度成功,使其有着豐厚的資本可以不計得失地去做技術研發,科技創新。縱觀阿里這些年對中國的影響,餘額寶改變了中國銀行

原创 任時光匆匆流去_20080401

     時間要是能像寫日記一樣多好哇,想補哪一天補哪天。      有人說,人生無悔,純粹是賭氣的話,我想沒有人能夠做到讓自己生命中的每一天都過得無悔,只是大多數的我們怨長久,求不得,放不下,而智者懂得去和自己的內心相處。     有些

原创 靜悄悄地做人_20190410

         時間就像長在身上的肉,前者是靜悄悄地流逝,後者是悄無聲息地增長。平時不去注意反而沒什麼,可怕的是一旦認真打量起來,心總會莫名的痛。有時候突然想去做好一件事時,合計下來發現需要很多的時間,有種相見恨晚,時不我待的緊迫感。而

原创 要麼庸俗,要麼孤獨

      我於昨晚去世       走時心如止水         我於今早重生       來時心懷暖陽         僅一夜之間,我心判若兩人       往事不回頭,餘生不講究   

原创 使用ambari輕鬆一鍵式搭建大數據集羣

Ambari 跟 Hadoop 等開源軟件一樣,也是 Apache Software Foundation 中的一個項目,並且是頂級項目。目前最新的發佈版本是 2.0.1,未來不久將發佈 2.1 版本。就 Ambari 的作用來說,就是創

原创 如何進行APP數據埋點與數據分析

經過大半年的努力,產品終於開始趨向穩定,之前的版本一直在探索,需求經常改動,沒時間系統進行埋點。隨着產品的穩定以及工作的深入,越發認識到數據的重要性,所以開始着手數據埋點相關事項。這次親歷了產品(APP)從零開始進行數據埋點的過程,分享出

原创 鬧市裏缺乏一顆安靜的心

        整理家裏的書箱,壓箱底的是一本早年很火的斯坦福“自控力”圖書。拿起了翻了一下,幾分鐘後便愛不釋手。人呀,就是這麼奇怪,很多以前不喜歡的書現在讀起來津津有味,很多以前很喜歡的人現在卻不忍直視。書還是那書,只是人已不再是那此間

原创 爲什麼富不過三代?

       小時候就聽大人說:富不過三代。長大了讀書又聽古人云“君子之澤,五世而斬”。但是究竟是爲什麼呢?直到讀了曾國藩家書纔算找到了一個信服的答案。        曾國藩家規的一大祕訣,就是高度重視對後代的職業選擇。 曾國藩一生做事成

原创 江湖最後一個大佬

       看了雷軍的一個演講,雷軍說:“我以前也背過很多任正非的語錄,馬雲的語錄”。哈哈,看來大佬的心中也住着一個大佬。道德經裏有句話:“上士聞道,勤而行之;中士聞道,若存若亡;下士聞道,大笑之。不笑不足以爲道”。所以,很多時候不在於

原创 立志前行,從來不晚

       一個金礦的價值只有在於它被挖掘出來以後纔有意義。同理,一個人的天賦,知識儲備只有將它轉換成財富以後纔算學有所成。雷軍說:勤奮的人很多,聰明的人也很多。但並不是每一個聰明的,勤奮的人都能最終成功,因爲這只是成功的前置條件。我覺