原创 我希望在軟件開發生涯初期就知道的4件事

2013-10-17 09:19 佚名 開源中國 我要評論(0) 字號:T | T 我的軟件開發生涯開始於15年前。但是直到最近的5年,我才真正開始看到自己在軟件開發領域的巨大進步。這裏有一些感悟是我希望能夠在我進入軟件開發

原创 Storm又獲東風,Hortonworks計劃將其整合到Hadoop企業版

摘要:自YARN及Mesos等技術出現,Hadoop同集羣上運行不同技術也成爲了可能。然而,開源到商用之間存在的鴻溝不可謂不大。近日,基於廣泛用戶的需求,Hortonworks已決定將Storm整合到自己的Hadoop企業版中。 在

原创 技術團隊新官上任之中層篇

摘要:對任何企業來說,中層管理人員都是極爲關鍵的,因爲中層是執行力的來源。可以說,一家企業有沒有希望,只要看一下中層是精明強幹,還是鬆鬆垮垮就全明白了。其中有哪些必須瞭解和掌握的知識和道理呢? 恭喜升職爲中層技術管理人員!在不同的企業

原创 從真實案例出發:如何在協作開發中避免誤解!

摘要:優秀的軟件是多部門齊心協力的產物,在軟件開發項目裏,一旦交流不當,誤解是避免不了的。文章裏從項目經理--開發者--測試者--客戶之間的微妙而又重要的關係入手,和文檔細節、交流工具的使用,分析瞭如何避免誤解。 本文作者Dmitr

原创 Spark:大數據的“電光石火”

摘要:Spark是發源於美國加州大學伯克利分校AMPLab的集羣計算平臺。它立足於內存計算,從多迭代批量處理出發,兼收幷蓄數據倉庫、流處理和圖計算等多種計算範式,是罕見的全能選手。 Spark已正式申請加入Apache孵化器,從靈機一

原创 oozie hpdl參數分析

一 oozie設置參數方式 1)客戶端調用時,例如:   Properties conf = wc.createConfiguration();    conf.setProperty("user.name",

原创 SQL on Hadoop的最新進展及7項相關技術分享

大數據是現在非常熱門的一個話題,從工程或者技術的角度來看,大數據的核心是如何存儲、分析、挖掘海量的數據解決實際的問題。那麼對於一個工程師或者分析師來說,如何查詢和分析TB/PB級別的數據是在大數據時代不可迴避的問題。SQL on Hado

原创 技術團隊新官上任之基層篇

摘要:從技術一線升職爲基層技術管理人員,直至CTO或分管技術的總經理、副總裁,這可能是很多技術人員的夢想職業發展路線圖。本文希望能夠和剛剛走上技術管理崗位的同學們分享一些經驗,使職業生涯的發展更加順利和合理。 技術團隊的管理人員身負技

原创 hadoop 沒有啓動data node報異常

在啓動了name node但沒有啓動data node情況下,可以建立目錄和文件,但是不能向文件中寫入內容。

原创 OpenStack的架構詳解

OpenStack的架構詳解 2012-05-16 09:59 多易網 多易網 字號:T | T OpenStack既是一個社區,也是一個項目和一個開源軟件,它提供了一個部署雲的操作平臺或工具集。其宗旨在於,幫助組織運行爲

原创 經典思維50法-費米思維

核心思想: 化繁爲簡、直指核心: 將一個複雜問題化爲幾個簡單問題;撇去外在繁複的概念或符號,直接進入內在本質。 軟件工程中該思維的體現: 項目估算自底向上方法、程序設計中分層思想; 敏捷方法的核心是:擁抱變化,大家一起辦。 cmmi的

原创 SQL on Hadoop的最新進展及7項相關技術分享

摘要:SQL on Hadoop對於大數據而言非常重要。本文從技術架構和最新進展的角度分析了7種SQL on Hadoop產品的優缺點和適用範圍:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、

原创 Google工程師談程序員的自我修養

摘要:美國計算機協會對Sanjay Ghemawat進行了專訪,Sanjay談到了Google的文化和大數據的機會。Sanjay認爲,挑戰是一切創新的原動力,與團隊成員緊密配合會產生更多創新,在實踐中學習,讓項目先簡單快速的運行起來。

原创 深入剖析阿里巴巴雲梯YARN集羣

摘要:阿里巴巴是國內使用Hadoop最早的公司之一,已開啓了Apache Hadoop 2.0時代。本文將詳細介紹阿里巴巴如何充分利用YARN的新特性來構建和完善其多功能分佈式集羣——雲梯YARN集羣。 阿里巴巴作爲國內使用Hadoop最

原创 關於架構的討論:煩人的細節

Bob大叔和Simon Brown關於描述系統架構時基礎架構(infrastructure)所起的作用展開了討論。   在之前標題爲 《尖叫的架構(Screaming Architecture)》的文章中,Robert Martin(