原创 JAVA敏捷開發環境搭建
前面介紹了創業型軟件公司的工作模式，這裏詳細介紹下如何實施，第一步是先要搭建環境，有了環境才能開展工作。 整個軟件項目分爲四個環境 開發本地環境、開發環境、測試環境、IDC環境。和傳統C++開發不一樣的模式是多了第一個開發本地環境。這是
2019-07-19 14:52:35
原创 Mysql ibdata 丟失或損壞如何通過frm&ibd 恢復數據
mysql存儲在磁盤中，各種天災人禍都會導致數據丟失。大公司的時候我們常常需要做好數據冷熱備，對於小公司來說要做好所有數據備份需要支出大量的成本，很多公司也是不現實的。萬一還沒有做好備份，數據被誤刪除了，或者ibdata損壞了怎麼辦呢？別
2019-07-19 14:52:34
2
原创 整理了一個目錄，督促自己寫文章
前端 css架構 js架構 js例子開發 css規範 js規範 交互設計 java java開發規範 jeeframework框架
2019-07-19 14:52:22
原创 搭建高可用mongodb集羣（四）—— 分片
按照上一節中《搭建高可用mongodb集羣（三）—— 深入副本集》搭建後還有兩個問題沒有解決：從節點每個上面的數據都是對數據庫全量拷貝，從節點壓力會不會過大？數據壓力大到機器支撐不了的時候能否做到自動擴展？在系統早期，數據量還小的時候不會引
2019-02-22 19:58:39
1
原创 海量數據相似度計算之simhash短文本查找
在前一篇文章 《海量數據相似度計算之simhash和海明距離》 介紹了simhash的原理，大家應該感覺到了算法的魅力。但是隨着業務的增長 simhash的數據也會暴增，如果一天100w，10天就1000w了。我們如果插入一條數據就要去比較
2019-02-22 19:58:39
7
原创 實戰做項目如何選擇開源許可協議（二）- 開放代碼
通過《實戰做項目如何選擇開源許可協議（一）-瞭解協議》大概知道了有哪些開源協議和各個協議的作用和區別。我們準備把代碼開放出去時，需要了解各個代碼託管平臺如何設置開源協議。目前常用的平臺有：googlecode、github、sourcefo
2019-02-22 19:58:39
原创 社會化海量數據採集爬蟲框架搭建
隨着BIG DATA大數據概念逐漸升溫，如何搭建一個能夠採集海量數據的架構體系擺在大家眼前。如何能夠做到所見即所得的無阻攔式採集、如何快速把不規則頁面結構化並存儲、如何滿足越來越多的數據採集還要在有限時間內採集。這篇文章結合我們自身項目經驗
2019-02-22 19:58:39
2
原创 搭建高可用mongodb集羣（一）——配置mongodb
在大數據的時代，傳統的關係型數據庫要能更高的服務必須要解決高併發讀寫、海量數據高效存儲、高可擴展性和高可用性這些難題。不過就是因爲這些問題Nosql誕生了。NOSQL有這些優勢：大數據量，可以通過廉價服務器存儲大量的數據，輕鬆擺脫傳統mys
2019-02-22 19:58:39
原创 數據挖掘-分詞入門
谷歌4億英鎊收購人工智能公司DeepMind，百度目前正推進“百度大腦”項目，騰訊、阿里等各大巨頭佈局深度學習。隨着社會化數據大量產生，硬件速度上升、成本降低，大數據技術的落地實現，讓冷冰冰的數據具有智慧逐漸成爲新的熱點。要從數據中發現有用
2019-02-22 19:58:39
8
原创 搭建高可用mongodb集羣（二）—— 副本集
在上一篇文章《搭建高可用MongoDB集羣（一）——配置MongoDB》 提到了幾個問題還沒有解決。主節點掛了能否自動切換連接？目前需要手工切換。主節點的讀寫壓力過大如何解決？從節點每個上面的數據都是對數據庫全量拷貝，從節點壓力會不會過大？
2019-02-22 19:58:39
10
原创 實戰低成本服務器搭建千萬級數據採集系統
上一篇文章《社會化海量數據採集框架搭建》提到如何搭建一個社會化採集系統架構，講架構一般都比較虛，這一篇講一下如何實戰用低成本服務器做到日流水千萬級數據的分佈式採集系統。有這樣一個採集系統的需求，達成指標： 需要採集30萬關鍵詞的數據 、微博
2019-02-22 19:58:39
1
原创 海量數據相似度計算之simhash和海明距離
通過 採集系統 我們採集了大量文本數據，但是文本中有很多重複數據影響我們對於結果的分析。分析前我們需要對這些數據去除重複，如何選擇和設計文本的去重算法？常見的有餘弦夾角算法、歐式距離、Jaccard相似度、最長公共子串、編輯距離等。這些算法
2019-02-22 19:58:39
11
原创 實戰做項目如何選擇開源許可協議（一）-瞭解協議
目前國內開源項目正在逐漸升溫，中國也開始有不少優秀的開源項目突顯出來。在大家摩拳擦掌準備加入開源大軍時，也要知道這個圈子裏的規則。技術人員不能只是研究技術，任何圈子都有規則，要知道了才能玩得好。前段時間有件關於開源軟件的事情挺熱鬧的，關於國
2019-02-22 19:58:39
3
原创 技術人員如何創業《一》—— 產品及想法
不得不說這是個浮躁的社會，人人在這個社會都想暴富或者成名。在這些引誘的驅使下很多人都脫離了原來的穩定工作創業。前幾天看了《中國合夥人》，故事講到了幾個大學生從校園到工作、再到創辦了一個偉大的企業，這個故事更加激勵了創業大軍的壯大。大家都想創
2019-02-22 19:58:39