數據工程師妹子養成手記——數據庫篇

這篇文章沒有代碼,請放心閱讀。

程序員最寶貴的東西是生命,生命屬於程序員只有一次。一個程序員的一生應該這樣度過:當她回首往事的時候,她不會因爲搭建環境浪費時間而悔恨,也不會因爲集羣無法運行而羞恥。這樣,在她開發的時候,她能夠說:“我的整個生命和全部精力,都已經獻給了開發中最重要的事情——設計程序,實現程序和調Bug。” ——P醬。

P醬是公司新來的實習生妹子。聽說是一個文科生。文科生應該會去文案組或者策劃組吧。什麼?來數據組?讓我來帶?

於是我和P醬生活工作在了一起。

<!--more-->

P醬你會些什麼?

“我叫P醬,在XX大學讀研二,愛好是拍照和被拍,大家可以在B站找到我跳舞的視頻,比如av170001。我的另外一個愛好是寫代碼……”

當一個文科妹子說自己喜歡寫代碼的時候,整個辦公室熱鬧了起來。

“P醬,聽說你喜歡寫代碼,那你寫過什麼東西嗎?”新人介紹會議結束以後,我問P醬。

“一般都是各種分析程序,我們的專業要做很多調查報告,他們都是用Excel來計算的。我喜歡用Python來把這些統計過程自動化。後來也寫過自動寫詩的程序、鬼畜視頻生成器等等。”

“真不敢相信你是文科生。這麼說你的興趣是數據分析方向咯?”

“其實我對師父你做的爬蟲很有興趣。但是聽說會經常和網站發生對抗?女孩子還是不要打打殺殺的好~”

於是我讓P醬負責對爬蟲的原始數據進行清洗、整理並做簡單的分析。

一種船新的數據儲存方式

“P醬,爬蟲抓到的原始數據是存放在MongoDB裏面的,你的Python還不錯吧,你試一試用Python來讀寫MongoDB看看。”

“MongoDB是什麼呀?”

“是一個和MySQL不太一樣的數據庫。”

“MySQL我知道,MongoDB和MySQL有什麼不一樣呢?”

“我舉個例子,當你要插入數據的時候,你需要做的,就是‘插入’。咳咳,你不要臉紅,我是指你不需要寫SQL語句、不需要建表、不需要提前定義字段。僅僅只需要一行代碼就能夠實現了。我這裏給你寫了一篇文檔,講到了MongoDB的增刪改查,你試一試。數據庫已經給你搭建好了,你直接連上去用吧”

半天以後。

“師父,我已經會使用MongoDB啦。”

“你讀爬蟲的原始數據,主要涉及到的就是查詢操作,爲了鞏固插入、修改和刪除的操作,再給你一個小任務吧。試一試寫一個人員管理系統吧。”

既然有關係,就整整齊齊放在一起看吧

“P醬,你看起來很高興的樣子啊。”

“因爲我覺得MongoDB比起MySQL太簡單了啊~”

“你確定?那我看看你怎麼對整行數據去重的?”

“師父,我知道distinct關鍵字可以對一個字段去重。但是整行數據我是讀出來用Python來去重的。”

“這個時候你就要用到MongoDB的聚合查詢了。文檔已經給你寫好了,拿去看吧。”

“還有還有,這裏你把店鋪信息和菜單信息放在了兩個集合裏面,我怎麼樣才能把他們聯表查詢出來呢?”

“聯表查詢是MySQL裏面的操作,在MongoDB裏面,沒有,只有集合,所以叫做聯集合查詢更恰當一些。這也是要用到聚合查詢,也在這個文檔裏面了。”

再給你一個玩具吧。

“P醬,之前讓你做的爬蟲數據監控系統怎麼樣了?”

“功能已經做好了,但是有一個地方查詢起來特別慢。我已經加過索引了,但還是很慢。懷疑是同時聯了四個集合的數據造成的。”

“這邊的數據實際上每小時才更新一次,你沒有必要每次刷新頁面都去查詢MongoDB的。我覺得是時候讓你用一下Redis做緩存了。”

“Redis就是那個內存數據庫嗎?我知道我知道。”

“給你寫了一份文檔,包含Redis裏面的各種數據類型和使用方式。你試一試把Redis和MongoDB結合起來看看能不能提高速度。”

你怎麼擅自加功能啊!

“P醬,你怎麼在爬蟲監控系統的網頁上加了一個廣播窗口?”

“呀,被師父發現了。因爲我想到同一個爬蟲可能會被幾個人監控,所以就用Redis的發佈訂閱功能做出來了這個廣播的功能。一旦爬蟲狀態發生改變,所有人都能收到推送。”

“既然你這麼閒,那不如加上賬號登錄功能,把權限驗證也做上去?不同的人只能看到自己負責的爬蟲。順便你可以試一試用Redis實現……”

“實現布隆過濾器和Session管理是嗎?”

“你怎麼知道我要說什麼?”

“因爲我早上看到你在文檔上面更新了布隆過濾器和Session管理相關的內容啊~”

紅色的鎖?

“師父師父,你知道什麼是RedLock嗎?”

“你學得這麼快?都知道RedLock了?RedLock是Redis官方給出的分佈式鎖的算法。已經有很多編程語言實現它了。”

“原來RedLock只是一個算法啊……”

爲什麼我學的這麼快呢?

“師父師父,我覺得很奇怪啊,爲什麼MongoDB和Redis我學得這麼快呢?難道是因爲他們本來就簡單?還是因爲我太聰明瞭?”

“爲什麼你不說是因爲你師父教的好呢?“

“因爲這是事實啊~不用我說出來~”

“咳咳,實際上是因爲兩個原因。一是你一直通過項目驅動來學習,先有需求,然後再去學習實現這個需求所要涉及到的技能。所以你知道你學的東西能用來幹什麼,自然就能學得快……”

“那第二個原因是什麼呢?”

“第二個原因,我先問你一個問題,你會搭建Redis集羣嗎?會搭建MongoDB集羣嗎?知道什麼叫做哨兵嗎?你知道如何優化MongoDB的啓動參數嗎?”

“這…………好像都不知道額…………”

“因爲你的角色是數據工程師,不是數據庫工程師,所以數據庫搭建、底層優化這些內容我都給你跳過了。”

“這些聽起來都很重要啊,師父你會教我嗎?”

“你想經常值夜班嗎?想半夜3點被人打電話叫起來修數據庫嗎?認清自己的定位啊,數據庫工程師的技能當然很重要,但你是要成爲數據工程師的人,技能樹應該點在合適的方向。”

後記

後來,P醬成了別人的女朋友。

幸好我還有左手和右手,於是我把我給P醬總結的文檔編撰成了《左手MongoDB,右手Redis——從入門到商業實戰》這本書。本書現在已經在京東、亞馬遜、淘寶上架。

這本書的定位是MongoDB和Redis的應用,所以有意弱化了數據庫的搭建、維護和底層優化。所以本書可能不適合數據庫工程師。

希望本書能夠給那些一直想掌握MongoDB、Redis,但是又不知道從何處下手的讀者,提供一個學習的方向。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章