原创 從表設計說起

首先強調一點,表結構設計一定是跟業務場景息息相關的,任務脫離業務場景談表結構設計都是無稽之談。 最簡單的例子,業務場景決定了查詢語句,如果一條查詢語句要用到三張大表join聯合才能拿到需要的數據,那絕大部分情況下這都是失敗的表設計。(我就是

原创 pandas groupby 使用指南

1. groupby技術 groupby 是pandas 中非常重要的一個函數, 主要用於數據聚合和分類計算. 其思想是“split-apply-combine”(拆分 - 應用 - 合併). pandas之父對groupby技

原创 兩條命令連接遠程jupyter notebook

有一次處理數據的時候我發現本機的內存不太夠用, 於是想要用服務器上的資源. 但是直接在服務器上又沒有高級的IDE, vim這編輯器用來看看腳本還行, 真要拿來寫python程序那可真是要命. 但是不慌, jupyter完美解決這一問題. 首

原创 python向js傳參

標題說的可能不是很清楚。事情是這樣的,最近在用python做一個數據的處理及可視化的項目,但是數據比較複雜,用python包繪圖無法滿足我們的全部功能,於是想要用D3.js來進行可視化及交互。而爲了其他人使用方便,我打算運行完python程

原创 Python閉包與nonlocal

在廖雪峯的官網上看到一個很有意思題目。關於閉包的,有興趣的朋友可以看一下這裏, 做一下這個題目,當然需要一點閉包的知識。下面我簡述一下: 利用閉包返回一個計數器函數,每次調用它返回遞增整數。 # 修改下面這個函數 def createC

原创 python virtualenv與pip換源

Python 中的virtualenv python中的虛擬環境是個好東西, 使用Python進行項目開發的過程中往往會有會安裝很多第三方包, 如果全部都安裝在全局變量中的話無疑會使全局環境變得混亂. 虛擬環境完美的解決了這一問題, 把項目

原创 讀書筆記之JavaScript語言精粹

作爲一個前端開發人員, js的一些坑已經踩了不少, 但這本書總結的非常好, 把精華部分和糟粕部分都非常系統詳細的列出來, 個人認爲附錄部分的js毒瘤與糟粕非常值得一讀, 如果你是剛開始接觸js, 那就更值得你好好看看了, 絕對能少踩很多坑

原创 解決docker中的容器無法使用中文的問題

最近在用docker建立鏡像的時候發現一個問題,事情是這樣的,我基於debian鏡像安裝了一系列的工具包括python3, 然後生成容器並在容器中執行python腳本時出現了錯誤。錯誤信息如下 SyntaxError: Non-ASCII

原创 用pandas進行簡單的數據預處理

最在參加了一個機器學習的競賽,又開始頻繁的使用pandas做數據的處理。發現了一些之前沒有發現的pandas用法。在這裏做一個總結, 也算是學習筆記吧。本筆記大部分都會以下面的數據作爲例子。另外,推薦大家使用ipython來查看及處理數據。

原创 從零創建一個Docker鏡像指南

因爲工作需要, 需要製作一個Docker來打包一個python程序。該python程序是開源的, 但是要下載對比數據庫及其他輔助文件,配置好環境變量,並且要安裝很多python的依賴包才能運行。雖然不是很麻煩,但是爲了讓其他人方便使用,最好

原创 jQuery筆記2

DOM操作之 屬性與樣式 在上一篇jQuery筆記1中把DOM元素節點的常用操作都介紹了一遍, 這一篇筆記仍是有關jQuery DOM的操作, 主要是DOM節點中屬性與樣式的添加, 更改刪除等操作 屬性操作 jQuery 使用attr和