原创 GBDT+LR算法入門理解
CTR估計也就是廣告點擊率預估，計算廣告訓練與平滑思想說明了是用LR算法對於預測的有效性。LR（Logistic Regression）是廣義線性模型，與傳統線性模型相比，LR通過Logit變換將函數值映射到0~1區間，映射後的函數就是C
2019-06-11 16:50:14
原创 Keras模型使用GridSearchCV自動調參
最近使用keras調整參數，使用到自動調參，從網上找到一些資料，主要使用scikit-learn中GridSearchCV進行自動搜索最優參數，很實用分享到這裏，幫助需要的朋友。 Grid search 是一種最優超參數的選擇算法，實際就
2019-04-19 07:09:43
64
原创 未來金融行業建模趨勢：聯邦遷移學習
看過這篇文章後，覺得聯邦學習是金融行業未來建模趨勢，轉載在這裏，分享給大家 人工智能在最近的一兩年來是一個炙手可熱的詞彙。AI在圖像分類、語音識別、文本分析、計算機視覺、自然語言處理、自動駕駛等方面，大量的人工智能和機器學習模型確實在
2019-03-23 07:11:06
4
原创 給那些仍舊在公司混日子的人--周鴻禕
網上有熱心的朋友幫我整理了一個交流談話，我已經記不得具體是什麼時候在什麼場合講的，但都是至今我想對一些朋友說的真心話：你混日子，就是日子混你，你自己是輸家。 1、我自己當年，無論我在方正給國家打工，還是我在雅虎給外國人打工，我都跟別人最
2019-03-13 02:45:54
原创 機器學習：數據歸一化方法
理解一： 一、爲什麼要進行數據歸一化 原則：樣本的所有特徵，在特徵空間中，對樣本的距離產生的影響是同級的； 問題：特徵數字化後，由於取值大小不同，造成特徵空間中樣本點的距離會被個別特徵值所主導，而受其它特徵的影響比較小；
2019-03-07 17:25:29
1
原创 深度學習四大經典書籍
我們都知道現在機器學習、深度學習的資料太多了，面對海量資源，往往陷入到“無從下手”的困惑出境。而且並非所有的書籍都是優質資源，浪費大量的時間是得不償失的。今天，給大家推薦這四本好書。 1. 《Deep Learning with Pyth
2019-02-19 06:49:19
2
原创 樣本類別不平衡問題之SMOTE算法（Python imblearn極簡實現）
類別不平衡問題 類別不平衡問題，顧名思義，即數據集中存在某一類樣本，其數量遠多於或遠少於其他類樣本，從而導致一些機器學習模型失效的問題。例如邏輯迴歸即不適合處理類別不平衡問題，例如邏輯迴歸在欺詐檢測問題中，因爲絕大多數樣本都
2019-02-01 17:19:43
4
原创 python寫入excel超過65536行報錯問題解決方法
接此篇文章：python將txt文件轉爲excel格式 上篇文章中將內容寫到excel中使用import xlwt包，後來發現文件寫入超過65536行的時候就會報錯，無法轉換成功， xls後綴文件，只支持這麼多行，在網上搜索一下，解決方法
2019-01-25 17:15:25
13
原创 Keras用11行代碼構建CNN
卷積神經網絡（CNN）是一種特殊的深層的神經網絡模型，爲什麼說它是特殊的神經網絡模型呢？一是它的神經元間的連接是非全連接的，另一點是因爲同一層中某些神經元之間的連接的權重是共享的。它的這些特點成功的降低了網絡模型的複雜度以及減少了權值的數
2019-01-03 17:30:20
原创 keras 中的參數屬性解釋（持續更新）
keras使用過程中會有很多參數及屬性，現將日常會用到的做下詳解，自己做記錄的同時，幫忙其他朋友更好的理解。 一、keras 中的 verbose 詳解 fit 中的 verbose verbose：日誌顯示 verbose = 0 爲不
2018-12-29 17:21:42
2
原创 Linux Anaconda配置Jupyter Notebook遠程訪問
前面我們安裝過Anaconda了，參考 1. 安裝ipython, jupyter pip install ipython pip install jupyter 2.生成配置文件 dm@zerotech-All-Series:~
2018-12-10 16:46:22
2
原创 dokuwiki安裝方法--適合部門團隊共享信息使用
團隊之間共享一些信息，每個人都可以看到，使用dokuwiki非常方便、簡潔。 確保一下相依套件已經安裝 (如未安裝 用 yum install 安裝即可 ) yum install gcc-c++ make expat-devel pe
2018-11-30 17:11:54
原创 hive函數-數學函數 可在特徵工程中使用
hive中數據函數可以直接在提取特徵中使用，如 均值、方差、最大值、最小值、協方差等，重點關注以下的聚合函數內容。 一、hive函數之數學函數 round(double d)--返回double型d的近似值（四捨五入），返回bigint型
2018-11-07 02:01:03
7
原创 hive1.2版本設置隊列問題
使用如下命令設置隊列，不生效 set mapreduce.job.queuename=hive; 之後再網上搜索了一下找到原因了，共享給需要的朋友，hive 1.2版本有引擎之說 查看引擎 hive> set hive.execution
2018-10-13 01:53:02