原创 PY => PySpark-Spark Core（RDD）

前言 第一篇傳送門：https://segmentfault.com/a/1190000020841646 RDD認知 RDD是什麼？ RDD: 彈性分佈式數據集（Resiliennt Distributed Datasets） 轉爲格式R

2019-10-30 22:15:21

原创 AI => 知識圖譜之Neo4j-Cypher

CRUD 創建 普通無屬性創建（默認給你創建一個ID） create (p:person)-[:eat]->(f:food) 帶有屬性的創建（ {} ） create (p:person{name:'zhangsan'})-[:eat]->

2019-10-30 09:45:24 1

原创 PY => Ubuntu-Spark安裝及運行示例（Python）

官方建議環境條件 Java 8Python 2.7+/3.4+ Scala 2.12Spark 2.4.4R 3.1+（可以不安裝） 安裝Java 先驗傳送門：https://segmentfault.com/a/11... 安裝Pytho

2019-10-29 00:15:36

原创 經驗拾憶（純手工）=> CNN之kernel_size/strides/padding/same

前言 先強調一點： 涉及到參數，都是針對Tensorflow來講的。 本文主要說一些CNN最常用的幾個參數。以及各種組合情況下卷積之後計算形狀的規律公式。 filters (必填， 這個本文不說) kernel_size （

2019-10-11 10:35:22 6

原创 經驗拾憶（純手工）=> CNN-RNN（Ng）

前言 看Andrew Ng視頻，總結的學習心得。雖然本篇文章可能不是那麼細緻入微，甚至可能有了解偏差。但是，我喜歡用更直白的方式去理解知識。上一篇文章傳送門： https://segmentfault.com/a/11... 端到端 首先聊

2019-10-09 15:45:47 3

原创 經驗拾憶（純手工）=> TF20的LSTM與GRU(return_sequences與return_state)參數源碼

前言 溫馨提示： 本文只適用於: 瞭解LSTM 和 GRU的結構，但是不懂Tensorflow20中LSTM和GRU的參數的人) 額外說明 看源碼不等於高大上。當你各種博客翻爛，發現內容不是互相引用，就是相互"借鑑"。。。且絕望時。你可能會

2019-10-07 00:05:32 4

原创 經驗拾憶（純手工）=> DeepLearning+Metrics（Ng）

前言 看Andrew Ng視頻，總結的學習心得。雖然本篇文章可能不是那麼細緻入微，甚至可能有了解偏差。但是，我喜歡用更直白的方式去理解知識。 數據劃分 傳統機器學習數據的劃分 傳統機器學習一般都是小規模數據（幾萬條） 那麼可以 訓練集：驗

2019-10-03 13:55:22 3

原创 經驗拾憶（純手工）=> Tensorflow2.0（stable）高光時刻

前言 就在今天凌晨，TF20標準版，降臨，可喜可賀。因此，我認爲，值得記錄。。。 Github URL https://github.com/tensorflow... "goldiegadde released this 19 hours

2019-10-01 21:25:23 1

原创 經驗拾憶（純手工）=> 關於深拷貝/淺拷貝的代碼，你，是否注意過？

列表爲例（可變類型容器），直接上代碼： 第一種： a = [[1,2], [3,4]] [_.append(666) for _ in a] # 原生列表 （for 也是一樣的，圖個方便，用了推導式） print(a) >

2019-09-29 18:55:26

原创 經驗拾憶（純手工）=> Modin(Ray)加速Pandas大熊貓

前言 用過Pandas的都知道，數據大了後，處理很慢。so, modin在Pandas基礎上封裝一層透明殼。並且依賴ray能實現多進程pandas操作。 特色：一行代碼實現Pandas加速。。。 安裝依賴環境 原生windows(不支持)

2019-09-22 18:35:24 7

原创 經驗拾憶（純手工）=> Tensorflow2.0語法 - dataset數據封裝+訓測驗切割（二）

訓練集-測試集-驗證集切割 方法1：（借用三方sklearn庫） 因爲sklearn的train_test_split只能切2份，所以我們需要切2次： from sklearn.model_selection import train_te

2019-09-20 17:25:24 5

原创 經驗拾憶（純手工）=> docker-compose部署以及scrapyd+scrapyd-deploy上傳代碼踩坑

前言 踩了 5-6個小時的坑，各種測試。人要沒了。不過結果我已經滿意了。這篇文章是對 https://segmentfault.com/a/11... 的完善與排初BUG! 大坑1（scrapyd服務bind_address）： 我用的Do

2019-09-18 18:35:11 3

原创 經驗拾憶（純手工）=> Tensorflow2.0語法 - 張量&基本函數

前言 TF2.0 是之前學習的內容，當時是寫在了私有的YNote中，重寫於SF。TF2.0-GPU 安裝教程傳送門：https://segmentfault.com/a/11...之前接觸過 TF1, 手動session機制，看着很是頭疼。

2019-09-18 10:05:03 13

原创 經驗拾憶（純手工）=> Scrapyd部署爬蟲+封裝Django-View接口調用

前言 我之前做的項目：一直用的 Linux的Screen會話工具+ Scrapy的JOBDIR來控制爬蟲開關。但是有後來想到用 Web 來控制爬蟲的開關。所以我想到了用Scrapyd服務實現。 部署爬蟲項目 安裝scrapyd服務 pip

2019-09-15 22:25:06 14

原创 經驗拾憶（純手工）=> Tensorflow2.0（win10 & Beta & GPU版 ）安裝

前言 python & cuda & cudnn & 顯卡型 & tensorflow 版本如果匹配不好，可能會踩坑。。本篇文章，講述了 全套安裝過程 與 我所踩過的坑。 環境推薦 我也不是一次成的，當時 tf-13rc問世時，弄了好久。稍

2019-09-06 09:25:05 5