原创 Scrapy入門:簡單爬蟲項目梳理整個框架操作流程

Scrapy入門1. 準備工作2. 準備工作2.1 創建項目2.2 簡單解釋所創文件的結構3. 創建 Spider4. 分析目標網頁和你所要爬取的內容5. 創建 Item6. 使用Item,重寫Spider中parse()方法7

原创 大數據計算框架——MapReduce(內含詳細的shuffle過程)

MapReduce1. MapReduce模型簡介2. Map 和 Reduce 函數2.1 Map函數2.2 Reduce函數2.3 兩個函數的關係圖3. MapReduce工作流程3.1 工作流程概述(注意兩點)3.2 工作流

原创 分佈式文件系統HDFS整體剖析

我要開始爲大四找工作做準備啦,開始複習關於大數據分佈式的知識。絕對乾貨! HDFS原理剖析1. 簡說分佈式文件系統2. 計算機集羣結構3. 分佈式文件系統的結構3.1 主節點(NameNode)3.2 從節點(DataNode)3

原创 Elasticsearch剖析

本文是自己搜索整理的 Elasticsearch 相關的東西分享。 Elasticsearch剖析1、什麼是Elasticsearch2、Elasticsearch的特性3、Elasticsearch的主要概念4、Lucene與E

原创 富貴和你一起復習Python(第11篇)— 文件操作(一)

繼續複習Python,今日複習 —— 文件操作,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 文件操作文件操作1. 文件分類1.1 文本文件1.2 二進制文件2. 文件對象(文件打開模式,文件對象屬性,文件

原创 PySimpleGUI 讓 Python 的 GUI 界面開發變得如此簡單(第02篇) —— 掌握界面控件使用,你的界面你做主

import PySimpleGUI as sg PySimpleGUI封裝了tkinter,Qt,WxPython和Remi,以便您獲得所有相同的小部件,但可以通過端口之間通用的更友好方式與它們進行交互. PySimpleGU

原创 富貴和你一起復習Python(第10篇)— 面向對象程序設計

繼續複習Python,今日複習 —— 面向對象程序設計,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 面向對象程序設計面向對象程序設計1. 類的定義與使用1.1 類定義語法1.2 self 參數1.3 類成

原创 PySimpleGUI 讓 Python 的 GUI 界面開發變得如此簡單(第01篇) —— 天氣預報小功能實例分析

之前在學習 Python 的時候就很是苦惱如何用 python 來做界面開發,感覺好像 Python 在這方面是個短板,當時書上的使用的界面開發模塊是 wxPython ,我當時看着書上密密麻麻的代碼,就感覺頭疼的厲害,瞬間感覺很

原创 富貴和你一起復習Python(第09篇)— 函數設計與使用(你瞭解這幾種傳參類型嗎)

繼續複習Python,今日複習 —— 函數設計與使用,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 函數設計與使用函數1. 函數的定義與調用2. 形參與實參3. 參數類型3.1 默認值參數(兩點注意)3.2

原创 富貴和你一起復習Python(第08篇)— 選擇與循環

繼續複習Python,今日複習 —— 選擇與循環,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 選擇與循環選擇與循環1. 條件表達式2. 選擇結構(一定要遵守嚴格的代碼縮進!)2.1 單分支選擇結構2.2

原创 富貴和你一起復習Python(第06篇)— 字符串(讓你更加懂字符串)

繼續複習Python,今日複習 —— 字符串,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 字符串1. 字符串1. 1 字符串格式化(format 方法講解)2. 字符串的常用方法2. 1 find()、r

原创 富貴和你一起復習Python(第04篇)— 字典(python字典也可有序)

繼續複習Python,今日複習 —— 字典,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 字典字典(dict)字典的創建與刪除字典元素的讀取字典元素的添加與修改有序字典 字典(dict) 字典是“鍵-值對”

原创 富貴和你一起復習Python(第05篇)— 集合

繼續複習Python,今日複習 —— 集合,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 集合集合(set)1. 集合的創建與刪除2. 集合操作3. 集合運用案例 集合(set) 集合是無序可變序列,與字典

原创 富貴和你一起復習Python(第07篇)— 正則表達式(正則必看篇)

繼續複習Python,今日複習 —— 正則表達式,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 正則表達式正則表達式1. 正則表達式語法(10種代表性舉例)2. re模塊的主要方法3. 直接使用 re 模塊

原创 富貴和你一起復習Python(第03篇)— 元組

繼續複習Python,今日複習——元組,中間會有自己的心得體會,要是有什麼錯誤或者補充可直接評論或者私信喲。 元組1. 簡說元組2. 元組與列表的區別3. 序列解包4. 生成器推導式 1. 簡說元組 與列表相似,元組也是Pytho