原创 linux知識體系框圖

多進程調試 多線程調試

原创 syslogd日誌簡介(1)

1、什麼是syslogd syslogd是一個守護進程,這個守護進程提供了一個記錄特殊事件和消息的標準機制。通俗的講,syslogd守護進程用於解決系統守護進程的日誌記錄問題。 syslogd記錄的日誌文件都是

原创 shell知識體系框圖

grep工具: sed工具: cut工具: awk工具: sort工具 uniq工具 diff和patch

原创 網絡暢聊系統

1、網絡聊天系統簡介 簡單來說,這個聊天系統可以達到羣聊的目的。客戶端向服務器發送消息,服務器對這條消息進行轉發。由於使用的是udp協議,所以服務器會維護一張用戶列表,這個列表記錄了所有向服務器發送過消息的客戶地址。當某

原创 shell腳本語法隨筆

1、循環 1.1、類C循環 例:求1到100的和 sum=0 for ((i=1;i<=100;i++)) do let sum+=i done 1.2、for in循環 例:輸出參數列表所有參數 for i in $

原创 HTTP協議

1、URL URL,統一資源定位符,它是一種特殊類型的URI,包含了用於查找某個資源的足夠的信息。 URL格式: http://host[":"port][abs_path] http表示通過http協議來定位網絡資源,hos

原创 天氣推送服務器

1、主要功能 用戶通過天氣推送服務器暴露出來的接口進行註冊,註冊完畢之後用戶可以添加一些自己的親朋好友的信息。每天定時爬取全國的天氣,然後推送給用戶的親朋好友。 2、服務器 服務器使用的是一個協程版本的we

原创 HTTP長連接和短連接

1、短連接 在HTTP/1.0版本中,默認使用的是短連接,也就是說瀏覽器和服務器每進行一次HTTP操作,就建立一次連接,任務結束就中斷連接。如果客戶端瀏覽器訪問某個HTML或其他類型的Web頁中包含其他的web資源,則瀏覽器每

原创 sort命令

一、sort將文件的每一行作爲一個單位,相互比較,比較的原則是從首字符向後,依次按ASCII碼進行比較。 例: 二、命令格式 命令格式: sort option 文件 常用option: 1、-u:去除重複行 例1:

原创 sed工具

一、什麼是sed sed叫做流編輯器,在shell腳本和Makefile中作爲過濾一使用非常普遍,也就是把前一個程序的輸出引入sed的輸入,經過一系列編輯命令轉換成爲另一種格式輸出。sed是一種在線編輯器,它一次處理一行

原创 Scrapy框架學習

最開始學習爬蟲的時候,我用的是urllib2和BeautifulSoup這兩個庫,使用這兩個庫的時候,所有爬蟲的框架都要自己寫,一開始還覺得沒什麼,到最後寫的越來越多的時候就覺得很麻煩,因爲我的重點是爬取數據分析數據啊,不是浪費時

原创 基礎正則表達式

一、什麼是正則表達式 正則表達式是用於描述字符排列和匹配模式的一種語法規則,它主要用於字符串的模式分割、匹配、查找以及替換操作。 描述一個正則表達式需要字符類、數量限定符、位置限定符。規定一些特殊語法表示字符類

原创 tcp粘包淺析

1、什麼是粘包 從接收緩衝區看,後一包的數據的頭部緊接着前一包數據的尾部,使得接收方不能準確的讀取一包數據,也就是接收方多讀或少讀一包數據所造成的現象就是粘包現象。 粘包只會在TCP的長連接時纔可能發生,因爲T

原创 grep簡單用法

grep是一種強大的文本搜索工具,他能使用正則表達式搜索文本,並把匹配的行統計出來。 命令:grep [選項] [–color=auto] ‘搜索字符串’ filename 常用參數: -c:統計符合條件的字符

原创 uniq命令

uniq這個命令用於讀取輸入文件,並比較相鄰的行。在正常情況下,第二個及以後更多的重複的行將被刪除。行比較是根據所用字符集的排序序列進行的。 命令格式: uniq option 文件 常用option: -c:顯示輸出中,在