原创 hadoop集羣搭建及zookeep的高可用
一、安裝配置hadoop 添加hadoop用戶，設置密碼 [root@server1 ~]# useradd -u 800 hadoop [root@server1 ~]# ls hadoop-2.7.3.tar.gz jd
2020-07-06 06:04:16
原创 爬蟲入門三——爬取貼吧
需求：輸入吧名，輸入起始頁碼，輸入結束頁碼，然後再當前文件夾中創建一個以吧名爲名字的文件夾，裏面是每一頁的html內容，文件名是吧名_page.html import urllib.request import urllib.pars
2019-04-28 03:02:53
原创 爬蟲入門一
一、爬蟲的概念 1、什麼是爬蟲？（對於程序員和互聯網） 程序員：寫程序，然後去互聯網上抓取數據的過程 互聯網：網，由好多的a連接組成的，網的節點就是每一個a連接 url（統一資源定位符） 2、那些語言可以實現爬蟲 php，，可以做
2019-04-28 03:02:53
原创 爬蟲入門二——post
爬取百度翻譯處理數據的過程 【表單數據的處理】 form_data = urllib.parse.urlencode(form_data).encode() import urllib.request import urllib.p
2019-04-28 03:02:53
原创 自動化運維saltstack安裝部署及用haproxy實現負載均衡
一、saltstack的基礎知識 1、saltstack的概念 saltStack是一個服務器基礎架構集中化管理平臺，具備配置管理、遠程執行、監控等功能，基於Python語言實現，結合輕量級消息隊列（ZeroMQ）與Python第三
2018-11-14 09:04:50
原创 自動化運維saltstack安裝部署及用keepalived實現高可用
這篇博客中寫到了用saltstack推送了一臺主機上的haproxy爲了實現了負載均衡，https://blog.csdn.net/qq_42241932/article/details/83828110 此篇博客基於上次實驗，用ke
2018-11-14 09:04:50
原创 saltstack的重要數據系統組件grains和pillar和jinja的使用
一、grains 1、grains的概念 grains是minion第一次啓動的時候採集的靜態數據，可以用在salt的模塊和其他組件中。其實grains在每次的minion啓動（重啓）的時候都會採集，即向master彙報一次的 2、設
2018-11-14 09:04:50
1
原创 網絡監視系統zabbix3.4的配置及利用API接口在監控系統中的應用
一、zabbix的基礎知識 1、什麼是zabbix zabbix是一個基於WEB界面的提供分佈式系統監視以及網絡監視功能的企業級的開源解決方案，zabbix能監視各種網絡參數，保證服務器系統的安全運營；並提供靈活的通知機制以讓系統管理
2018-11-04 09:32:51
原创 Linux系統下redhat7.2虛擬機圖形化安裝
1、在物理主機命令欄輸入virt-manager進入虛擬機管理界面 2、點擊新增 3、選擇源路徑 4、選擇1GB內存，單核CPU，9GB硬盤 5、自定義虛擬機名稱 6、進入redhat7.2安裝界面 設置時間---->亞洲
2018-10-27 09:03:48
原创 MySQL5.7傳統主從複製、基於Gtid的主從複製、基於組提交的並行複製、半同步複製
一、MySQL主從複製原理 Mysql之間數據複製的基礎時二進制日誌文件。一臺Mysql數據庫一旦啓用二進制日誌後，其作爲master，他的數據庫中所有操作都會以“事件”的方式記錄在二進制日誌中，其他數據庫作爲slave通過一個I/
2018-10-27 09:03:48
原创 Nginx配置詳解
一、配置nginx的虛擬主機 虛擬主機技術主要應用於HTTP（Hypertext Transfer Protocol，超文本傳輸協議）服務，提供了在同一臺服務器、同一組Nginx進程上運行多個網站的功能。 1、編輯nginx的配置文件
2018-10-20 08:44:53
原创 Nginx+tomcat+memcached實現session共享和交叉存放
實驗環境： server1：nginx tomcat memcached Server6:tomcat memcached 一、jdk部署（server1和server6都要部署） 1、什麼是jdk jdk是java語言的軟件開發工具
2018-10-20 08:44:53
原创 基於lnmp架構的實現論壇（Discuz）的搭建
一、lnmp架構 LNMP代表的就是：Linux系統下Nginx+MySQL+PHP這種網站服務器架構。 (1) Linux是一類Unix計算機操作系統的統稱，是目前最流行的免費操作系統。代表版本有：debian、centos、ubu
2018-10-20 08:44:53
原创 memcache用內存緩存技術來實現對訪問php頁面的加速
一、什麼是Memcache Memcache是一個自由、源碼開放、高性能、分佈式的分佈式內存對象緩存系統，用於動態Web應用用來減輕數據庫的負載。它通過在內存中緩存數據和對象來減少讀取數據庫的次數，從而提高了網站訪問的速度 二、Mem
2018-10-20 08:44:53
原创 OpenResty實現Nginx服務內部加速
一、OpenResty是什麼 OpenResty是一個基於Nginx與Lua的高性能Web平臺，其內部集成了大量精良的Lua庫，第三方模塊以及大多數的依賴項。用於方便地搭建能夠處理超高併發、擴展性及高的動態Web應用，Web服務器和動
2018-10-20 08:44:53