磁力搜索引擎ZSKY一鍵安裝包

之前介紹過SSBC磁力搜索引擎一鍵安裝包,而今天要推薦的是SSBC的改進版ZSKY。


## 一:系統需求


1:擁有外網IP,內網IP爬取不到任何數據。這個當然是廢話,這種類型的網站放國內,除非你想被請去喝茶。
2:Centos7+Python2.7
3:1G內存,100G硬盤


## 二:安裝方法


推薦一鍵安裝包
 

yum -y install git 
git  clone https://github.com/magrco/zsky.git
cd zsky&&sh zsky.sh

大概10分鐘就可以安裝好了,當然根據配置不同,時間稍有差別。
本一鍵安裝包在安裝過程中會要求輸入數據庫密碼,而不用自己後期再設置了。其它在安裝過程中需要輸入的信息還有:網站域名,後臺管理員賬號及密碼,郵箱等。
通過設置的域名進行訪問,後臺地址在域名後加/admin然後採用設置的管理員用戶名與密碼登陸。
一般VPS的系統只有30G左右。我查看了一下爬取到的磁力鏈接30多萬的數據量大概要佔用1g左右的空間,也就是一般的VPS可能用不了幾天空間就回用盡,如果要保證1000萬以上的數據量,那麼把爬取到的磁力鏈接存到單獨的數據盤是一個比較好的方式。關於這方面怎麼做到,可以參考我另外一篇文章:

如何掛載Block Storage並將mariadb數據庫文件存放到Block Storage上


## 三:常用命令


執行 python manage.py init_db     創建表/平滑升級表結構
執行 python manage.py create_user 創建管理員
執行 python manage.py changepassword 修改管理員密碼
執行 systemctl start gunicorn  啓動網站
執行 systemctl start mariadb  啓動數據庫
執行 systemctl status mariadb  查看數據庫運行狀態
執行 systemctl restart mariadb  重新啓動數據庫
執行 systemctl status gunicorn  查看gunicorn運行狀態
執行 systemctl restart gunicorn   重新啓動網站
執行 systemctl restart indexer  手動重新索引
執行 systemctl start searchd  開啓搜索進程
執行 systemctl status searchd  查看搜索進程運行狀態
執行 systemctl restart searchd   重新啓動搜索進程


## 四:常見問題


Q:如何綁定多個域名?
A:在/etc/nginx/nginx/nginx.conf文件內修改,多個域名用空格隔開,修改完成後執行nginx -s reload生效
Q:如何修改站點名?
A:修改manage.py裏的常量sitename
Q:如何修改地圖裏的域名?
A:修改manage.py裏的常量domain
Q:如何修改後臺地址?
A:修改manage.py中的以下語句中的url=後面的地址: admin = Admin(app,name='管理中心',base_template='admin/my_master.html',index_view=MyAdminIndexView(name='首頁',template='admin/index.html',url='/fucku'))
Q:如何屏蔽違禁詞
A:在sensitivewords.txt這個文件裏面添加違禁詞,一行一個,支持.*?等正則符號,添加完成後systemctl restart gunicorn生效
Q:如何實現遠程主機反向代理本機的程序?
A:修改本機的/etc/systemd/system/gunicorn.service其中的127.0.0.1:8000修改爲0.0.0.0:8000然後執行systemctl daemon-reload,然後執行systemctl restart gunicorn,本機不開啓nginx,遠程主機開啓nginx、配置反向代理、綁定域名即可,nginx的配置文件參考程序內的nginx.conf 。
Q:如何限制/提高爬取速度?
A:修改simdht_worker.py裏的max_node_qsize=後面的數字,越大爬取越快,越小爬取越慢
Q:如何修改數據庫密碼?
A:執行mysqladmin -uroot -p password 123456!@#$%^ //將提示輸入當前密碼,123456!@#$%^是新密碼
Q:修改數據庫密碼後怎麼修改程序裏的配置?
A:修改manage.py裏的mysql+pymysql://root:密碼@127.0.0.1、修改manage.py裏的DB_PASS、修改simdht_worker.py裏的DB_PASS、修改sphinx.conf裏的sql_pass
Q:怎麼確定爬蟲是在正常運行?
A:執行 ps -ef|grep -v grep|grep simdht 如果有結果說明爬蟲正在運行
Q:更新manage.py/模板後怎麼立即生效?
A:執行 systemctl restart gunicorn 重啓gunicorn
Q:爲什麼首頁統計的數據小於後臺的數據?
A:在數據量變大後,索引將佔用CPU 100%,非常影響用戶訪問網站,爲了最小程度減小此影響 默認設置爲每天早上5點更新索引,你想現在更新爬取結果的話,手動執行索引 systemctl restart indexer ,需要注意的是,數據量越大 索引所耗費時間越長
Q:如何查看索引是否成功?
A:執行 systemctl status indexer 可以看到索引記錄
Q:覺得索引速度慢,如何加快?
A:修改sphinx.conf裏面的mem_limit = 512M ,根據你的主機的內存使用情況來修改,數值越大索引越快,最大可以設置爲2048M
Q:如何確定搜索進程是否正常運行
A:執行 systemctl status searchd ,如果是綠色的running說明搜索進程完全正常
Q:如何備份數據庫?
A:執行 mysqldump -uroot -p zsky>/root/zsky.sql 導出數據庫 //將提示輸入當前密碼,數據庫導出後存在/root/zsky.sql
Q:數據庫備份後,現在重新安裝了程序,如何導入舊數據?
A:執行 mysql -uroot -p zsky</root/zsky.sql     //假設你的舊數據庫文件是/root/zsky.sql,將提示輸入當前密碼,輸入後耐心等待
Q:如何遷移到新主機?
A:備份數據庫(方法見上面)→ 程序拷貝到新主機 → 安裝程序 → 導入數據庫(方法見上面)→ 重新索引
Q:我以前使用的搜片大師/手撕包菜,可以遷移過來嗎?
A:程序在開發之初就已經考慮到從這些程序遷移過來的問題,所以你不用擔心,完全可以無縫遷移。如果有需求,請加羣聯繫作者付費爲你提供服務
Q:網站經常收到版權投訴,有沒有好的解決辦法?
A:除了刪除投訴的影片數據外,你可以使用前端Nginx、後端gunicorn+爬蟲+數據庫+索引在不同主機上的模式,甚至多前端模式,這樣 即使前端被主機商強行封機,也能保證後端數據的安全。
 

更多技術分享,歡迎訪問Magrco's blog:http://www.magrco.com

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章