原创 python 用於網站抓取 登錄 發佈的模塊介紹

由於目前的Web開發中AJAX、Javascript、CSS的大量使用,一些網站上的重要數據是由Ajax或Javascript動態生成的,並不能直接通過解析html頁面內容就能獲得(例如採用mechanize、lxml、Beautiful

原创 python爬蟲抓站的高級技巧

以前寫過一篇使用python爬蟲抓站的一些技巧總結,總結了諸多爬蟲使用的方法;那篇東東現在看來還是挺有用的,但是當時很菜(現在也菜,但是比那時進步了

原创 Python高手是如何練成的

本文是從 How to become a proficient Python programmer 這篇文章翻譯而來。 這篇文章主要是對我收集的一些文章的摘要。因爲已經有很多比我有才華的人寫出了大量關於如何成爲優秀Python程序員的好文

原创 Selenium用戶指南 - 第二章 入門

From: http://blog.csdn.net/planisnothing/article/details/7235022 入門 Web應用程序測試自動化 今天的軟件應用, 許多或許是大多數, 是運行在一個瀏覽器中的基於Web

原创 Selenium用戶指南 - 第一章 Selenium 2.0 文檔修訂註解

From: http://blog.csdn.net/planisnothing/article/details/7234995 Selenium 2.0 文檔修訂註解 你好,歡迎!文檔團隊歡迎你,並要感謝你對Selenium的興趣。

原创 DDoS deflate:linux下防DDOS工具

DDoS deflate介紹 DDoS deflate是一款免費的用來防禦和減輕DDoS攻擊的腳本。它通過netstat監測跟蹤創建大量網絡連接的IP地址,在檢測到某個結點超過預設的限 制時,該程序會通過APF或IPTABLES禁止或阻擋

原创 在生產系統使用Tornado WebServer來代替FastCGI加速你的Django應用

From:http://www.cnblogs.com/Alexander-Lee/archive/2011/05/02/tornado_host_django.html 由於官網被牆,討論組也被牆(囧,萬惡的牆)所以tornado的資料

原创 玩蛇記-使用tornado構建高性能Web應用

From: http://www.cnblogs.com/Alexander-Lee/archive/2010/03/20/1690292.html 這個新系列是爲了記錄在python下的工作點滴,最近從微軟平臺突然轉換到了linu

原创 iptables學習筆記

1、概念 iptables有2個表:filter和nat。前者用於過濾,後者是nat用的。 iptables還有4個鏈:INPUT、FORWARD、PREROUTING、POSTROUTING。 前兩者對應於filter表,INPUT匹配

原创 73 本免費的語言無關的優秀編程書籍彙總

本文源自Stackoverflow中的一個帖子,彙總了73本免費的、語言無關的優秀的編程書籍,業界對這些書籍的評價都很高,非常值得一看。 這些書籍中

原创 爲什麼 ++[[]][+[]]+[+[]] = 10 ?

首先,問這個問題的人是個天才,他怎麼會遇到這樣的一個問題。其次,回答這個問題的人更是一個天才,我難以想象他會回答這個問題,更難以想象的是,他的回答是如此的詳細和豐富和完整,真正稱得上誨人不倦。 既然遇到了這個問題,我們不妨也跟着提高一下。

原创 開源python網絡爬蟲框架Scrapy

介紹: 所謂網絡爬蟲,就是一個在網上到處或定向抓取數據的程序,當然,這種說法不夠專業,更專業的描述就是,抓取特定網站網頁的HTML數據。不過由於一個網站的網頁很多,而我們又不可能事先知道所有網頁的URL地址,所以,如何保證我們抓取到了網站

原创 Instagram 架構分析筆記

Instagram 架構分析筆記 by [email protected] Instagram 團隊上個月才迎來第 7 名員工,是的,7個人的團隊。用戶數量超過 1400 萬,圖片數量:1.5 億。不得不說,這真他媽是個業界奇蹟。 幾天

原创 讓Django支持數據庫長連接(可以提高不少性能哦)

現在很流行用一些高性能的nonblock的app server來host Django的應用,這些Server可以看做是一個單進程單線程的程序,然後

原创 python腳本自動監視tomcat進程,如果崩潰就自動重啓

公司的一臺服務器安裝了海量搜索,但這個搜索程序真的很有問題,經常導致tomcat崩潰,於是不得不每次去重啓。 我用python寫了一個腳本,來監測tomcat是否運行中,如果沒有運行就啓動它。 腳本代碼 : #!/usr/bin/pyth