python --selenium+phantomjs爬取動態頁面廣告源碼

背景：利用爬蟲，爬取網站頁面廣告元素，監控爬取元素的數目，定時發送監控郵件

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

'''
@xiayun
@[email protected]
#爬取網站內容，利用phantomjs:IP代理+修改UA+動態頁面執行JS
'''

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
import urllib,urllib2
import smtplib
import re
from email.mime.text import MIMEText
from email.header import Header
import sys


def reptile():
    global result, data
    #proxy_ip.txt爲IP代理池，可以自己爬IP，也可以買，不過都不穩定，
    #需要在前面再加一個IP驗證程序。
    IPS = [i for i in open("./proxy_ip.txt", 'r').readline().split('\n') if i]
    print IPS
    for i in IPS:
        service_args = []
        service_args = ['--proxy-type=HTTP',]
        IP_str = ''.join(i)
        print IP_str
        proxy_IP = '--proxy=%s' % IP_str
        service_args.append(proxy_IP)
        dcap = dict(DesiredCapabilities.PHANTOMJS)
        #創建UA頭
        dcap["phantomjs.page.settings.userAgent"] = ('Mozilla/5.0 (baomihua@iPhone; 
        CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) 
        Version/9.0 Mobile/13B143 Safari/601.1')
        #利用phantomjs仿瀏覽器動作，參數2是代理IP
        driver = webdriver.PhantomJS(desired_capabilities=dcap, service_args=service_args)
        #設置訪問超時時間
        driver.implicitly_wait(60)
        driver.set_page_load_timeout(60)
        try:
            driver.get('網頁地址')
        except:
            print "timeout"
        finally:
            data = driver.page_source
            time.sleep(20)

            req = r"廣告元素"
            rule1 = re.compile(req)
            lists = re.findall(rule1, data)
            counts = len(lists)
            print counts
            # print data
            driver.quit()
            #判斷廣告元素是否爲22
            if counts == 22:
                print "The webpage is OK!"
                result = "The webpage is OK!Find 22 廣告元素!
                proxy_IP:%s " % IP_str
                break
            if counts != 22:
                #IPS.remove(i)
                print "%s is bad!" % i.strip()
                result = "The webpage maybe bad"
    print "close"
    #返回結果和網頁代碼
    return result, data


def send_mail(result,data):
    
    receivers = ['[email protected]'] #接收人
    mail_host = 'smtp.exmail.qq.com' #代理郵箱smtp協議
    mail_user = '[email protected]' #發送人
    mail_pass = 'xxxx'  #密碼
    mail_postfix = 'xxxx'  #發件箱的後綴
    title = str(result)
    msg = MIMEText(data, 'plain', 'utf-8')  #文本格式內容
    me = title.decode('utf-8') + "<" + mail_user + ">"
    msg['Subject'] = Header(title, 'utf-8')
    msg['From'] = Header(me, 'utf-8')
    msg['To'] = Header(";".join(receivers), 'utf-8')
    try:
        s = smtplib.SMTP()
        s.connect(mail_host)
        s.login(mail_user, mail_pass)
        s.sendmail(me,receivers , msg.as_string())
        s.close()
        print "發送成功"
        return True
    except smtplib.SMTPException:
        print "Error: 無法發送郵件"
        return False

if __name__ == '__main__':
    while 1:
        print 'start' + ' ' + ''.join(time.ctime(time.time()))
        result, data = reptile()
        send_mail(result=result, data=data)
        print 'stop' + ' ' + ''.join(time.ctime(time.time()))
        time.sleep(600)
    sys.exit(0)