場景模擬
每天8點爬取今日發佈的新聞和通知公告，將爬取後的信息保存到Excel文件中，將程序發佈成windows服務，開機即可自動啓動。
技術使用
1.每天8點定時執行任務，使用Quartz.Net 2.爬取數據採用HtmlAgility 3.Excel操作採用NPOI 4.將應用程序發佈爲Windows服務，使用Topshelf 5.日誌記錄Log4Net
思路
因爲最後的輸出形式爲Windows服務，所以使用Topshelf進行打包
TopShelf使用鏈接
http://www.cnblogs.com/jys509/p/4614975.html
TopShelf概述
Topshelf是創建Windows服務的另一種方法，老外的一篇文章Create a .NET Windows Service in 5 steps with Topshelf通過5個步驟詳細的介紹使用使用Topshelf創建Windows 服務。Topshelf是一個開源的跨平臺的宿主服務框架，支持Windows和Mono，只需要幾行代碼就可以構建一個很方便使用的服務宿主。
不瞭解TopShelf的童鞋可以先百度或者根據LZ提供的鏈接看看TopShelf是什麼以及如何使用。 在瞭解TopShelf爲何物後，我們首先建立一個控制檯項目，將我們所需要的組件一一安裝。
Install-package Quartz.Net Install-package Log4Net Install-package HtmlAgility Install-package TopShelf
第一步：配置Log4Net日誌
新建Log4net.config配置文件
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<configSections>
<section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
</configSections>
<log4net>
<appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">
<!--日誌路徑-->
<param name= "File" value= "D:\App_Log\servicelog\"/>
<!--是否是向文件中追加日誌-->
<param name= "AppendToFile" value= "true"/>
<!--log保留天數-->
<param name= "MaxSizeRollBackups" value= "10"/>
<!--日誌文件名是否是固定不變的-->
<param name= "StaticLogFileName" value= "false"/>
<!--日誌文件名格式爲:2008-08-31.log-->
<param name= "DatePattern" value= "yyyy-MM-dd".read.log""/>
<!--日誌根據日期滾動-->
<param name= "RollingStyle" value= "Date"/>
<layout type="log4net.Layout.PatternLayout">
<param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n %loggername" />
</layout>
</appender>
<!-- 控制檯前臺顯示日誌 -->
<appender name="ColoredConsoleAppender" type="log4net.Appender.ColoredConsoleAppender">
<mapping>
<level value="ERROR" />
<foreColor value="Red, HighIntensity" />
</mapping>
<mapping>
<level value="Info" />
<foreColor value="Green" />
</mapping>
<layout type="log4net.Layout.PatternLayout">
<conversionPattern value="%n%date{HH:mm:ss,fff} [%-5level] %m" />
</layout>
<filter type="log4net.Filter.LevelRangeFilter">
<param name="LevelMin" value="Info" />
<param name="LevelMax" value="Fatal" />
</filter>
</appender>
<root>
<!--(高) OFF > FATAL > ERROR > WARN > INFO > DEBUG > ALL (低) -->
<level value="all" />
<appender-ref ref="ColoredConsoleAppender"/>
<appender-ref ref="RollingLogFileAppender"/>
</root>
</log4net>
</configuration>
image.png
在Main方法種開始執行時，對Log4Net進行日誌配置加載。
第二部：爬取信息
使用HtmlAgility,如果對此第三方庫不是很理解的，可以參考LZ的爬蟲系列文章，裏面有對其講解。 代碼不做過多講解，主要就是注意獲取當天數據
public class JKNews
{
/// <summary>
/// 得到今日的新聞
/// </summary>
/// <returns></returns>
public static List<Notice> GetTodayNews()
{
string[] url =
{
"http://www.jit.edu.cn/myNews_list_out.aspx?infotype=1",
"http://www.jit.edu.cn/myNews_list_out.aspx?infotype=2"
};
var web = new HtmlWeb();
web.OverrideEncoding = Encoding.GetEncoding("gb2312");
List<Notice> noticeItems = new List<Notice>();
for (int i = 0; i < url.Length; i++)
{
var docWeb = web.Load(url[i]);
var listItems = docWeb.DocumentNode.SelectNodes("//*[@id=\"table_list\"]/li").ToList();
foreach (var item in listItems)
{
string href = item.SelectSingleNode("./a").Attributes["href"].Value;
string title = item.InnerText;
string remark = item.SelectSingleNode("./span[@class=\'puber\']").InnerText;
var splitArr = remark.Split(' ');
string dep = splitArr[0].TrimStart('[');
string time = splitArr[1].TrimEnd(']');
noticeItems.Add(new Notice()
{
Href = href,
Title = title,
Dep = dep,
Time = time
});
}
}
return noticeItems.Where(u => Convert.ToDateTime(u.Time).Date.Equals(DateTime.Now)).ToList();
}
}比較倆日期相同 方法一： System.Data.Entity.DbFunctions.DiffDays(cs.StartTime.Value,DateTime.Now) == 0只獲取當天 方法二: XX.StartTime.Value.Date.Equals(DateTime.Now.Date)//只獲取當天
使用方法一.png
第三步：使用QuartZ建立一個定時任務
1.建立一個 ToExcelJob 繼承 IJob接口，實現方法
定時方法.png
定時方法Exceute種分倆部分執行 第一部分：獲取爬取後的數據 第二部分：數據保存到Excel文件
public class ToExcelJob : IJob
{
private static string excelPath = ConfigurationManager.AppSettings["ExcelPath"];
static readonly ILog Log = LogManager.GetLogger(typeof(ToExcelJob));
public void Execute(IJobExecutionContext context)
{
try
{
if (!Directory.Exists(excelPath))
{
Directory.CreateDirectory(excelPath);
}
var items = JKNews.GetTodayNews();
var excel = new Excel();
excel.CreateSheet("Sheet1");
int rowIndex = 0;
excel.WriteTitle(new string[] { "鏈接", "標題", "部門", "日期" }, 0, 0);
rowIndex++;
foreach (var item in items)
{
excel.CreateRow(0, rowIndex);
excel.WriteProperty<Notice>(item, 0, rowIndex, 0);
rowIndex++;
}
excel.SetColumnWidth(0, 0, new[] { 20, 30, 10, 10 });
string savePath = Path.Combine(excelPath, string.Format("{0}.xlsx", DateTime.Now.ToString("yyyy.MM.dd")));
excel.WriteFile(savePath);
}
catch (Exception ex)
{
Log.Error(ex.Message, ex);
}
}
}第四步：定製TopShelf服務類，對開始和結束進行代碼描述
構造函數中使用Quartz.Net 開始進行任務的創建 首先創建一個調度器 然後創建一個任務 然後創建一個觸發器，這一步中我們設置了cron爲每晚8點，具體使用的大家可以看cron語法 然後將任務與觸發器添加到調度器中並執行 在構造函數中對當前任務（Job）進行初始化配置，然後開放倆個方法Start和Stop讓便上層調用
public class ToExcelRunner
{
static readonly ILog _log = LogManager.GetLogger(typeof(ToExcelRunner));
private readonly IScheduler scheduler;
public ToExcelRunner()
{
// 創建一個調度器
scheduler = StdSchedulerFactory.GetDefaultScheduler();
//2、創建一個任務
IJobDetail job = JobBuilder.Create<ToExcelJob>().WithIdentity("job1", "group1").Build();
//3、創建一個觸發器
ITrigger trigger = TriggerBuilder.Create()
.WithIdentity("trigger1", "group1")
.WithCronSchedule("0 0 20 ? * *") //每天晚上8點執行
.Build();
//4 將任務與觸發器添加到調度器中並執行
scheduler.ScheduleJob(job, trigger);
}
public void Start()
{
try
{
_log.Info("服務開啓");
scheduler.Start();
}
catch (Exception e)
{
Console.WriteLine(e);
throw;
}
}
public void Stop()
{
_log.Info("服務結束");
scheduler.Shutdown(false);
}
}第五步：TopShelf配置
s.ConstructUsing(name => new ToExcelRunner()); 服務使用ToExcelRunner 對服務的Started註冊tc.Start()方法 對服務的Stopped註冊tc.Stop()方法 使用日誌記錄，出錯時候記錄。
class Program
{
static readonly ILog _log = LogManager.GetLogger(typeof(Program));
static void Main(string[] args)
{
FileInfo fi = new FileInfo(AppDomain.CurrentDomain.BaseDirectory + "\\log4net.config");
XmlConfigurator.ConfigureAndWatch(fi);
try
{
HostFactory.Run(x =>
{
x.Service<ToExcelRunner>(s =>
{
s.ConstructUsing(name => new ToExcelRunner());
s.WhenStarted(tc => tc.Start());
s.WhenStopped(tc => tc.Stop());
});
x.RunAsLocalSystem();
x.SetDescription("每天晚上8點講當日新聞保存爲Excel");
x.SetDisplayName("新聞保存服務");
x.SetServiceName("新聞保存服務");
});
}
catch (Exception ex)
{
_log.Error(ex);
}
}
}第六步：發佈爲windows服務
配置運行
沒錯，整個程序已經開發完了，接下來，只需要簡單配置一下，即可以當服務來使用了。安裝很方便： 安裝：JKNoticeget.exe install 啓動：JKNoticeget.exe start 卸載：JKNoticeget.exe uninstall
管理員身份進入，對應路徑，註冊服務
image.png
image.png
image.png
代碼鏈接 https://github.com/happlyfox/FoxCrawler/tree/master/%E5%AD%A6%E4%B9%A0%E7%A4%BA%E4%BE%8B/JKNoticeget