原创 SQLServer CDC數據遷移和數據抽取功能介紹

CDC介紹cdc.png爲了滿足數據遷移和數據抽取的業務需要,使得有機會在數據庫層面上直接實現增量抽取功能,ORACLE綜合性能和場景需要,在數據庫引擎層面直接集成了CDC功能,由於提供了類似API的功能接口,變更數據捕獲和更改跟蹤均不要求

原创 對LinqtoExcel的擴展 【數據有限性,邏輯有效性】

接着上文的內容繼續講,上文中我提到了對Excel操作幫助類庫LinqToExcel類庫的優缺點和使用方法。我也講到了自己在使用中碰到的問題,我也開發了一個簡單的類庫解決,下面就講解一下這個幫助類。Github鏈接 LinqToExcel.E

原创 Selenium + C# 實現模擬百度貼吧簽到 2

通過上文的例子,我們對Selenium的用法有了一個簡單的印象。接下去我們還是基於這個組件進行模擬百度貼吧簽到的功能。邏輯分析1、登陸 2、得到關注的貼吧 3、簽到 登陸首頁 首頁.png 點擊登陸按鈕 點擊登陸png 輸入用戶名和

原创 SQL Server 多表數據增量獲取和發佈 2.3

一、驗證DMLSELECT COUNT(1) AS '原總行數' FROM dbo.Person /* 原總行數 0 */ --1. Insert 插入5條數據 INSERT INTO Department( Name ) VALUES

原创 4.爬蟲框架Clawler 爬取優酷電影名 分頁+多線程

代碼下載地址:https://github.com/happlyfox/FoxCrawler/tree/master/%E5%AD%A6%E4%B9%A0%E7%A4%BA%E4%BE%8B/YouKuCrawler/YouKuDotnet

原创 定時從列表中爬今日通知信息,打包成windows服務

場景模擬每天8點爬取今日發佈的新聞和通知公告,將爬取後的信息保存到Excel文件中,將程序發佈成windows服務,開機即可自動啓動。技術使用1.每天8點定時執行任務,使用Quartz.Net 2.爬取數據採用HtmlAgility 3

原创 蘇寧百萬級商品爬取 簡述

代碼下載鏈接 蘇寧百萬級商品爬蟲 目錄思路講解 類別爬取思路講解 類別頁數爬取商品爬取 3.1 思路講解 商品爬取1 3.2 思路講解 商品爬取2 3.3 代碼講解 商品爬取 索引講解 4.1 代碼講解 索引建立 4.2 代碼講

原创 SQLServer CDC數據遷移和數據抽取功能介紹 2

數據庫環境: 1、SQLServer 2008R2 2、SQLServer 代理打開一、新建一個數據庫創建數據庫 Incremental_DBimage.png二、創建倆張測試表數據庫腳本鏈接--創建用戶表 CREATE TABLE [

原创 門面模式(Facade)

Facade模式的幾個要點從客戶程序的角度來看,Facade模式不僅簡化了整個組件系統的接口,同時對於組件內部與外部客戶程序來說,從某種程度上也達到了一種“解耦”的效果——內部子系統的任何變化不會影響到Facade接口的變化。Facade設

原创 數據庫批量刪除

案例same.png語句 查找相同的數據 SELECT * FROM Test.dbo.test a WHERE EXISTS ( SELECT * FROM Test.dbo.test

原创 2、蘇寧百萬級商品爬取 思路講解 類別頁數爬取

通過上述章節內容,我們得到了類別的數據,現在我們需要對每個類別進行商品的爬取。點擊移動電源,進行商品總頁數抓取,這個模塊相對簡單,正好適合用來練手。 我們可以從“列表頁.png”的圖片中看到,當前移動電源的頁數爲右上角所顯示 1/100

原创 基於百度萬年曆定製化 1

項目需求:某門戶項目需要在右上角添置一個日期(yyyy-MM-dd)的顯示,同時點擊此時間可以彈出一個窗體,窗體內容爲萬年曆。 萬年曆需求: 1、日誌顯示24節氣,且24節氣內容可配置 2、對法定節假日可進行配置管理項目開發週期:一週

原创 Office.Core服務器無法使用問題

1.第一步mmc comexp.msc /32打開DCOM配置2. 第二步1).通過webconfig中增加模擬,加入管理員權限, <identity impersonate="true" userName="系統管理員" passwor

原创 基於百度萬年曆定製化 2

接着上面的內容,我們本章節通過設置數據庫表結構,將json數據通過一種數據結構存儲在數據庫中。 首先我們需要設計數據庫的表。image.png數據庫字段說明 Id 主鍵 HolidayDate 節假日日期 HolidayName