Linux 使用 crontab 定時執行 Scrapy

 sh 文件

[root@mostchh-04 spider]# which scrapy
/soft/python3/bin/scrapy

#!/bin/bash
cd /home/spider/news_spider/news_spider/spiders && /soft/python3/bin/scrapy crawlall
echo 111 >> ./cyl_test.txt

定時文件

#每秒執行一次
* * * * * /soft/data/crontab.sh

# 定時爬蟲
33 8,12,16,20 * * * /home/spider/run.sh