Celery 異步任務隊列 之 週期性（定時）執行任務

一、週期性任務celery beat

celery beat是一個調度器，它可以週期內指定某個worker來執行某個任務。如果我們想週期執行某個任務需要增加beat_schedule配置信息

• 在celeryconfig.py新增以下beat_schedule 配置：

  broker_url='redis://:@127.0.0.1:6379/1'
  result_backend='redis://:@127.0.0.1:6379/2'
  
  # 指定任務發到那個隊列中
  task_routes=({
      'proj.tasks.my_task5': {'queue': 'queue1'},
      'proj.tasks.my_task6': {'queue': 'queue1'},
      'proj.tasks.my_task7': {'queue': 'queue2'},
      },
  )
  
  
  # 配置週期性任務，　或者定時任務
  beat_schedule = {
      'every-5-seconds':
          {
              'task': 'proj.tasks.my_task8',
              'schedule': 5.0,
              # 'args': (16, 16),
          }
  }
  

• tasks.py模塊內容如下：

  from proj.celery import app as celery_app
  
  
  @celery_app.task
  def my_task1(a, b):
      print("my_task1任務正在執行....")
      return a + b
  
  
  @celery_app.task
  def my_task2(a, b):
      print("my_task2任務正在執行....")
      return a + b
  
  
  @celery_app.task
  def my_task3(a, b):
      print("my_task3任務正在執行....")
      return a + b
  
  
  @celery_app.task
  def my_task4(a, b):
      print("my_task3任務正在執行....")
      return a + b
  
  
  @celery_app.task
  def my_task5():
      print("my_task5任務正在執行....")
  
  
  
  
  @celery_app.task
  def my_task6():
      print("my_task6任務正在執行....")
  
  
  
  @celery_app.task
  def my_task7():
      print("my_task7任務正在執行....")
  
  
  # 週期執行任務
  @celery_app.task
  def my_task8():
      print("my_task8任務正在執行....")
  

二、啓動woker處理週期性任務

• 在終端執行以下命令即可激動週期性任務
  celery -A proj worker --loglevel=info --beat

• 如果我們想指定在某天某時某分某秒執行某個任務，可以執行cron任務, 增加配置信息如下:

  beat_schedule = {
      'every-5-minute':
          {
              'task': 'proj.tasks.period_task',
              'schedule': 5.0,
              'args': (16, 16),
          },
      'add-every-monday-morning': {
          'task': 'proj.tasks.period_task',
          'schedule': crontab(hour=7, minute=30, day_of_week=1),
          'args': (16, 16),
      },
  
  }
  

  crontab例子: http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html
  開啓一個celery beat服務：
  celery -A proj beat
  小貼士： 如果需要celery保存上次任務運行的時間在數據文件中，通過 -s 指定一個名爲celerybeat-schedule的文件即可：
  celery -A proj beat -s /home/celery/var/run/celerybeat-schedule