我对此做了大量研究,包括尝试像 this 这样的答案。 Celery 似乎无法访问我的 Flask 应用程序的上下文。

我非常清楚我的 celery 对象,什么将装饰我的任务,必须可以访问我的 Flask 应用程序的上下文。我确实相信它应该,因为我按照 this 指南创建了我的 celery 对象。我不确定混淆是否在于我使用 Flask-HTTPAuth 的事实。

这是我所拥有的一些。

def make_celery(app):
    celery = Celery(app.import_name, backend=app.config["CELERY_RESULT_BACKEND"], broker=app.config["CELERY_BROKER_URL"])
    celery.conf.update(app.config)
    TaskBase = celery.Task
    class ContextTask(TaskBase):
        abstract = True
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return TaskBase.__call__(self, *args, **kwargs)
    celery.Task = ContextTask
    return celery

app = Flask(__name__)
auth = HTTPBasicAuth()
app.config["SQLALCHEMY_DATABASE_URI"] = "sqlite:///flask_app.db"
app.config["CELERY_BROKER_URL"] = "redis://localhost:6379"
app.config["CELERY_RESULT_BACKEND"] = "redis://localhost:6379"
celery = make_celery(app)
db = SQLAlchemy(app)

@celery.task(bind=True, name="flask_app.item_loop")
def loop(self):
    items = g.user.items
    for item in items:
        print(item)

但是,使用 Flask 运行此任务是行不通的。我尝试通过点击服务器来启动此功能(授权时!)。
@app.route("/item_loop")
@auth.login_required
def item_loop():
    result = loop.delay()
    return "It's running."

但是 Celery worker 告诉我任务 raised unexpected: AttributeError("'_AppCtxGlobals' object has no attribute 'user'",) ,我相信这意味着,如上所述,我的 celery 对象没有应用程序上下文,即使我使用了推荐的工厂模式。

最佳答案

虽然 Dave 和 Greg 的答案中的建议是有效的,但他们没有强调的是您对在 Celery 任务中使用应用程序上下文的误解。

您有一个 Flask 应用程序,您在其中使用 Flask-HTTPAuth。您可能有一个 verify_password 处理程序,它将 g.user 设置为经过身份验证的用户。这意味着在处理请求时,您可以以 g.user 的身份访问用户。这一切都很好。

您还有一个或多个 Celery 工作线程,它们是与 Flask 服务器没有直接连接的独立进程。 Flask 服务器和 Celery 工作进程之间的唯一通信发生在您使用的消息代理(通常是 Redis 或 RabbitMQ)上。

根据您的需要,Celery 工作人员可能需要访问 Flask 应用程序。这在使用将配置存储在 app.config 字典中的 Flask 扩展时非常常见。需要此功能的两个常见扩展是 Flask-SQLAlchemy 和 Flask-Mail。如果无法访问 app.config ,Celery 任务将无法打开与数据库的连接或发送电子邮件,因为它不知道数据库和/或电子邮件服务器的详细信息。

为了让 Celery 工作人员访问配置,公认的做法是在每个工作人员中创建重复的 Flask 应用程序。这些是次要应用程序,与主 Flask 服务器使用的实际应用程序对象没有任何联系。它们的唯一目的是保存原始 app.config 字典的副本,您的任务或您的任务正在使用的任何 Flask 扩展都可以访问该字典。

因此,期望 Flask 服务器中设置的 g.user 也可以作为 Celery 任务中的 g.user 访问是无效的,仅仅因为它们是来自不同应用程序实例的不同 g 对象。

如果您需要在 Celery 任务中使用经过身份验证的用户,您应该做的是将 user_id (通常是 g.user.id )作为参数传递给您的任务。然后在您的任务中,您可以使用此 id 从数据库加载用户。希望这可以帮助!

关于python - 使用 Celery worker 与 SQLAlchemy DB 交互,包括从请求中了解用户,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/54836672/

10-16 15:59