其他-任务失败总结-《Python教程》

admin 2025-10-19 23:19:05 编程 来源:ZONE.CI 全球网 0 阅读模式

在 AirFlow 上部署任务已经有很长一段时间,期间出过一些各种各样的小问题,以下做一个整理总结以及反思,部分问题记录下解决办法。

1. DAG任务名与已有的任务重名

2. 输出表检查

模型输出表通常会作为下游策略任务的依赖表,但是很多时候模型的跑批任务并没有设置输出表(可能有多张表)的检查。

下面一个模型任务有多个输出表,test.model_base_snptest.model_score_snp 以及 test.model_score2_snp,我们很容易关注到模型分的输出表是否及时产生,而 test.model_base_snp 是否在规定时间内产出的问题很容易被忽视。比如我们将 save_db_base 单独做了一个节点操作,出于以往部署的经验,这个节点任务很少会出现问题,导致我们对这个表关注度不够,所以即使失败了,我们也没能及时进行修复。

image.png

可优化的地方:

  • 多张输出表可以整合成一个输出表,这样策略同事在使用时,只需要关注这个表是否正确产出,尽量不要将一个模型任务拆分成多个表输出。
  • 每个模型任务流中,添加一个输出表的检查,这样可以在模型任务流
以太坊cppgolang区别 编程

以太坊cppgolang区别

以太坊是一种去中心化的开源平台,它采用智能合约技术,旨在构建和运行不受干扰的分布式应用程序。作为目前最受欢迎的区块链平台之一,以太坊提供了多种编程语言的支持,其
progolang 编程

progolang

Go语言(Golang)是由Google开发的一门静态类型编程语言。作为一名专业的Golang开发者,我深知这门语言的优势和特点。在本文中,我将介绍Golang
golangn个发送者 编程

golangn个发送者

Golang是一种开源的编程语言,由Google团队开发,旨在提高程序的并发性和简化软件开发过程。在Go语言中,有时需要向多个接收者发送信息。本文将介绍如何在G
golang技能图谱 编程

golang技能图谱

从互联网行业的快速发展到人工智能技术的日益成熟,各种编程语言也应运而生。而在这众多的编程语言中,Golang(即Go)作为一门强大且高效的开发语言备受关注。Go
评论:0   参与:  6