导读:近期更新了《OpenLineage》的相关内容,包含《如何在 Kubernetes 环境中容器化部署 OpenLineage 采集端?》。如果 OpenLineage 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
如何在 Kubernetes 环境中容器化部署 OpenLineage 采集端? 数据血缘采集在分布式调度场景下常被忽略的是采集端的稳定投递能力。OpenLineage 通过事件模型描述作业、数据集与运行关系,采集端多以 sidecar 或独立服务形式存在。将采集端容器化后,若直接打包官方镜像却不限制资源配额,很容易在 Spark 大批量任务并发时打满节点内存。相... 栏目:Docker 时间:08-18 OpenLineage 容器化 Kubernetes