镜像管理的核心创新:三层EROFS + overlayfs
这是DSec工程上最关键的优化之一。传统Docker镜像的问题在于:一个Python镜像可能6GB,但Agent实际只读取了其中约6%的内容,大部分数据从未被访问。
DSec的做法是将环境拆分为三个独立的只读EROFS层:
· 基础镜像层:操作系统、语言运行时等基础软件栈
· 工作区层:任务相关的数据、代码和配置
· 工具包层:Agent可用的工具集
三层各自独立版本化。沙盒启动时通过overlayfs按需组合,而非将完整镜像拉到本地再启动。当更新工具包时,只需要替换工具包那一层,基础镜像和工作区层完全不受影响。
镜像数据通过3FS按需读取,实现了真正的"用多少拉多少"。实测效果:同一批任务的完成时间从60多分钟缩短到约35分钟,加速1.71倍,累计磁盘写入量减少57%。
这是DSec工程上最关键的优化之一。传统Docker镜像的问题在于:一个Python镜像可能6GB,但Agent实际只读取了其中约6%的内容,大部分数据从未被访问。
DSec的做法是将环境拆分为三个独立的只读EROFS层:
· 基础镜像层:操作系统、语言运行时等基础软件栈
· 工作区层:任务相关的数据、代码和配置
· 工具包层:Agent可用的工具集
三层各自独立版本化。沙盒启动时通过overlayfs按需组合,而非将完整镜像拉到本地再启动。当更新工具包时,只需要替换工具包那一层,基础镜像和工作区层完全不受影响。
镜像数据通过3FS按需读取,实现了真正的"用多少拉多少"。实测效果:同一批任务的完成时间从60多分钟缩短到约35分钟,加速1.71倍,累计磁盘写入量减少57%。