🤗 Hugging Face 存储升级!从文件到块,提高效率 🚀
Hugging Face 目前存储了 30 PB 以上的模型、数据集和 Spaces,但由于 Git LFS 采用文件级存储和版本控制,每次修改都可能导致整文件重新上传,带来高昂的存储和传输成本。特别是 GGUF(8 GB+)、Safetensor(1 GB)、Parquet/CSV(200-300 MB https://mapp.api.weibo.cn/fx/9b4413232540264d19f85c2c92c30faa.html
Hugging Face 目前存储了 30 PB 以上的模型、数据集和 Spaces,但由于 Git LFS 采用文件级存储和版本控制,每次修改都可能导致整文件重新上传,带来高昂的存储和传输成本。特别是 GGUF(8 GB+)、Safetensor(1 GB)、Parquet/CSV(200-300 MB https://mapp.api.weibo.cn/fx/9b4413232540264d19f85c2c92c30faa.html