11 月 20 日,Hugging Face 联合创始人兼 CTO Julien Chaumond 在 X 上表示,Hugging Face 每月通过互联网分发近 1 EB 的开源模型和数据集,为此自建了面向 AI 下载的 CDN,并公开了实时流量地图。联合创始人 Thomas Wolf 补充:这套 CDN 自今年夏天开始运行,约合每秒 420 GB、每秒 8 万次请求。
核心要点速览
- ✓规模:Hugging Face 每月分发近 1 EB(约 10 亿 GB)开源模型和数据集,由联合创始人兼 CTO Julien Chaumond 在 X 上披露
- ✓吞吐:联合创始人 Thomas Wolf 称约合每秒 420 GB、每秒 8 万次请求,自建 CDN 自今年夏天起运行
- ✓为何自建:传统 CDN 为大量小网页文件、分散在各城市的人类用户设计;AI 下载是少量超大文件,相当一部分由机器拉取,用户多是集中在少数云区域的 GPU 集群
- ✓设计重点:缓存针对超大对象优化,能扛住发布日洪峰,以及多个大型数据集和热门模型同时被拉取
- ✓团队公开了实时流量地图,可查看模型和数据集流向;以上数字均为 Hugging Face 自述,未附第三方审计
关键决策指标一览
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
开源模型越来越大,动辄数百 GB 甚至上 TB,每次热门模型发布都会引发集中下载。11 月 20 日,Hugging Face 联合创始人兼 CTO Julien Chaumond 在 X 上表示,Hugging Face 每月通过互联网分发近 1 EB 的开源模型和数据集,规模大到必须自建一套面向 AI 下载的 CDN。
架构亮点与底层机制
联合创始人 Thomas Wolf 在 X 上解释了原因:传统 CDN 是为「很多小网页文件发给很多人」设计的,把小对象缓存在上百个城市靠近用户的节点。AI 下载正好相反,是少量超大文件,相当一部分由机器拉取,用户多是集中在少数云区域的 GPU 集群。一个缓存网页能服务上千访客,而一个 1,000 GB 的模型缓存服务的客户端少得多,但每个都要立刻拿到完整文件。因此新 CDN 的缓存专门针对超大对象,能扛住发布日洪峰和多个大模型、大数据集同时被拉取。
权威 Benchmark 与实测跑分对比
本条不涉及跑分。Hugging Face 给出的数字:每月近 1 EB,约合每秒 420 GB、每秒 8 万次请求,CDN 自今年夏天起运行。这些都是公司自述,公开帖子里没有附第三方审计。
开发者实战落地与开箱指南
对普通用户来说,用 huggingface_hub 或 hf CLI 下载模型的方式不变。团队公开了实时流量地图,可以直观看到模型和数据集流向哪些地区。想了解 Hub 上传下载架构的开发者,可以参考 Hugging Face 博客《Rearchitecting Hugging Face Uploads and Downloads》。在云上大规模拉取权重的团队,仍建议在自己的区域做本地镜像和缓存,避开发布日高峰。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察