探花在线

文末有福利！第四色网站是多少

刻下，数字经济已成为国民经济高质地发展的新动能，跟着东谈主工智能在产业数字化程度中从“单点构陷”迈向“泛在智能”，一个以数字化、集结化、智能化为特征的灵敏社会正加速到来。

智能算力四肢东谈主工智能的基石，是算力集结构建多要故友融新式信息基础设施的要津规模，已成为数字经济高质地发展的中枢引擎，智能算力基础设施缓助也迎来了上升。

智算中心四肢集约化缓助的算力基础设施，它以 GPU、AI 芯片等智能算力为中枢，提供软硬件全栈环境，主要承载模子纯属、推理、多媒体渲染等业务，支撑千行百业数智化转型升级。

关联词传统智算中心的智算资源利用率较低，资源溜达相对碎屑化，不利于举座效劳的栽培，亟需一个可团聚千般型算力、完了敏捷化资源管束的平台，使能资源不错被极致利用，算力池化期间应时而生。

为凝合产业共鸣，进一步鼓动算力池化期间老成，中国移动发布本白皮书，分析了智能算力发展的趋势及面对的挑战，系统性先容了算力池化的界说与方针、总体架构、要津期间和刻下业界的探索实践，并敕令业界紧密配合、加速构建算力池化调处的轨范体系。

1. 算力池化期间布景

数字经济期间，跟着灵敏城市、灵敏交通、灵敏家庭等智能场景的逐步落地，东谈主工智能正深切地改换咱们的坐蓐、糊口样式。同期跟着 5G、角落计较等支撑期间的不竭发展，数智业务转型过程中所产生的数据量正在以愈加难以计量的速率爆发。

据 IDC 公布的《数据期间 2025》显现，从 2016 年到 2025 年全球总和据量将会增长 10 倍，达到 163ZB，其中非结构化数据占 70%以上，计较模式将变得愈加复杂，对智能算力的需求也在束缚提高，智能计较将成为主流的计较形状。

跟着智能计较平常交融到坐蓐、糊口的各个方面，以 GPU、AI 芯片为主要算力资源的智算中心正逐步取代通用数据中心成为算力发展的主流形状。在此布景下，列国政府已运行布局 AI 规模全栈智力，并出资带领智能算力基础设施缓助；我国也已进入智能化期间，“十四五”期间，磋磨部委积极鼓动智算中心缓助发展，旨在面向东谈主工智能场景提供巨匠算力奇迹。

同期，跟着 ChatGPT 等基础通用大模子业务引爆了对 GPU 的商场需求，产业各方纷纷加入对基础大模子的纯属和培育，导致“一芯难求”，GPU 价钱也随之暴涨。以英伟达 A800 为例，据商场数据统计，近半年来的价钱增幅高达 30%以上。如安在有限的资源供应内尽可能提高利用率，充分发扬算力效率的同期缩短智算中心 TCO，现在已成为智算中心缓助待管束的要津命题之一。

1.1 传统智算中心存在资源效率问题

1.1.1 GPU 资源利用率不及 30%

刻下智算中心主要以国度或当地政府总体牵头缓助为主，此外，AI 应用奇迹企业也在布局自有智算基础设施缓助。关联词，据公开数据统计，传统模式下的智算中心 GPU 利用率较低，平均数值低于 30%： 

− AWS re:Invent 2018 公布数据：平均 GPU 利用率为 20% 

− Facebook 2021 年机器学习负载分析证据：平均 GPU 利用率不及 30% 

− 英伟达 GTC2022 公布数据：Google 云平均 GPU 利用率为 25%

传统智算中心的 GPU 资源利用率过低，主要开始于以下多个方面的原因：

（一）资源分拨较为粗疏：资源分拨以整卡分拨为主，辅以一虚多的臆造化分拨样式，颗粒度较粗，无法适配不同 AI 任务对资源的互异化需求，导致部分资源闲置，影响算力资源的利用率；

（二）算力莫得被充分激活：AI 任务模子筹算舛错、算力优化程度不及、模子框架与底层芯片适配不充分等原因，均可能导致算力资源的性能无法充分发扬，导致非凡的资源损耗；

（三）集结带宽瓶颈制约：智算中心开辟和奇迹器之间的通讯需要滥用集结带宽，集结瓶颈会影响影响举座性能，算力资源平静度高、利用率低。

传统智算中心的 GPU 资源利用率问题是一个详尽性的问题，需要从资源管束计谋、硬件架构筹算、应用软件算法优化等多方面共同优化管束，其中尤以资源管束计谋方面的优化可控性强、奏效快、参加产出比高，是新式智算中默算力池化的要紧接头标的之一。

1.1.2 资源碎屑化导致分拨率低

资源碎屑指体量较小，低于应用的需求而无法被分拨出去的闲置资源，平时来说，应用所需资源的规格越高、种类越多，导致资源碎屑的概率则越大。近几年来，AI 业务赶快发展，从纯属到鼓动，从小模子到大模子，AI 任务的种类越来越多，对算力的需求越来越高，算力资源碎屑化趋势较为昭彰。

碎屑化的原因包括任务类型互异、任务范围互异、任务优先级互异以及任务休养智力等多方面身分。

（一）任务类型互异：智算中心提供的算力资源不错用于不同种类的任务，包括机器学习、深度学习、图像处理等。也包括大模子、小模子、溜达式推理、结伴式鼓动，由于不同类型的任务对硬件竖立的条目不同，因此会导致不同类型的任务需要不同的算力资源，难以充分适配；

（二）任务范围互异：任务范围不同，所需求的算力资源不同，况兼不同任务范围对算力资源的分拨也无推行轨范，小范围任务可请求大范围的算力，诚然存在资源阔绰，但却可加速任务完成，相背，在资源总和适度下，大范围任务也可凭证相对较少的算力资源，诚然影响计较效率，但却揆情度理了投资。以上多方面的身分，导致任务需求规格与硬件竖立无法对皆，从而导致算力资源碎屑化；

（三）任务优先级互异：不同的任务可能有不同的优先级，一些高优先级的任务可能会占用无数的计较资源，导致其他任务无法实时得到霸道，影响举座资源布局；

（四）任务休养智力：任务休养亦然影响计较资源碎屑化的要紧身分。要是任务休养不妥，可能会导致计较资源得不到充分分拨，从而形成资源阔绰。

要而言之，凭证千般化 AI 任务对算力资源的互异化需求，纯真地休养、分拨资源，是缩短智算中默算力资源碎屑的要津。

1.2 池化期间是提高资源效率的要津

若何对稀缺、不菲的算力资源充分利用，缩短其不成分拨的碎屑概率，不错计划鉴戒云计较的念念路，对 GPU、AI 芯片等进行团聚池化，再利用先进的资源管束期间进行切分、休养、分拨，使能资源可按任务的推行需求进行有序供给。

（一）物理成池：通过高性能智算中心集结买通奇迹器间通路，使得分散在各奇迹器中的 CPU、GPU、AI 芯片等算力资源不错互联互通、透明分享。这项期间允许跨用户、用例、时间圭臬分享物理算力资源，还不错为在集群的一个节点中实践的单个 AI 任务淘气调用集群中算力，使 AI 任务获取进一步加速。

（二）逻辑成池：利用池化软件对 CPU、GPU、AI 芯片等资源在逻辑上团聚，AI 任务在创建时，不再是将衰败的、孤岛式的资源进行裸分拨，而是凭证休养经由，从团聚的池化资源中切分出所需数目进行分拨。一方面，分拨的资源数目可按 AI 任求推行所需实践，当 AI任务所需资源不解确，或因负载变化导致资源数目变动时，可完了动态供给、回收，完了多 AI 任务的峰谷互补，缩短资源闲置率；另一方面，切分后的衰败资源不错再度团聚、休养、分拨，缩短碎屑率。

2. 算力池化界说与方针

2.1 算力池化的界说

智能算力池化指依托云计较期间，整合 GPU/AI 芯片等异构算力资源，构建结伴管束的资源池，并按表层智算业务的需求，对池化的资源进行调处休养、分拨，完了智算业务人命周期管束的全套期间。

为管明智算中心所面对的资源利用率问题，算力池化基于传统云计较期间（如 Kubernetes、OpenStack，智算中心以 Kubernetes 为主）有针对性地增强 GPU/AI 芯片池化智力，接管软件界说的样式，对 GPU/AI 芯片进行分时休养管束，完了按 GPU/AI 芯片的细粒度分拨资源，并接管 GPU/AI 芯片 Runtime API 劫持、应用要领监视器等期间，完了资源跨节点良友调用、衰败资源整合等，从而达到算力资源充分利用、碎屑最小化成果，可灵验栽培资源效率，缩短智算中心举座缓助资本。

2.2 算力池化的方针

智能算力池化的方针是利用软件界说期间，对通过高速无损集结互连互通的 CPU、GPU、AI 芯片等算力资源进行池化整合，完了资源的结伴休养、按需分拨，使能资源可被充分利用，缩短碎屑概率，提高总体灵验算力、缩短智算中心购置资本。

化整为零。校正传统的整卡分拨、一虚多臆造化分拨的粗疏式分拨样式第四色网站是多少，使能精致化分拨智力，凭证 AI 任务的资源需求进行按需供给，契合千般化业务的互异需求。

隔空取物。基于高速无损集结，跨节点调取 GPU、AI 芯片等智能算力资源，使能 CPU 传统算力及 GPU、AI 芯片智能算力高度解耦，进一步缩短碎屑化比例。

化零为整。整合溜达在多机上的衰败资源，汇注碎屑为可再分拨的资源、汇注小规格资源为更大模子业务可使用的资源，使能资源可高效分拨。

变静为动。校正传统的资源静态分拨、土产货绑定的机制，使能资源不错凭证负载变化动态分拨、回收，多任务间不错峰谷互补，全局资源不错适度超分，促进资源效率栽培。

3. 算力池化架构与要津期间

3.1 算力池化平台期间架构

新式智算中默算力池化平台依托云计较期间彭胀池化智力，凭证AI 任务特色，一般基于 K8S(Kubernetes)定制化完了。算力池化平台的期间架构参考如下：

图片

图 1 算力池化平台期间架构

算力池化平台逻辑上可分为池化资源管束、资源奇迹代理、池化运行时三类模块构成：

(1) 池化资源管束 

− Kubernetes 管束组件：基于 Kubernetes 原生管束奇迹组件定制化增强，如救援溜达式文献存储、救援 POD 多集结平面、救援RoCEv2/Infiniband 集结等； 

− Kubernetes 休养彭胀：关联 Kubernetes 休养奇迹彭胀专用的池化资源类型，对该类资源的请求转递智算资源池化禁止器进行休养、分拨，需配合 Kubernetes 开辟插件使用； 

− 智算资源池化禁止器：对 GPU、AI 芯片等智算进行调处管束、休养、分拨；

(2) 资源奇迹代理 

池化奇迹代理：凭证智算资源池化禁止器的休养扫尾，将池化运行时对资源的拜访请求重定向到推行物理位置实践，如触及跨机拜访智算资源，则需磋磨奇迹器上的池化奇迹代理屡次重定向，跨机重定向的流量需经由高速无损集结（如参数面集结）；

Kubernetes 奇迹代理：基于 Kubernetes 原生奇迹代理组件定制化增强；

Kubernetes 设 备 插件 ： 配 合 Kubernetes 调 度 彭胀 ，为Kubernetes 奇迹代理注册专用的池化资源类型； 

容器运行时：基于原生容器运行时（如 Dockerd、Containerd等）定制化增强；

(3) 池化运行时 

池化运行时：依托 GPU、AI芯片的原生运行时（如 CUDA Runtime）进行二次封装，接管 API 劫持、应用要领监视等期间，将 AI 应用软件/AI 开发框架对算力资源的拜访转递至池化奇迹代理实践。池化运行时位于容器 POD 内，在容器运行时由自动注入。

凭证上述期间架构，当 AI 应用编排器通过调用 Kubernetes API创建应用时，可按新增的池化资源类型指定请求的资源数目（如pool.kubernetes.io/gpu: 1），对该类型资源的请求会被 Kubernetes休养彭胀禁止、转递至智算资源池化禁止器进行休养，智算资源池化禁止器按请求的资源数目、资源池内平静资源溜达情况进行休养后，将休养扫尾反映给 Kubernetes 管束组件，然后 Kubernetes 管束组件正常实践 AI 应用的创建经由，由 Kubernetes 奇迹代理创建最终 POD四肢委派物，并通过池化奇迹代理配合在 POD 中自动注入池化运行时、通过 Kubernetes 开辟插件配合在 POD 中插入臆造 GPU。

AI 应用的 POD 在运行的时候，通过池化运行时拜访臆造 GPU、实践 AI 任务，池化运行时禁止对臆造 GPU 的拜访请求、转递给池化奇迹代理实践，池化奇迹代理通过向智算池化禁止器查询臆造 GPU 所对应的信得过智算资源位置、规格，按查询扫尾分拨智算资源、实践 AI任务，要是信得过的智算资源位于良友计较节点，则由土产货池化奇迹代理将拜访请求转递给良友计较节点上的池化奇迹代理处理，磋磨通讯经由参数面集结。

3.2 算力池化期间智力层级

算力池化期间本体是通过软件界说硬件加速的样式，愈加高效纯简直团聚、休养以及开释海量 AI 加速算力，精确保险 AI 模子开发、纯属、部署、测试、发布全链条算力配给，缩短智算中默算力奇迹提供资本，栽培智算中心举座效劳。从对异构算力使用的老成度及纯真性角度启航，刻下算力池化期间可差异为以下三个智力层级：

图片

图 2 算力池化期间智力层级

阶段 1，静态管束。将单物理 GPU/AI 芯片按固定比例切分红多个臆造 GPU/臆造 AI 芯片，比如 1/2 或 1/4，每个臆造 GPU/AI 芯片的显存异常，算力轮询。领先是伴跟着奇迹器臆造化的兴起，管束臆造机不错分享和使用 GPU/AI 芯片资源的问题。关于静态管束决议，2021年英伟达在部分 Ampere系列 GPU上提供了 MIG 期间，举例不错将 A100切分红最多 7 份。

阶段 2，动态管束。以单物理 GPU/AI芯片为方针，救援物理 GPU/AI芯片从算力和显存两个维度纯显露分，完了自界说大小（平时算力最小颗粒度 1%，显存最小颗粒度 1MB），霸道 AI 应用互异化需求。

同期，软件界说 GPU/AI 芯片资源可充分得当刻下应用云原生化趋势，实时反映表层应用对资源需求的变化，完了 vGPU/AI 芯片资源基于Scale-Up/Scale-Down 的动态伸缩，并通过资源动态挂载动态开释完了 GPU/AI 芯片资源超分。

阶段 3，池化管束。池化期间的枢纽构陷在于救援 CPU 通用算力及 GPU/AI 芯片等智能算力的零丁成池，两种资源池内汇注的资源零丁休养、分拨，当休养的资源分属不同节点时，可通过高速无损集结跨节点调用、拼装成 AI 任务所需总算力。此管束样式下，AI 应用不错部署到智算中心的淘气位置，岂论地方节点上有莫得智算资源、智算资源够不够，所欠缺的部分从良友执取即可，从而完了在集结范围内充分分享闲置、甚而碎屑化的多种类型资源，促进资源的灵验利用。

由于良友调用的资源比拟土产货化资源的拜访速率相对较低，因此，池化管束期间可引入奇迹质地管束期间，按任务优先级，优先分拨土产货资源，次选良友调用，任务资源不实时将 AI 任务进行队伍化管束，恭候开释出饱和资源时再运行。

3.3 算力池化要津期间

3.3.1 软件界说的资源分拨样式

传统的依赖于硬件救援的臆造化期间下， AI 应用通过拜访GPU/AI 芯片的运行时所提供的接口，以获取对智算资源的调用，资源的算力皆备由卡硬件笃定，软件上难以介入，从而无法获取更敏捷的管束。池化期间下，资源分拨样式发生了根人性的变革，软件介入了资源的算力供给，为开启更敏捷的资源管束模式，比如动态伸缩、资源超分等奠定了期间基础，为不竭优化智算资源利用率创造了无尽可能。池化期间主要通过以下两种完了了软件界说的资源分拨：

(1) API 劫持期间

API 劫持期间是现在比较普遍的、针对智能算力的池化期间，它通过劫持对 Runtime API（如 CUDA API）调用完了资源休养。

如 3.1 章节期间架构的图 1 所示，AI 应用的容器 POD 内运行的池化运行时并非 GPU/AI 芯片原生的运行时，而是基于原生运行时进行了一定定制化的版块，它对表层应用所提供的 API 接口皆备等同于原生运行时，因此对 AI 应用来说是透明的。

当 AI 应用拜访池化运行时的 API 时，则被池化运行时转递至池化奇迹代理实践，池化奇迹代理则具备敏捷化的资源管束功能，比如按 1%算力、1MB 缓存的精度细粒度分拨资源，完了跨节点良友调用资源等。

图片

图 3 API 劫持期间图解

API 劫持期间的要津在于池化运行时仿真 GPU/AI 芯片的原生运行时，由于 GPU/AI 芯片种类、型号稠密，其原生运行时又相对活跃、升级经常，仿真责任较为复杂，开发量、吝惜难度较大。

(2) 应用要领监视器期间

这是一种皆备与 GPU/AI 芯片无关的开辟臆造化和良友处理行动，允许在莫得显式软件救援的情况下启用新的硬件体系缚构。该项期间通过应用要领监视器责任，该监视器与 Hypervisor 管束臆造机的样式访佛，分为前端、后端，前端监视指定应用要领的行径，拦适度后端处理，后端不错按应用要领请求的数目分拨资源，或将应用要领拆分到多台机器上运行，在保持代码、数据和实践环境一致性的前提下使用这些机器上的智算资源，从而完了资源的细粒度管束、良友调用等资源敏捷化管束功能。应用要领监视器端庄吝惜应用要领景况（内存、文献、应用要领库的加载），以及臆造化与系统的交互（举例系统调用和程度间通讯），以确保在多个位置实践时的一致性。

图片

图 4 应用要领监视器期间图解

与 API 劫持期间班师介入到 AI 应用拜访资源的经由、需要仿真原生运行时的 API 接口的样式不同，应用要领监视器不介入到 AI 应用拜访资源的经由、而是通过更底层的系统调用隐含而平常的救援更多种类、型号的硬件和新的运行时功能，其完了样式与特定的运行时API（如 CUDA）无关，具备愈加强大的通用性和兼容性。应用要领监视器期间是一种新式的池化决议，提议期间老成后再计划商用引入。

3.3.2 算力资源高质地管束期间

艳母播放

基于软件界说的资源分拨样式，算力池化平台不错完了更敏捷的资源管束样式，从而完了算力的高质地管束。

（一）资源细粒度分拨

通过臆造化技能，将物理资源按照算力与显存两个维度进行细粒度抽象，表层应用不再以物理硬件为单元进行资源请求及使用，而所以物理硬件算力 1%，显存 1MB 为基本单元。

（二）资源名额管束

通过时间等算力禁止期间，对不同田户之间、同田户不同程度、不同田户不同程度之间完了 GPU 算力及显存的抨击与禁止，减少资源争抢带来的性能扰动，幸免要领坏心霸占算力资源。

（三）资源无感动态伸缩

池化期间可通过资源动态分拨，为容器动态的分拨可用资源，表层应用可凭证本身业务逻辑及负载情况，实时向算力休养平台请求算力、显存资源，完了资源动态垂直彭胀。

（四）资源超分及峰谷互补

智算中心对外提供业务时，为幸免业务之间的竞争影响到奇迹质地，不同类型的业务平时分开部署在不同的资源池。但业务的运行时常存在岑岭期和低谷期，业务独占资源导致异构算力硬件普遍存在平静周期，许多业务平静期远长于岑岭期，导致总体资源利用率很低。

与此同期，为保险奇迹质地，业界通用作念法是接管资源过量供应的样式来对业务进行支撑，导致预留的资源量与推行的使用量之间存在较大的差距。

要是大概将业务的波谷时段利用起来，就能减少波谷时间，从时间维度栽培效劳；同理，将资源预留冗余减轻，就能从空间维度栽培效劳。因此将不同优先级、不同波动周期的业务进行夹杂部署，为两个维度栽培利用率提供了可能性，即利用低优先级任务占用平静资源，同期高优先级任务能实时霸占到资源，从而保证要津业务的奇迹质地。

算力池化期间不错通过软件界说，将底层物理硬件资源抽象后作念符合的放大，利用算力硬件计较周期平静时间，通过时间复用灵验使用算力，同期，利用单一指针进行内存托管，将显存、系统内存进行调处吝惜，在 CPU 与 GPU 之间形成内存池分享内存资源，由系统来自动地进行内存转移，以完了 GPU 显存彭胀，如 CUDA unified memory。

（五）智算任务队伍化管束

单个 AI 任务的开展可绵薄划为为数据准备、任求实践、模子评估三个阶段，从资源角度上分析，数据准备阶段主要使用 CPU 资源，纯属运行后才运利用用 GPU 算力资源进行计较加速。相较于 CPU 通用算力资源，智算中心内智能算力资源愈加容易达到瓶颈，为提高举座AI 纯属任务的实践效率，算力池化期间可提供智能算力资源列队的智力，即 AI 任务的下发可凭证 CPU、内存等资源的可用情况触发，纯属任务进入实践阶段后，如智能算力资源不及可进行列队恭候，步骤实践。同期可凭证纯属任务的要紧程度，成立资源使用的优先级。

3.3.3 泛在化碎屑的池化整合期间

泛在化碎屑至溜达式在土产货、良友的传统样式下无法再利用的资源。对这些泛在化碎屑进行池化整合，合并为逻辑视图上的一整片算力，有更高概率霸道 AI 任务的资源规格需求。

（一）泛在化资源跨机整合期间

论文《Characterizing Deep Learning Training Workloads onAlibaba-PAI》分析了阿里一个纯属集群上的负载特征（见图 5）：从任务数目上看，约 59%的任务是单卡小任务；从 GPU 资源滥用上看，诚然 81%的 GPU 是被溜达式纯属任务占用（单机多卡也算溜达式），然则这其中有一半的资源是被小于 8 个 GPU 的任务所占用（1 台物理奇迹器可霸道）；独一 0.7%数目的任务是使用突出 128 个 GPU（需要16 台或更多物理奇迹器）。

图片

这个分析标明，纯属任务是千般化的，其范围有大有小，从资源角度上看，意味着智算中心千般业务对 CPU 算力与 GPU 算力的配比需求是千般化的，而 GPU 奇迹器硬件竖立时常是单机 4 卡或者单机 8 卡，单机 CPU 算力与 GPU 算力的固定配比，在承载千般化的纯属任务时，例必带来资源碎屑表象的产生，进而激励无数多卡任务因为资源不及在队伍中列队恭候实践，容易带来资源举座流转效率低下的问题。

为管束资源碎屑问题，池化期间不错完了对衰败资源的整合，包括跨机整合。见第 3.1章，智算资源池化禁止器完了了对 CPU及 GPU/AI芯片分池、单独休养，也即为 POD 休养的 CPU 与 GPU/AI 芯片资源可能不在并吞台奇迹器上，但对应用是透明的，当 AI 应用拜访臆造 GPU时，由池化奇迹代理凭证臆造 GPU 所对应的信得过 GPU 资源位置分拨资源，要是有良友调用需求，则由 POD 地方奇迹器上的池化奇迹代理转发资源请求至方针奇迹器上的池化代理奇迹拜访。

通过资源团聚，不错将 GPU 集群内的资源碎屑利用集结快速整合，保险多卡任务快速启动，栽培资泉源转效率。

（二）智算业务 SLA 分级及自动奇迹质地管束

智算中心四肢承载海量智算业务的基础设施，在资源优化方面应在兼顾纯属任务的举座否认率、GPU/AI 芯片资源的举座利用率的同期，栽培多个纯属任务的举座性能，而非强调单个任务的性能。

深度学习框架是许多纯属任务依赖的一类基础软件，其筹算方针之一是栽培单个纯属任务的性能，而池化期间的方针是通过充分利用数据中心内扫数 GPU/AI 芯片资源，从而达到多任务的举座最优，两者并不矛盾。

框架和池化期间不错相互配合，在达成多任务举座最优的情况下，尽量让每个任务的运行愈加优化。池化期间可针对不同任务关于性能的条目进行分级，按优先级高到低取舍使用指定硬件资源、只使用任务地方奇迹器上 GPU/AI 芯片资源、淘气调用数据中心内可用算力资源瓜分拨计谋，不错确保任务性能条目的前提下，达到举座资源最优分拨。

5. 瞻望与倡议

跟着 GPT、Stable Diffusion 等期间的老成，AIGC 产业高速发展，对智能算力的需求也呈指数级的增长。算力池化期间相较与传统的 GPU/AI 芯片纵贯期间来说，具备更高的算力利用效率、更方便的使用样式及更低的使用资本，为产业发展提供奠定优质的算力基础。

本站仅提供存储奇迹，扫数内容均由用户发布，如发现存害或侵权内容，请点击举报。