CPU、GPU 资源稀缺且服务可能宕机时，如何设计向大模型提供归一化训练数据的链路？

设计一个给大模型提供训练数据的数据流动链路，要求数据需要被归一化，然后任何服务的cpu和gpu资源都稀缺随时可能宕机。