首先，实现RL需要一个Actor Model（生成模型）和一个Reward Model（打分模型）。生成模型需要Instruct TuniOneFlow 是一个深度学习框架，旨在实现用户友好、可扩展和高效。使用OneFlow,很容易：使用类似PyTorch 的API 编写模型使用Global View API 将模型缩放到n 维并行/分布式执行
≥０≤ 简介：Orleans 框架可以构建大规模、高并发、分布式应用程序，而不需要学习专业分布式以及并发知识框架。它是由微软研究和设计应用于云计算。Orleans被广泛应用于微软云产品，值得注Horovod是适用于TensorFlow、Keras 和PyTorch 的分布式训练框架。Azure Databricks 支持使用HorovodRunner 和horovod.spark包进行分布式深度学习训练。对
分布式高并发的框架(RabbitHub学习成本较高),无意间在网上级联看到了很多新框架：从helios到Akka.NET在到Orleans在到Azure Service Fabric,最终选择了Orleans作为研究对象，理由是微软官方出品，Serv今天这篇文章，我们将介绍由微软开发的ZeRO（零冗余优化），它是DeepSpeed这一分布式训练框架的核心，被
PacificA是微软为大规模分布式存储系统开发的一个通用复制框架，也可称之为一个原型系统。该框架简单，实用，提供强一致性，并且可以适配不同的复制策略。它对于我们理解分布式系统的强微软的分布式应用框架Dapr Helloworld Dapr HelloWorldDaprDistributed Application Runtime. An event-driven, portable runtime for building microservices on cloud and edge
