挑战
网易的 游戏业务 是全球最大的游戏业务之一，但这并不是 网易 提供给中国消费者的全部。该公司还运营着电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中，电子邮件平台通过诸如 163.com 等网站为近十亿用户提供免费电子邮件服务。2015 年，为所有这些系统提供基础架构的网易云团队意识到，他们的研发流程正在减慢开发人员的速度。“我们的用户需要自己准备所有基础设施，”网易云和容器服务架构师冯长健说。“我们渴望通过无服务器容器服务自动为我们的用户提供基础设施和工具。”
解决方案
在考虑构建自己的编排解决方案后，网易决定将其私有云平台基于 Kubernetes。这项技术来自 Google 的事实让该团队有信心它可以跟上网易的规模。“经过 2 到 3 个月的评估，我们相信它可以满足我们的需求，”冯说。该团队从 2015 年就开始使用 Kubernetes，甚至在它发布 1.0 版本之前。如今，网易内部云平台（也利用了 CNCF 项目 Prometheus、Envoy、Harbor、gRPC 和 Helm）在一个生产集群中运行 10,000 个节点，并且可以支持一个集群中多达 30,000 个节点。基于其内部平台的经验，该公司向外部客户推出了一款基于 Kubernetes 的云和面向微服务的 PaaS 产品，网易轻舟微服务。
影响
网易团队报告说，Kubernetes 使研发效率提高了 100% 以上。部署效率提高了 280%。“过去，如果我们想进行升级，我们需要与其他团队合作，甚至与其他部门合作，”冯说。“我们需要专门的工作人员来准备一切，所以大约需要半个小时。现在我们可以在 5 分钟内完成。”新平台还允许使用 GPU 和 CPU 资源进行混合部署。“以前，如果我们把所有资源都投入到 GPU 中，我们就不会有剩余的 CPU 资源。但现在，由于混合部署，我们有了改进，”他说。这些改进也带来了资源利用率的提高。
该公司还在中国运营着电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中，电子邮件平台通过诸如 163.com 和 126.com 等热门网站为近十亿用户提供免费电子邮件服务。由于这种规模，为所有这些系统提供基础架构的网易云团队在 2015 年意识到，他们的研发流程使得开发人员难以跟上需求。“我们的用户需要自己准备所有基础设施，”网易云和容器服务架构师冯长健说。“我们渴望通过无服务器容器服务自动为我们的用户提供基础设施和工具。”
在考虑构建自己的编排解决方案后，网易决定将其私有云平台基于 Kubernetes。这项技术来自 Google 的事实让该团队有信心它可以跟上网易的规模。“经过 2 到 3 个月的评估，我们相信它可以满足我们的需求，”冯说。
该团队从 2015 年就开始采用 Kubernetes，甚至在它发布 1.0 版本之前，因为它相对易于使用，并且可以在公司实现 DevOps。“我们放弃了 Kubernetes 的一些概念；我们只想使用标准化的框架，”冯说。“我们利用 Kubernetes 的可编程性，以便我们可以构建一个平台来满足我们内部客户对升级和部署的需求。”
该团队首先专注于构建容器平台以更好地管理资源，然后将注意力转向通过添加诸如监视之类的内部系统来改进其对微服务的支持。这意味着集成了 CNCF 项目 Prometheus、Envoy、Harbor、gRPC 和 Helm。“我们正在努力提供简化和标准化的流程，以便我们的用户和客户可以利用我们的最佳实践，”冯说。
该团队还在不断地进行改进。例如，该业务的电子商务部分需要利用混合部署，这在过去需要使用两个独立的平台：基础设施即服务平台和 Kubernetes 平台。最近，网易创建了一个跨平台应用程序，可以通过一键部署来使用这两个平台。
如今，网易内部云平台“可以在单个集群中支持 30,000 个节点，”架构师曾宇星说。“在生产环境中，我们已经获得了单个集群中 10,000 个节点的数据。整个内部系统都在使用该系统进行开发、测试和生产。”
网易团队报告说，Kubernetes 使研发效率提高了 100% 以上。部署效率提高了 280%。“过去，如果我们想进行升级，我们需要与其他团队合作，甚至与其他部门合作，”冯说。“我们需要专门的工作人员来准备一切，所以大约需要半个小时。现在我们可以在 5 分钟内完成。”新平台还允许使用 GPU 和 CPU 资源进行混合部署。“以前，如果我们把所有资源都投入到 GPU 中，我们就不会有剩余的 CPU 资源。但现在，由于混合部署，我们有了改进。”这些改进也带来了资源利用率的提高。
基于使用其内部平台的结果和经验，该公司向外部客户推出了一款基于 Kubernetes 的云和面向微服务的 PaaS 产品，网易轻舟微服务。“我们的想法是，我们可以找到我们的游戏、电子商务和云音乐提供商遇到的问题，以便我们可以整合他们的经验并提供一个满足我们用户需求的平台，”曾说。
无论是否使用网易的产品，该团队都鼓励其他公司尝试 Kubernetes。“只要一家公司拥有成熟的团队和足够多的开发人员，我认为 Kubernetes 是一项非常好的技术，可以帮助他们，”Kubernetes 开发人员李岚清说。
作为终端用户和供应商，网易更加积极地参与到社区中，向其他公司学习并分享他们所做的事情。该团队一直在为 Harbor 和 Envoy 项目做出贡献，在网易规模下对这些技术进行测试时提供反馈。“我们是一个专注于解决微服务架构挑战的团队，”冯说。“通过与这个社区互动，我们可以从中获得一些经验，我们也可以从中受益。我们可以看到社区面临的担忧和挑战，这样我们就可以参与进来。”