云原生与人工智能是当今技术界备受瞩目的热门话题，上周，在新加坡这个多元文化的大观园中，更是激发了开发者们的热烈讨论。在 7 月 10 日的 Cloud Native AI Meetup 上，来自「DaoCloud 道客」、字节跳动开源、Shopee 以及 WasmEdge 的顶尖技术专家汇聚一堂，不仅带来了各自领域的前沿技术分享，还与现场的百余位开发者进行了深入的交流，现场热闹非凡。

01

云原生 AI 之旅

随着云原生被越来越多地用于人工智能负载，CNAI 的概念开始走进人们的视野。CNAI 是基于云原生构建和部署 AI 应用和工作负载的方法，它使得人工智能的开发者能够专注于自己的专业领域。「DaoCloud 道客」的战略发展总监 Jerry Chen 以「DaoCloud 道客」多年开源之路为例，深入探讨了开源世界关于 CNAI 的创新突破和未来方向，并着重介绍了几个对于人工智能有帮助的开源项目——Kueue、KWOK、Spiderpool、HwameiStor、 HAMi、Clusterpedia、Kubean 和 DataTunerX，它们在提高计算效率、优化 GPU 调度管理和 AI 任务调度、解决网络和存储瓶颈、以及模型微调等方面有着显著作用。

02

超大规模业务的
多云多集群方案

人工智能技术的飞速发展正在不断推动业务规模的扩大和创新。字节跳动的软件工程师 Gary Liu 特别介绍了基于 Kubernetes Federation v2 迭代发展出的多云多集群联邦解决方案——KubeAdmiral。Gary 通过 KubeAdmiral 的应用案例，清晰地阐述了这一方案如何实现云原生业务负载的跨集群调度和分发。KubeAdmiral 作为资源池化的统一入口，支撑着字节跳动庞大的业务平台，管理着超过 21 万台机器和 1000 多万 pod，覆盖了从在线微服务到 serverless 负载、再到离线批式任务的多种场景，积累了丰富的超大规模业务实践经验。

03

基于时间序列的
Kubernetes
集群资源效率

资源优化是确保企业有效利用资源、降低成本并提升运营效率的关键，特别是在人工智能工作负载大量增加的今天。对此，来自 Shopee 的工程师 Nicolas Kwan 在资源优化方面进行了深入地探讨，他介绍了如何利用不同类型的预测方法，包括短期和长期预测，来减少驱逐事件并更准确地预测资源需求，还分享了使用指数加权移动平均（EWMA）进行异常检测，并通过长期预测实现优雅关闭操作的策略。此外，他以 FinOps 领域的实践为例，提出将预测结果应用于调度，构建数据驱动的架构以提高资源利用率。

04

大规模 GPU 之上的
大模型推理

RAG（Retrieval-Augmented Generation）是向大型语言模型（LLM）注入新知识的关键技术，它在提高准确性和减少幻觉方面发挥着重要作用。LlamaEdge 提供了一个基于 Rust 的开发平台，使开发人员能够将 RAG 逻辑集成到聊天 API Server 中，这一跨平台的二进制 API 服务器可以在任何 GPU 或 AI 加速器设备上运行，简化了云端和边缘的部署。Alon Poon 展示了 LlamaEdge API Server 如何将 RAG 逻辑封装在与 OpenAI 兼容的 Web 服务 API 之后，使用户能够通过任何兼容的前端与之交互，而无需在客户端进行 RAG 处理。

探索无止境，创新不停歇。本周四，来自蚂蚁开源、字节跳动开源和「DaoCloud 道客」的技术专家将继续在新加坡开启云原生论道，这一次他们的主题是“云原生微服务”，对这一领域感兴趣的开发者们，千万不要错过这次深入了解和交流的机会，点击阅读原文即可锁定现场席位哦！