Confluent Cloud for Apache Flink正式发布，不久将增加AI特性

4 月份，Confluent 宣布正式发布 Confluent Cloud for Apache Flink。这项全托管的服务支持实时数据处理以及创建可重用的高质量数据流。在 AWS、Google Cloud 和 Microsoft Azure 上均可使用该服务。

Apache Flink 是一个值得信赖且使用广泛的流处理框架，已被 Airbnb、Uber、LinkedIn 和 Netflix 等公司采用。据 Confluent 介绍，它在 2023 年的下载次数接近 100 万，其受欢迎程度显而易见。Confluent 决定为 Apache Flink 构建一个云服务，让用户可以专注于他们的业务逻辑，而不用操心运维。去年，他们发布了 这项服务的公开预览版，而现在是正式发布。

Confluent 促使 Flink 支持 ANSI SQL 标准，简化了实时数据探索和应用程序开发。开发人员可以通过 Confluent CLI（SQL Shell）和 SQL 工作区 快速编写和运行 Flink SQL 查询。而且，它还提供了自动补全功能和图形界面等，可帮助开发人员实现高效的工作流管理。

Confluent Cloud CLI 中的 SQL 客户端（图片来源：Confluent 博客）

此外，Confluent 数据门户和最近推出的 Flink Actions 提供了自助式数据探索以及预构建流处理转换功能，使用户可以更方便地使用 Flink 的强大功能，而且无需深入的专业知识。

全托管的 Flink 服务是一种无服务器服务，具有弹性自动伸缩、自动更新和 基于使用情况计费 等功能，保证了资源的高效利用和高可靠性。

该公司写道：

Confluent Cloud for Apache Flink 的自动更新功能可以降低由于过时软件或漏洞而导致的停机或数据丢失风险。此外，我们的自动伸缩器可确保有效的资源分配，降低在高峰使用期间出现性能瓶颈、限流或故障的风险。

此外，与 Kafka 的集成以及 元数据管理和安全性的增强 进一步简化了操作，并确保了数据的完整性。

很快，Confluent 还将为 Apache Flink 服务提供 一项新功能。该功能将提供 AI 模型推理，简化数据清理和处理任务，加速 AI 和 ML 应用程序的开发。该功能将允许组织使用熟悉的 SQL 语法直接与 AI/ML 模型进行交互，最大限度地减少对专用工具和语言的需求，从而简化 AI 开发。

在最近的一篇博文中，该公司写道：

借助 Confluent Cloud for Apache Flink 中的 AI 模型推断功能，组织可以使用简单的 SQL 语句调用远程模型端点，包括 OpenAI、AWS Sagemaker、GCP Vertex 和 Azure，并在单个平台上编排数据清理和处理任务。

Confluent 产品管理总监 Jean-Sébastien Brunner 向 InfoQ 介绍了即将推出的 AI 模型推断功能：

用户可以直接在 Flink SQL 中定义 AI/ML 模型，无需自定义代码或自定义函数来调用像 OpenAI 这样的 LLM，从而简化 AI/ML 与 Flink 应用程序的集成。这种方法使用户可以使用熟悉的 SQL 语法调用模型，方便快捷地实现跨应用程序重用，而无需跨语言或工具切换数据和 AI/ML 任务。

此外，他还对组织如何在实践中利用这一特性作了补充说明：

数据工程师可以构建用于个性化电子商务推荐的数据管道，提取客户交互和产品数据，实时输入 LLM 模型进行推理，从而根据用户行为提供个性化建议。所有这些都是在 SQL 中完成的，无需切换上下文或依赖外部团队。

最后，该公司将在服务中添加新的自动伸缩集群 Freight Clusters。该集群是专为具有灵活延迟需求的高吞吐量用例量身定制的。无需任何人工干预，它就可以无缝地根据需求调整资源，从而提高成本效益。

原文链接：

https://www.infoq.com/news/2024/05/confluent-apache-flink-ga/

声明：本文为 InfoQ 翻译，未经许可禁止转载。