一直在查看 Flink Kubernetes Operator v1.10 的文档,有没有办法预先配置集群,以便所有提交的作业都将使用带有预定义 s3 路径的 rocksdb 状态?要实现这一点需要什么?我一直在尝试使用 S3 后端设置作业,但它说不支持 s3 后端,我需要启用 s3 插件,但我不确定该怎么做。
主页
/
user-7120087
Baiqing's questions
Baiqing
Asked:
2024-12-05 05:29:07 +0800 CST
我有一个自定义的 AggregateFunction,其签名如下:
public class CustomAggregateFunction
implements AggregateFunction<CustomInput, AggregationAccumulator, CustomOutput> { code...}
MyAggregationAccumulator
是包含一些地图的简单对象,带有 Lombok @Data 注释
@Data
public static class AggregationAccumulator {
private Map<String, Long> customMap = new HashMap<>();
}
然而,Flink 表示13:18:50,091 INFO org.apache.flink.api.java.typeutils.TypeExtractor [] - Field AggregationAccumulator#customMap will be processed as GenericType. Please read the Flink documentation on "Data Types & Serialization" for details of the effect on performance and schema evolution.
我如何提供类型信息以便它不会使用 Kryo?