可以将 ElasticSearchIO.java 源码拷贝至自己的项目。改名为MyElasticSearchIO.java。自己定制实现。这时编译会遇到auto.value失败。在pom.xml中加入如下依赖:
???<!-- googles --> ???<!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value --><dependency> ???<groupId>com.google.auto.value</groupId> ???<artifactId>auto-value</artifactId> ???<version>1.6.3</version> ???<scope>provided</scope></dependency> ???<!-- https://mvnrepository.com/artifact/com.google.guava/guava --><dependency> ???<groupId>com.google.guava</groupId> ???<artifactId>guava</artifactId> ???<version>27.0.1-jre</version></dependency>
报错是在flushBatch里面的checkForErrors出现。
apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO
原文地址:https://www.cnblogs.com/bigben0123/p/10183608.html