主页 / coding / 问题

问题[hadoop](coding)

Martin Hope
Kevin S. Miller
Asked: 2025-03-24 23:49:28 +0800 CST
  • 6

我有一张 Hadoop 表，其中有一个名为“state”的属性（列）。有些值显示“Work in Progress”，有些显示“Work In Progress”，因此按“state”分组时，它们显示为两个不同的组。我如何将流程中的所有“Work In Progress”更新为“Work in Progress”？

我尝试了流程中的清理步骤，但没有看到任何我期望的更新功能。

hadoop
Martin Hope
Pat
Asked: 2024-02-19 22:45:16 +0800 CST
  • 6

我正在尝试使用 JDBC 配置单元与密码较少的可信身份验证连接到大数据，这是我的代码

String conStr = "jdbc:hive2://bigdataplatform.abc.com:10000/staging;principal=hive/[email protected];ssl=true";
Class.forName("org.apache.hive.jdbc.HiveDriver");
con = DriverManager.getConnection(conStr, "my_fid", "");
Statement stmt = con.createStatement();
stmt.executeQuery("show databases");
System.out.println("show database successfully.");

下面是我添加的依赖项

hive-jdbc-3.1.3.jar
hive-service-rpc-3.1.3.jar
jdk.tools-1.8.0_321.jar
libthrift-0.9.3.jar
slf4j-api-2.0.11.jar
hive-service-3.1.3.jar
curator-client-2.12.0.jar
hive-exec-3.1.3.jar
hadoop-common-3.1.0.jar
commons-configuration2-2.1.1.jar
hadoop-auth-3.1.0.jar
woodstox-core-5.0.3.jar
stax2-api-3.1.4.jar
commons-collections-3.2.2.jar

以下是 krb5.conf 文件领域条目

[realms]
    BIGIP.abc.com = {  
   kdc = xxx.abc.com:88
    admin_server = ****
    kpasswd_server = *****
    master_kdc = ***
}

我将其打包为 jar，当我使用以下命令从 RHEL8 服务器执行它时

${JAVA_HOME}/bin/java -jar -Xms4000m /tmp/Hive_Test.jar com.data.TestMain

以下是我收到的错误，这意味着什么，我需要更新 krb5.conf 文件吗？

Caused by: java.lang.IllegalAccessException: class org.apache.hadoop.security.authentication.util.KerberosUtil cannot access class sun.security.krb5.Config (in module java.security.jgss) because module java.security.jgss does not export sun.security.krb5 to unnamed module @571613d2
hadoop