Kerberos 调试 - 技术栈

增加详细程度

默认情况下，kinit 不显示任何调试信息，并且通常会在失败时返回一个模糊的错误。以下命令将启用详细日志记录到标准输出，这有助于调试。

bash 复制代码

KRB5_TRACE=/dev/stdout kinit -V

例如：

bash 复制代码

KRB5_TRACE=/dev/stdout kinit -V -kt /opt/kafka.keytab kafka

Java Kerberos/KRB5 和 SPNEGO 调试系统属性

处理 Kerberos 的 Java 内部类具有启用调试日志记录的系统属性。这些属性支持大量调试，因此应仅在尝试诊断问题时打开，然后关闭。如有必要，它们也可以组合使用。

第一个属性处理 Kerberos 错误，并可帮助解决配置错误的 KDC 服务器、问题和其他问题。krb5.conf

bash 复制代码

-Dsun.security.krb5.debug=true

第二个属性专门用于对 Kerberos 安全 Web 端点进行 SPNEGO 调试。SPNEGO 可能难以调试，但此标志可以帮助启用其他调试日志记录。

bash 复制代码

-Dsun.security.spnego.debug=true

可以使用 Apache Hadoop 和相关组件的变量来设置这些属性，如下例所示：*_OPTS

bash 复制代码

HADOOP_OPTS="-Dsun.security.krb5.debug=true" #-Dsun.security.spnego.debug=true"

Hadoop 命令行调试日志记录

大多数Apache Hadoop命令行工具使用相同的底层机制进行日志记录。不允许动态调整日志级别，但允许在使用命令之前调整记录器。Hadoop将根记录器公开为环境变量。这可用于在不更改 hdfs hadoop yarn Log4jLog4jHADOOP_ROOT_LOGGERlog4j.properties

bash 复制代码

HADOOP_ROOT_LOGGER=DEBUG,console hdfs ...

调试 Hadoop 用户和组

使用 Apache Hadoop 的用户通常通过 Kerberos 进行身份验证，如此处所述。身份验证后，用户的用户名将用于确定组。Apache Hadoop 的组可以通过多种方式使用 Hadoop 组映射进行配置。调试 Apache Hadoop 认为您的用户和组是什么对于正确设置安全性至关重要。

第一个命令采用用户主体，并将根据配置的hadoop.security.auth_to_local规则返回用户名。

hadoop org.apache.hadoop.security.HadoopKerberosName USER_PRINCIPAL

第二个命令采用用户名并确定与其关联的组。这将使用配置的 Hadoop 组映射来确定组是什么。

bash 复制代码

hdfs groups USERNAME

第三个命令是使用当前经过身份验证的用户并打印出当前用户的 UGI。它还可以使用主体和密钥表来打印有关该 UGI 的信息。

bash 复制代码

hadoop org.apache.hadoop.security.UserGroupInformation
hadoop org.apache.hadoop.security.UserGroupInformation "PRINCIPAL" "KEYTAB"

第四个命令 KDiag 相对较新，因为它是在 HADOOP-12426 中引入的，并在 Apache Hadoop 2.8.0 中首次发布。此命令将一些其他调试工具合并为一个，并检查常见的与 Kerberos 相关的错误配置。

bash 复制代码

# Might also set HADOOP_JAAS_DEBUG=true and set the log level 'org.apache.hadoop.security=DEBUG'
hadoop org.apache.hadoop.security.KDiag

结论

在处理 Kerberos 和分布式系统时，一半以上的工作是知道在哪里查找以及要生成哪些日志。使用正确的日志，可以调试问题并快速解决问题。