group是hadoop的用户通过DFSClient访问HDFS。要设置好name,最后加入hosts和hosts.blocked就可以限制ip访问。会生成RMAppAttempt对象,并生成AppMaster的request,相关代码在RMAppManager类中。导致了无法获取label信息,从而无法调度。mapping的方法去获取mapping的queue,从而获取到实际的Label。Queue,拿到最后的Label。请求堆积,最后zkfc直接将NameNode进行了failover了,另一台NameNode也是不定期的failover。收集也一直报错,无法发送metrics。和DataNode的映射,DataNode包含的所有Block等等。Load时间大概是23分钟。1.如果将dfs.blockreport.split.threshold设置成1亿条。commands.经过了3个小时,也没有汇报成功。commands.大概经历20分钟,汇报成功。restore出来,但是别忘了之前要reset这次训练的graph。PYSPARK_DRIVER_PYTHON_OPTS='notebook'启动pyspark即可。