MapReduce远程调试

个人博客地址：MapReduce远程调试 | 一张假钞的真实世界

MR的远程调试分为两个方面：

MapReduce Task远程调试 AM（Application Master）远程调试 MapReduce Task远程调试 Map Task远程调试

修改mapred-site.xml中的配置项：

mapreduce.map.java.opts：Map Task JVM参数设置。此处设置为：-Xdebug -Xrunjdwp:transport=dt_socket,address=9091,server=y,suspend=y。 mapreduce.map.maxattempts：Map Task失败重试的最大次数。此处设置为1。 mapreduce.task.timeout：一个Task既没有读写数据也没有状态变化可持续的毫秒数。默认为600000毫秒，设置为0禁用超时。远程调试时通常需要持续的时间比较久，所以此处设置为0。 Reduce Task远程调试

修改mapred-site.xml中的配置项：

mapreduce.reduce.java.opts：Map Task JVM参数设置。此处设置为：-Xdebug -Xrunjdwp:transport=dt_socket,address=9091,server=y,suspend=y。 mapreduce.reduce.maxattempts：Map Task失败重试的最大次数。此处设置为1。 mapreduce.task.timeout：一个Task既没有读写数据也没有状态变化可持续的毫秒数。默认为600000毫秒，设置为0禁用超时。远程调试时通常需要持续的时间比较久，所以此处设置为0。 virtual memory错误

分为两种：

AM管理进程virtual memory beyond错误 Task Container virtual memory beyond错误 AM

错误信息如下：

21/08/09 16:38:37 INFO mapreduce.Job: Job job_1593052953461_29983110 failed with state FAILED due to: Application application_1593052953461_29983110 failed 2 times due to AM Container for appattempt_1593052953461_29983110_000002 exited with exitCode: -103 For more detailed output, check application tracking page:http://ycluster-resourcemanager1:50030/cluster/app/application_1593052953461_29983110Then, click on links to