问题在纱线群集模式下在YARN上运行Spark：控制台输出在哪里？

我按照这个页面在纱线集群模式下在YARN上运行SparkPi示例应用程序。

http://spark.apache.org/docs/latest/running-on-yarn.html

我最后没有看到程序的输出（这是本例计算的结果）。当我在yarn-client模式下运行它（--master yarn-client）时，我看到这样的输出：

Pi大约是3.138796

标准输出在纱线群集模式中的位置是什么？

10662

2017-10-12 04:34

起源

答案:

经过多次探索，我发现了这个 spark-0.9.0 doc。

检查输出（使用上一个命令输出的“application identifier”替换下面的$ YARN_APP_ID）（注意：YARN_APP_LOGS_DIR通常是/ tmp / logs或$ HADOOP_HOME / logs / userlogs，具体取决于Hadoop版本。）

$ cat $ YARN_APP_LOGS_DIR / $ YARN_APP_ID / container * _000001 / stdout

Pi约为3.13794

我希望他们把这个指示放在 1.1.0文档太。

11

2017-10-12 06:38

日志信息位于文档的“调试应用程序”部分。它还介绍了如何使用“yarn logs”命令查看日志。 - Tom Panning

答案:

经过多次探索，我发现了这个 spark-0.9.0 doc。

检查输出（使用上一个命令输出的“application identifier”替换下面的$ YARN_APP_ID）（注意：YARN_APP_LOGS_DIR通常是/ tmp / logs或$ HADOOP_HOME / logs / userlogs，具体取决于Hadoop版本。）

$ cat $ YARN_APP_LOGS_DIR / $ YARN_APP_ID / container * _000001 / stdout

Pi约为3.13794

我希望他们把这个指示放在 1.1.0文档太。

11

2017-10-12 06:38

日志信息位于文档的“调试应用程序”部分。它还介绍了如何使用“yarn logs”命令查看日志。 - Tom Panning

热门问题

不使用eval / new函数的JavaScript模板库当涉及内部类时，Java继承如何工作 .NET Windows服务的奇怪问题在.ipa或.app下查找App ID 快速入门XSLT参考[关闭] 如何找出Android应用程序中未使用的资源 Ruby中并发的同步方法[重复] 将std :: chrono :: system_clock :: time_point转换为struct timeval并返回 Google Drive API V3（javascript）更新文件内容 Bootstrap 3.0 - 将元素推到底部受密码保护的.NET ClickOnce部署？如何用postgresql安装wordpress coq Set或Type如何成为命题硒滚动元素进入（中心）视图在Spring Transaction JUnit测试中自动装配Hibernate会话的正确方法 Git的Dockerfile策略如何在FOS_PICKFOLDER中使用IFileDialog，同时仍在对话框中显示文件名在Firefox扩展中复制Google Chrome浏览器操作弹出效果 CakePHP找到MAX 芹菜 - 完成任务的召唤功能从使用fmemopen创建的流中读取宽字符 .NET是否为每个程序集创建一个字符串实习池？ DefaultModelBinder不绑定嵌套模型 Navigator.MediaDevices.getUserMedia（）使用了哪些相机通信标准？选择命名空间名称时应该知道什么？ cout Swagger Codegen CLI Java客户端 - 如何正确使用它一个很好的哈希函数用于采访整数，字符串？ Maven 3 ciManagement配置的目的是什么？如何通过语言文化获取代码页？