问题 Nutch在'http.agent.name'中没有列出代理

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
        at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)
        at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1068)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:135)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

每次我跑./nutch crawl urls -dir crawl -depth 3 -topN 5。 nutch决定抛出这个错误。我有我的nutch-site.xml和nutch-default.xml设置。

 <property>
  <name>http.agent.name</name>
  <value>blah</value>
  </property>

拿出描述使其更容易阅读。但我没有看到可以指定代理名称的其他位置。如果有人有任何建议我会很感激。

11353

2017-07-05 12:51

起源

答案:

使用1.3？如果是这样，请确保在runtime / local / conf中更改了nutch-site.xml（而不是默认值）除非使用ant重建，否则不会将NUTCH_HOME / conf中的conf更改为运行时目录。 BTW为什么不在邮件列表上询问呢？你更有可能在那里得到一些帮助

2017-07-07 20:38

非常感谢这是问题所在！编辑错误的文件。 - LinuxBill

邮件列表似乎无法正常工作。我尝试多次订阅nutch邮件列表，但失败了 - janwen

答案:

2017-07-07 20:38

非常感谢这是问题所在！编辑错误的文件。 - LinuxBill

邮件列表似乎无法正常工作。我尝试多次订阅nutch邮件列表，但失败了 - janwen

尝试也为http.robots.agents提供代理名称。它对我有用。我之后没有得到那个消息！

2017-07-08 06:52

问题 Nutch在'http.agent.name'中没有列出代理

答案:

答案:

热门问题