収集結果に401ステータスのレコードと200ステータスのレコードが混在する場合、Waybackで401の結果が表示されてしまう

Tweet

Pocket

WebCuratorToolのProfileにて、Writeする際に401レコードを出力しないよう対応することで回避可能

回避例：

WebCuratorTool > Management > profile > Edit > Writers > org.archive.crawler.writer.ARCWriterProcessor > Archiver#decide-rules
に以下を追加

• class org.archive.crawler.deciderules.FetchStatusDecideRule
• decision REJECT
• target-status 401