収集結果に401ステータスのレコードと200ステータスのレコードが混在する場合、Waybackで401の結果が表示されてしまう

 ICT, tips, Wayback, Web Curator Tool
7月 132012
 

WebCuratorToolのProfileにて、Writeする際に401レコードを出力しないよう対応することで回避可能

回避例：

WebCuratorTool > Management > profile > Edit > Writers > org.archive.crawler.writer.ARCWriterProcessor > Archiver#decide-rules
に以下を追加

  • class org.archive.crawler.deciderules.FetchStatusDecideRule
  • decision REJECT
  • target-status 401

BASIC認証が必要なサイトの収集がうまくいかない

 ICT, tips, Wayback
7月 132012
 

max-retriesのデフォルトが3な為

  1. robots.txtで401
  2. robots.txtで404
  3. seedで401

で終了してしまう。
4にすれば解決。

[#HER-1376] login/auth/credential functionality overly sensitive to ‘max-retries’; improve robustness/error-reporting – IA Webteam JIRA


Thanks for the details – I think the real culprit is this setting, for a non-intuitive reason:

[xml]3[/xml]

Indeed, if I lower my max-retries to 3 I can reproduce the problem.

view full post »

過去に収集したデータを削除する方法

 BarkleyDB, ICT, Java, tips, Wayback
7月 132012
 

FileStore→LocationDB→ResourceIndexと言った具合にマージされる。

Wayback – Resource Store Configuration

デフォルトではResourceIndexにはBarkleyDB Java Edition(BDB)を利用している。
これを編集するのはやや骨が折れる。

WaybackのAPI(libフォルダ内jar)を利用する事で削除可能。

  1. ArcIndexerを使用してarcファイルからCaptureSerchResultを抽出
  2. CaptureSerchResultをBDBRecourdに変換し、Keyを取得
  3. BDBRecordSetを使用し、Indexを削除
[java title=”例 ※トランザクションは構成していない”]
BDBRecordSet rs = new BDBRecordSet();
try{
rs.initializeDB(“D:\\DL\\wct\\bdb”, “DB1”);
//System.out.println(rs.get(“example.com/css/disastercenter.css 20111108054107 1314431 20111108054041-00000.ver1.arc”));

view full post »

現在のワークスペースより新しいタグを指定してupdateすることは出来ない

 ICT, Mercurial, tips
7月 132012
 

vps2タグをタグ移動で記録していた場合:


[raw]hg update -r vps2[/raw]
とした場合、上図でのリビジョン20に更新されるわけだが、この時点の.hgtagsにはリビジョン20以前のvps2タグの情報しか記載されていない。
そのため、再度
[raw]hg update -r vps2[/raw]
とすると、古いリビジョンに更新されてしまう。

一旦tipを経由するなどすれば回避可能。

ジョブを平行実行した際、全ての上流ジョブが成功した場合のみ下流ジョブを動くようにしたい

 ICT, Jenkins, tips
7月 132012
 

Join Plugin – Jenkins – Jenkins Wiki
Join Pluginで対応可能。
このPluginは上流ジョブで設定を行う。

BuildResultTrigger Plugin – Jenkins – Jenkins Wiki
BuildResultTrigger PluginはコメントによるとどうもOR条件しか設定できない模様？
Jenkins標準と比べると設定するべき場所が下流ジョブだけになるのが利点か。

1 2 … 27 28 29 30 31 … 39 40