まとめて落とす

URLを指定して、そこからのリンクをまとめてローカルにダウンロードするソフトウェアです。

まとめて落とす

見た瞬間はちょっと昔を思い出してしまった。インターネット回線が28.8Kモデムだった頃、こういったソフトウェアが便利に使われていた。ブロードバンドの今となってはあまり使われないかも知れない。少なくとも同じ目的では。

今はビジネスの要として利用しているケースがある。一つは社内用のシステムで作成されるデータを提出するために使った。もう一つは動的システムの一時的負荷軽減としてサイト全体を静的ファイルに置き換えたと言うケースだ。意外に需要はあるのかも知れない。

本日紹介するオープンソース・ソフトウェアはHTTrack、サイトのミラーリング・ダウンロード・ソフトウェアだ。

簡単に言えば、サイトのURLを指定して、そこからリンクされているコンテンツを一括ダウンロードしてくれる仕組みだ。プロキシの設定やスキャンルール、接続制限など細かく実行条件を指定できる。

また、クローラー同様にrobot.txtをサポートしたり、ユーザエージェントを変更する事で、検索エンジンのクローラーが来た際の挙動を再現することも出来る。尚、UIの日本語化も可能だ。

昔は同様のソフトウェアを多数見かけたが、最近はあまり見ない。また、挙動が画一的で、あまり拡張性がない場合が多かった。HTTrackは様々な条件下で動作するので、覚えておくと便利なソフトウェアだ。