技術 - スクレイピングの記事一覧
newscatcher - ニュースサイトに特化したPython製のスクレイピングライブラリ
ニュースサイトは広告が多く、Webブラウザで目的の記事を探すのも面倒です。そのため、RSSフィードを登録している人もいますが、頻繁に訪れるサイトでもなければ、それも面倒です。そこで使ってみたいのがnewscatcherです。ニュースサイト専用のスクレイピングライブラリです。## newscatcherの使い方NY Ti...
goop - Google検索結果をスクレイピング
Googleの検索結果を取得して分析に使いたいと考える人は大勢います。しかし機械的に収集しようとすると、GoogleからCAPTCHA入力が求められます。そのため自動化しづらく、手作業で収集している人も多いでしょう。しかし裏道がありそうです。Facebookを経由するとそのトラップに引っかからないようです。その実証とし...
ScrapingEx - VBA用のスクレイピングクラス
Excelは表計算に加えてドキュメント（ソースコードは公開されていますがライセンスは明記されていません）やデータベースにもできます。さらにプログラミングを行うことで、あらゆる情報を管理できる万能ツールにさえなります。ネットワークと組み合わせることで、その万能感は揺るぎないものになるでしょう。今回紹介するScraping...
Portia - DOMで指定できるスクレイピングエンジン
Web APIがどれだけ広まろうともスクレイピングの需要はなかなかなくなりません。特にWebサイトがシステム化されるのに合わせて、画面構成が一定のテンプレートに沿って出力されるようになったので、より定型で情報が取得できるようになっています。今回紹介するPortiaはスクレイピングの基本である取得場所の設定をビジュアル的...