データベースを使わずテキストでツイート検索「GrepTweet」
GrepTweetは指定ユーザのツイートをテキストファイルに保存してGrepで検索するソフトウェアです。
Twitterで自分のツイートを検索するサービスはいくつもありますが、今回紹介するGrepTweetはツイートをテキストで保存して、Grepで検索するシステムになっています。
まずTwitterユーザのツイートをインポートしないといけません。公開メッセージのみなので認証は不要で、ユーザ名を指定するだけで実行できます。
取り込み中のログです。今回は6ページ目の実行でエラーになってしまいましたが、途中までのデータは取り込まれます。
取り込みが終わって検索できるようになりました。日本語も使えます。検索実行ボタンはないのでエンターキーを押せば良いだけです。
例えばMOONGIFTで検索した結果です。
日本語にも対応しています。
生データを見ることもできます。
データベースを検索するのではなく、テキストファイルをGrepで検索するというところに特徴があります。シンプルなので動作も高速なのが利点です。
GrepTweetはシェルスクリプトとPHPを組み合わせたソフトウェアです。ソースコードは公開されていますが、ライセンスは明記されていません。
MOONGIFTはこう見る
最近のWebシステムではRDBMSを使うのが基本で、稀にNoSQL DBを使うようになっています。10数年前であればテキストファイルにデータを蓄積するのが当たり前でしたが、最近ではデータベースに蓄積します。可用性が上がる一方、大規模なシステムになるとDB層がボトルネックになることも増えています。
何でもデータベースに蓄積するという短絡的な発想は控えるべきです。また常に一つの蓄積方法しか選択しないのはリスキーです。目的に応じてテキストファイル、キャッシュ、RDBMS、NoSQLを組み合わせて問題を解決すべきでしょう。そのためにはそれぞれの特性を理解した上で最適な選択をしなくてはいけません。