google-it - Googleの検索結果をJSONで保存
Googleの検索結果はSEOを行う上で大事な指標になります。毎日決まった言葉で検索して、その準備を記録している方もいるのではないでしょうか。Googleの検索結果は実行すでデバイスごとに最適化されているので、全員が同じという訳ではありませんが、蓄積することに意味があります。 今回紹介するgoogle-itはGoogleの検索結をJSONで保存してくれるソフトウェアです。
google-itの使い方
実行例です。 –query オプションで検索キーワードを指定するだけです。
$ google-it --query="オープンソース" -o results.json
タイトル、リンク、概要などがJSONとして取得できます。
$ cat results.json
[
{
"title": "オープンソースって何? |【エン転職】",
"link": "https://employment.en-japan.com/tenshoku-daijiten/14887/",
"snippet": ""
},
{
"title": "オープンソース - Wikipedia",
"link": "https://ja.wikipedia.org/wiki/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E3%83%BC%E3%82%B9",
"snippet": ", (英: open source) とは、ソースコードを商用、非商用の目的を問わず利用、修正、頒布することを許し、それを利用する個人や団体の努力や利益を遮ることがないソフトウェア開発の手法。ソースコードへのアクセスが開かれ ..."
},
:
}
–only-urlsを付けると、URLだけが返ってきます。
$ npx google-it --query="オープンソース" --only-urls
⠙ Loading results
https://employment.en-japan.com/tenshoku-daijiten/14887/
https://ja.wikipedia.org/wiki/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E3%83%BC%E3%82%B9
:
google-itはコマンド一つで検索結果が取得できますが、あまり乱発するとGoogleからバンされる可能性があるので注意してください。一日1回など、定期的に実行して検索結果のデータを蓄積するといった目的であればぴったりではないでしょうか。
google-itはnode/JavaScript製のオープンソース・ソフトウェア(ISC License)です。
PatNeedham/google-it: command line Google search and save to JSON