★悩み★
・Rubyでスクレイピングをする場合、どのライブラリを使えばいいの？
・RubyのスクレイピングライブラリNokogiriって簡単にインストール可能？
・RubyのNokogiriでGoogle検索の結果をスクレイピングできるの？
こういった「悩み」に答えます。
★本記事の内容★
① スクレイピング(Scraping)とは？
② スクレイピング(Scraping)する理由と注意点
③ Rubyのスクレイピングライブラリ「Nokogiri」について
④ RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)
⑤ RubyのNokogiriでGoogle検索結果をスクレイピングする手順
これからご紹介する「【最短5分】RubyのNokogiriでスクレイピングする手順」を実践したことで、筆者は5分以内でRubyのNokogiri(スクレイピングライブラリ)でGoogle検索の結果をスクレイピングできました。
記事の前半では「スクレイピング とは何か？」や「RubyのスクレイピングライブラリNokogiriとは何か？」を紹介します。
記事の後半では「RubyのNokogiriでGoogle検索結果をスクレイピングする手順」を紹介します。
この記事を読み終えることで、「スクレイピングとは何か？」を把握できるだけでなく、「RubyのNokogiri(スクレイピングライブラリ)でGoogle検索の結果をスクレイピングできる」状態になります。
スクレイピング(Scraping)とは？
「スクレイピング(Scraping)とは？」に関して解説します。
スクレイピング(Scraping)の定義に関して説明しますね。
スクレイピング(Scraping)の定義に関しては、以下の記事をご覧ください。
以上が、「スクレイピング(Scraping)とは？」となります。
スクレイピング(Scraping)する理由
「スクレイピング(Scraping)する理由」に関して説明します。
Webスクレイピングを検討しなければならない場面に関して解説しますね。
「スクレイピング(Scraping)する理由」に関しては、以下の記事をご覧ください。
以上が、「スクレイピング(Scraping)する理由」となります。
Rubyのスクレイピングライブラリ「Nokogiri」について
『Rubyのスクレイピングライブラリ「Nokogiri」について』解説します。
Nokogiriのライセンスは、「MIT」であるため、無料で使えるRubyのスクレイピングライブラリとなります。
Nokogiriは、Rubyでスクレピングしたいときに利用される定番ライブラリです。
この定番ライブラリ「Nokogiri」を使うことで以下のことができます。
★Rubyのスクレイピングライブラリ「Nokogiri」でできること★
・Webサイトのスクレイピングに使える
・XML／HTML4／HTML5用をスクレイピングできる(DOMパーサー)
・XPathを使ったスクレピングができる
参照：Nokogiriの特徴(公式サイト)
また、Rubyのスクレイピングライブラリ「Nokogiri」は、以下の環境で動作することを保証しています。
★Rubyのスクレイピングライブラリ「Nokogori」の動作環境★
・Linux
・Darwin/MacOS
・Windows
参照：Nokogiriの動作保証がされている環境について(公式サイト)
以上が、『Rubyのスクレイピングライブラリ「Nokogiri」について』となります。
RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)
「RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)」に関してご紹介します。
★RubyのNokogiriでスクレイピングする為の準備の流れ★
手順1：Rubyをインストール
手順2：RubyのスクレイピングライブラリNokogiriをインストール
上記手順を実施することで、「RubyのNokogiriでスクレイピングする為の準備」ができます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年4月2日
動作確認済み環境：CentOS Linux release 7.7.1908 (Core)
以降で、上記「Nokogiriを用いてRubyでGoogle検索するまでの流れ」の各手順に関してご説明します。
手順1：Rubyをインストール
「手順1：Rubyをインストール」に関して解説します。
Nokogiri(Rubyのスクレイピングライブラリ)を使うために、Rubyをインストールしましょう。
以下の記事を参考にし、お使いのパソコンやサーバーにRubyをインストールしましょう。
>> 【5分でわかる】Windowsに最新版Rubyをインストールする方法
>> 【Linux向け】Rubyを3ステップでインストールする方法
>> 【Ubuntu向け】rbenvでRubyをインストールする手順【簡単】
既にRubyをインストールされている方は、本ステップを省略してください。
以上で、「手順1：Rubyをインストール」は完了です。
手順2：RubyのスクレイピングライブラリNokogiriをインストール
「手順2：RubyのスクレイピングライブラリNokogiriをインストール」に関して説明します。
Rubyでスクレイピングするために、スクレイピングライブラリ「Nokogiri」をインストールしましょう。
Nokogiriをインストールするために、端末またはコマンドプロンプトを起動し、以下のコマンドを実行します。
$ gem install nokogiri
$ gem list | grep nokogiri
nokogiri (1.7.0.1)
$
コマンド実行後、「nokogiri（バージョン名）」が表示された場合、「正常にNokogiriをインストールできた」と判断できます。
以上で、「手順2：RubyのスクレイピングライブラリNokogiriをインストール」は完了です。
上記の流れで、RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)ができました。
RubyのNokogiriでGoogle検索結果をスクレイピングする手順
「RubyのNokogiriでGoogle検索結果をスクレイピングする手順」に関してご紹介します。
★RubyのNokogiriでGoogle検索結果をスクレイピングするまでの流れ★
手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成
手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認
上記の流れで「RubyのNokogiriでGoogle検索結果をスクレイピング」できます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年4月2日
動作確認済み環境：CentOS Linux release 7.7.1908 (Core)
本記事では、RubyのNokogiriで「Google検索の結果をスクレイピング」し、「タイトル(下図の赤枠)とURL(下図の赤枠)を出力」するプログラムを作成します。
以降で、上記「RubyのNokogiriでGoogle検索結果をスクレイピングするまでの流れ」の各手順に関してご説明します。
手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成
『手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成』に関して解説します。
RubyのNokogiriでGoogle検索の結果をスクレイピングするプログラムを作成しましょう。
「RubyのNokogiriでGoogle検索の結果をスクレイピング する」プログラムは、以下となります。プログラム中の「適宜変更」と書いてある部分は、自分用に書き換えてください。
# スクレイピングに利用するライブラリをインポート
require 'nokogiri'
require 'open-uri'
require 'uri'
# Google検索の結果をスクレイピング する関数
def searchKeywordWithGoogle(keyword)
pageList = []
# Google検索クエリの組み立て
url = "https://www.google.co.jp/search?q=#{keyword}&num=100"
url_escape = URI.escape(url)
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36'
charset = nil
# Google検索を実施
html = open(url_escape, "User-Agent" => user_agent) do |f|
charset = f.charset
f.read
end
# Google検索結果からタイトルとURLを抽出(nokogiriライブラリを利用)
doc = Nokogiri::HTML.parse(html)
doc.search('//div[@class="rc"]').each do | div_rc |
title = div_rc.search('h3[@class="LC20lb DKV0Md"]')[0].text # タイトルを抽出
url = div_rc.search('a')[0]["href"] # URLを抽出
tmpArray = [url, title]
pageList << tmpArray
end
sleep(1)
return pageList
end
google_search_keyword = "Ruby Google検索" # Googleで検索したいワード(適宜変更)
ret = searchKeywordWithGoogle(google_search_keyword)
ret.each do |list|
puts list[0] # タイトルを抽出
puts list[1] # URLを抽出
puts "------"
end
上記のプログラムを「google-search-nokogiri.rb」というファイル名で保存しましょう。
以上で、「手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成」は完了です。
手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認
『手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認』に関して解説します。
「RubyのNokogiriでスクレイピングする」プログラムの動作を確認しましょう。
「RubyのNokogiriでGoogle検索の結果をスクレイピングする」プログラムの動作を確認するために、以下のコマンドを実行してください。
$ ruby google-search-nokogiri.rb
https://teratail.com/questions/187572
Ruby - google検索結果を30件取得したい｜teratail
------
コマンド実行後、「Google検索結果のタイトルとURLをスクレイピングした結果」g表示された場合、「正常にRubyのNokogiriでGoogle検索の結果をスクレイピングできた」と判断できます。
google-search-nokogiri.rbを短時間で大量に実行するとGoogleから規制を受ける（Google検索ができなくなる）ので要注意です。
以上で、『手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認』は完了です。
上記の流れで、RubyのNokogiriでGoogle検索結果をスクレイピングできました。
【まとめ】RubyのNokogiriでスクレイピングする手順【最短5分】
いかがでしたでしょうか？「スクレイピングとは何か？」、「RubyのNokogiriとは何か？」、「Nokogiriを用いてGoogleの検索結果をスクレイピングする流れ」を解説し、以下の悩みを解決しました。
★悩み★
・Rubyでスクレイピングをする場合、どのライブラリを使えばいいの？
・RubyのスクレイピングライブラリNokogiriって簡単にインストール可能？
・RubyのNokogiriでGoogle検索の結果をスクレイピングできるの？
「RubyのスクレイピングライブラリNokogiri」を利用するだけで、「簡単にRubyでスクレイピング」できます。ぜひあなたも本記事を参考に「Rubyで様々なサイトをスクレイピング」してみてください。
コメント