★悩み★
・Rubyでスクレイピングをする場合、どのライブラリを使えばいいの？
・RubyのスクレイピングライブラリNokogiriって簡単にインストール可能？
・RubyのNokogiriでGoogle検索の結果をスクレイピングできるの？
こういった「悩み」に答えます。
★本記事の内容★
① スクレイピング(Scraping)とは？
② スクレイピング(Scraping)する理由と注意点
③ Rubyのスクレイピングライブラリ「Nokogiri」について
④ RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)
⑤ RubyのNokogiriでGoogle検索結果をスクレイピングする手順
これからご紹介する「【最短5分】RubyのNokogiriでスクレイピングする手順」を実践したことで、筆者は5分以内でRubyのNokogiri(スクレイピングライブラリ)でGoogle検索の結果をスクレイピングできました。
記事の前半では「スクレイピング とは何か？」や「RubyのスクレイピングライブラリNokogiriとは何か？」を紹介します。
記事の後半では「RubyのNokogiriでGoogle検索結果をスクレイピングする手順」を紹介します。
この記事を読み終えることで、「スクレイピングとは何か？」を把握できるだけでなく、「RubyのNokogiri(スクレイピングライブラリ)でGoogle検索の結果をスクレイピングできる」状態になります。
【PR】この記事には広告を含む場合があります
スクレイピング(Scraping)とは？
「スクレイピング(Scraping)とは？」に関して解説します。
スクレイピング(Scraping)の定義に関して説明しますね。
スクレイピング(Scraping)の定義に関しては、以下の記事をご覧ください。
以上が、「スクレイピング(Scraping)とは？」となります。
スクレイピング(Scraping)する理由
「スクレイピング(Scraping)する理由」に関して説明します。
Webスクレイピングを検討しなければならない場面に関して解説しますね。
「スクレイピング(Scraping)する理由」に関しては、以下の記事をご覧ください。
以上が、「スクレイピング(Scraping)する理由」となります。
Rubyのスクレイピングライブラリ「Nokogiri」について
『Rubyのスクレイピングライブラリ「Nokogiri」について』解説します。
Nokogiriのライセンスは、「MIT」であるため、無料で使えるRubyのスクレイピングライブラリとなります。
Nokogiriは、Rubyでスクレピングしたいときに利用される定番ライブラリです。
この定番ライブラリ「Nokogiri」を使うことで以下のことができます。
★Rubyのスクレイピングライブラリ「Nokogiri」でできること★
・Webサイトのスクレイピングに使える
・XML／HTML4／HTML5用をスクレイピングできる(DOMパーサー)
・XPathを使ったスクレピングができる
参照：Nokogiriの特徴(公式サイト)
また、Rubyのスクレイピングライブラリ「Nokogiri」は、以下の環境で動作することを保証しています。
★Rubyのスクレイピングライブラリ「Nokogori」の動作環境★
・Linux
・Darwin/MacOS
・Windows
参照：Nokogiriの動作保証がされている環境について(公式サイト)
以上が、『Rubyのスクレイピングライブラリ「Nokogiri」について』となります。
RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)
「RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)」に関してご紹介します。
★RubyのNokogiriでスクレイピングする為の準備の流れ★
手順1：Rubyをインストール
手順2：RubyのスクレイピングライブラリNokogiriをインストール
上記手順を実施することで、「RubyのNokogiriでスクレイピングする為の準備」ができます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年4月2日
動作確認済み環境：CentOS Linux release 7.7.1908 (Core)
以降で、上記「Nokogiriを用いてRubyでGoogle検索するまでの流れ」の各手順に関してご説明します。
手順1：Rubyをインストール
「手順1：Rubyをインストール」に関して解説します。
Nokogiri(Rubyのスクレイピングライブラリ)を使うために、Rubyをインストールしましょう。
以下の記事を参考にし、お使いのパソコンやサーバーにRubyをインストールしましょう。
>> 【5分でわかる】Windowsに最新版Rubyをインストールする方法
>> 【Linux向け】Rubyを3ステップでインストールする方法
>> 【Ubuntu向け】rbenvでRubyをインストールする手順【簡単】
既にRubyをインストールされている方は、本ステップを省略してください。
以上で、「手順1：Rubyをインストール」は完了です。
手順2：RubyのスクレイピングライブラリNokogiriをインストール
「手順2：RubyのスクレイピングライブラリNokogiriをインストール」に関して説明します。
Rubyでスクレイピングするために、スクレイピングライブラリ「Nokogiri」をインストールしましょう。
Nokogiriをインストールするために、端末またはコマンドプロンプトを起動し、以下のコマンドを実行します。
$ gem install nokogiri
$ gem list | grep nokogiri
nokogiri (1.7.0.1)
$
コマンド実行後、「nokogiri（バージョン名）」が表示された場合、「正常にNokogiriをインストールできた」と判断できます。
以上で、「手順2：RubyのスクレイピングライブラリNokogiriをインストール」は完了です。
上記の流れで、RubyのNokogiriでスクレイピングする為の準備(Nokogiriのインストール)ができました。
RubyのNokogiriでGoogle検索結果をスクレイピングする手順
「RubyのNokogiriでGoogle検索結果をスクレイピングする手順」に関してご紹介します。
★RubyのNokogiriでGoogle検索結果をスクレイピングするまでの流れ★
手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成
手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認
上記の流れで「RubyのNokogiriでGoogle検索結果をスクレイピング」できます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年4月2日
動作確認済み環境：CentOS Linux release 7.7.1908 (Core)
本記事では、RubyのNokogiriで「Google検索の結果をスクレイピング」し、「タイトル(下図の赤枠)とURL(下図の赤枠)を出力」するプログラムを作成します。
以降で、上記「RubyのNokogiriでGoogle検索結果をスクレイピングするまでの流れ」の各手順に関してご説明します。
手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成
『手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成』に関して解説します。
RubyのNokogiriでGoogle検索の結果をスクレイピングするプログラムを作成しましょう。
「RubyのNokogiriでGoogle検索の結果をスクレイピング する」プログラムは、以下となります。プログラム中の「適宜変更」と書いてある部分は、自分用に書き換えてください。
# スクレイピングに利用するライブラリをインポート
require 'nokogiri'
require 'open-uri'
require 'uri'
# Google検索の結果をスクレイピング する関数
def searchKeywordWithGoogle(keyword)
pageList = []
# Google検索クエリの組み立て
url = "https://www.google.co.jp/search?q=#{keyword}&num=100"
url_escape = URI.escape(url)
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36'
charset = nil
# Google検索を実施
html = open(url_escape, "User-Agent" => user_agent) do |f|
charset = f.charset
f.read
end
# Google検索結果からタイトルとURLを抽出(nokogiriライブラリを利用)
doc = Nokogiri::HTML.parse(html)
doc.search('//div[@class="rc"]').each do | div_rc |
title = div_rc.search('h3[@class="LC20lb DKV0Md"]')[0].text # タイトルを抽出
url = div_rc.search('a')[0]["href"] # URLを抽出
tmpArray = [url, title]
pageList << tmpArray
end
sleep(1)
return pageList
end
google_search_keyword = "Ruby Google検索" # Googleで検索したいワード(適宜変更)
ret = searchKeywordWithGoogle(google_search_keyword)
ret.each do |list|
puts list[0] # タイトルを抽出
puts list[1] # URLを抽出
puts "------"
end
上記のプログラムを「google-search-nokogiri.rb」というファイル名で保存しましょう。
以上で、「手順1：「RubyのNokogiriでスクレイピングする」プログラムを作成」は完了です。
手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認
『手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認』に関して解説します。
「RubyのNokogiriでスクレイピングする」プログラムの動作を確認しましょう。
「RubyのNokogiriでGoogle検索の結果をスクレイピングする」プログラムの動作を確認するために、以下のコマンドを実行してください。
$ ruby google-search-nokogiri.rb
https://teratail.com/questions/187572
Ruby - google検索結果を30件取得したい｜teratail
------
Rubyのgoogle-api-clientでGoogle Custom Search APIを使う ...
------
stackoverrun.com
ruby - Google検索結果を取得する正しい方法は何ですか？
------
qiita.com
Google検索結果をスクレイピングするときは、User-Agentの ...
------
takemikami.com
ruby, nokogiriを使ったgoogle検索結果のスクレイピング ...
------
python5.com
ruby - グーグル検索結果を取得する正しい方法は何ですか？
------
masyumaroking.com
seleniumでgoogleの検索結果を取得してみよう！昼寝王子の ...
------
hobik-site.blogspot.com
【スクレイピング】Google検索のスクレイピング
------
kotyalog.blog.fc2.com
RubyでGoogle検索順位を調べる（ちょっと修正） - K's ...
------
blog.webico.work
【Rails初心者】Google/bingの横断検索プラグラムを作って ...
------
geekle.jp
エンジニア向けの技術書検索サイト - Geekle
------
Rubyによるクローラー開発技法 巡回・解析機能の実装と21の ...
------
magazine.techacademy.jp
Selenium WebDriverでRubyのテストを行う方法【初心者向け ...
------
ellidanus-b.ddo.jp
Ruby - 恐れ入谷の鬼子母神 - DDO!jp
------
okenigou.com
Rubyのnokogiriとmechanizeの使い分け | OKE2GOU
------
www.seleniumqref.com
【Ruby】find_element(:id, 'xxx')・・・id属性から要素を取得 ...
------
www.pinterest.com
pedro the cruel ruby - Google 検索
------
www.shunproguraming.com
【副業】Ruby on Rails WEBアプリをGoogle検索で表示 ...
------
www.ne.jp
WEB スクレーピングとその応用
------
www.school.ctc-g.co.jp
第20回 Ruby on Google Cloud Platform (1) - CTC教育サービス
------
www.ibm.com
Application Builder での検索結果への埋め込み Ruby (ERB) の ...
------
recruit.gmo.jp
RubyとGoogleドライブの連携してみる | GMOインターネット ...
------
cloud.google.com
Ruby で Cloud Spanner を使ってみる | Google Cloud
------
rubygems.org
google-search | RubyGems.org | コミュニティのGem ...
------
www.coursera.org
一番人気の Ruby のコース - Ruby をオンラインで学習 ...
------
ja.stackoverflow.com
Rubyのopen-uriライブラリを使ってあるサイトのHTMLを取得 ...
------
gpsoft.dip.jp
Rubyでhttpとスクレイピング - GPソフト Wiki
------
techblog.gmo-ap.jp
RubyでGoogle スプレッドシートを操作する | GMOアド ...
------
yonepiano.com
Ruby on RailsでYouTube Data API (v3)を使用して、動画の ...
------
doruby.jp
Gem MechanizeでWebスクレイピング | Gemの紹介 | DoRuby
------
books.google.com
Rubyでつくる検索エンジン - 星澤隆 - Google Books
------
sawayakatrip.com
Macの右クリック「googleで調べる」をSafari以外のブラウザ ...
------
hivecolor.com
Google Drive(docs)からrubyでファイル一覧を取得する方法
------
sites.google.com
インターネットサービス - 逆引きRuby - Google Sites
------
www.math.kobe-u.ac.jp
Google PageRank を調べる ruby スクリプト
------
brainvalley.jp
Bing Search APIとRubyを使って簡単に検索エンジンを作る方法
------
kazuhiro.ty.land.to
Googleの「勝手にREST API」を利用して検索する (Ruby編)
------
atmarkit.itmedia.co.jp
GAE＋PHP／Rubyで拓く新世界 － ＠IT
------
docs.ruby-lang.org
module URI (Ruby 2.7.0 リファレンスマニュアル) - Ruby-lang
------
mebee.info
Ruby Seleniumを使ってchromeで任意のワードで検索をする ...
------
techplay.jp
RubyのIT勉強会・セミナー・イベント情報 - TECH PLAY ...
------
www.maxmouse.co.jp
2020年5月の各種ブラウザ仕様変更発表まとめ | デジタル ...
------
daily.belltail.jp
YouTube Data API V3とgoogle-api-ruby-client gemで ...
------
求人ボックス.com
求人ボックス｜Rubyエンジニア 女性歓迎の仕事・求人情報
------
connect-solution.net
Ruby on RailsのアプリでGoogle Adsenseが表示されない場合 ...
------
rooter.jp
Rubyスクレイピングの最終手段、html上のテキスト&属性値で ...
------
jobs.forkwell.com
ruby案件の求人｜ITエンジニアの転職はForkwell Jobs
------
career.levtech.jp
Ruby Google Cloud Platformの求人/転職/採用情報 | IT ...
------
www.techpit.jp
Rubyの学習教材一覧 | Techpit
------
www.clear-code.com
るりまサーチ - Googleより探しやすい Rubyリファレンス ...
------
careers.google.com
求人情報の検索 - Google 人材募集 - Google Careers
------
gijutsumemo.hatenadiary.jp
【Ruby】Google cloud vision APIを使って画像からテキスト ...
------
t4traw.net
RubyでGoogle Spreadsheetを操作し、簡易DBとして使う ...
------
www.366service.com
Ruby on Railsを使ったアンプ:Googleフォントを使うことは ...
------
search.rakuten.co.jp
【楽天市場】ruby elephantの通販 - ジャンルトップ一覧
------
codaholic.org
[Ruby] Nokogiri を使って、ページ内全ての a タグの href 属性 ...
------
kotaeta.com
google-api - Google Search API ruby - 答えた
------
bagelee.com
Railsでparanoiaを使って論理削除を実装する - bagelee ...
------
techracho.bpsinc.jp
Googleさんから読み取るPHPとRails開発の比較｜TechRacho ...
------
ja.coder.work
ruby - Rubygoogle-api-clientでのGoogleカスタム検索APIの使用
------
virment.com
RubyでGoogleスプレッドシートを読み込み・書き込みする
------
medium.com
[翻訳]ShopifyにおけるRuby on Railsで速いコードを書く方法 ...
------
translate.google.co.jp
Google 翻訳
------
udemy.benesse.co.jp
GCP（Google Cloud Platform）とは？特徴・メリット・AWS ...
------
osawa-inc.co.jp
bitmex api ruby|Bityard.com Copy Trade | 検索結果: | 大沢事務所
------
kamoland.com
Rubyでrefererから検索キーワードを抽出する - プログラマー's ...
------
www.green-japan.com
Ruby on Railsの求人情報 | 転職サイトGreen（グリーン）
------
www.knowledge-ex.co.jp
カテゴリー: Ruby - JavaとRubyの教育/研修 | 有限会社 ...
------
www.oiax.jp
どのフレームワークが将来的に有望か - Rails 雑感 - Ruby on ...
------
morizyun.github.io
Webサービス開発で必要なSEO基本知識 | 酒と涙とRubyと ...
------
ticklecode.com
STEP11：Ruby on RailsのWebサービス開発で便利なGemを ...
------
www.lifsfoz.com.br
Ruby その他メンズシューズ、紳士靴 Diamond & Natural ...
------
www.tom08.net
rubyでgoogle-api-clientを使ってyoutube動画を取得する方法 ...
------
www.webhack.jp
【Rubyとは？】できることや特徴をわかりやすく徹底解説 ...
------
www.anton-paar.com
ルビー温度計 :: Anton-Paar.com
------
www.webprofessional.jp
Ruby - WPJ
------
schoo.jp
【元非エンジニアが教える！】Rubyとは？今さら聞けない ...
------
blog.codecamp.jp
【Ruby入門徹底ガイド】初心者のための学習ロードマップ ...
------
loumo.jp
スマホで Google 検索できない場合の対処方法 | Lonely Mobiler
------
rubygroupe.jp
SERVICE - RUBY GROUPe
------
tagamidaiki.com
Rubyのデバッグに便利なGem「pry」の紹介 [初心者オススメ ...
------
docs.datadoghq.com
Google Stackdriver Logging - Datadog Docs
------
zaikeyuki.blog96.fc2.com
Selenium WebDriverによるRubyテストスクリプト例 - Zaike ...
------
www.it-swarm-ja.tech
ruby-on-rails — どのリダイレクトを使用しますか？
------
www.mistore.jp
「ruby」検索結果 商品一覧 | 三越伊勢丹オンラインストア ...
------
play.google.com
城とドラゴン - Google Play のアプリ
------
diveintocode.jp
プログラミングスクール代表が勧める ... - DIVE INTO CODE
------
note.com
【超入門】ruby+selenium webdriverでgoogleを表示する - note
------
thinkit.co.jp
[ThinkIT] 第3回：Ajax、Googleアプライアンス、アジャイル ...
------
mado-yamamoto.co.jp
twitter 文字化け やり方
------
www.itmedia.co.jp
Google GearsでRuby on Railsをオフライン化 (1/2) - ITmedia ...
------
www.nnn.ed.nico
プログラミング入門コース HTTP通信でrubyをインストール ...
------
dekiru.net
rubyタグの意味と使い方 | HTML | できるネット
------
maarui.doorblog.jp
rubyでgoogle APIを使った検索 : まぁるいしっぽ
------
toyota.jp
トヨタ ルーミー | トヨタ自動車WEBサイト - TOYOTA
------
zhyy.factorysviluppo.it
Ruby Cannot Load Such File Gem - Factory Sviluppo ...
------
コマンド実行後、「Google検索結果のタイトルとURLをスクレイピングした結果」g表示された場合、「正常にRubyのNokogiriでGoogle検索の結果をスクレイピングできた」と判断できます。
google-search-nokogiri.rbを短時間で大量に実行するとGoogleから規制を受ける（Google検索ができなくなる）ので要注意です。
以上で、『手順2：「RubyのNokogiriでスクレイピングする」プログラムの動作確認』は完了です。
上記の流れで、RubyのNokogiriでGoogle検索結果をスクレイピングできました。
【まとめ】RubyのNokogiriでスクレイピングする手順【最短5分】
いかがでしたでしょうか？「スクレイピングとは何か？」、「RubyのNokogiriとは何か？」、「Nokogiriを用いてGoogleの検索結果をスクレイピングする流れ」を解説し、以下の悩みを解決しました。
★悩み★
・Rubyでスクレイピングをする場合、どのライブラリを使えばいいの？
・RubyのスクレイピングライブラリNokogiriって簡単にインストール可能？
・RubyのNokogiriでGoogle検索の結果をスクレイピングできるの？
「RubyのスクレイピングライブラリNokogiri」を利用するだけで、「簡単にRubyでスクレイピング」できます。ぜひあなたも本記事を参考に「Rubyで様々なサイトをスクレイピング」してみてください。
コメント