スポンサーリンク

【コピペOK】PythonのSeleniumでGoogle検索する方法

★悩み★
・PythonからChromeを起動してGoogle検索ってできるんだろうか。
・Google検索結果からページタイトルとURLを抽出できないかな。
・Seleniumを利用したGoogle検索の方法が分からないな。


こういった「悩み」に答えます。

★本記事の内容★
PythonのSeleniumでGoogle検索する方法をご紹介


これからご紹介する「PythonのSeleniumでGoogle検索する方法」を実践したことで、筆者は30分以内でPythonのSeleniumでGoogle検索できました。

記事の前半では「PythonのSeleniumをインストールする方法」を解説しつつ、記事の後半では「Seleniumを用いてPythonでGoogle検索する方法」をご紹介します。

この記事を読み終えることで、「Seleniumを用いてPythonでGoogle検索する方法」を把握した状態になります。

ちなみに、BeautifulSoupを用いてPythonでGoogle検索する方法を知りたい方は、以下をご覧ください。

PythonのSeleniumでGoogle検索する方法

「PythonのSeleniumでGoogle検索する方法」に関してご紹介します。

★ご紹介の流れ★
ステップ1:Pythonのインストール
ステップ2:PythonのSeleniumをインストール
ステップ3:Chromeをインストール
ステップ4:PythonのSeleniumでGoogle検索するプログラムの実装
ステップ5:PythonのSeleniumでGoogle検索するプログラムの動作確認


上記の流れで「Seleniumを用いてPythonでGoogle検索する方法」をご紹介していきます。

上記の各ステップは、以下の環境で動作確認済みです。
動作確認済み環境:CentOS Linux release 7.8.2003 (Core)


以降で、各ステップに関してご紹介します。

ステップ1:Pythonのインストール

Pythonのインストール方法に関してご紹介します。

Pythonのインストール方法は、以下の記事をご覧ください。

既にPythonをインストールされている方は、本ステップを省略してください。


以上で、「ステップ1:Pythonのインストール」は完了です。

ステップ2:PythonのSeleniumをインストール【Google検索に必要】

PythonでWebブラウザを用いたGoogle検索するためには、Seleniumをインストールする必要があります。

PythonのSeleniumのインストール方法は、以下の記事をご覧ください。

既にPythonのSeleniumをインストールされている方は、本ステップを省略してください。


以上で、「ステップ2:PythonのSeleniumをインストール」は完了です。

ステップ3:Chromeをインストール【Google検索に必要】

今回は、PythonのSeleniumで「Chrome」を用いてGoogle検索するため、Chromeをインストールする必要があります。

端末またはコマンドプロンプトを起動し、Chromeをインストールするために、以下のコマンドを順に実行します。

$ sudo cat <<EOF > /etc/yum.repos.d/google-chrome.repo
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=0
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
EOF
$ sudo yum -y install --enablerepo=google-chrome google-chrome-stable
$ wget https://chromedriver.storage.googleapis.com/87.0.4280.88/chromedriver_linux64.zip
$ unzip chromedriver_linux64.zip
$ sudo mv chromedriver /usr/local/bin/
$ sudo chmod 755 /usr/local/bin/chromedriver
$ sudo yum -y install ipa-pgothic-fonts.noarch


Chromeがインストールされたことを確認するために、以下のコマンドを順に実行します。

$ google-chrome --version
google-chrome --version
Google Chrome 87.0.4280.88
$ chromedriver --version
ChromeDriver 87.0.4280.88 (89e2380a3e36c3464b5dd1302349b1382549290d-refs/branch-heads/4280@{#1761})


上記のようにバージョンが出力された場合、Chromeが正常にインストールされたと判断できます。

既にChromeとChromeDriver(SeleniumでChromeを操作するのに必要)をインストールされている方は、本ステップを省略してください。


以上で、「ステップ3:Chromeをインストール」は完了です。

ステップ4:PythonのSeleniumでGoogle検索するプログラムの実装

「PythonのSeleniumでGoogle検索するプログラムの実装」に関してご紹介します。

以下のプログラムをgoogle-search-selenium.pyというファイル名で保存しましょう。

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

# Google検索をし検索結果を取得する関数
def search_google_by_selenium(word):

  searched_list = []

  options = Options()
  options.add_argument('--headless')

  # Chromeをヘッドレスモードで起動
  driver = webdriver.Chrome(chrome_options=options)
  #driver = webdriver.Chrome() # ヘッドレスモードでChromeを起動しない場合

  driver.get("https://google.co.jp/search?")  # Googleを開く
  search = driver.find_element_by_name("q")   # 検索ボックス"q"を指定する
  search.send_keys(word)                      # 検索ワードを送信
  search.submit()                             # 検索を実行
  time.sleep(2)

  # Google検索結果からタイトルとURLを抽出
  for elem_h3 in driver.find_elements_by_xpath('//a/h3'):
    elem_a = elem_h3.find_element_by_xpath('..')

    page_data = []
    page_data.append(elem_h3.text)
    page_data.append(elem_a.get_attribute('href'))

    searched_list.append(page_data)

  driver.quit()  # Chromeを終了する。
  return searched_list

searched_list = search_google_by_selenium("python selenium Google検索")

# Google検索の結果を表示
for page_data in searched_list:
    print(page_data[0])
    print(page_data[1])
    print("----------")


以上で、「ステップ4:PythonのSeleniumでGoogle検索するプログラムの実装」は完了です。

ステップ5:PythonのSeleniumでGoogle検索するプログラムの動作確認

「PythonのSeleniumでGoogle検索するプログラムの動作確認」に関してご紹介します。

以下のコマンドを実行し、PythonのSeleniumでGoogle検索するプログラムの動作を確認しましょう。

$ python3 google-search-selenium.py 
test.py:15: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(chrome_options=options)
Python/SeleniumでChrome自動Google検索 | WATLAB ...
https://watlab-blog.com/2019/08/11/selenium-google-search/
----------
【python selenium】Google検索結果をスクレイピング後 ...
【python selenium】Google検索結果をスクレイピング後 タイトルとURLをcsv出力 - Qiita
環境 macOS Catalina 10.15.3 Python 3.6.5 概要 任意のワードでGoogle検索し、その検索結果の一覧を任意のページ数まで取得 タイトルとurlをcsv出力する 方法(コピペOK) ...
---------- [python]ヘッドレスChromeでGoogle検索結果上位10件 - Qiita
[python]ヘッドレスChromeでGoogle検索結果上位10件 - Qiita
はじめに Seleniumでスクレイピングする際に、ヘッドレス(ブラウザ非表示)で動かす方法のmemo。 ただし、このままだとファイルのダウンロードなどが失敗します。クロムの設定をいじる必要があるようです。ファイルDLを実施する...
---------- Python - pythonのseleniumでgoogle検索|teratail
pythonのseleniumでgoogle検索|teratail
概要Pythonクローリング&スクレイピングという本を参考に現在学習しています。以下のコードを実行した際になぜか検索結果が表示されませんでした。 該当のソースコードfrom selenium import webdriverfrom selenium.webdriver.common.keys i
---------- 【ChromeDriver】python3でgoogle検索を自動化する ...
【ChromeDriver】python3でgoogle検索を自動化する
こんにちは、ともろう(@tomorrowSLog)です。 webdriverの自動検索で少し遊んでみたので書き…
---------- Python + Selenium + ChromeでGoogleの検索を自動化する [非 ... ---------- 【Python】Seleniumを使ってGoogle検索結果のページ送り ... ---------- 【python×selenium】Googleの検索結果一覧からタイトルを ...
【python×selenium】Googleの検索結果一覧からタイトルを取得する
本記事の要約 Googleでの検索結果から記事のタイトルを抽出するプログラムを書いたので紹介する。 プログラム…
---------- 図解!PythonでSeleniumを使ったスクレイピングを徹底解説 ...
図解!PythonでSeleniumを使ったスクレイピングを徹底解説!(インストール・使い方・Chrome) - AI-interのPython3入門
PythonでSeleniumを使ったWEBスクレイピングの方法を初心者向けに解説した記事です。インストール方法やXPathを用いた要素の指定方法、ログイン方法など、これだけを読んでおけば良いよう、徹底的に解説しています。
---------- PythonのseleniumでGoogle検索する方法【Google Chrome ...
PythonのseleniumでGoogle検索する方法【Google Chrome操作プログラム】
最近、自分なりにプログラミング言語Pythonの独学をしております。 練習としてGoogle Chromeの検索を自動で行うプログラムを組んでみたのでメモ代わりに公開しておきます。
----------


上記のようにPythonのSeleniumでGoogle検索し、Google検索した結果を抽出することができます。

google-search-selenium.pyを短時間で大量に実行するとGoogleから規制を受ける(Google検索ができなくなる)ので要注意です。

【まとめ】PythonのSeleniumでGoogle検索する方法

今回の記事を通して、PythonのSeleniumでGoogle検索する方法」をご紹介することで、以下の悩みを解消しました。

★悩み★
・PythonからChromeを起動してGoogle検索ってできるんだろうか。
・Google検索結果からページタイトルとURLを抽出できないかな。
・Seleniumを利用したGoogle検索の方法が分からないな。


PythonのSeleniumでGoogle検索する方法は?」で悩んでいるあなたにこの記事が少しでも役に立てれば幸いです。

コメント

タイトルとURLをコピーしました