★悩み★
・PythonからChromeを起動してGoogle検索ってできるんだろうか。
・Google検索結果からページタイトルとURLを抽出できないかな。
・Seleniumを利用したGoogle検索の方法が分からないな。
こういった「悩み」に答えます。
★本記事の内容★
PythonのSeleniumでGoogle検索する方法をご紹介
これからご紹介する「PythonのSeleniumでGoogle検索する方法」を実践したことで、筆者は30分以内でPythonのSeleniumでGoogle検索できました。
記事の前半では「PythonのSeleniumをインストールする方法」を解説しつつ、記事の後半では「Seleniumを用いてPythonでGoogle検索する方法」をご紹介します。
この記事を読み終えることで、「Seleniumを用いてPythonでGoogle検索する方法」を把握した状態になります。
ちなみに、BeautifulSoupを用いてPythonでGoogle検索する方法を知りたい方は、以下をご覧ください。
PythonのSeleniumでGoogle検索する方法
「PythonのSeleniumでGoogle検索する方法」に関してご紹介します。
★ご紹介の流れ★
ステップ1：Pythonのインストール
ステップ2：PythonのSeleniumをインストール
ステップ3：Chromeをインストール
ステップ4：PythonのSeleniumでGoogle検索するプログラムの実装
ステップ5：PythonのSeleniumでGoogle検索するプログラムの動作確認
上記の流れで「Seleniumを用いてPythonでGoogle検索する方法」をご紹介していきます。
上記の各ステップは、以下の環境で動作確認済みです。
動作確認済み環境：CentOS Linux release 7.8.2003 (Core)
以降で、各ステップに関してご紹介します。
ステップ1：Pythonのインストール
以下の記事を参考にし、お使いのパソコンやサーバーにPythonをインストールしましょう。
>> 【ubuntu向け】pyenvでPythonをインストールする手順【簡単】
>> 【コピペOK】pyenvでPythonをインストールする手順【Linux用】
>> 【最短5分】PyAutoGUIをWindowsにインストールする手順の「手順1：Pythonのインストール」を参照
>> 【環境構築】インストーラーでMacOSにPythonをインストール
既にPythonをインストールされている方は、本ステップを省略してください。
以上で、「ステップ1：Pythonのインストール」は完了です。
ステップ2：PythonのSeleniumをインストール【Google検索に必要】
PythonでWebブラウザを用いたGoogle検索するためには、Seleniumをインストールする必要があります。
PythonのSeleniumのインストール方法は、以下の記事をご覧ください。
既にPythonのSeleniumをインストールされている方は、本ステップを省略してください。
以上で、「ステップ2：PythonのSeleniumをインストール」は完了です。
ステップ3：Chromeをインストール【Google検索に必要】
今回は、PythonのSeleniumで「Chrome」を用いてGoogle検索するため、Chromeをインストールする必要があります。
端末またはコマンドプロンプトを起動し、Chromeをインストールするために、以下のコマンドを順に実行します。
$ sudo cat <<EOF > /etc/yum.repos.d/google-chrome.repo
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=0
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
EOF
$ sudo yum -y install --enablerepo=google-chrome google-chrome-stable
$ wget https://chromedriver.storage.googleapis.com/87.0.4280.88/chromedriver_linux64.zip
$ unzip chromedriver_linux64.zip
$ sudo mv chromedriver /usr/local/bin/
$ sudo chmod 755 /usr/local/bin/chromedriver
$ sudo yum -y install ipa-pgothic-fonts.noarch
Chromeがインストールされたことを確認するために、以下のコマンドを順に実行します。
$ google-chrome --version
google-chrome --version
Google Chrome 87.0.4280.88
$ chromedriver --version
ChromeDriver 87.0.4280.88 (89e2380a3e36c3464b5dd1302349b1382549290d-refs/branch-heads/4280@{#1761})
上記のようにバージョンが出力された場合、Chromeが正常にインストールされたと判断できます。
既にChromeとChromeDriver（SeleniumでChromeを操作するのに必要）をインストールされている方は、本ステップを省略してください。
以上で、「ステップ3：Chromeをインストール」は完了です。
ステップ4：PythonのSeleniumでGoogle検索するプログラムの実装
「PythonのSeleniumでGoogle検索するプログラムの実装」に関してご紹介します。
以下のプログラムをgoogle-search-selenium.pyというファイル名で保存しましょう。
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
# Google検索をし検索結果を取得する関数
def search_google_by_selenium(word):
searched_list = []
options = Options()
options.add_argument('--headless')
# Chromeをヘッドレスモードで起動
driver = webdriver.Chrome(chrome_options=options)
#driver = webdriver.Chrome() # ヘッドレスモードでChromeを起動しない場合
driver.get("https://google.co.jp/search?") # Googleを開く
search = driver.find_element_by_name("q") # 検索ボックス"q"を指定する
search.send_keys(word) # 検索ワードを送信
search.submit() # 検索を実行
time.sleep(2)
# Google検索結果からタイトルとURLを抽出
for elem_h3 in driver.find_elements_by_xpath('//a/h3'):
elem_a = elem_h3.find_element_by_xpath('..')
page_data = []
page_data.append(elem_h3.text)
page_data.append(elem_a.get_attribute('href'))
searched_list.append(page_data)
driver.quit() # Chromeを終了する。
return searched_list
searched_list = search_google_by_selenium("python selenium Google検索")
# Google検索の結果を表示
for page_data in searched_list:
print(page_data[0])
print(page_data[1])
print("----------")
以上で、「ステップ4：PythonのSeleniumでGoogle検索するプログラムの実装」は完了です。
ステップ5：PythonのSeleniumでGoogle検索するプログラムの動作確認
「PythonのSeleniumでGoogle検索するプログラムの動作確認」に関してご紹介します。
以下のコマンドを実行し、PythonのSeleniumでGoogle検索するプログラムの動作を確認しましょう。
$ python3 google-search-selenium.py
test.py:15: DeprecationWarning: use options instead of chrome_options
driver = webdriver.Chrome(chrome_options=options)
Python/SeleniumでChrome自動Google検索 | WATLAB ...
https://watlab-blog.com/2019/08/11/selenium-google-search/
----------
【python selenium】Google検索結果をスクレイピング後 ...
qiita.com
----------
[python]ヘッドレスChromeでGoogle検索結果上位10件 - Qiita
teratail.com
----------
【ChromeDriver】python3でgoogle検索を自動化する ...
tomowarkar.com
----------
Python + Selenium + ChromeでGoogleの検索を自動化する [非 ...
----------
【Python】Seleniumを使ってGoogle検索結果のページ送り ...
----------
【python×selenium】Googleの検索結果一覧からタイトルを ...
www.mittsu-kosen.com
----------
図解！PythonでSeleniumを使ったスクレイピングを徹底解説 ...
ai-inter1.com
----------
PythonのseleniumでGoogle検索する方法【Google Chrome ...
yutori-insotsu.net
----------
上記のようにPythonのSeleniumでGoogle検索し、Google検索した結果を抽出することができます。
google-search-selenium.pyを短時間で大量に実行すると「HTTPError: HTTP Error 403: Forbidden」エラーが出力され、Googleから規制を受ける（Google検索ができなくなる）ので要注意です。
「HTTPError: HTTP Error 403: Forbidden」を回避し、かつ、短時間で大量にGoogle検索をしたい場合、以下の記事で紹介している「GUI操作の自動化ができるPyAutoGUI」の利用を検討してください。
>> 【要点】PyAutoGUIとは？初心者向けに特徴から使い方までを図解
【まとめ】PythonのSeleniumでGoogle検索する方法
今回の記事を通して、「PythonのSeleniumでGoogle検索する方法」をご紹介することで、以下の悩みを解消しました。
★悩み★
・PythonからChromeを起動してGoogle検索ってできるんだろうか。
・Google検索結果からページタイトルとURLを抽出できないかな。
・Seleniumを利用したGoogle検索の方法が分からないな。
「PythonのSeleniumでGoogle検索する方法は？」で悩んでいるあなたにこの記事が少しでも役に立てれば幸いです。
コメント