Seleniumを安定稼働させるために行うべき３つの設定(Headlessモードにも対応)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# Chrome Optionsの設定
options = Options()
options.add_argument('--headless')                 # headlessモードを使用する
options.add_argument('--disable-gpu')              # headlessモードで暫定的に必要なフラグ(そのうち不要になる)
options.add_argument('--disable-extensions')       # すべての拡張機能を無効にする。ユーザースクリプトも無効にする
options.add_argument('--proxy-server="direct://"') # Proxy経由ではなく直接接続する
options.add_argument('--proxy-bypass-list=*')      # すべてのホスト名
options.add_argument('--start-maximized')          # 起動時にウィンドウを最大化する

# Chrome DriverのPath
driver_path = '{{ Chrome DriverのPath }}'

# Chrome Driverを起動する
driver = webdriver.Chrome(executable_path=driver_path, chrome_options=options)

#
# (1) 暗黙的な待機
#

# Webページを開く
driver.get('{{ クローリングするURL }}')

#
# (2) 明示的な待機
#

# Chrome Driverを終了する
driver.quit()

driver.implicitly_wait(10) # 秒

# Chrome Driverを起動する
driver = webdriver.Chrome(executable_path=driver_path, chrome_options=options)

# 要素が見つかるまで、最大10秒間待機する
driver.implicitly_wait(10)

# 指定した要素が表示されるまで、明示的に30秒待機する
selector = '{{ CSSセレクタ }}'
element = WebDriverWait(driver, 30).until(
	EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
)

import time
time.sleep(30) # 秒

# ファイルをダウンロードする処理
selector = '{{ CSSセレクタ }}'
element = WebDriverWait(driver, 30).until(
	EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
)
element.click()

# ファイルがダウンロードされるまで、とりあえず10秒スリープする
time.sleep(10)

#
# 次の処理
#

from selenium.common.exceptions import TimeoutException

try:
	# 失敗しそうな処理
	selector = '{{ CSSセレクタ }}'
	element = WebDriverWait(driver, 30).until(
		EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
	)
except TimeoutException as e:
	# 失敗時の処理
	# エラー内容(e)や実行時間、操作中のURL、セレクタ、スクショなどを通知する。
	# そのまま処理を続けてもいいし、プログラムを強制終了しても良い

for _ in range(3): # 最大3回実行
	try:
		# 失敗しそうな処理
	except Exception as e:
		# 失敗時の処理(不要ならpass)
	else:
		# 失敗しなかった場合は、ループを抜ける
		break
else:
	# リトライが全部失敗したときの処理

from selenium.common.exceptions import TimeoutException

error = ''
for _ in range(3): # 最大3回実行
	try:
		# 失敗しそうな処理
		selector = '{{ CSSセレクタ }}'
		element = WebDriverWait(driver, 30).until(
			EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
		)
	except TimeoutException as e:
		# エラーメッセージを格納する
		error = e
	else:
		# 失敗しなかった場合は、ループを抜ける
		break
else:
	# リトライが全部失敗したときの処理
	# エラー内容(error)や実行時間、操作中のURL、セレクタ、スクショなどを通知する。
	# そのまま処理を続けてもいいし、プログラムを強制終了しても良い

# リトライして失敗したらエラーメッセージを通知する。成功したらelementを返す
def getElement(css_selector, wait_second, retries_count):

	error = ''
	for _ in range(retries_count):
		try:
			# 失敗しそうな処理
			selector = css_selector
			element = WebDriverWait(driver, wait_second).until(
				EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
			)
		except TimeoutException as e:
			# エラーメッセージを格納する
			error = e
		else:
			# 失敗しなかった場合は、ループを抜ける
			break
	else:
		# リトライが全部失敗したときの処理
	
		# エラー内容(error)や実行時間、操作中のURL、セレクタ、スクショなどを通知する。
		do_something() # 好きな処理

		# プログラムを強制終了する
		sys.exit(1)
	return element

element = getElement('{{ CSSセレクタ }}', {{ 待機時間 }}, {{ リトライする回数 }})
# element.click()
# element.text
# element.get_attribute('属性名')
# element.send_keys('入力する文字列')
# element.clear()

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

# Chrome Optionsの設定
options = Options()
options.add_argument('--headless')                 # headlessモードを使用する
options.add_argument('--disable-gpu')              # headlessモードで暫定的に必要なフラグ(そのうち不要になる)
options.add_argument('--disable-extensions')       # すべての拡張機能を無効にする。ユーザースクリプトも無効にする
options.add_argument('--proxy-server="direct://"') # Proxy経由ではなく直接接続する
options.add_argument('--proxy-bypass-list=*')      # すべてのホスト名
options.add_argument('--start-maximized')          # 起動時にウィンドウを最大化する

# Chrome DriverのPath
driver_path = '{{ Chrome DriverのPath }}'

# Chrome Driverを起動する
driver = webdriver.Chrome(executable_path=driver_path, chrome_options=options)

# 要素が見つかるまで、最大10秒間待機する
driver.implicitly_wait(10)

# Webページを開く
driver.get('{{ クローリングするURL }}')

# リトライして失敗したらエラーメッセージを通知する。成功したらelementを返す
def getElement(css_selector, wait_second, retries_count):

	error = ''
	for _ in range(retries_count):
		try:
			# 失敗しそうな処理
			selector = css_selector
			element = WebDriverWait(driver, wait_second).until(
				EC.visibility_of_element_located((By.CSS_SELECTOR, selector))
			)
		except TimeoutException as e:
			# エラーメッセージを格納する
			error = e
		else:
			# 失敗しなかった場合は、ループを抜ける
			break
	else:
		# リトライが全部失敗したときの処理
	
		# エラー内容(error)や実行時間、操作中のURL、セレクタ、スクショなどを通知する。
		do_something() # 好きな処理

		# プログラムを強制終了する
		sys.exit(1)
	return element

# 処理1
element = getElement('{{ CSSセレクタ }}', {{ 待機時間 }}, {{ リトライする回数 }})
element.click()

# 処理2
element = getElement('{{ CSSセレクタ }}', {{ 待機時間 }}, {{ リトライする回数 }})
element.text

# 処理3
element = getElement('{{ CSSセレクタ }}', {{ 待機時間 }}, {{ リトライする回数 }})
element.click()

#
# 処理…
#

# Chrome Driverを終了する
driver.quit()