[Python]Googleの検索結果をスクレイピングして、スプレッドシートに保存！

[データI/O]スプレッドシート×DataFrameを一気に変換する方法

アルゴリズム

ここでは、実際にプログラムを書く上で、こんなフローにすれば良さそうだなと思った、大まかなアルゴリズムを記載します。

プログラム

以下、Google自然検索のTop10位サイトにおけるタイトルと要約、キーワードを抜き出してスプレッドシートに入力するPythonのプログラムです。

クレデンシャルの秘密キーと用意したスプレッドシートキー以外はコピペで動作すると思います。

import re
import json
import requests as rq
import lxml.html as lx
import gspread
from oauth2client.service_account import ServiceAccountCredentials 

scope = ['https://spreadsheets.google.com/feeds','https://www.googleapis.com/auth/drive']
credentials = ServiceAccountCredentials.from_json_keyfile_name('クレデンシャルの秘密キー', scope)
gc = gspread.authorize(credentials)

#用意したスプレッドシートキーを指定する
SPREADSHEET_KEY = 'スプレッドシートキー'
worksheet = gc.open_by_key(SPREADSHEET_KEY).sheet1

#B3セルの値を検索クエリとして受け取る
search_query=worksheet.acell('B3').value

#requestsのget関数を使用して、Googleの検索結果画面(10位まで)の情報を抜き出す
r = rq.get('http://www.google.co.jp/search?hl=jp&gl=JP&num=10&q='+search_query)
html = r.text.encode()		#コンテンツをエンコードする
root = lx.fromstring(html)	#パース（lxmlでスクレイピングする準備をする）

#F6セルから下方向に記事URLを抜き出す
i=6
for a in root.cssselect('div#search h3.r a'):
    worksheet.update_cell(i,6, re.sub(r'/url\?q=|&sa.*', '',a.get('href'))) #update_cell(行,列,上書きする値)
    i = i+1

#F列に入力されているURLをクロールして、タイトル、要約、キーワードを抜き出す
#10位のサイトまで繰り替えす
for i in range(6,16):
		
    try: # 古いサイトが読み込めないので無視する
        search = rq.get(worksheet.acell('F'+str(i)).value)	#acell('F6'.value) F6〜15セルの値をクロールする
        search_html = search.text.encode(search.encoding)	#encode(XXXX.encoding)：読み込む前に文字化けするものに対応
        
        #文字コードがUTFｰ8ならUTF-8でデコードしてパース
        if(search.encoding=='utf-8' or search.encoding=='UTF-8'):
            search_root = lx.fromstring(search_html.decode('utf-8'))

        #文字コードがそれ以外は普通にパース
        else:
            search_root = lx.fromstring(search_html)
        
        #タイトルの設定
        list_title = []
        for a in search_root.cssselect('title'):
            list_title.append(a.text)     
        title=''
        for index,item in enumerate(list_title):
            if index==0:
                title = item
            else:
                title = title + ', ' +item
        worksheet.update_cell(i,3, title)
       
        #ディスクリプションの設定
        list_description = []
        for a in search_root.cssselect('meta[name="description"]'):
            list_description.append(a.get('content'))     
        description=''
        for index,item in enumerate(list_description):
            if index==0:
                description = item
            else:
                description = description + ', ' +item
        worksheet.update_cell(i,4, description)
        
        #キーワードの設定
        list_keywords = []
        for a in search_root.cssselect('meta[name="keywords"]'):
            list_keywords.append(a.get('content'))     
        keywords=''
        for index,item in enumerate(list_keywords):
            if index==0:
                keywords = item
            else:
                keywords = keywords + ', ' +item
        worksheet.update_cell(i,5, keywords)

    except: #例外処理：古いサイトを読み込めなかったときにする処理
        worksheet.update_cell(i,3, 'エラーのため測定不能')
        worksheet.update_cell(i,4, 'エラーのため測定不能')
        worksheet.update_cell(i,5, 'エラーのため測定不能')

もっとスプレッドシートの出力をカスタマイズしたい場合は、gspreadライブラリを参考にすると良いですよ。

gspreadライブラリの使い方まとめ！Pythonでスプレッドシートを操作する

さいごに

今回はPythonを使って、Googleの検索結果をスクレイピングして、スプレッドシートに記入させるプログラムを紹介しました。

Webに携わる方であれば、結構嬉しいプログラムなのではないでしょうか。

【保存版】cronでPython3を定時実行する方法&注意すべき４つのポイント

それでは、良いスクレイピングライフを

Ｐｙｔｈｏｎクロ-リング＆スクレイピング デ-タ収集・解析のための実践開発ガイド /技術評論社/加藤耕太

posted with カエレバ

楽天市場

Amazon

退屈なことはＰｙｔｈｏｎにやらせよう ノンプログラマーにもできる自動化処理プログラミング /オライリ-・ジャパン/アル・スウェイガート

posted with カエレバ

楽天市場

Amazon