Python + selenium で銀行の明細が取得できた

間が空いてしまいましたが、三井住友銀行の取引履歴を取得できるようになりました。

最初は真面目にHTMLをパースしようかと思ったのですが、三井住友銀行では取引履歴を CSV ファイルとして取得する機能があったので、CSV を取得して解析することで手抜きしています。

selenium の webdriver をより便利に使えるように、 webdriver クラスを継承した Browser というクラスを用意しました。webdriver に関してよく使うようなユーティティ関数を追加していこうと思ってます。

クラス図的にはこんな感じ?

仕事ではクラス図をほとんど書かないので、書けるようになるように練習がてらクラス図も書いていこうと思います。途中で投げ出すかもしれませんが。

苦労したのは CSV のダウンロードです。webdriver で CSV をクリックすると、ダウンロードのダイアログが表示されてしまいます。ダイアログの制御は webdriver では難しいらしく、色々調べた結果、webdriver を使わずに requests でダウンロードする方法が見つかりました。

ログイン情報を引き継ぐため、webdriver の cookie をすべて読み出して、requests に設定するのがポイントのようです。ただこの方法のままではうまく動かず、User-Agentも設定してあげる必要がありました。requests での User-Agent の設定は以下の記事を参考にしました。

また、前のブログでは sleep で待ち合わせしていたのですが、キー入力後に値が反映されるまで待つ sync_send_keys() という関数を用意しました。

ソースコードを以下に貼っておきます。main.py の USRID1, USRID2, PASSWORD を書き換えれば動作するはずです。

実行すると、Firefoxが起動してログインし、残高表示ページに遷移して CSV ファイルをダウンロードして表示します。

まずは明細情報を取得することができました。小さな一歩ですが少しだけ進むことができました。Python と Selenium を使うと簡単にスクレイピングできてしまうんですね。実際使ってみてコーディング量の少なさに驚きました。Python 初心者なのでここまでたどり着くのにも非常に時間がかかってしまいましたが、自由に使えるようになったらかなり便利そうです。

<br />
#!/usr/bin/python3</p>
<p>from selenium import webdriver<br />
from selenium.webdriver.common.by import By<br />
from selenium.common.exceptions import NoSuchElementException</p>
<p>from browser import Browser<br />
import csv</p>
<p>URL = &quot;https://direct.smbc.co.jp/aib/aibgsjsw5001.jsp&quot;<br />
USRID1 = &quot;12345&quot;<br />
USRID2 = &quot;67890&quot;<br />
PASSWORD = &quot;1111&quot;</p>
<p>browser = Browser(webdriver.Firefox())<br />
#browser = webdriver.Chrome()<br />
#browser = webdriver.PhantomJS()<br />
browser.implicitly_wait(3)</p>
<p># open URL<br />
browser.get(URL)</p>
<p># enter<br />
browser.sync_send_keys((By.ID, &quot;USRID1&quot;), USRID1)<br />
browser.sync_send_keys((By.ID, &quot;USRID2&quot;), USRID2)</p>
<p># Password<br />
browser.sync_send_keys((By.ID, &quot;PASSWORD&quot;), PASSWORD)</p>
<p># Click login<br />
browser.find_element_by_name(&quot;bLogon.y&quot;).click();</p>
<p># 期限切れなら次へをクリック<br />
try:<br />
    es = browser.find_elements_by_name(&quot;imgNext.y&quot;)<br />
except NoSuchElementException:<br />
    print(&quot;no entry&quot;)<br />
else:<br />
    es[0].click()</p>
<p># ログイン後画面</p>
<p># 明細照会をクリック<br />
browser.find_element_by_css_selector(&quot;.detailsBtn &amp;amp;amp;gt; a&quot;).click()</p>
<p># csv形式でダウンロード<br />
resp = browser.download(browser.find_element_by_id(&quot;DownloadCSV&quot;)<br />
                        .get_attribute(&quot;href&quot;))</p>
<p># 先頭行を抜いて csv.reader に渡す<br />
rows = csv.reader(resp.decode(&quot;shift_jis&quot;).split(&quot;\r\n&quot;)[1:])</p>
<p>for row in rows:<br />
    if len(row) != 5:<br />
        continue<br />
    print(row)</p>
<p>browser.quit()<br />

<br />
# coding: utf-8</p>
<p>import requests<br />
from selenium import webdriver<br />
from selenium.webdriver.support.ui import WebDriverWait<br />
from selenium.webdriver.support import expected_conditions as EC<br />
from selenium.webdriver.common.by import By</p>
<p>class Browser(object):<br />
    def __init__(self, webdriver):<br />
        self.driver = webdriver</p>
<p>    # webdriver のメソッドはそのまま透過<br />
    def __getattr__(self, name):<br />
        if hasattr(self.driver, name):<br />
            return getattr(self.driver, name)<br />
        raise AttributeError</p>
<p>    def download(self, url):<br />
        ua = {'User-agent': self.execute_script(&quot;return navigator.userAgent&quot;)}<br />
        #print(ua)</p>
<p>        session = requests.Session()<br />
        cookies = self.get_cookies()</p>
<p>        for cookie in cookies:<br />
            session.cookies.set(cookie['name'], cookie['value'])<br />
            #print(cookie['name'], cookie['value'])</p>
<p>        #print(url)<br />
        response = session.get(url, headers = ua)<br />
        #print(response.status_code)<br />
        #print(response.content)<br />
        #print(response.headers)<br />
        return response.content</p>
<p>    def sync_send_keys(self, locator, key):<br />
        # wait for element<br />
        WebDriverWait(self, 120).until(<br />
            EC.element_to_be_clickable(locator)<br />
        )<br />
        # send keys<br />
        self.find_element(locator[0], locator[1]).send_keys(key)<br />
        # wait for update<br />
        WebDriverWait(self, 30).until(<br />
            EC.text_to_be_present_in_element_value(locator, key)<br />
        )<br />

コメントする

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です