Pythonでウェブサイトを操作する方法

2024年7月6日2024年8月21日

Pythonはさまざまな機能を持つ汎用プログラミング言語で、その中にはウェブサイトの操作も含まれます。

この記事では、Pythonを使ってウェブサイトを操作するための基本的方法と、具体的なライブラリについて紹介します。

ウェブサイト操作の基本：HTTPリクエスト

ウェブサイトを操作する基本は、HTTP（Hypertext Transfer Protocol）リクエストを送信することです。

Pythonには、HTTPリクエストを簡単に行える標準ライブラリのrequestsがあります。

import requests

url = 'http://example.com'
response = requests.get(url)

print(response.text)

このコードは、指定されたURLにGETリクエストを送り、サーバーからのレスポンスをテキスト形式で出力しています。

この方法は、データの取得やサービスの利用に非常に便利です。

ウェブサイトのスクレイピング

ウェブサイトからデータを取得する技術をスクレイピングと言います。

Pythonには、有名なスクレイピングライブラリとしてBeautiful SoupとScrapyがあります。

まずはBeautiful Soupを使った簡単な例を見てみましょう。

from bs4 import BeautifulSoup
import requests

url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

title = soup.title.string
print(f'Title: {title}')

このコードでは、まずウェブページのHTMLコードを取得し、それをBeautiful Soupを使って解析しています。

そして、ページのタイトルを抽出して表示しています。

自動化ツールSeleniumの利用

スクレイピングだけでなく、ウェブサイト上の操作を自動化するためにはSeleniumを使うこともできます。

Seleniumはブラウザを自動的に操作するためのライブラリで、フォームの入力やボタンのクリックなどをプログラムで実行できます。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('http://example.com')

search_box = driver.find_element_by_name('q')
search_box.send_keys('Python')
search_box.submit()

print(driver.page_source)
driver.quit()

このコードは、Chromeブラウザを開いて指定されたURLにアクセスし、検索ボックスに「Python」と入力してフォームを送信する例です。

Seleniumを使えば、複雑な操作も容易に自動化できます。