requestsの使い方と文字化け対策

Pocket

PythonでスクレイピングするにはBeautifulSoupなどを使いますが、さほど複雑でなければHTMLを取得して処理したほうが早いです。
この場合、requestsを使うと簡単です。

まずrequestsをインストールします。

$ pip install requests

次のように書きます。

import requests
response = requests.get(url)
html = response.text

元のHTMLがUTF-8ならば問題ないですが違う場合は次のようにします。

import requests
response = requests.get(url)
response.encoding = response.apparent_encoding
html = response.text

エンコーディングを指定します。

[ 2021年11月3日 | カテゴリー: Python | タグ: ]

« | »

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

送信してください。


タグ

カテゴリー

最近の投稿

最近のコメント

固定ページ

アーカイブ

stabucky

写真

メタ情報