どこにでもいる30代SEの学習ブログ

主にプログラミング関連の学習内容。読んだ本の感想や株式投資についても書いてます。

プログラミング-スクレイピング

日本株の株価をpythonでスクレイピングを使って取得しmatplotlibで可視化する(複数銘柄)

前回の続きです。前回は単一銘柄の株価をスクレイピングで取得しmatplotlibで可視化しました。今回は複数銘柄の株価を取得し比較していきます。 predora005.hatenablog.com [1] 複数銘柄の株価取得 [2] 可視化 [2-1] 2020年以降のデータを抽出 [2-2] 株価の…

日本株の株価をpythonでスクレイピングを使って取得しmatplotlibで可視化する(単一銘柄)

過去数年分の株価をスクレイピングで取得して可視化する手順を紹介します。最終的に以下のようなグラフを作成します。 各銘柄の時価総額や決算情報を取得する手順や、ライブラリ(pandas-datareader)を用いて株価を取得する手順も別の記事にまとめています。 …

日本株の情報をスクレイピングで取得しmatplotlibで可視化する

*1 前回の続きです。前回は、複数銘柄の決算情報と財務情報をスクレイピングで取得しました。今回は前回取得した情報を可視化します。 predora005.hatenablog.com [1] 基本的な指標の可視化 [1-1] matplotlibをインストール [1-2] PERの可視化 [1-3] PSRとPB…

日本株の決算情報と財務情報をpythonでスクレイピングを使って取得する

*1 前回の続きです。前回は複数銘柄のPERや配当利回り等をスクレイピングで取得しました。今回は決算情報をスクレイピングで取得します。 predora005.hatenablog.com [1] 取得する情報 [1-1] 決算情報と財務情報 [1-2] HTMLの中身 [2] スクレイピング [2-1] …

日本株の基礎指標(PERや配当利回り)をpythonでスクレイピングを使って取得する (2)

*1 前回の続きです。前回は「みんなの株式」から、単一銘柄のPERや配当利回りをスクレイピングで取得しました。今回は複数銘柄の情報を統合してみます。 predora005.hatenablog.com [1] DataFrameにまとめる [1-1] pandasのインストール [1-2] DataFrameの作…

日本株の基礎指標(PERや配当利回り)をpythonでスクレイピングを使って取得する (1)

*1 本記事では、日本株の基礎指標をスクレイピングで取得する手順を紹介しています。また、スクレイピング先のサイトがスクレイピングを禁止していないか確認する方法にも触れています。 [1] きっかけ [2] 時価総額やPERなどの指標を取得 [3] スクレピング可…

Pythonでセルが結合されたテーブルをスクレイピングする方法

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/26にQrunchで書いた記事を移行しました。 BeautifulSoupを使うと、Pythonでスクレイピングを簡単に行うことができます。しかし、セルが結合されたテーブルのスクレイピングは少々面倒です。 以下の画像は、過去の気象データなのですが、テーブ</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

Pythonで気象庁の過去気象データをスクレイピング

※ 2020/02/23にQrunchで書いた記事を移行しました。 気象庁が公開している過去の気象データを取得するためにスクレイピングを使用しました。 今回、取得したのは高層の気象データです。過去の気象データ検索からアクセスできます。 下図の2つの表(table1, ta…