<xgboostでクロスバリデーション(Cross Validation)>*1 ※ 2020/04/06にQrunchで書いた記事を移行しました。 xgboost.cv()を使用したクロスバリデーション(交差検証)の方法を簡単にまとめました。 クロスバリデーションとは、学習データの一部を検証用データとして使用する手法です。 Wikipedaによれば次の通り</xgboostでクロスバリデーション(cross>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/26にQrunchで書いた記事を移行しました。 BeautifulSoupを使うと、Pythonでスクレイピングを簡単に行うことができます。しかし、セルが結合されたテーブルのスクレイピングは少々面倒です。 以下の画像は、過去の気象データなのですが、テーブ</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/14にQrunchで書いた記事を移行しました。 pandasのDataFrameを連結する際はconcatを使用します。 このとき、DataFrameにNaNが含まれていると型が変わってしまう場合があります。 起きた事象 dtypeがintの列を結合するとき、結合元のいずれかにN</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

※ 2020/02/23にQrunchで書いた記事を移行しました。 気象庁が公開している過去の気象データを取得するためにスクレイピングを使用しました。 今回、取得したのは高層の気象データです。過去の気象データ検索からアクセスできます。 下図の2つの表(table1, ta…

※ 2020/02/16にQrunchで書いた記事を移行しました。 Pyhtonで機械学習を行うとき、入力データをCSVファイルから取得することがあります。 Pythonで機械学習と言えばnumpyが欠かせませんが、CSVファイルの読み込みはpandasで行うと大変便利です。数行のコード…

Amazon Linux 2でJupyter Notebookを使えるようにするまで*1 ※ 2020/02/26にQrunchで書いた記事を移行しました。 Jupyter Notebookは機械学習を実行する環境として有名です。 機械学習には触れてきましたが、Jupyter Notebookには触れてこなかったので使って…

*1 「 機械学習のエッセンス 実装しながら学ぶPython、数学、アルゴリズム」を読みました。 本書は、機械学習の理論をPythonを実装しながら学ぶ本です。 機械学習やディープラーニングに数年触れてきながらも、理論はあまり理解していませんでした。理論を知…

※ 2020/02/11にQrunchで書いた記事を移行しました。 AWS Cloud9でvirtualenvを使う際は、ちょっとした設定の変更が必要です。 AWS Cloud9でvirtualenvを使いたいという需要はあまり無いように思いますが、私は使いたいので設定変更の手順を書きました。 イン…

AWS Cloud9で初めてPython3を動かすまでの手順*1 ※ 2020/02/02にQrunchで書いた記事を移行しました。 何が出来るのか AWS Cloud9を使うメリット AWS Cloud9を使うデメリット 使い方 [1] 作成 [2] 名称と説明 [3] 設定その１ [4] 設定その２ [5] 作成完了 […