※ 2020/05/20にQrunchで書いた記事を移行しました。 matplotlibの文字化け対策は多くの情報がありますが、Amazon Linux2向けの情報はありませんでした。他のOSと基本的な対策方針は同様です。日本語フォントをインストールし、キャッシュを削除します。 対策…

<xgboostでグリッドサーチ(GridSearchCV)>*1 ※ 2020/04/09にQrunchで書いた記事を移行しました。 scikit-learnのGridSearchCVを利用して、グリッドサーチを行いました。 xgboostにはscikit-learnのWrapperが用意されているため、scikit-learnを使ったことがある人であれば、違和感なく使うことが出来</xgboostでグリッドサーチ(gridsearchcv)>…

<pandasで複数行の列を持つDataFrameを作成する方法>*1 ※ 2020/04/04にQrunchで書いた記事を移行しました。 列が複数行となっているDataFrameを作成する方法の覚書です。 結論は「pd.MultiIndexを使う」です。 例えば、次のようなDataFrameを作成したいとします。 # One Two Three # Four Five Six # 0 1.11 2.</pandasで複数行の列を持つdataframeを作成する方法>…

<xgboostでクロスバリデーション(Cross Validation)>*1 ※ 2020/04/06にQrunchで書いた記事を移行しました。 xgboost.cv()を使用したクロスバリデーション(交差検証)の方法を簡単にまとめました。 クロスバリデーションとは、学習データの一部を検証用データとして使用する手法です。 Wikipedaによれば次の通り</xgboostでクロスバリデーション(cross>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/26にQrunchで書いた記事を移行しました。 BeautifulSoupを使うと、Pythonでスクレイピングを簡単に行うことができます。しかし、セルが結合されたテーブルのスクレイピングは少々面倒です。 以下の画像は、過去の気象データなのですが、テーブ</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/14にQrunchで書いた記事を移行しました。 pandasのDataFrameを連結する際はconcatを使用します。 このとき、DataFrameにNaNが含まれていると型が変わってしまう場合があります。 起きた事象 dtypeがintの列を結合するとき、結合元のいずれかにN</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

Kaggle Titanic competitionのチュートリアルが終わったあとにやったこと*1 ※ 2020/03/11にQrunchで書いた記事を移行しました。 チュートリアルを終え、予測結果の提出方法までは分かりました。 以降は、予測精度の向上を目指しました。 結果として、スコア(…

※ 2020/03/02にQrunchで書いた記事を移行しました。 前回：Kaggleの始め方(Titanicコンペに参加する)の続きです。 前回は提供されたサンプルファイルを提出しただけでした。 今回から予測精度の向上を図っていきます。 引き続き、チュートリアルを参考に進め…

Kaggleの入門用コンペ「Titanic」の参加方法を紹介します。 ※ 2020/02/29にQrunchで書いた記事を移行しました。 Titanicコンペは入門用コンペ [1] コンペに参加する [1-1] Titanicコンペのページを開く [1-2] ルール [1-3] 参加完了 [2] チュートリアルを参…

データ分析コンペ「Kaggle」の始め方を紹介します。 ※ 2020/02/27にQrunchで書いた記事を移行しました。 Kaggleとは アカウント作成 [1] Kaggleのサイトにアクセス [2] ユーザー情報を入力 [2-1] 入力する項目は4つ [2-2] Usernameに注意 [2-3] 個人情報の取…

※ 2020/02/23にQrunchで書いた記事を移行しました。 気象庁が公開している過去の気象データを取得するためにスクレイピングを使用しました。 今回、取得したのは高層の気象データです。過去の気象データ検索からアクセスできます。 下図の2つの表(table1, ta…

※ 2020/02/16にQrunchで書いた記事を移行しました。 Pyhtonで機械学習を行うとき、入力データをCSVファイルから取得することがあります。 Pythonで機械学習と言えばnumpyが欠かせませんが、CSVファイルの読み込みはpandasで行うと大変便利です。数行のコード…

Amazon Linux 2でJupyter Notebookを使えるようにするまで*1 ※ 2020/02/26にQrunchで書いた記事を移行しました。 Jupyter Notebookは機械学習を実行する環境として有名です。 機械学習には触れてきましたが、Jupyter Notebookには触れてこなかったので使って…

*1 「 機械学習のエッセンス 実装しながら学ぶPython、数学、アルゴリズム」を読みました。 本書は、機械学習の理論をPythonを実装しながら学ぶ本です。 機械学習やディープラーニングに数年触れてきながらも、理論はあまり理解していませんでした。理論を知…

AWS Cloud9のEC2環境をCloudFormationで構築する*1 ※ 2020/02/12にQrunchで書いた記事を移行しました。 EC2環境をCloudFormationで構築することも出来ます。 EC2環境の構築はマネージメントコンソール経由でも非常に簡単です。 なので、個人で使う分には、Cl…

※ 2020/02/11にQrunchで書いた記事を移行しました。 AWS Cloud9でvirtualenvを使う際は、ちょっとした設定の変更が必要です。 AWS Cloud9でvirtualenvを使いたいという需要はあまり無いように思いますが、私は使いたいので設定変更の手順を書きました。 イン…

技術ブログとしてQrunchを愛用していましたが、残念ながらサービス終了となってしまいました。 Qrunchに変わるブログサービスとして、はてなブログを始める際に最初にやったことをまとめました。 [1] ユーザー登録 [2] 編集モードをMarkdownに変更 [3] お試…

AWS Cloud9で初めてPython3を動かすまでの手順*1 ※ 2020/02/02にQrunchで書いた記事を移行しました。 何が出来るのか AWS Cloud9を使うメリット AWS Cloud9を使うデメリット 使い方 [1] 作成 [2] 名称と説明 [3] 設定その１ [4] 設定その２ [5] 作成完了 […

※ 2019/02/24にQrunchで書いた記事を移行しました。 AWSのCloudFormationを使って、Haskellの開発環境を構築しました。 きっかけ やったこと 手順 [1] CloudFormationのテンプレートファイル作成 [1-1] 構成 [1-2] cfnヘルパーを使う [1-3] UserDataプロパテ…