昨年9月からArmベースのt4gインスタンスが利用可能になりました。同じく汎用インスタンスであるt3インスタンスはIntelベースです。 昨年はAppleのM1チップや、WindowsのCPU自社設計など大きな話題がありましたが、いずれもArmベースです。Armはすでにスマホ…

過去数年分の株価をスクレイピングで取得して可視化する手順を紹介します。最終的に以下のようなグラフを作成します。 各銘柄の時価総額や決算情報を取得する手順や、ライブラリ(pandas-datareader)を用いて株価を取得する手順も別の記事にまとめています。 …

<最新書籍で紹介されていた世界注目の企業>*1 2020年発売の書籍で紹介されていた世界注目の企業を紹介します。すでに世界で成功を収め今後も成長が見込める企業、今後急成長し市場破壊を起こすだろう企業が紹介されていました。 サステナベーション sustaina…

*1 前回の続きです。前回は、複数銘柄の決算情報と財務情報をスクレイピングで取得しました。今回は前回取得した情報を可視化します。 predora005.hatenablog.com [1] 基本的な指標の可視化 [1-1] matplotlibをインストール [1-2] PERの可視化 [1-3] PSRとPB…

AWSでHTTPS対応のnginxサーバーを構築するまでの手順をまとめました。 HTTPS対応のサーバーを構築する手順は多々あります。今回は「CertificateManager」でサーバ証明書を発行し「CloudFront」でHTTPS対応する構成にしました。 Route53で独自ドメインの登録…

*1 前回の続きです。前回は複数銘柄のPERや配当利回り等をスクレイピングで取得しました。今回は決算情報をスクレイピングで取得します。 predora005.hatenablog.com [1] 取得する情報 [1-1] 決算情報と財務情報 [1-2] HTMLの中身 [2] スクレイピング [2-1] …

*1 前回につづいて「フードテック革命」を紹介します。 [5] 食領域のGAFAは現れるのか [5-1] キッチンOS キッチンのソフトウェア化も今後期待されている分野の1つです。キッチンOSとは、キッチンを制御するソフトウェアのことです。 いまはネット上で多種多…

*1 「フードテック革命」という書籍を読んだので、紹介していきます。 内容が多かったので、2回に分けて書いています。 https://www.amazon.co.jp/%E3%83%95%E3%83%BC%E3%83%89%E3%83%86%E3%83%83%E3%82%AF%E9%9D%A9%E5%91%BD-%E4%B8%96%E7%95%8C700%E5%85%8…

*1 前回の続きです。前回は「みんなの株式」から、単一銘柄のPERや配当利回りをスクレイピングで取得しました。今回は複数銘柄の情報を統合してみます。 predora005.hatenablog.com [1] DataFrameにまとめる [1-1] pandasのインストール [1-2] DataFrameの作…

*1 本記事では、日本株の基礎指標をスクレイピングで取得する手順を紹介しています。また、スクレイピング先のサイトがスクレイピングを禁止していないか確認する方法にも触れています。 [1] きっかけ [2] 時価総額やPERなどの指標を取得 [3] スクレピング可…

<Kindle本体の費用対効果(何冊読めば元が取れるのか)>*1 Amazonの書籍はKindle版の方が紙で購入するよりも安くなっています。Kindle版を購入し続ければ、いつかは紙との差額がKindle本体の価格を超えます。そうすると、元が取れたと言えるわけです。 私はKindle Paperwhiteを2017年7月に購入したので、購入から3</kindle本体の費用対効果(何冊読めば元が取れるのか)>…

日本人の少なくとも8割以上はサラリーマンであり、必ずと言っていいほど上司と部下という関係が生まれます。しかし、世の中の上司(または先輩)の多くが部下(または後輩)の育成・指導に悩んでいます。 今回読んだ【「具体⇔抽象」トレーニング 思考力が飛躍的…

<世界一シンプルで科学的に証明された究極の食事>*1 タイトルに偽りなく、本当にシンプルな内容です。 今まで知らなかった健康に良い食品が見つかるとか、そういったことは一切ありません。日本は食事に関する情報が溢れていて、そのときの流行り廃りがあっ…

<世界のエリートがやっている 会計の新しい教科書>*1 とても分かりやすい内容だったので紹介しようと思いました。 企業の決算書(1年間の業績)に含まれる、貸借対照表と損益計算書が何者なのか基礎から非常に分かりやすく説明されています。 https://www.amaz…

<7つの習慣>*1 言わずと知れたキングオブ自己啓発書である「7つの習慣」を読みました。 初版は1989年と昔ですし、世界中でベストセラーとなった書籍なので読んだことのある方が多いのではないかと思います。 私も、有名だし色々な人が薦めているからという動…

<みんなが書き手になる時代の あたらしい文章入門>*1 内容はコンパクトで分かりやすいです。 文章の目的は読者を動かすことだと述べており、ポイントを8講に絞ってまとめています。1時間ほどで読み終わりました。 1時間ほどのボリュームに対して¥540*2という…

※ 2020/08/16にQrunchで書いた記事を移行しました。 気象庁の数値予報データをPythonで扱いました。 pygribというライブラリでデータを読み込み、数値予報データの中身を確認する方法を紹介します。 [1] 数値予報GPVデータ [1-1] 数値予報とは [1-2] 数値予…

<pygribのインストール方法：Amazon Linux2>*1 ※ 2020/06/09にQrunchで書いた記事を移行しました。 Amazon Linux2で、pygribのインストールに、かなり手間取りました。 自分や他の方が、再び同じ所で躓かないように、備忘録として解決法をまとめました。 何が起きるのか 色々インストールすることにな</pygribのインストール方法：amazon>…

※ 2020/05/20にQrunchで書いた記事を移行しました。 matplotlibの文字化け対策は多くの情報がありますが、Amazon Linux2向けの情報はありませんでした。他のOSと基本的な対策方針は同様です。日本語フォントをインストールし、キャッシュを削除します。 対策…

<xgboostでグリッドサーチ(GridSearchCV)>*1 ※ 2020/04/09にQrunchで書いた記事を移行しました。 scikit-learnのGridSearchCVを利用して、グリッドサーチを行いました。 xgboostにはscikit-learnのWrapperが用意されているため、scikit-learnを使ったことがある人であれば、違和感なく使うことが出来</xgboostでグリッドサーチ(gridsearchcv)>…

<pandasで複数行の列を持つDataFrameを作成する方法>*1 ※ 2020/04/04にQrunchで書いた記事を移行しました。 列が複数行となっているDataFrameを作成する方法の覚書です。 結論は「pd.MultiIndexを使う」です。 例えば、次のようなDataFrameを作成したいとします。 # One Two Three # Four Five Six # 0 1.11 2.</pandasで複数行の列を持つdataframeを作成する方法>…

<xgboostでクロスバリデーション(Cross Validation)>*1 ※ 2020/04/06にQrunchで書いた記事を移行しました。 xgboost.cv()を使用したクロスバリデーション(交差検証)の方法を簡単にまとめました。 クロスバリデーションとは、学習データの一部を検証用データとして使用する手法です。 Wikipedaによれば次の通り</xgboostでクロスバリデーション(cross>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/26にQrunchで書いた記事を移行しました。 BeautifulSoupを使うと、Pythonでスクレイピングを簡単に行うことができます。しかし、セルが結合されたテーブルのスクレイピングは少々面倒です。 以下の画像は、過去の気象データなのですが、テーブ</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

<pandasのDataFrameをconcatすると型が変わってしまう場合の対処法>*1 ※ 2020/03/14にQrunchで書いた記事を移行しました。 pandasのDataFrameを連結する際はconcatを使用します。 このとき、DataFrameにNaNが含まれていると型が変わってしまう場合があります。 起きた事象 dtypeがintの列を結合するとき、結合元のいずれかにN</pandasのdataframeをconcatすると型が変わってしまう場合の対処法>…

Kaggle Titanic competitionのチュートリアルが終わったあとにやったこと*1 ※ 2020/03/11にQrunchで書いた記事を移行しました。 チュートリアルを終え、予測結果の提出方法までは分かりました。 以降は、予測精度の向上を目指しました。 結果として、スコア(…

※ 2020/03/02にQrunchで書いた記事を移行しました。 前回：Kaggleの始め方(Titanicコンペに参加する)の続きです。 前回は提供されたサンプルファイルを提出しただけでした。 今回から予測精度の向上を図っていきます。 引き続き、チュートリアルを参考に進め…

Kaggleの入門用コンペ「Titanic」の参加方法を紹介します。 ※ 2020/02/29にQrunchで書いた記事を移行しました。 Titanicコンペは入門用コンペ [1] コンペに参加する [1-1] Titanicコンペのページを開く [1-2] ルール [1-3] 参加完了 [2] チュートリアルを参…

データ分析コンペ「Kaggle」の始め方を紹介します。 ※ 2020/02/27にQrunchで書いた記事を移行しました。 Kaggleとは アカウント作成 [1] Kaggleのサイトにアクセス [2] ユーザー情報を入力 [2-1] 入力する項目は4つ [2-2] Usernameに注意 [2-3] 個人情報の取…

※ 2020/02/23にQrunchで書いた記事を移行しました。 気象庁が公開している過去の気象データを取得するためにスクレイピングを使用しました。 今回、取得したのは高層の気象データです。過去の気象データ検索からアクセスできます。 下図の2つの表(table1, ta…

※ 2020/02/16にQrunchで書いた記事を移行しました。 Pyhtonで機械学習を行うとき、入力データをCSVファイルから取得することがあります。 Pythonで機械学習と言えばnumpyが欠かせませんが、CSVファイルの読み込みはpandasで行うと大変便利です。数行のコード…