AWS LambdaでPillowを使おうと思ったら次のエラーが表示されました。 [ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'PIL' Traceback (most recent call last): Lambdaのデフォルト環境にはPillowが入っ…

API Lambdaのチュートリアルの中に「AmazonS3トリガーを使用してLambda関数を呼び出す」があったのでやってみました。 docs.aws.amazon.com [1] S3バケットを作成 [2] Lambda関数を作成 [3] テスト [4] S3バケットにアップロード [5] リソースの削除 終わり…

AWS公式のハンズオン「AWS で基本的なウェブアプリケーションを構築する」を見て、簡単なウェブアプリケーションを構築しました。 aws.amazon.com 構築方法はハンズオンを見れば、ほとんど分かります。ところどころハンズオン通りに行かないところがあったの…

API Gatewayのチュートリアルの中に「Lambda と DynamoDB を使用した CRUD API の構築」があったのでやってみました。HTTP APIを使用するチュートリアルです。 docs.aws.amazon.com [1] DynamoDBテーブルの作成 [2] Lambda関数の作成 [3] HTTP APIを作成 [4]…

*1 今回は、AWS LambdaをHTTP API経由で起動します。公式のデベロッパーガイドを参考に15分で構築・起動・削除まで行いました。 docs.aws.amazon.com [1] APIの種類 [2] 15分でHTTP APIを試す [2-1] 関数の作成 [2-2] APIの構築 [2-3] APIのテスト [2-4] 削…

今回は、AWS Lambdaで作成した関数をスケジュール起動する方法に挑戦しました。前回作成したHello, Worldを3分周期で起動させますす。 https://predora005.hatenablog.com/entry/2021/05/02/190000predora005.hatenablog.com [1] トリガーの追加 Lambdaの画…

「AWS Lambda」はAWSのサーバーレスコンピューティングサービスです。 定期的に実行する処理や、イベントで起動する処理を作りたいと思い、使ってみることにしました。例えば、1日に1回株価のチャート分析をしたり、Webアプリからの入力があったらデータベー…

*1 「データ分析人材になる。 」という書籍を読んだので、感想を書いていきます。 https://www.amazon.co.jp/%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E4%BA%BA%E6%9D%90%E3%81%AB%E3%81%AA%E3%82%8B%E3%80%82-%E7%9B%AE%E6%8C%87%E3%81%99%E3%81%AF%…

AWSに久々にログインしようとしたところ「パスワードの有効期限が切れました。管理者に連絡してパスワードの再設定を行ってください。」と表示されてしまいました。 IAMユーザのパスワード有効期限が切れた場合は、rootユーザで復旧します。 rootユーザでコ…

*1 「ゼロ秒思考 頭がよくなる世界一シンプルなトレーニング」という書籍を読みました。概要と感想を書いていきます。 https://www.amazon.co.jp/%E3%82%BC%E3%83%AD%E7%A7%92%E6%80%9D%E8%80%83-%E9%A0%AD%E3%81%8C%E3%82%88%E3%81%8F%E3%81%AA%E3%82%8B%E4…

S3バケットは空にしてからでないと削除できません。それはバージョニングされたバケットでも同様です。 問題は、バージョニングされたオブジェクトを削除しても、実は消えていないことです。DeleteMarkerが追加されるだけで、オブジェクトが完全に消えるわけ…

*1 今回は、政府統計の総合窓口(e-Stat)の「平成30年 住宅・土地統計調査)」より、全国の都道府県の家賃を取得しました。 「住宅・土地統計調査」では家賃の金額のみではなく、家賃の金額別分布や、居住室の畳数ごとの家賃なども載っています。 [1] 家賃の金…

*1 前回に引き続き、政府統計の総合窓口(e-Stat)の「都道府県・市区町村のすがた（社会・人口統計体系）」から、全国の都道府県・市区町村の家賃を取得しました。 今回は、都道府県別、市区町村別の高額/低額トップ10をまとめました。 [1] 都道府県別ランキ…

*1 「政府の統計窓口：e-Stat」の各種調査から、全国市区町村の家賃を調べました。 [1] 社会・人口統計体系 [1-1] 民営借家、公営借家、給与住宅の違い [1-2] 1畳当たり家賃を1DKに換算すると？ [1-3] 全国の都道府県別家賃 [2] 小売物価統計調査（動向編） …

Pythonで株価を取得してローソク足チャートを作ったところ、驚くほど簡単に書けました。「pandas-datareader」と「mplfinance」を使用しましたが、ソースコードの行数は60行でした。以下のようなグラフが簡単に作れます。 [1] 株価の取得 [2] ローソク足チャ…

*1 前回に引き続き「令和２年職種別民間給与実態調査」を見ていきます。今回は企業規模により給与がどれくらい変わるかに焦点を絞りました。 わかったこと 500人以上企業と100人未満企業とで、平社員の給与は2割前後違う 500人以上企業と100人未満企業とで、…

*1 今回は「令和２年職種別民間給与実態調査」から得られた情報や考察を紹介していきます。2020年4月時点の給与です。 www.e-stat.go.jp わかったこと 初任給は学歴が高い方が金額が高い 役職が上になるほど給与も高くなる 事務の方が技術に比べて、出世した…

*1 前回に引き続き「民間企業の勤務条件制度等調査（民間企業退職給付調査）」の2016年次データを紹介します。 predora005.hatenablog.com わかったこと わかったことは次の通りです。 勤続年数41年で定年退職する人が最も多い(高卒で60歳定年) 定年退職の退…

*1 前回に引き続き「民間企業の勤務条件制度等調査（民間企業退職給付調査）」の2016年次データを紹介します。 predora005.hatenablog.com わかったこと わかったことは次の通りです。 大企業になるほど、企業年金制度を設けている場合が多い 企業年金の受給…

*1 前回に引き続き「民間企業の勤務条件制度等調査（民間企業退職給付調査）」の2016年次データを紹介します。 predora005.hatenablog.com わかったこと わかったことは次の通りです。 9割以上の企業が退職給付制度を設けている 退職一時金を設けている企業…

*1 以前、e-Stat(政府統計の総合窓口)で様々な統計データが見れることを紹介しました。 predora005.hatenablog.com 今回は「民間企業の勤務条件制度等調査（民間企業退職給付調査）」の2016年次のデータから得られた情報や考察を紹介していきます。 わかった…

<pandas-datareaderでTOPIX500銘柄の株価上昇率を算出>*1 前回はpandas-datareaderで米国株の株価を取得しました。 predora005.hatenablog.com 今回は、東証一部上場銘柄の株価を取得し、業種ごとの株価変動を可視化しました。 [1] 東証上場銘柄を取得する [1-1] JPX(日本取引所グループ)から取得 [1-2] CSVに変</pandas-datareaderでtopix500銘柄の株価上昇率を算出>…

<pandas-datareaderで米国株の株価取得>*1 「pandas-datareader」で株価を取得します。以前、日本株の株価をスクレイピングで取得しましたが、「pandas-datareader」の方がより簡単に取得できました。 バンガード S&P500 ETF (VOO)の株価を取得し、グラフ表示するまでの手順を紹介します。 [1] イ</pandas-datareaderで米国株の株価取得>…

*1 「政府統計の総合窓口(e-Stat)」の統計データは、APIで取得可能です。ユーザ登録(無料)を行えば、誰でもAPIを利用できます。 Pythonを使って、API経由で人口動態のデータを取得し、matplotlibでグラフ表示しました。 [1] ユーザ登録 [2] アプリケーション…

*1 「政府統計の総合窓口(e-Stat)」は政府の統計データが閲覧できるサイトです。公式の利用ガイドには次のように書かれています。 政府統計の総合窓口(e-Stat)は、各府省が公表する統計データを一つにまとめ、統計データを検索したり、地図上に表示できるな…

<二輪車業界の株価予想(2020年12月)> *1 二輪車業界の株価予想をしました*2。 ここでいう二輪車に自転車は含みません。バイクや原付のことと思ってください。 ※ 株式投資はくれぐれも自己責任でお願いします。 [1] 二輪車業界の主要プレイヤー [2] 二輪車の…

GitHubのパスワード認証が2021/08/13以降、受け付けなくなるそうです。まだ期限まで時間はありますが、今のうちに対処しておくことにしました。 gigazine.net やることは2点です。 二要素認証を有効にする トークンを作成する [1] 二要素認証を有効にする [1…

<鉄道業界の株価予想(2020年12月)> *1 前回までに行ったスクレイピングで得た情報も取り入れつつ、株価予想をしていきます。 コロナウィルスの影響を大きく受けている鉄道業界の株価予想をします*2。 ※ 株式投資はくれぐれも自己責任でお願いします。 [1] 20…

AWSのArmベースインスタンスのt4g.micro、2021年3月31日まで無料トライアル中です。無料で使えるやったと思っていたら思わぬところで引っかかりました。 [0] 前提条件 [1] numpyのインストールに失敗する [2] numpyのインストールに時間がかかる [3] pandas…

前回の続きです。前回は単一銘柄の株価をスクレイピングで取得しmatplotlibで可視化しました。今回は複数銘柄の株価を取得し比較していきます。 predora005.hatenablog.com [1] 複数銘柄の株価取得 [2] 可視化 [2-1] 2020年以降のデータを抽出 [2-2] 株価の…