月別: 2021年9月

python で株価指数の取得

python で株価指数の取得
【Python】investpyを使ったInvesting.comからのデータ取得方法

で
指数データの取得方法が乗っていたので参考に

1
2
3
4
5
import investpy
from datetime import datetime, date, timedelta
from dateutil.relativedelta import relativedelta
import altair as alt
import pandas as pd

でライブラリをインポート

1
today = datetime.today().strftime('%d/%m/%Y')

で今日の日付を取得し
フォーマットを investpy で使う日付に変更

1
2
df = investpy.get_index_historical_data(index='S&P 500',country='united states',
                                        from_date='01/01/2010',to_date=today)

で
２０１０年１月１日から今日までの
S&P５００
のデータを取得

1
df.index = df.index.strftime('%Y/%m/%d')

で日付フォーマットを altair で使う形式に変更

1
2
df = df.T
df= df.T.reset_index()

でDate をカラムに追加

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(df)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

でチャートを表示

S&P500　ができたのでダウ平均を取得

使用したメソッドの
get_index_historical_data
については
investpy.indices

を参考に

パラメータに指定する株価指数については
https://jp.investing.com/indices/world-indices
で日本語版がでるがコードを指定するので

https://www.investing.com/indices/usa-indices
を参考に

1
2
dow =  investpy.get_index_historical_data(index='Dow Jones',country='united states',
                                        from_date='01/01/2010',to_date=today)

としたが

1
2
3
4
5
6
7
8
9
10
11
12
13
14
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-23-37a90ad00d34> in <module>
----> 1 dow =  investpy.get_index_historical_data(index='DJI',country='united states',
      2                                         from_date='01/01/2010',to_date=today)
 
~/anaconda3/lib/python3.8/site-packages/investpy/indices.py in get_index_historical_data(index, country, from_date, to_date, as_json, order, interval)
    511
    512     if index not in list(indices['name'].apply(unidecode).str.lower()):
--> 513         raise RuntimeError("ERR#0045: index " + index + " not found, check if it is correct.")
    514
    515     full_name = indices.loc[(indices['name'].apply(unidecode).str.lower() == index).idxmax(), 'full_name']
 
RuntimeError: ERR#0045: index dji not found, check if it is correct.

となり
指定するコードが違うらしい

VIX 指数（恐怖指数）については

1
2
3
vix = investpy.get_index_historical_data(index='S&P 500 VIX',country='united states',
                                        from_date='01/01/2010',to_date=today)
vix

とすれば表示される

どうやら名称が違うようなので
プライマリーセクターに絞り検索

1
2
stock_index =investpy.indices.get_indices(country="united states")
stock_index[stock_index['class']=='primary_sectors']

６４に絞りこみできるので

1
2
3
4
5
6
stock_index =investpy.indices.get_indices(country="united states")
stock_index[stock_index['class']=='primary_sectors'].head(35)
 
 
stock_index =investpy.indices.get_indices(country="united states")
stock_index[stock_index['class']=='primary_sectors'].tail(35)

で探すが該当するものがでない

pandasで特定の文字列を含む行を抽出（完全一致、部分一致）

で部分一致で検索をする

1
str.startswith()

で文字列で始まるもの
もしくは

1
str.contains()

で文字列を含むもの
を対象にする

1
2
dow =stock_index[(stock_index['market']=='global_indices') & (stock_index['class']=='other_indices')]
dow[dow['name'].str.contains('DJ')]

で探したがそれらしいものはでてこない

1
2
stock_index =investpy.indices.get_indices(country="united states")
stock_index[stock_index['full_name'].str.contains('Dow Jones Industrial')]

で検索すると
Dow 30 が表示される

1
2
3
dow =  investpy.get_index_historical_data(index='Dow 30',country='united states',
                                        from_date='01/01/2010',to_date=today)
dow

で表示されるので
S&P500のときと同じようにチャートを表示する

1
2
dow=dow.T
dow = dow.T.reset_index()

で Date をカラムに追加

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(dow)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

でチャート表示

vix 恐怖指数をチャートにするなら

1
2
vix = investpy.get_index_historical_data(index='S&P 500 VIX',country='united states',
                                        from_date='01/01/2010',to_date=today)

でデータを取得

1
2
vix = vix.T
vix = vix.T.reset_index()

で
Date をカラムに追加

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(vix)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

でチャートで表示

他の国の株価指数も取得できる
その場合、国の指定をする必要があり

1
investpy.indices.get_index_countries()

で取得可能な国が表示できる

1
2
index_list = investpy.indices.get_index_countries()
index_list

で取得可能な国を表示可能

ユーロ圏の株価指数を調べるのなら
https://www.investing.com/indices/european-indices
で
株価指数の名前を調べる
ダウ平均が Dow 30 というように
名称が investpy のときわからないときがあるので

DAX
Euro Stoxx 50
がある国を調べる

Germany なので

1
euro_index =investpy.indices.get_indices(country="germany")

で取得し
https://www.investing.com/indices/germany-30
から
名称が DAX(GDAXI)
であるのを確認したら

1
euro_index[euro_index['full_name'].str.contains('DAX')]

で探すと出てこないので

1
euro_index[euro_index['name'].str.contains('DAX')]

で検索すると出てきた

あとは

1
2
dax = investpy.get_index_historical_data(index='DAX',country='germany',
                                        from_date='01/01/2010',to_date=today)

でDAXの値を取得

1
2
3
dax.index = dax.index.strftime('%Y/%m/%d')
dax = dax.T
dax = dax.T.reset_index()

で日付フォーマット変更と
Date をカラムに追加

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(dax)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

でチャート表示

応用でユーロストック５０なら
https://www.investing.com/indices/eu-stoxx50
で
Euro Stoxx 50 (STOXX50E)
となっているのを確認できるので

1
2
euro_index =investpy.indices.get_indices(country="germany")
euro_index[euro_index['name'].str.contains('Euro Stoxx 50')]

で検索すると簡単にヒットする

あとは

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
euro_stock50 = investpy.get_index_historical_data(index='Euro Stoxx 50',country='germany',
                                        from_date='01/01/2010',to_date=today)
 
euro_stock50.index = euro_stock50.index.strftime('%Y/%m/%d')
euro_stock50 = euro_stock50.T
euro_stock50 = euro_stock50.T.reset_index()
 
chart =(
    alt.Chart(euro_stock50)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

で表示できる

python で債権利回りの表示

python で債権利回りの表示

債権は

https://investpy.readthedocs.io/_api/bonds.html
で取得できそう

ただし、債権利回りがでてないので検索

債権利回りコードは
https://stackoverflow.com/questions/65063436/pulling-yields-data-from-investpy-package
を参考に

1
2
3
4
5
import investpy
data = investpy.bonds.get_bond_historical_data(bond='South Africa 2Y',
                                               from_date='01/01/2019',
                                               to_date='31/12/2019')
data

で南アフリカ２年債の利回りを表示可能

米国債の２年債の利回りなら

1
2
3
4
5
data = investpy.bonds.get_bond_historical_data(bond='U.S. 2Y',
                                               from_date='01/01/2019',
                                               to_date='31/12/2019')
 
data

でOK

債権の国コードや種類については
https://za.investing.com/rates-bonds/world-government-bonds?maturity_from=10&maturity_to=310
で調べることができる

Find Government Bonds
で
Country of Listing で国を選べば
チャートの下のほうに債権の種類が表示されるので
これをもとに
米国債２年なら
U.S. 2Y
となる

altair で表示するなら
商品市場でWTI、金価格のときにやったのと同じように
行う

今回は日付を date で取得し
年始から今日までの米国債２年債の利回りチャートを表示

1
2
3
4
5
from datetime import datetime, date, timedelta
from dateutil.relativedelta import relativedelta
 
today = datetime.today().strftime('%d/%m/%Y')
today

で今日の日付を取得

1
2
3
4
US2Y = investpy.bonds.get_bond_historical_data(bond='U.S. 2Y',
                                               from_date='01/01/2021',
                                               to_date=today)
US2Y

で年始から今日までの利回りを取得

1
US2Y.index = US2Y.index.strftime('%Y/%m/%d')

で日付フォーマット変更

1
2
US2Y = US2Y.T
US2Y = US2Y.T.reset_index()

で
Date カラムを移動

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(US2Y)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

で債権利回りをチャートで表示できる

同様に１０年債も表示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
US10Y = investpy.bonds.get_bond_historical_data(bond='U.S. 10Y',
                                               from_date='01/01/2019',
                                               to_date=today)
US10Y.index = US10Y.index.strftime('%Y/%m/%d')
US10Y = US10Y.T
US10Y = US10Y.T.reset_index()
 
us10 =(
    alt.Chart(US10Y)
    .mark_line(opacity=0.8,clip=True,color='Yellow')
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)

あとはチャートを重ねて表示するので

1
2
3
alt.layer(chart,us10).resolve_scale(
    y = 'independent'
)

とすると
２年債と１０年債の２つのチャートが表示されるようになる

python でWTI、金価格の表示

python でWTI、金価格の表示 その２

investpy でも可能らしいので実線

https://investpy.readthedocs.io/_api/commodities.html
のリファレンスを見ながら実線

経済指標の取得のときには

1
investpy.economic_calendar()

を使い

1
economic_data = investpy.economic_calendar(time_zone=None, time_filter='time_only', countries=['japan', 'united states'], from_date='01/01/2021', to_date='11/06/2021')

で取得

1
investpy.commodities.get_commodities(group=None)

で商品市場の情報が得られる

全部で６６の行になる

途中が省かれて表示されるので

1
commodity.head(35)

というようにすれば任意の場所まで表示できる

今回なら上から３５まで表示

逆に最後から表示したいのなら

1
commodity.tail(36)

group の部分を指定すると絞り込みができる

金属にするなら

1
2
commodity = investpy.commodities.get_commodities(group="metals")
commodity

とすればOK

今回調べたいのはWTI、つまり原油の価格と金の価格なので

group を energy を指定

1
2
commodity = investpy.commodities.get_commodities(group="energy")
commodity

name が Crude Oil WTI のものが該当

金は金属なので
group に metails で絞り込む

1
2
commodity = investpy.commodities.get_commodities(group="metals")
commodity

この中で name が Gold のものが該当

次にチャートなどに必要なデータの取得

株価の取得方法については
【Python】investpyを使ったInvesting.comからのデータ取得方法

によれば

1
investpy.get_stock_historical_data()

で取得できる

ETFなら

1
investpy.get_etf_historical_data()

指数データなら

1
investpy.get_index_historical_data()

為替データなら

1
investpy.get_currency_cross_historical_data()

これらを元に
https://investpy.readthedocs.io/_api/commodities.html
をみると

1
investpy.commodities.get_commodity_recent_data()

なら最近のデータ

1
investpy.commodities.get_commodity_historical_data()

で直近のデータ
を取得できそう

構文は

1
investpy.commodities.get_commodity_historical_data(commodity, from_date, to_date, country=None, as_json=False, order='ascending', interval='Daily')

となっている

commodity には name カラムのものを当てはめる
from_date と to_date　には日付を指定
フォーマットがdd/mm/yyyyなので注意

order は昇順、降順を指定
ascending は昇順
descending は降順

interval は取得するデータの間隔
デフォルトは daily
weekly や monthly にすることも可能

例が乗っていたので参考に

1
data = investpy.get_historical_data(commodity='gold', from_date='01/01/2018', to_date='01/01/2019')

としたがエラーとなる

1
2
3
4
5
6
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-11-69013139b965> in <module>
----> 1 data = investpy.get_historical_data(commodity='gold', from_date='01/01/2018', to_date='01/01/2019')
 
AttributeError: module 'investpy' has no attribute 'get_historical_data'

パラメータをしっかり設定して

1
2
gold =investpy.commodities.get_commodity_historical_data(commodity="Gold", from_date='01/01/2021', to_date='01/09/2021', country=None, as_json=False, order='ascending', interval='Daily')
gold

としたら成功

なお最近のデータであれば

1
2
data = investpy.get_commodity_recent_data(commodity='gold')
data

でも取得可能
期間は１ヶ月程度

次に原油WTI

1
2
wti = investpy.get_commodity_recent_data(commodity='Crude Oil WTI')
wti

で取得可能

途中でvolume が０になっているところは市場がお休みの日

次に WTI の close の値を altair で表示

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(wti)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="date:T",
        y=alt.Y("close:Q",stack=None)
    )
)
chart

だと日付の形式の関係で表示されないので
日付形式を

1
wti['Date']=wti['Date'].str.replace('/','-')

としたが

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
~/anaconda3/lib/python3.8/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
   3079             try:
-> 3080                 return self._engine.get_loc(casted_key)
   3081             except KeyError as err:
 
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
 
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
 
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
 
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()
 
KeyError: 'Date'
 
The above exception was the direct cause of the following exception:
 
KeyError                                  Traceback (most recent call last)
<ipython-input-12-cf1271b5fd73> in <module>
----> 1 wti['Date']=wti['Date'].str.replace('/','-')
 
~/anaconda3/lib/python3.8/site-packages/pandas/core/frame.py in __getitem__(self, key)
   3022             if self.columns.nlevels > 1:
   3023                 return self._getitem_multilevel(key)
-> 3024             indexer = self.columns.get_loc(key)
   3025             if is_integer(indexer):
   3026                 indexer = [indexer]
 
~/anaconda3/lib/python3.8/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
   3080                 return self._engine.get_loc(casted_key)
   3081             except KeyError as err:
-> 3082                 raise KeyError(key) from err
   3083
   3084         if tolerance is not None:
 
KeyError: 'Date'

となる

1
wti.columns

で調べると

1
Index(['Open', 'High', 'Low', 'Close', 'Volume', 'Currency'], dtype='object')

となっているので

1
wti.reset_index()

で
Date をカラム側にする

これで

1
wti.index

とすると

1
2
3
4
5
6
7
8
DatetimeIndex(['2021-08-17', '2021-08-18', '2021-08-19', '2021-08-20',
               '2021-08-23', '2021-08-24', '2021-08-25', '2021-08-26',
               '2021-08-27', '2021-08-30', '2021-08-31', '2021-09-01',
               '2021-09-02', '2021-09-03', '2021-09-05', '2021-09-06',
               '2021-09-07', '2021-09-08', '2021-09-09', '2021-09-10',
               '2021-09-13', '2021-09-14', '2021-09-15', '2021-09-16',
               '2021-09-17'],
              dtype='datetime64[ns]', name='Date', freq=None)

となる

1
wti.index = wti.index.strftime('%Y/%m/%d')

で日付フォーマットを変更

1
wti[['Close']]

とすれば Close のみに絞り込める

1
2
wti= wti.T
wti

とすれば配置を変更して
日付をカラムにできる

udemy の講習のときにはいくつか株のコードを取得したけど
今回はそれはいらない

1
wti= wti.T.reset_index()

を実行すると
Date が追加された状態のカラムができる

あとは

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(wti)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

で折れ線グラフで WTI Close のグラフが作成できる

応用で金価格グラフも作成

1
2
gold =investpy.commodities.get_commodity_historical_data(commodity="Gold", from_date='01/01/2021', to_date='01/09/2021', country=None, as_json=False, order='ascending', interval='Daily')
gold

で年始から取得

1
2
gold.reset_index()
gold.index = gold.index.strftime('%Y/%m/%d')

で日付フォーマット変更

1
2
gold= gold.T
gold= gold.T.reset_index()

でカラムに Date を追加

1
2
3
4
5
6
7
8
9
chart =(
    alt.Chart(gold)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="Date:T",
        y=alt.Y("Close:Q",stack=None)
    )
)
chart

でチャート表示

これで金価格も表示可能

ラズパイゼロでドラレコもどきを作成

ラズパイゼロでドラレコもどきを作成

音声なしで動画と画像のみを撮影し
Google Drive に保存するようにする予定

なおセットアップには
microSD 以外に
HDMI と USB の変換するものがないと
microUSB しかコネクタがないので
モニターとマウスをつけれないので注意

以前はNOOBSでインストールしていたけど
最近では
Raspberry Pi Imager
を使うのが主流らしい
https://www.raspberrypi.org/software/
から各種OSに対応したものがダウンロード可能

今回は Ubuntu for x86 をダウンロード

UbuntuでのRaspberry Pi Imagerの使い方

で解説があるので
snap でもインストール可能らしい

今回は
パッケージ版をインストール

途中に必要なパッケージがないとエラーになるうえ
各種インストールしようとしてもエラーとなるため

1
sudo snap install rpi-imager

でインストール

これで
Imager を起動し
CHOOSE　OS
で
Raspberry Pi OS(32-bit)
をクリックし

CHOOSE STORAGE
で
SD_MMC – 31.3GB
を選択

これで
WRITE
で書き込みされる
と思ったら
Cannot open storage device ‘/dev/sdc’
となる

他のmicroSD に変えても結果は同じなので

rpi image 1.6 cannot open storage device
で検索し

Raspberry Pi Imager update to v1.6

を参考に

Ctrl-Shift-X
でオプションをだしたがわからないので
NOOBSでインストールすることに
Raspberry PIのインストール方法が変わりNOOBSが使えない – 直接ダウンロードしてインストールする方法

を参考に
http://downloads.raspberrypi.org/
から
NOOBSを直接ダウンロード

http://downloads.raspberrypi.org/NOOBS/images/
からNOOBSのバージョンを選んでダウンロード可能

今回は
NOOBS_v3_7_0.zip
をダウンロード

ダウンロード完了後

1
unzip NOOBS_v3_7_0.zip -d /media/snowpool/0C12-788A/

で
microSD を指定して解凍する

次に
ラズパイゼロの準備

カメラモジュールの配線が長すぎるので
Raspberry Pi Zero Wにカメラモジュールを取り付ける

を参考に交換

部品をセットしたら
microSD を差し込んで起動するとインストール画面になるので
そのまま続ける

インストール完了したら
カメラモジュールとSSHができるように設定

1
sudo raspi-config

で
Interfacing opinion
で
PI Camera
P2 SSH
でyes を選ぶ

設定が終われば
Finishを選べばok

これで再起動するとカメラとSSHが使えるようになったので
ssh で ubuntu からアクセスして操作する

次にOS のアップデート

1
2
sudo apt update
sudo apt upgrade

実行すると

1
2
3
4
5
6
7
8
9
10
webkit2gtk (2.31.1-1) experimental; urgency=medium
 
  Starting from the 2.31.x development versions, support for NPAPI
  plugins has been completely removed from WebKitGTK. This technology is
  deprecated and has already been removed from all major web browsers.
 
  The last important user of this API was the Adobe Flash Player, which
  reached end of life in December 2020.
 
 -- Alberto Garcia <berto@igalia.com>  Fri, 15 Jan 2021 17:31:53 +0100

とでるので
とりあえず
ｑ　を押して終了させる

アップデートにかなり時間がかかる
約３０分以上はかかったので
更新は時間があるときに行わないときついかも

アップデート完了したら
カメラが撮影できるかテスト

これは
raspistill コマンドでできる

オプションが色々あるけと
カメラの向きが変わってることが多々あるので
-o で出力先の変更以外に
-hf で垂直方向へ反転させたり
-hv で水平方向へ反転させることがある

とりあえず、向きに問題ないなら

1
raspistill -o test.jpg

撮影には5秒ほどのタイムラグがあるので注意

もし撮影できていないのなら
カメラケーブルを確認するといいかも

次に公開鍵認証にする

Ubuntu で ssh-keygenコマンドで作成

-t で暗号形式を rsa
-b で４０96ビットに指定
なおデフォルトでは２０４８ビット

1
ssh-keygen -t rsa -b 4096

で作成

1
Enter file in which to save the key (/home/snowpool/.ssh/id_rsa):

となったらファイル名を入力

今回は zero_camera
としておく

パスフレーズは省略するので

1
Enter passphrase (empty for no passphrase):

と

1
Enter same passphrase again:

は
Enter にすればパスフレーズなしとなる

次に公開鍵の登録

これは
ssh-copy-id　コマンドを使う

なお接続するラズパイ３のIPは
Android ならFing で調べることが可能

1
ssh-copy-id -i zero_camera.pub pi@192.168.1.215

で登録

しかし

1
2
3
4
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
Received disconnect from 192.168.1.215 port 22:2: Too many authentication failures
packet_write_wait: Connection to 192.168.1.215 port 22: Broken pipe

となる

このため
SSH 接続時に Too many authentication failures と表示される。
https://ez-net.jp/article/08/rJIOlRVJ/p56Xn7J2TJ13/
を参考に設定したがつながらない

Received disconnect from … : Too many authentication failures の解決案

を参考に
IdentitiesOnly=yesを指定すると解決

1
ssh -o IdentitiesOnly=yes pi@192.168.1.215

これでログインはできた

1
scp -o IdentitiesOnly=yes  .ssh/zero_camera.pub pi@192.168.1.215:/home/pi/

で作成したファイルをコピー

1
ssh -o IdentitiesOnly=yes pi@192.168.1.215

でラズパイにログイン

1
2
3
cat zero_camera.pub >> .ssh/authorized_keys
chmod 700 .ssh/
chmod 600 .ssh/authorized_keys

で
一度ログアウトし

1
ssh -i .ssh/zero_camera pi@192.168.1.215

で
公開鍵認証でログインできるのを確認

1
sudo apt install vim

で
vim をインストール

1
sudo vim /etc/ssh/sshd_config

で設定ファイルを開き

パスワード認証を禁止

1
2
3
4
PermitEmptyPasswords no
PasswordAuthentication no
 
AuthorizedKeyFile .ssh/authorized_keys

を設定

1
sudo /usr/sbin/sshd -t

で設定の確認

1
sudo /etc/init.d/ssh restart

で
ssh の再起動

これで
次に Google Drive の設定

Google Drive のマウントに必要なものをインストール

1
2
sudo apt install opam
opam init
1
Do you want opam to modify ~/.profile? [N/y/f]

とでてくるので検索
opamを用いたOCamlプロジェクトのセットアップ方法

によれば
ｙでOK

1
2
A hook can be added to opam's init scripts to ensure that the shell remains in
sync with the opam environment when they are loaded. Set that up? [y/N]

についても
ｙでOK

これは opam 設定を 更新するスクリプトをなにかに hook させるか
ということらしい

しかし

1
2
3
4
5
6
7
[ERROR] Solver failed: "/usr/bin/mccs -i
        /tmp/opam-pi-3186/solver-in-3186-8b8a2d -o
        /tmp/opam-pi-3186/solver-out-3186-d474c2
        -lexagregate[-removed,-count[version-lag:,true],-changed,-count[version-lag:,false],-new]"
        exited with code 255 "ERROR: Cannot read solution from lp solver."
Switch initialisation failed: clean up? ('n' will leave the switch partially
installed) [Y/n] y

となる

続いて

1
2
opam update
opam install depext

を実行すると

1
2
[ERROR] No switch is currently set. Please use 'opam switch' to set or install
        a switch

となる

OCaml の環境構築

によれば
OPAMがおかしくなったら、 ~/.opam を削除すれば初期化できる
とのことなので

1
rm -rf .opam/

で一度削除

1
opam init --solver=mccs

を実行

1
2
3
4
Do you want opam to modify ~/.profile? [N/y/f]
(default is 'no', use 'f' to choose a different file) no
A hook can be added to opam's init scripts to ensure that the shell remains in
sync with the opam environment when they are loaded. Set that up? [y/N] N

については
デフォルトが N なので
N
にしてみたが変わらないので
一度

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<><> Required setup - please read <><><><><><><><><><><><><><><><><><><><><><><>
 
  In normal operation, opam only alters files within ~/.opam.
 
  However, to best integrate with your system, some environment variables
  should be set. If you allow it to, this initialisation step will update
  your bash configuration by adding the following line to ~/.profile:
 
    test -r /home/pi/.opam/opam-init/init.sh && . /home/pi/.opam/opam-init/init.sh > /dev/null 2> /dev/null || true
 
  Otherwise, every time you want to access your opam installation, you will
  need to run:
 
    eval $(opam env)
 
  You can always re-run this setup with 'opam init' later.
 
Do you want opam to modify ~/.profile? [N/y/f]

で再度 y を選択

最後に

1
2
3
User configuration:
  ~/.profile is already up-to-date.
[NOTE] Make sure that ~/.profile is well sourced in your ~/.bashrc.

となるので

1
source .bashrc

を実行

インストールしたOCamlをパスに加えるので

1
2
3
eval $(opam env)
 
opam switch list-available

で利用可能なあっケージを調べる

Official release が公式らしい

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
ocaml-base-compiler                    4.12.0
          Official release 4.12.0
ocaml-variants                         4.12.0+domains
          OCaml 4.12.0, with support for multicore domains
ocaml-variants                         4.12.0+domains+effects
          OCaml 4.12.0, with support for multicore domains and effects
ocaml-variants                         4.12.0+options
          Official release of OCaml 4.12.0
ocaml-variants                         4.12.1+trunk
          Latest 4.12 development
ocaml-base-compiler                    4.13.0~alpha1
          First alpha release of OCaml 4.13.0
ocaml-variants                         4.13.0~alpha1+options
          First alpha release of OCaml 4.13.0
ocaml-base-compiler                    4.13.0~alpha2
          Second alpha release of OCaml 4.13.0
ocaml-variants                         4.13.0~alpha2+options
          Second alpha release of OCaml 4.13.0
ocaml-variants                         4.13.0+trunk
          Latest 4.13 developmet
ocaml-variants                         4.14.0+trunk
          Current trunk

となるので

1
opam switch create 4.12.0

としたが

1
[ERROR] ocaml-base-compiler = 4.12.0 unknown package

となる

OCamlについてとりあえずメモ

を参考に

1
sudo apt install opam ocaml gcc make bubblewrap m4 pkg-config

をしたが変わらない

再度

1
rm -rf .opam

で削除し

1
2
3
4
5
6
7
8
<><> Creating initial switch (ocaml-system>=4.02.3) <><><><><><><><><><><><><><>
[ERROR] Solver failed: "/usr/bin/mccs -i
        /tmp/opam-pi-1045/solver-in-1045-8b8a2d -o
        /tmp/opam-pi-1045/solver-out-1045-d474c2
        -lexagregate[-removed,-count[version-lag:,true],-changed,-count[version-lag:,false],-new]"
        exited with code 255 "ERROR: Cannot read solution from lp solver."
Switch initialisation failed: clean up? ('n' will leave the switch partially
installed) [Y/n] y

となったので

1
opam init --solver=mccs

を実行

しかし
同じエラーがでる

再度

1
Do you want opam to modify ~/.bash_profile? [N/y/f]

のとき
N
を選択し

1
2
A hook can be added to opam's init scripts to ensure that the shell remains in
sync with the opam environment when they are loaded. Set that up? [y/N] N

もN
とした

1
2
3
4
5
6
7
[ERROR] Solver failed: "/usr/bin/mccs -i
        /tmp/opam-pi-1326/solver-in-1326-8b8a2d -o
        /tmp/opam-pi-1326/solver-out-1326-d474c2
        -lexagregate[-removed,-count[version-lag:,true],-changed,-count[version-lag:,false],-new]"
        exited with code 255 "ERROR: Cannot read solution from lp solver."
Switch initialisation failed: clean up? ('n' will leave the switch partially
installed) [Y/n]

のときに
Y
とした後に

1
opam update

を実行

このあと

1
opam install depext

を実行したが

1
2
[ERROR] No switch is currently set. Please use 'opam switch' to set or install
        a switch

となる

1
opam switch create 4.12.0

を実行すると

1
2
3
4
5
6
7
[ERROR] Solver failed: "/usr/bin/mccs -i
        /home/pi/.opam/log/solver-in-1418-7afd23 -o
        /home/pi/.opam/log/solver-out-1418-5f1023
        -lexagregate[-removed,-count[version-lag:,true],-changed,-count[version-lag:,false],-new]"
        exited with code 255 "ERROR: Cannot read solution from lp solver."
Switch initialisation failed: clean up? ('n' will leave the switch partially
installed) [Y/n] Y

となる

エラーログから

1
Please use 'opam switch' to set or install         a switch

とあったので検索
opam not creating a switch #4023

の中の

1
2
3
There is some packaging issues of opam (cf. #3827), it should use builtin solver, but it packaged with aspcud.
 
Can you try this workaround ?

を参考に

1
aspcud install

で検索

How To Install “aspcud” Package on Ubuntu

を参考に

1
sudo apt install aspcud

でインストール

debian testing/ubuntu disco opam packages result in solver failure on init

を参考に

1
opam switch create 4.12.0 --solver=mccs

としたが変わらない

このため一度以前作成したラズパイゼロとの
バージョン差分を調べることにする

1
opam --version

で調べた結果
2.0.3
に対し

以前作成したものは
ver 1.2.2
だった

このため一度 Google Drive への保存を保留にして
先に Bluetooth ボタンでシャットダウン機能の実装とOpenCVを先に実験する

今回作成するものは車で走行しているときの動画の保存と解析が目的
なので
古い写真と動画を圧縮保存するようにして
自宅に帰ったときにNASに保存するようにする

まず bluetooth の設定

1
2
sudo apt install bluez bluetooth libbluetooth-dev build-essential
sudo apt install bluez-cups

で必要なパッケージのインストール

次にgem でインストール

1
2
sudo apt install ruby
sudo gem install bluebutton

これはダイソーの３００円のボタンを使う

1
2
3
sudo bluetoothctl
power on
scan on

で
MACアドレスを表示されたら

1
2
3
connect FF:FF:9A:4A:49:94
pair FF:FF:9A:4A:49:94
trust FF:FF:9A:4A:49:94

とする

しかし電池が少ないため途中で接続が途切れる

このため先に opencv の設定をする

【Raspberry Pi】Raspberry Pi Zero WにOpenCVの環境を構築する

1
2
3
4
5
sudo apt-get install python3-pip
sudo apt-get install libatlas-base-dev
sudo apt-get install libjasper-dev
sudo apt-get install qt4-dev-tools qt4-doc qt4-qtconfig libqt4-test
pip3 install opencv-python

これでpython3 の後に

1
import cv2

とすると

1
2
3
4
5
6
7
8
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
RuntimeError: module compiled against API version 0xe but this version of numpy is 0xd
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/pi/.local/lib/python3.7/site-packages/cv2/__init__.py", line 5, in <module>
    from .cv2 import *
ImportError: numpy.core.multiarray failed to import

となる

このため
import cv2 で謎の”ImportError”が出た…[OpenCV for Python3]

を参考に

1
pip install -U numpy

インストールはできたようだが

1
2
The scripts f2py, f2py2 and f2py2.7 are installed in '/home/pi/.local/bin' which is not on PATH.
Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.

とエラーがでる

1
The scripts f2py, f2py2 and f2py2.7 are installed in '/home/pi/.local/bin' which is not on PATH.

で
検索した結果
NumPy、pandas、Matplotlib をpipでインストールする方法

によれば
f2pyは
FORTRANのコードをPythonで使えるようにするプログラム

警告内容のようにPATHを通さなくても

1
py -m numpy.f2py

で呼び出せるらしいので
そのまますすめる

この状態で

1
import cv2

として何もエラーがでなければ成功

バージョン確認は

1
cv2.__version__

でOK

ctrl + ｄ で抜ける

とりあえず
opencv の設定はできたので
次に定期的にカメラで動画撮影する

動画の撮影は
raspivid コマンド
もしくは
motion コマンド
でできる

motion の場合動体検知などができるが
今回は raspivid コマンドで実行する

出力されるファイル形式は
.h264 になる

-t でミリ秒単位で撮影時間を指定できる
なおミリ秒は0.001 秒なので
10000ミリ秒なら１０秒となる

-rot で角度の指定が可能
１８０度回転させるなら
-rot 180
となる

カメラの向きが上下反転しているなら
-vf

左右反転なら
-hf
を指定することで解決

これについては

Raspberry Pi Zeroで簡易ドライブレコーダーを自作する

を参考に

取り付ける場所がルームミラーの裏にしたいので
横向きになるので

1
raspivid -o test.h264 -rot 270 -t 10000

とすることで角度調整ができた

次に
-fps でフレームノート
-b でビットレートを指定する

ファイル名がかぶらないように
date コマンドで日時を撮影した日時にして保存する

1
2
raspivid -o `date '+%Y%m%d-%H%M'`.h264 \
-rot 270 -w 1280 -h 720 -t 20000 -fps 30 -b 2000000

これをスクリプトファイルにするので

1
vim video.sh

でファイルを作成し

1
2
3
#!/bin/sh
raspivid -o `date '+%Y%m%d-%H%M'`.h264 \
-rot 270 -w 1280 -h 720 -t 20000 -fps 30 -b 2000000

として保存

なお

1
`date '+%Y%m%d-%H%M'

はバッククォートで囲っている
shift + @ でバッククォートになる

‘ と似ているので注意

1
chmod +x video.sh

で実行権限を付与

これを cron で実行できるようにする

1
crontab -e

を実行

1
2
3
4
5
6
7
no crontab for pi - using an empty one
 
Select an editor.  To change later, run 'select-editor'.
  1. /bin/nano        <---- easiest
  2. /usr/bin/vim.basic
  3. /usr/bin/vim.tiny
  4. /bin/ed

となりどのエディタを使うか聞かれる
今回はvim にしたいので
2
を選択

最終行に

1
*/1 * * * * /home/pi/video.sh

を追記して保存

これで１分ごとに２０秒の動画が撮影される

このままだとどんどんファイルが増えていくので

1
mkdir drive_rec

で動画を保存するディレクトリを作成

1
2
3
#!/bin/sh
raspivid -o /home/pi/drive_rec/`date '+%Y%m%d-%H%M'`.h264 \
-rot 270 -w 1280 -h 720 -t 20000 -fps 30 -b 2000000

というように保存先を指定

今まで撮影したファイルについては

1
mv *.h264 drive_rec/

で一緒に保存しておく

これで一日おいておいたらすごい量のファイルになっているので
シャットダウンボタンを設定する

1
sudo pip3 install evdev

で
キーイベント取得のためのモジュールインストール

あと
100均Bluetoothボタンをラズパイ活用

で
別の機器（ラズパイやスマホ）に繋ぐ場合は、最後に繋げた機器とペアリングを確実に削除すること(デバイスの電源OFFや電池を抜いてもダメ)
とあったので
新規に電池とともに
ダイソーで購入することに

一日たってから

1
df -h

で容量を確認したところ
５GBほど容量をとりほぼ夜中は起動しても無駄になりそうなので
motion で撮影することに

これなら動体検知になるのでそこまで容量をとらないはず

1
sudo nano /etc/modules

でファイルを開き

1
bcm2835-v4l2

を最終行に追記

あとは

1
sudo reboot

で再起動

次に motion のインストール

1
sudo apt update

でリポジトリを更新し

1
sudo apt install -y motion

で motion をインストール

次に設定ファイルの編集

1
sudo vim /etc/motion/motion.conf

で設定ファイルを開き

11行めの

1
daemon off

を

1
daemon on

に変更

７９行目あたりの

1
width 320

を

1
width 640

に変更

1
height 240

を

1
height 480

に変更

８６行目あたりの

1
framerate 2

を

1
framerate 10

に変更
framerateは
動体を検知した時に画像をキャプチャするフレームレートの最大値
大きくするとCPU負荷も上がるが
動きがなめらかになる

２３３行目あたりの

1
event_gap 60

を

1
event_gap 10

に変更
eventgap は
動体検知が収まってから再度検知するまでの秒

４６１行めの

1
stream_localhost on

を

1
stream_localhost off

に変更
stream_localhost　は
ライブストリームへのアクセスをローカルホストからのみに制限する
on だとローカルホストのみ

次に撮影関連の設定
デフォルトだと撮影時間が無制限なので
２３７行目の

1
max_movie_time 0

から任意の撮影秒数に変更

今回は２０秒に設定

1
max_movie_time 20

とした

これで保存

そして、自動的に motion を起動できるようにしたいので

1
sudo nano /etc/default/motion

でファイルを開き

1
start_motion_daemon=no

を

1
start_motion_daemon=yes

として保存

次に insserv パッケージをインストール

1
sudo apt install insserv

あとは

1
sudo insserv motion

これで自動起動設定も完了

もし、自動起動していないのなら

1
sudo motion

で motion を起動

しかしうまく起動していないため
深夜での撮影はしないため
撮影する時刻を
朝５時から夜９時までに変更するため

crontab -e
で

1
*/1 * * * * /home/pi/video.sh

を

1
*/1 5-21 * * * /home/pi/video.sh

として保存

設定は左から
分　時　日　月　曜日
となっている

書き方については
crontabの書き方

を参考に

次に古いファイルの削除

基本的に週１でデータ管理しようと思うので
それ以前のデータは削除するようにする

Raspberry Pi で監視カメラを作ってみた

を参考にスクリプトを設定

1
sudo vim /etc/cron.daily/delete_movie.sh

内容を

1
2
3
#!/bin/bash
find ~/drive_rec/ \( -name '*.h264' \) -mtime +7 -delete
exit 0

として保存

1
sudo chmod +x /etc/cron.daily/delete_movie.sh

で実行権限付与

これで７日間変更がないなら削除されるようになる

ボタン電池を購入したのでbluetooth ボタンの続き

簡易ドライブレコーダーZeroWにBluetoothボタンでオンオフ編

を参考に

1
2
sudo apt install bluez bluetooth libbluetooth-dev build-essential
sudo apt install bluez-cups

これで

1
vim shutdown.sh

でファイルを作成

1
2
#!/bin/bash
sudo shutdown -h now

として保存

1
sudo chmod +x shutdown.sh

で実行権限付与

1
sudo vim ~/.config/bluebutton

で内容を

1
2
3
4
keyup=echo UP && ~/shutdown.sh
keydown=echo DOWN
longup=echo LONG UP
longdown=echo LONG DOWN

として保存

1
sudo bluebutton -c ~/.config/bluebutton

だと

1
sh: 1: /root/shutdown.sh: not found

となってしまうが

1
bluebutton -d="AB Shutter3" -c /home/pi/.config/bluebutton

として
ボタンを押すと無事にシャットダウンができた

このままだと使えないので
起動したら
bluetooth が使えるように設定

Crontabにシステム起動時に1度だけコマンドが実行されるように設定する方法

によれば

@reboot
で設定ができるらしい
Shutter3とRaspberry Pi Zero Wを使ったBluetoothボタンの制御まとめ

で書いてあったものを参考に

1
vim blbtn.sh

で

1
2
3
#!/bin/sh
command="bluebutton -d="AB Shutter3" -c /home/pi/.config/bluebutton"
eval $command

として保存

1
chmod +x blbtn.sh

で実行権限付与

1
crontab -e

で最終行に

1
@reboot /home/pi/blbtn.sh

を記述して保存

実際に起動しているか調べるため再起動

しかし動作しないためこれは保留
100均のBluetoothシャッターとRaspberry Piカメラでオンラインデジカメを作ってみた

を参考に

1
sudo vim ~/.config/bluebutton

でファイルを編集

内容を

1
2
3
4
keyup=echo UP ; ~/shutdown.sh
keydown=echo SHUTDOWN
longup=echo LONG UP
longdown=echo LONG DOWN

として保存

1
which bluebutton

で
bluebutton のパスを確認したら

1
/usr/local/bin/bluebutton

だったので

1
crohtab -e

で設定ファイルを開き

1
@reboot /home/pi/blbtn.sh

を削除

1
@reboot /usr/local/bin/bluebutton -d="AB Shutter3" -c /home/pi/.config/bluebutton

を最終行に追記

これで

1
sudo reboot

で再起動させて
しらばくたってから
AB Shutter3
のボタンを押すとシャットダウンが実行される

なお端末画面には
ECHO で設定した画面が表示されないので注意

またすでに他のラズパイzero で実験している場合
一度ペアリングを解除しないと他の端末で使えないので注意

bluetoothctl

でペアリング解除などが載っているので参考に

python で今日の日付を dd/mm/YY で取得　その２

python で今日の日付を dd/mm/YY で取得　その２

ほとんどの場合は
yymmdd だけど
investpy で指定するときに
ddmmyy で期間を取得することになる

今日の日付を[yyyymmdd]形式の文字列で取得する。

今日の日付を[yyyymmdd]形式の文字列で取得する。【Python】


を参考に

1
2
today =datetime.date.today().strftime('%Y%d%m')
today

とすると

‘20210409’

となる

1
2
today =datetime.date.today().strftime('%d/%m/%Y')
today

とすれば

’04/09/2021′

となる

【Python】investpyを使ったInvesting.comからのデータ取得方法


で
経済指標カレンダーも investpy で取得可能

1
2
3
4
5
6
7
calendar = investpy.news.economic_calendar(from_date='01/01/2021',to_date=today,
                                           countries=['united states','germany','japan'])
# countriesでの国指定は省略可能。
 
# 重要度の高・中度の予定
important = investpy.news.economic_calendar(from_date='01/01/2021',to_date=today,
                                            countries=['united states'],importances=['high','medium'])

で取得ができる

あとは
important
や
calendar
で表示ができるけど

日時を毎回直接打つのはミスするので別の方法で取得

Pythonで翌日や翌月みたいな日付の計算をする

Pythonで今月、前月、来月、昨年、毎月あたりを取得する

を参考に今月と月末を取得して指定するようにする

1
2
from datetime import datetime, date, timedelta
from dateutil.relativedelta import relativedelta

で必要なライブラリをインポート

1
2
3
4
5
6
7
# 月初(今月の1日にする)
first_day = (datetime.today() + relativedelta(day=1)).strftime('%d/%m/%Y')
# 月末 (来月の1日に合わせて1日分戻る)
last_day = (datetime.today() + relativedelta(months=+1,day=1,days=-1)).strftime('%d/%m/%Y')
 
# １週間後
week_later =(datetime.today() + relativedelta(weeks=+1)).strftime('%d/%m/%Y')

で
月末、月始の日付が取得できる

あとは

1
2
3
4
5
6
7
8
# 今月の重要度の高・中度の予定
important = investpy.news.economic_calendar(from_date=first_day,to_date=last_day,
                                            countries=['united states'],importances=['high','medium'])
 
 
# １週間の重要度の高・中度の予定
important = investpy.news.economic_calendar(from_date=today,to_date=week_later,
                                            countries=['united states'],importances=['high','medium'])

で指定して
経済指標カレンダーの取得が可能になる

python で今日の日付を dd/mm/YY で取得

python で今日の日付を dd/mm/YY で取得

ほとんどの場合は
yymmdd だけど
investpy で指定するときに
ddmmyy で期間を取得することになる

今日の日付を[yyyymmdd]形式の文字列で取得する。

を参考に

1
2
today =datetime.date.today().strftime('%Y%d%m')
today

とすると

‘20210409’

となる

1
2
today =datetime.date.today().strftime('%d/%m/%Y')
today

とすれば

’04/09/2021′

となる

あとは経済指標の取得期間を

1
economic_data = investpy.economic_calendar(time_zone=None, time_filter='time_only', countries=['japan', 'united states'], from_date='01/01/2021', to_date=today)

というように

to_date=
で指定する部分を today などの取得した変数にすればOK

経済指標グラフを altair で表示 その２

経済指標グラフを altair で表示 その２

investpy で経済指標を取得し
altair で表示する

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import pandas as pd
import investpy
import altair as alt
import datetime
 
economic_data = investpy.economic_calendar(time_zone=None, time_filter='time_only', countries=['japan', 'united states'], from_date='01/01/2021', to_date='11/06/2021')
 
ISM =economic_data[economic_data['event'].str.contains('ISM Non-Manufacturing PMI')]
 
date2 =[]
for i in ISM['date']:
    new_date = datetime.datetime.strptime(i,"%d/%m/%Y").strftime("%Y-%m-%d")
    date2.append(new_date)
 
ISM['date']=ISM['date'].str.replace('/','-')
ISM['date'] = date2
ISM.fillna(0)
 
chart =(
    alt.Chart(ISM)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="date:T",
        y=alt.Y("actual:Q",stack=None)
    )
)
 
chart

とすると
ISM の actual の数値が折れ線グラフで表示される

実際の値だけでなく予測値の forecast もほしいので

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
actual =(
    alt.Chart(ISM)
    .mark_line(opacity=0.8,clip=True)
    .encode(
        x="date:T",
        y=alt.Y("actual:Q",stack=None)
    )
)
 
forecast =(
    alt.Chart(ISM)
    .mark_line(opacity=0.8,clip=True,color='red')
    .encode(
        x="date:T",
        y=alt.Y("forecast:Q",stack=None),      
    )
)

として２つの折れ線データを用意する

あとは
alt.layer で重ねて表示すると２つ表示される

1
2
3
alt.layer(actual,forecast).resolve_scale(
    y = 'independent'
)

independent を指定するとｙ軸が独立した２つになる

なお重ねて表示するのは３つでも可能

試しに previous の値も追加するのなら

1
2
3
4
5
6
7
8
9
10
11
12
previous =(
    alt.Chart(ISM)
    .mark_line(opacity=0.8,clip=True,color='green')
    .encode(
        x="date:T",
        y=alt.Y("previous:Q",stack=None),      
    )
)
 
alt.layer(actual,forecast,previous).resolve_scale(
    y = 'independent'
)

とすれば３つの折れ線グラフが表示される

重ねて折れ線グラフを表示するのについては
Layered chart with Dual-Axis

を参考に

altair で線の色を指定するには
altairでとあるアイドルグループのメンバー在籍期間のチャート化してみた

を参考に

最初に
altair.encode() で指定したときにはエラーとなった

color=
で指定するとラベル指定となってしまうらしい