開発ログ FREDとStooqで1990年以降の為替・金利・原油・金価格データを取得してSQLiteに保存する
FREDとStooqで1990年以降の為替・金利・原油・金価格データを取得してSQLiteに保存する為替レート、経済指標、商品相場、原油、金価格の関係性を通貨ごとに整理していくには、まず過去を含めた時系列データが必要になります。特にLTCM...
開発ログ 開発ログ 保険約款PDFをMarkdown化するために、PDF分割・暗号化解除・AIでの全文抽出を試す
保険約款PDFをMarkdown化するために、PDF分割・暗号化解除・AIでの全文抽出を試す自動車保険の保険証券PDFをMarkdown化できたので、次は普通保険約款・特約PDFもMarkdown化します。保険証券は数ページで、契約内容の一...
開発ログ レシート画像からCSVを作成し、セルフメディケーション対象金額をSQLiteで集計する
レシート画像からCSVを作成し、セルフメディケーション対象金額をSQLiteで集計するセルフメディケーション税制の対象商品について、年間の購入金額を集計できるようにしました。レシート画像をGeminiやGPTで読み取り、CSV化したうえでS...
開発ログ WTI・Gold・USDJPY・S&P500・DXYをyfinanceで取得し、SQLiteへ保存する単体テスト
WTI・Gold・USDJPY・S&P500・DXYをyfinanceで取得し、SQLiteへ保存する単体テスト為替・金・WTI・米金利などを集めて相関分析するためのデータ収集基盤を作り始めました。今回は、いきなり全銘柄をまとめて取得するの...
開発ログ コモディティ・為替・金利・株価指数を集めるための最小プロジェクト構成を作る設計ログ
為替・金・WTI・米金利を集めて相関分析するための最小データ収集基盤を作るこれまでに、CFTCのCOTレポートからIMMポジションを取得し、SQLiteへ保存する流れを作りました。次は、為替レートだけでなく、金、WTI原油、米金利、株価指数...
開発ログ yfinanceで通貨ペアの日足OHLCVを取得し、SQLiteのresearch.sqliteへ保存する
yfinanceで通貨ペアの日足OHLCVを取得し、SQLiteに保存するIMMポジションやCOTデータを取得できるようになったので、次は為替レート側のデータを取得します。今回は、yfinanceを使って主要通貨ペアの日足OHLCVを取得し...
開発ログ CFTC/COT（IMMポジション）を取得してSQLiteに保存し、JPY先物データを分析用に整える
CFTCのCOTレポートからIMMポジションを取得し、SQLiteに保存してJPY先物データを整えるリーマンショック時には、円キャリー取引の巻き戻しによって大きな円高が発生しました。そのような中長期のマクロ環境や市場ポジションの偏りを分析す...
開発ログ Gemini CLIで自動車保険証券PDFをMarkdownへ変換してみる
Gemini CLIで自動車保険証券PDFをMarkdownへ変換してみる自動車保険の保険証券PDFを、あとでRAGやGraphDBで扱いやすいようにMarkdownへ変換してみました。今回は、保険約款ではなく「保険証券」、つまり契約内容の...
開発ログ Mac miniにnodebrewでNode.jsを入れて、npxでGemini CLIを使う
Mac miniにnodebrewでNode.jsを入れて、npxでGemini CLIを使うMac miniでGemini CLIを使うために、まずNode.js環境を整えました。Gemini CLIはNode.js 20以上が必要になる...
開発ログ MacBook AirのHomebrew環境をBrewfileでMac miniへ移行し、Python環境はuvで管理する方針にする
MacBook AirのHomebrew環境をBrewfileでMac miniへ移行し、Python環境はuvで管理する方針にするMac miniを開発用・自宅サーバ用の環境として整備するため、MacBook Airで使っていたHomeb...