geopandas関連 geopandas関連
PythonでのGIS・位置情報データのハンドリング実践ShapelyやGeoPandas、Folium、Plotlyなどによるさまざまなデータ処理・可視化手法を学ぶOSMNXはopenstreetmap による最短経路の算出内容の実践はd...
geopandas関連 RAG RAGのメイン処理
RAGのメイン処理でユーザのプロンプトをベクトル化を使うことでchromaDBのメソッドを使うことで似ている情報をベクトル同士を比べることで似ている情報を得ることが可能になるこの中ででプロンプトを指定してで上位何個を該当させるか指定できる今...
RAG ファイルをベクトル化してDBへ保存
ファイルをベクトル化してDBへ保存によってボタンを押したら処理が完了するはボタンを押したら、という意味は自作のメソッドで、ファイルアップロードしたときの結果が入っているのででfor ループで file へ代入していくがそのメソッドも自作のメ...
RAG RAGで使う wordファイルのアップローダ作成
RAGで使う wordファイルのアップローダ作成これでの設定で拡張子が docx のもののみ受け付けるこれで複数ファイルのアップロードが可能とすることで機能を変数に格納できる
RAG RAGのためのテキスト分割関数
RAGのためのテキスト分割関数文章となる文字列をチャンクという塊に分割し分けたものをベクトル化してDBに入れるこのためチャンクに分ける分割関数を作成する以下解説チャンクサイズの設定塊の許容範囲の設定これにより１０００文字なら最初の２００文字...
Chroma chromaDB
ローカルLLMを使ってRAGが導入された本格的なチャットボットを作ろう！ローカルLLM実行ツールであるOllamaとPythonを使ってローカル環境にいくら実行しても無料のAI環境を作ろう！で word ファイルをRAGにしているので参考に...
Chroma chromaDB + streamlit + elyza:jp8b
のコードを OpenAI のAPIではなく Ollama のelyza:jp8bを使用するようにコードを変更openai の依存を削除し、/api/chat（ストリーミング）を requests で直接呼び出し。モデル既定値を elyza:...
QGIS 国土数値情報の洪水浸水想定区域データをダウンロード
OGIS用データのダウンロード国土数値情報の洪水浸水想定区域データをダウンロード一番新しいものは最新のデータは第4.0版（2022年度）に基づいています。データ詳細はこちら（データ作成年度：2022年度（令和4年度））が最新のダウンロードに...
QGIS QGISメモ
QGIS属性データの確認と編集属性テーブルの操作をするには読み込んだシェープファイル、今回なら観光スポット（スポーツ）を右クリックし属性テーブルを開くを選択するこれでデータが出てくるのでペンのアイコンの編集モードの切り替えをクリックこれでデ...
RAG RAGのためのPDF内容抽出
RAGのためのPDF内容抽出としたけどご提供いただいたPDFファイルから、指定された形式（ページ番号の付与、レイアウトの維持、表のMarkdown変換など）でテキストを抽出するご依頼ですね。残念ながら、私の内部ツールは、PDFファイルから画...