2026年6月28日日曜日

遺物3Dデータの正本管理の失敗

 Failure in Managing Master 3D Artifact Data


I plotted 3D artifact data into Blender as a point cloud (or mesh) and performed a virtual CT scan using a Blender Python script. While the process worked fine with test data, it resulted in errors when using the actual production data.

I wasted about half a day investigating the cause, only to discover that the data I had treated as the "master" copy was actually an intermediate working file containing errors from before corrections were made. I realized I had failed to properly manage the master data. This experience made me keenly aware of the need for a master data management system designed to minimize the risk of such errors.


遺物3DデータをBlenderに点群(メッシュ)としてプロットして、そのCT撮影をBlenderPythonスクリプトで行いました。しかし、テストデータでは正常にできるのに、本番データではエラーになってしまいます。

半日ほどその原因追究に時間を浪費しました。結果は正本データと思って使ったデータが修正前の誤りを含む途中作業データだったのでした。正本データ管理に失敗していることに気が付きました。間違いの生まれにくい正本管理システムを作る必要性を痛感しました。

関連記事(正本データを使った記事)2026.06.26記事「Blender3D空間に分布する点群(メッシュ)のCT撮影用Pythonスクリプト

1 エラーの原因

点群(メッシュ)CT撮影用BlenderPythonスクリプトを走らせた時のエラー原因はデータ(csvファイル)の座標値に極端な異常値が含まれていたことです。


極端な異常値(Z値が桁間違いと未調整により、正常な値の約380倍になっている)


極端な異常値の可視化

1点のZ値が極端な異常値であるため、BlenderPythonスクリプトが画像枠をつくることが出来ず、エラーになりました。

2 エラー発生の重大性

このエラーそのものはデータを修正すればよいことであり、さして驚くべきことではありません。私が深刻にその重大性を感じたのは、正本データとされるもので、このようなエラーが発生したことです。1年以上前に、このデータエラーは既に気が付き、正本を訂正しているのです。それにもかかわらず正本データを使って、このエラーが発生したということは、正本管理が適切に行われていないということです。

使ったcsvファイル名称は「北斜面貝層プロット用調整」となっています。ファイル名称にいくら「調整」とか「最終」とか「正本」とか書いてもそれが本当に使えるものであるどうかはまた別問題です。

現在のデータ正本管理システムを抜本的に改善する必要を感じました。

3 データ正本管理システムの抜本的改善

現在のデータの流れは次のようになっています。

postgreSQL→csv出力→Blenderプロット用正本作成→Blender

このデータの流れを次のように変更することにします。

postgreSQL(正本)→csv出力→Blender

postgreSQLを正本とし、データ修正は全てpostgreSQLで行うことにします。出力したcsvファイルは単なるその場限りのBlender用データとします。csvファイルの格下げです。このようにすれば、正本管理が確実にできそうです。

postgreSQLが正本として完成して安定すれば、直ちにその次のシステムに移行することにします。

postgreSQL(正本)→Blender

csvファイルを経由することなく、postgreSQLから直接Blenderにデータを流すことにします。

【余談】なお、postgreSQLからQGISに直接データを流せることはQGISにpostgreSQLアイコンがあることから知っていましたので、こちらの方も同時に試してみることにします。


0 件のコメント:

コメントを投稿