ほしぞloveログほしぞloveログ天体観測始めました。TopMoonNebulaMilkywayOthers特集記事プロフィール2018年01月21日PixInsightのバッチ処理と縞ノイズさて今回M33を撮影したので、Pixinsightのバッチ処理に挑戦しました。ややこしいですが、多少癖がわかったのか、前回ほど戸惑うことはないです。Processing」->「BatchPreprocessing」を選ぶことから始まります。下のAddボタンを押してLightフレーム、Darkフレーム、Flatフレームなどを登録していきます。ここら辺まではいいのですが、最初はやはりなかなかうまくいきません。迷ったところをこれまた全部書いておきます。右側のCFAimagesにチェックを入れるとできるようになる。これは特に分かりづらかったです。BatchPreprocessingに入る前に、あらかじめ「Preprocessing」の中から「CosmeticCorrection」を選び作っておく必要があります。前回の記事で説明したように、ファイルを選んで実行までしてから、(2018/3/22変更)CosmeticCorrectionでホットピクセル除去やクールピクセル除去のやり方を指定するだけでよく、ファイルまで選ぶ必要はありません。その後、CosmeticCorrection画面の左下の三角をクリック枠の外に出すと「Instance」が作成されます。これをBatchPreprocessingで指定するみたいです。「CosmeticCorrection」できたファイルを消したりしてしまうと、たとえインスタンスだけ残っていてそれを指定しても、エラーが出ます。問題なくできるみたい。これで本当に全部のファイルのhot/coolピクセルが処理されているかは未検証です。念のため全Lightフレームを使って処理するようにしました。(2018/3/22変更)そもそもCosmeticCorrectionでホットピクセル除去やクールピクセル除去のやり方を指定するだけでよく、ファイルまで選ぶ必要はありません。バッチファイルの画面を閉じてしまうと、選択したファイルも全てリセットされる。インスタンスを残しておいても、スクリプトファイルのソースみたいなのが出てくるだけで、元の画面が出てこない。左下の三角を枠外にドラッグ&ドロップしてインスタンスを作って置けば後から再度開くことができることがわかりました。context」を選ぶと物と画面に戻ることができて編集を再開できます。ImageRegistrationのDrizzleの意味がわからない。チェックしないとファイルが出力されない。(2018/3/22追加)->普通のDrizzleの意味で、解像度を上げるのですが、そのためのデータを出力するだけで、実際に出力ファイルの解像度が上がるわけではないみたいです。チェックは外してもいいとのことですが、チェックしないとファイルが出力されないこともあったので、とりあえずチェックしてあります。星像が流れていないかなど、撮影後のfitsファイルの確認がしにくい。Canonカメラでの撮影の場合JPEGも残しているのと、RAWファイルのCR2形式はWindowsでもMacでも簡単にプレビューできるので便利。その一方、fits形式のプレビュー的なアプリはなかなかなく、今の所Pixinsightで全て開くしかない。Processing」「SubframeSelector」というバッチ処理で星像の肥大度と偏心度などをみて自動判別するとても便利な機能があります。そのうちに解説します。Lightフレームだけではダメみたいで、少なくともDarkかFlatかBiasが一枚はないとダメみたいです。Image」は必ず一枚Lightフレームを選ばなくてはならない。Directoryも選ばないと怒られる。冷却CCDとかでは必要みたいです。常温のCMOSカメラは?PixinsightではBiasは必ず取った方がいいみたいです。明らかに処理に差が出るようです。今回はとりあえず、よくわからないので撮ってません。調べてみるとBiasフレームとは、レンズにキャップをした状態にし、ライトフレームと同じISO感度かつ「最短シャッタースピード」で撮ったもののようです。簡単そうなので、次回撮影では撮ってみます。Flatフレームもダークで補正されたほうがいいはずなのですが、実際に補正はされるのでしょうか?できたファイルからだけではよくわかりません。biasはFlatにもダークにも適用されます。FlatdarkはPixInsightでは必要ないそうです。実行前に「Diagnostics」ボタンを押すと、問題があるかどうかわかる。準備ができたら「Run」ボタン。これで待っているとコンポジットされた画像が無事にできます。Stageの解説は次回に続きます。Image8やPhotoShopなどで処理しています。VXをASI178MCと50mmのCマウントレンズを使い、PHD2でガイドしたものです。撮影はSharpCapで行いました。ASI294MCのゲイン270、各露光時間は5分間で合計25枚、計2時間5分になります。長時間露光になっているのですが、これを処理すると「縞ノイズ」が盛大に出てしまうことがわかりました。Image8に送り、「オートストレッチ」でホワイトバランスを整えてから、「チャンネルパレット」の「σ(1,3)」を押しただけの画像です。画像をクリックすると縦方向に少し斜めの線がたくさん見えると思います。実はこれまでも長時間撮影で何度か遭遇してボツにしてきた経緯があるのですが、そろそろ向き合わなければならない時期にきたみたいです。見てみると、縞ノイズの方向とずれの方向が一致しているのがわかると思います。Integrartion」でコンポジットします。すると、上に示したような比較明合成画像が出来上がります。この縞ノイズをなくすには機材のたわみなどを極限までなくし、ガイドの精度を上げることなのですが、今回のズレも画像から計算すると2時間でわずか約40秒と決して悪いわけではありません。精度を上げる方向で攻めるのは普通は難しいので、ディザリングなどで撮影時にわざと規則的に画角を繰り返しずらしていくことで、縞ノイズの影響を少なくするような方法をとることができるようです。ここで一つ問題が出ます。今回の撮影でも使ったSharpCapだとディザリングは難しいみたいなのです。撮影の合間にずらして揺れが落ち着くまで少し待つということを繰り返すのですが、SharpCapの撮影は基本的に連続で、ずらしている間に露光を止めることができないようなのです。使う必要があるみたいで、お気に入りのSharpCapが使えません。ディザリングはおいおい考えるとして、Pixinsightで比較明合成の仕方を探る時に色々試していて面白いことに気づきました。Integrationのオプションの違いで明らかに縞ノイズの出方が違うのです。関係するオプションは2つで、「Combinarion」と「Normalization」です。全部のオプションを試したわけではないですが、Combinationでは「Average」と「Maximum」で明らかな違いがありました。normalization」でもCombinationと合わせると明らかな違いがありました。結果を画像で示しておきます。scaling」となります。次に、Combinationを「Maximum」に変えます。Image8のオートストレッチとチャンネルパレットのσ(1,3)のみです。明らかに縞ノイズが減っているのですが、少しわかりにくいかもしれません。normalization」にします。Combinationは「Average」のままです。normalization」これは一見ほとんど同じに見えるかもしれません。normalization」にします。normalization」それでも縦縞はまだ残っていますが、こちらはパッと見ただけでわかるくらい縦縞が減っています。やってみると、元の画像に細かいノイズがのっかただけのように見えないこともないです。それでもその後の処理では大きく違うこともわかりました。normalization」を比較する意味で、真面目に画像処理してみました。画像をクリックして拡大してみると結果は一目瞭然です。次の日見たら後者の方がぼかしてあり比較するのにあまり適していなかったので、処理を同じようなものに合わせました。scaling」方は縞を消さなくてはいけないと思い、かなり不自然な処理になってしまっています。それでもまだ全然消しきれていません。normalization」の方は処理中も縞をほとんど気にすることなく、画像処理に集中できます。完全に縞ノイズが消えているわけではないです。他のパラメーターでさらに改善する可能性もあるかもしれません。Pixinsightはまだ使い始めたばかりで右も左も分からないので、今回の試みがごくごく一般的なテクニックなのか、それともあまり知られていないものなのかもよくわかりません。PixInsight」は買ってあるので、該当する箇所を読んでみたのですが、大したことは何も書いていなくて、Combinationに関しては「Averageを使え」だけです。normalizatoinを選べ」とかいてあって、別の章では「Additiveは少なくとも使え、Scalingは露光時間が違う場合は使ったほうがいい」とあるくらいで、ほとんど中身の説明はありません。ヘルプのドキュメントをよく読めとも書いてあったので読んでみました。ヘルプの方が確かに少しマシですがそれでも「Averageは一番いいS/Nになる」くらいと、「NormarizationはバックグランドをScalingはばらつき具合を合わせる」というくらいのことしか書いてありません。「ScalingはS/Nを良くする」とも書いてあるので、もしかしたらS/Nを良くするというところの処理が悪さをして、縞ノイズが出る出ないに関わっているのかもしれません。何れにせよアルゴリズムは不明なので、どのような処理をやっているかがわかるようなレベルではないです。それにしてもPixInsight奥が深すぎます。ブラックボックスです。しし座のトリプレットの未処理画像が残っているので、引き続きもう少し触ってみます。09:52良い記事なのでじっくり読みたいのですが、バックのすけが文字を隠して読みにくいです。改善して頂ければと思います。お手数をおかけいたします。10:29こんにちは。コメントありがとうございます。確かに読みにくいですね。いったことに気が回らなくて申し訳ありません。このように言って頂けることはすごくありがたいです。メイン記事の透明度を落としました。読みにくいなどありましたらまたご指摘ください。21:31はじめまして。PIでググってたらこちらにたどり着きました。FBのデジ天でもお世話になっております。PIについては外国の方のブログばかりで難儀してましたので大変参考になります。01:02木人さんはじめまして。ブログ中心であまりFBには投稿していないのですが、デジ天はいつも参考にさせてもらっています。最近TwitterでもPixinsight修行始めました。して木人さんなのでしょうか?お試し期間の45日間短すぎると思いませんか?私も年末に触り始めて、最初は全くわからず、何度も挫折して、その都度何度も気を取り直して、やっとバッチ処理に至りました。Processと格闘していていました。こちらもまとまったら記事にしますが、とにかく操作方法が特殊すぎて慣れるまでは本当に疲れます。PI初心者同士お互い頑張りましょう。私は一通りのスタックまでこなすのに、他は何もせず丸4日掛かりましたw縞ノイズですが、あぷらなーとさんのサイトにあるように「ベイヤーを構成する色画素単位でクールノイズが発生している」ことが原因ではないかと考えています。Correctionでベイヤー状態でクールピクセルが除去できているかを確認する必要があると考えています。21:34いやいやまだ全然です。ほとんどのオプションはデフォルトです。リニアプロセスまでは結構いい機能があるみたいなので、頑張ろうと思って昨日今日も色々試していました。ノンリニアはPhotoshopでいいかなと思っていますが、星マスクが簡単に作れそうなのは魅力です。「縞ノイズ」とか「斜めノイズ」とか「縮緬ノイズ」で検索しても、それほど記述は見つからないんですよね。らなーとさんのはもちろん、kojiroさん、けむけむさんの記事なども見ました。さんの記事にあるように、ホットクール除去で消えるのでクールノイズなのではと思えるかもしれませんが、仮にクールノイズだとしたら、明るいところ暗いところ問わずにほぼ全画面に縞ノイズがでるのがあまり納得できません。ものすごく単純に考えたら、ノイズが完全にランダムならこのようなものは出ないはずなので、完全にランダムでないコヒーレントなノイズが存在するのかと思います。これだとクールノイズに限らずどんなノイズでもコヒーレントな成分があれば出てもいいはずです。比較明合成した場合は、すべて同じ位置に出てくるので目立たないだけで、ホット/クールほどでないにしてもいつも暗いところは暗い、明るいところは明るいとかいう成分があるはずです。星像に位置合わせすると、そのコヒーレントなノイズがガイドずれの方向に一致して出てくるのかと。このようなものが画面いっぱいに広がっているのかと。余裕があったら検証して見ます。08:48もう、マニアックすぎて、なんだかわからなぁ~い。20:22一晩考えていたのですが、縞ノイズって星の大きさに近いくらいの幅の縞なんですよね。要するに、ある特徴的な空間周波数があるということです。普通に撮影しただけで、ある特定の空間周波数のみコヒーレントなノイズが存在するというのはさすがに考えにくいです。なんらかの、星の大きさに関係するような画像処理の時に、副作用的に星と同じ大きさくらいのコヒーレントなノイズが発生するのではないかと思うようになってきました。この説だと、星とコヒーレントノイズの相対的な位置関係は同じになるはずなので、Integrationしたらそのノイズの位置も重なるはずです。ガイドがずれていくということなので、画像の端から一枚一枚の星の距離には差があるので、画像の端の情報みたいなのを使っているなら納得できないでもないですが、それだと端の方はノイズが大きく出てもいいかなと思ってしまいます。目標は、せっかく撮った長時間画像をできるだけ縞ノイズを除去して使いたいということです。わからないので、もう少し考えてみます。21:14縞の太さは恒星像より遥かに小さくありませんか?RGGBのベイヤー配列のうち1画素の情報が欠損すると、周囲4ピクセルの色に影響が出ると思います。黒くなるわけではなく、背景色からそのピクセルの色を落とした色になります。色はありますが、L情報としてみると欠損画素ぶん輝度が下がるので、「暗い筋」として見えているのではないでしょうか。恒星像に起因するように見えるのは、1コマ1コマでは点欠陥である画素が、1コマでは星が流れていない程度の露出で複数コマを経て「暗く塗り潰して」おり、かつ光学系がシャープなので恒星像も7~10ピクセル程度と欠陥画素が与える影響と似たオーダーに納まっているから、というのはどうでしょう。恒星像との関連を疑うならば、敢えてピントを外したコマを複数撮ってコンポジットしてみる、という確認方法があると思います。23:16確かに、星像が影響したとすると、星像はいろいろな大きさになるので、もっといろんな太さの縞が出てもいい気もしています。縞の太さは大体一定なんですよね。周囲4ピクセル混合説だとすると細すぎで、縞の太さは最低それの倍8ピクセルくらいはありそうです。あと画面全体にほぼ均等に、こんな多くの数の欠損があるとはやはり思えません。ガイドずれで出てくることは確かでしょう。私は画像処理も原因だと睨んでいます。何が原因でどんなプロセスで出るのか?本質的な理解にはまだまだ程遠いです。00:40詳しいことは良くわかりませんが、デジイチでも気温が高いと縞ノイズが出ます。冷却するのはこのためでしょうか?フラット補正はバイアスノイズを取り除いてくれます。フラットダークを撮らないとフラット補正の効果はでません。バイアスフレームはフラット補正するには必須と思います。ベイヤー配列をカラー化したときには欠けてるデータを補完してカラー化します。この補完が推測によるものなのでその影響で変なノイズになるのでしょうか?ガッツリ文系の私には良くわからないので表面的な話ですみません。間違っていたらすみません。05:47おはようございます。縞ノイズ(私が言うところの『縮緬ノイズ』)難儀しますね。モノクロカメラの場合はベイヤー処理の影響を受けないので考察しやすいのですが、カラーカメラの場合は複雑ですね。固有座標に存在するクールピクセルの場合、1G画素にクールピクセルだと上下左右に影響が拡散して十文字状のノイズ2RやB画素にクールピクセルだとさらに斜め方向に影響が拡散というように非常に複雑になりますので、結構大きめのノイズになりそうです。ショットノイズ(時間ノイズ・ランダムノイズ)が大きくなる画像の場合はは、ステライメージのクールピクセル除去フィルターが効きません。根本解決のためには、一般的なデジカメに施されているようなピクセルマッピングが必要だと思いますが、暫定的処理としては『クールファイル補正法』が効くかもしれません。画像を拝見する限り私の感覚よりもノイズがシャープ過ぎる気がするので、全く別な要因も寄与しているかもしれませんね。19:59あぷらなーとさんこんばんは。「縞ノイズ」とか「斜めノイズ」とか「縮緬ノイズ」と言われているみたいですね。カラーだとさらに肥大化するというのは納得です。確かにRGBのどれかの色が続いて線になっているケースが多いので、あるピクセルのある色が何かダメージを受けている可能性は高いのかもしれません。こんなに全面にクールピクセルがあるとも思えないです。PixInsightのクールで除去された個数を見ても、これほど多くはありません。うーん、まだ全然すっきりしません。21:50Scopioさんこんばんは。60Dでも縞ノイズが出たことがあるのですが、確かに気温は低くはなかったです。するとダークノイズ関係?読み出しノイズも少しは関係するかもしれません。カラー化時の欠けているデータというのはクールピクセルのことだと思いますが、カラー化する時に「自動的に」補完するのですね。クールはクールのまま残ってしまうか思っていました。クール除去とかした時だけうまく補完するのかと思いました。カラー化の時にもそれだと見栄えが悪いから、うまく加工して見栄えがいいようにするというのもあるのかと思われます。ここら辺がアルゴリズムによる差というところでしょうか。00:04今バタバタしてますが、落ち着いたら、ASI1600MC×1機と、MM×3機について、オフセット(バイアスノイズ)、ホットピクセル(ダークノイズ)、クールピクセル(欠陥画素)、アンプグロー(アンプノイズ)の4種類の特性差異と、画像に及ぼす影響のシミュレーションについて、まとめてみますね。ちなみに、クールピクセルはその出力(輝度値)が対象の明るさに対して非線形変化していることが分かったため、減算処理(ダーク処理やバイアス補正)や除算処理(フラット補正)では除去不能だと個人的に解釈しています。クールピクセルは、MMなら(ロットによっては)全画面に渡って砂嵐のようにウジャウジャと存在しますので、MCでも(ベイヤー処理でぼやけて気付きにくいだけで)相当数発生してても不思議はないと考えています。※あくまでも個人的な素人見解です。17:28昨晩色々試したのですが、クールノイズが画面いっぱいにかなりの数で広がっているのを確認できました。クールノイズが原因と納得できました。縞ノイズの原因もやっとわかってきましたと、書こうとして...あぷらなーとさんのブログを改めて過去記事まで含めて色々読みました。すみません、2016年の縮緬ノイズのページしか読んでいませんでした。これまで気づかなかったのですが、昨年9月くらいにほとんど検証されていたんですね。Proにもその補正手法が搭載されたという記事を読んだことも思い出しました。お恥ずかしい話ですが、アプラナートさんの最近の記事では「クールピクセル」という言葉で統一されていたので、これが縞ノイズのことだと結びついていなかったです。自分でも縞ノイズが出て、初めてあぷらなーとさんの記事の有用性がわかった次第です。星暦が浅くて経験に乏しいのが完全に露呈してしまいました。いや、本当に恥ずかしいです。実は昨晩クールピクセルが炙り出せた時点で、何かうまい解決策が出そうだとか思いあがっていたのですが、あぷらなーとさんのクールピクセルを加算というアイデアにまでは全く至りませんでした。Pro改めて試させていただきます。モノクロが一番効果があると思うので、カラーでもうまくする方法がなんとか見つかればいいのですが。らなーとさんはじめ、HUQさん、Scopioさん、色々混乱させてしまってすみません。これに懲りずにアドバイス下さい。23:29ブログは気軽に書けるので便利なのですが、調べ物をしているかも方には(記事が細切れになるので)不便ですね。一連の記事がまとめて読めるような「まとめページ」的な何かを整備してみますね。白状すると、自分で自分の記事探す事も多い始末でして・・・。本当はsamさんのように定量的な検証&考察結果を書ければいいのですが、もはや理系だった頃のセンスは失われているので、定性的な検証『ごっこ』&考察『ごっこ』で自己満足することしかできませんが、最近引用される方が増えてきたので焦ってます。P.S.もしお暇があれば、EMVA1288規格についてお調べになられると面白いかもしれません。ダイナミックレンジ関連のカラクリ(というか、仕様表記のルール)が定められていて興味深いです。01:35あぷらなーとさんこんばんは。私はカメラの世界は全然素人で、まだまだ勉強中です。単体のphotodiodeは昔勉強したのでまだいいのですが、画素が多いCCDやCMOSカメラはよくわかっていません。らなーとさんの検証、考察の記事は星を始めた頃から読んでいてい、ものすごく役に立つちます。私の書いたものよりはるかに定量的に議論されていると思います。アイデアも独創的で、いつも楽しく読まさせてもらっています。EMVA1288面白いですね。情報ありがとうございます。日本語の解説記事をパッと読んでみましたが、やっとまともな理論式にたどり着いた気分です。私の今のところのベースは天体関係のセンサーの開発をされている方の文書なんですが、EMVA1288に出てくる式を見ていると、基本は同じなんだということを認識させられます。読み込むには時間がかかりそうですが、うまく天体の方に応用できたらと思います。