画像変換装置、画像変換方法、及び画像変換プログラム

2022.10.20 By 新潟大学

情報

技術概要

多次元対称変換処理、冗長な表現を与える零値挿入拡張処理、及び拡張処理により画像の画質を効果的に向上させることができる画像変換装置等を提供する。

用途・応用

医療・福祉機器、防災・監視機器、自動車・産業機器等、カメラによって取得される観察画像を記録、伝送、及び解析等する機器一般における高画質なフィルタバンク

背景

 画像・映像処理装置、例えば、医療・福祉機器、防災・監視機器、自動車・産業機器等
、カメラによって取得される観察画像を記録、伝送、及び解析等する機器一般において、フィルタバンク(変換ともいう)が用いられている。信号の時空間-周波数分析および合成機能を与えるフィルタバンクは、圧縮、通信、ノイズ除去、信号復元、及び特徴抽出等の幅広い応用をもち、信号処理分野では必要不可欠な処理要素となっている。

 フィルタバンクとして、静止画像符号化方式JPEGや動画像符号化方式MPEG-2等では二次元離散コサイン変換(DCT)を採用している。また、静止画像符号化方式JPEG2000等では二次元離散ウェーブレット変換を採用している。また、離散コサイン変換や離散ウェーブレット変換のシフト不変構成も広く利用されている。

 また一般に、画像処理においては、実係数の有限インパルス応答(FIR)かつ、直線位相(LP)特性を有するフィルタが好まれて利用される。FIRシステムは安定性のほか、フィルタ処理の影響が局所的に収まる利点がある。LP特性は、フィルタ係数の対称性から演算コスト等が削減でき、位相歪を生じない利点がある。このようなフィルタバンクとして、多次元直線位相パラユニタリフィルタバンク(MD-LPPUFB)が知られている。

 ま た 、 Contourlet変 換 が 知 ら れ て い る  。 Contourlet変 換 は 、 非 分離、有理数冗長度、直線位相(LP)、及び実係数の有限インパルス応答(FIR)を同時 に 満 た す こ と 可 能 で あ る 。 Contourlet変 換 は 、 斜 め 方 向 の エ ッ ジ や テ ク ス チ ャ の 画 像 復元に高い性能を示す。さらにその他のフィルタバンクとしては、非分離重複直交変換があり、当該変換は、斜め方向のエッジやテクスチャの表現に強い利点がある。

課題

 従来では、圧縮技術を中心に冗長性のない水平・垂直独立な画像変換技術が広く利用されていた。例えば、上記の離散コサイン変換や離散ウェーブレット変換である。しかしながら、冗長性や指向性を持つ変換が復元処理などにおいて高い性能を示すことが様々な研究例から明らかになり、冗長性や指向性をもつ変換の研究開発が盛んとなっている。

 例えば、冗長(R>1)フィルタバンクは、その設計の自由度が高いという利点がある。さらに、一つの合成器に対し、ある画像X(z)を表現するサブバンド信号Yp(z)が無数に存在するため、スパース性尺度の導入により、少ない係数でよい近似表現を得ることができる。冗長フィルタバンクは、ベクトル空間におけるフレーム理論と密接な関係がある。冗長表現は、無数の候補の中から最適な変換係数を探索することを可能とし、高性能な信号復元に有利な性質である。そのため冗長系は、圧縮応用の他、ぼけ除去、超解像、及び画像修復といった画像復元に応用され、その有効性が確認されている。

 冗長系を構築する方法の一つに、複数の最大間引きフィルタバンクを併用し混成構成にする方法がある。また、最大間引きフィルタバンクを利用し、非間引き構成とする方法がある。しかしながらいずれも冗長系の自由度を活用した設計が困難である。さらに、冗長度は整数に限られ、特に後者は冗長度が高くなる傾向がある。

 上述した二次元離散コサイン変換及び二次元離散ウェーブレット変換は、冗長性がなく、変換係数の選択に自由度がない。また、二次元離散コサイン変換及び二次元離散ウェーブレット変換は、一次元フィルタバンクを縦続接続して可分離構成とした二次元システムであるため、斜め方向のエッジやテクスチャ表現に弱く、高圧縮時に不快な歪を生じる問題がある。

 また、離散コサイン変換及び離散ウェーブレット変換のシフト不変構成は、冗長度が膨大になる問題がある。また、水平・垂直独立な処理のため斜め方向のエッジやテクスチャの表現に弱い欠点がある。

 Contourletは 冗 長 変 換 で あ る が 、 構 成 要 素 に 最 大 間 引 き シ ス テ ム を 必 要 と す る 点 か ら 、上述したように冗長度の自由度やエネルギー保存の性質、パラユニタリ(PU)性の実現に制約が伴う。なお、PU性はタイトフレームに対応し、画像復元アルゴリズムが簡便になるなどの利点がある。

 また、非分離重複直交変換は、冗長度が整数に限られる制約がある。

 このように従来の技術では、可分離であることや、冗長性等の要因により、フィルタバンク(変換)により得られる画像の画質が劣化する問題が生じる懸念がある。

 本発明は、画像の画質を効果的に向上させることができる画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。

手段

 上記目的を達成するために、本発明の画像変換装置は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換処理、前記多次元対称変換処理された前記画像データに零値を挿入する零値挿入拡張処理、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張処理の各処理を順次行って前記画像データの変換係数を出力する変換器と、前記変換器から出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合処理、前記成分結合された前記画像データの変換係数に前記零値挿入拡張処理で挿入した前記零値に応じて係数を棄却する係数棄却処理、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換処理に応じた多次元対称逆変換処理を行う多次元逆変換処理の各処理を順次行って前記画像データを復元する逆変換器と、を備える。

 また、本発明の画像変換装置の前記変換器の前記零値挿入拡張処理では、チャネル数を前記間引き率で除した値に基づく個数の零値が挿入される。

 本発明の画像変換方法は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換工程、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張工程、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張工程の各工程を順次行って前記画像データの変換係数を出力する変換工程と、前記変換工程により出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合工程、前記成分結合された前記画像データの変換係数に前記零値挿入拡張工程で挿入した前記零値に応じて係数を棄却する係数棄却工程、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換工程に応じた多次元対称逆変換を行う多次元逆変換工程の各工程を順次行って前記画像データを復元する逆変換工程と、を備える。

 本発明の画像変換プログラムは、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換ステップ、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張ステップ、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張ステップの各ステップを順次行って前記画像データの変換係数を出力する変換ステップと、前記変換ステップにより出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合ステップ、前記成分結合された前記画像データの変換係数に前記零値挿入拡張ステップで挿入した前記零値に応じて係数を棄却する係数棄却ステップ、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換ステップに応じた多次元対称逆変換を行う多次元逆変換ステップの各ステップを順次行って前記画像データを復元する逆変換ステップと、を備えた処理をコンピュータに実行させるためのものである。 

効果

 以上説明したように、本発明によれば、画像の画質を効果的に向上させることができる、という効果が得られる。

問い合わせ・詳細資料閲覧

特許情報詳細や資料のダウンロード等については無料会員登録後に閲覧していただけます。

本研究に関するご質問や、話を聞いてみたいなどご興味をお持ちになりましたら、是非お気軽に以下のフォームにお問い合わせください。

特許情報

特許第6066280号

JPB 006066280-000000

特許第5112454号

JPB 005112454-000000