リアロップ株式会社

リアロップ株式会社

実世界に学び、実世界を写す技術を創造する

技術情報

Optical Learning®

当社技術『Optical Learning®(光学学習型無収差復元)』は、機械学習によりレンズのあらゆる収差やボケを取り除きます。(特許第6164564号)

Optical Learning®の原理

レンズの設計データから光学シミュレーションを行い、その結果を学習することにより、画像の位置に対応した辞書を生成。その辞書を使って無収差に復元します。

光学シミュレーション            <光学シミュレーション>

学習               < 学習 >

復元               < 復元 >

従来の収差補正技術

高画質を売りにしている収差補正技術としては、オフライン編集機などで機能として盛り込まれています。また、リアルタイムが実現できるものとして監視カメラ用などが発売されています。しかしながら、レンズの設計データから高精度に全ての収差まで補正する技術はありません。

従来の収差補正技術の問題点として、
・画素ずらしにフィルターを使っているため、解像度の高い中央部もぼけてしまう。
・近似式による方法が多く、補正しきれない。歪みが残る。線にギザギザが残る。などの問題があります。
・周辺の引き伸ばした部分がぼけてしまう。
・レンズの収差までは補正しきれない。
・リアルタイムで高画質に補正できるものがない。
などがあります。

つまり、従来の収差補正技術は歪曲収差の補正であって、レンズの性能を改善させる収差復元ではなかったのです。

Optical Learning®の効果

  • 無収差というリアリティーの実現・・・広角レンズや魚眼レンズ、内視鏡などのあらゆる収差、減光やMTFによる歪みやぼけを復元します。つまり、あらゆるカメラを無収差にすることが出来ます。
  • プロ用Codec(画像圧縮技術)並みの画質(SN基準約40dB)を実現。
  • 安価なレンズをワンランク上の性能に改善します。(例:HD用レンズ→4K用レンズ)

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning

※当社Optical LearningのGoPro Hero4での実施例です。レンズは㈲フィット様に解析していただきました。

Optical Learning®の応用分野

  • 一眼カメラ、アクションカメラ、ドローン、監視カメラ、内視鏡、自動車、スマートフォンなどのあらゆるカメラ・撮影機器に応用できます。
  • 内視鏡などのレンズ設計の制約が多い光学系に有効です。
  • レンズの枚数削減や歩留改善などでコストダウン、コンパクト化にも繋がります。
  • ステッチやCG、VR、画像認識、計測、ロボットなどの分野にも有効です。

内視鏡             < 内視鏡 >

監視カメラ             <監視カメラ>

ドローン              <ドローン>

アクションカメラ            <アクションカメラ>

自動車              <自動車>

スマートフォン             <スマートフォン>

一眼レフカメラ             <一眼レフカメラ>

実はほとんどのカメラは歪んでいるのです。
フラットブラウン管TVが発売された時に、普通のブラウン管TVが売れなくなったように、歪みの無いカメラしか売れない時代が来るかも知れません。

Phase Shift Development™

当社技術『Phase Shift Development™(位相シフト現像)』は、機械学習を用いた超解像RAW現像(デモザイク)技術です。ジッパーノイズを無くし、光学LPFや回折のボケも取り除きます。(特許第6435560号)

Phase Shift Development™の原理

RとBの画素を利用せず、Gの画素のみと機械学習を使った超解像の技術を用いて、2倍のGの画素を半画素シフトして生成します。Gの画素の生成にRとBの画素を使わないことにより、ジッパーノイズやアーティファクトを原理的に発生させません。

DLMMSE画素    <従来技術(DLMMSE)の生成画素位置>

PSD画素    <当社技術(Phase Shift Development)の生成画素位置>

CONV block    <従来技術のブロック図>

PSD block    <Phase Shift Developmentのブロック図>

従来のデモザイク技術

ジッパーノイズなどのアーティファクトや偽色は必ずと言っていいほど存在しています。

従来のデモザイク技術の問題点として、
・ジッパーノイズなどのアーティファクトが発生。
・偽色。
・解像度の低下。
・赤や青の画像の解像度劣化。
などがあります。

Phase Shift Development™の効果

  • ジッパーノイズなどのアーティファクトを完全に抑えます。
  • ジッパーノイズに起因した偽色は発生しなくなります。
  • 赤・青・緑・単色の解像度を改善し、ジャギーなどを抑えます。

DLMMSE画像        <従来技術(DLMMSE)の現像結果>

PSD画像        <当社技術(Phase Shift Development)の現像結果>

  • 光学LPFや回折現象を機械学習することにより、光学LPFや回折によるボケを除去します。

f22_DLMMSE画像        <従来技術(DLMMSE)の現像結果(F22撮影)>

f22_PSD画像 <当社技術(Phase Shift Development)の光学LPF・回折学習の現像結果(F22撮影)>

  • センサーノイズを機械学習することにより、センサーノイズも抑えることが出来ます。
  • Optical Learningや超解像と組み合わせての利用では、デモザイクの劣化の強調を抑えることが出来ます。

Keep Resolution Mapping™

当社技術『Keep Resolution Mapping™(キープレゾリューションマッピング™)』は、機械学習を使った学習型超解像で解像度を落とすことなく幾何学変換を行う独自の技術です。

Super Resolution Stepless Zoom™

当社技術『Super Resolution Stepless Zoom™(スーパーレゾリューションステップレスズーム™)』は、機械学習を使った学習型超解像で無段階電子ズームです。