リアロップ株式会社

リアロップ株式会社

実世界に学び、実世界を写す技術を創造する

技術情報

Optical Learning®

 『Optical Learning®(光学学習型無収差復元)』は、機械学習によりレンズのあらゆる収差やボケを取り除きます。(登録商標第5896153号、特許第6164564号、ZL2016800389144(中国)、US10,291,844(米国)、2,011,938(韓国))

Optical Learning®の原理

 レンズの設計データから光学シミュレーションを行い、その結果を機械学習することにより、画像の位置に対応した辞書を生成。その辞書を使って無収差に復元します。

光学シミュレーション            <光学シミュレーション>

学習               < 学習 >

復元               < 復元 >

従来の収差補正技術

 高画質を売りにしている収差補正技術としては、オフライン編集機などで機能として盛り込まれています。また、リアルタイムが実現できるものとして監視カメラ用などが発売されています。しかしながら、レンズの設計データから高精度に全ての収差まで補正する技術はありません。

 従来の収差補正技術の問題点として、
・画素ずらしにフィルターを使っているため、解像度の高い中央部もぼけてしまう。
・近似式による方法が多く、補正しきれない。歪みが残る。線にギザギザが残る。などの問題があります。
・周辺の引き伸ばした部分がぼけてしまう。
・レンズの収差までは補正しきれない。
・リアルタイムで高画質に補正できるものがない。
などがあります。

 つまり、従来の収差補正技術は歪曲収差の補正であって、レンズの性能を改善させる収差復元ではなかったのです。

Optical Learning®の効果

  • 無収差というリアリティーの実現・・・広角レンズや魚眼レンズ、内視鏡などのあらゆる収差、減光やMTFによる歪みやぼけを復元します。つまり、あらゆるカメラを無収差にすることが出来ます。
  • プロ用Codec(画像圧縮技術)並みの画質(SN基準約40dB)を実現。
  • 安価なレンズをワンランク上の性能に改善します。(例:HD用レンズ→4K用レンズ)

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

before <before> GoPro Hero4

after <after> GoPro Hero4 + Optical Learning®

※当社Optical Learning®のGoPro Hero4での実施例です。レンズは㈲フィット様に解析していただきました。

Optical Learning®の応用分野

  • 一眼カメラ、アクションカメラ、ドローン、監視カメラ、内視鏡、自動車、スマートフォンなどのあらゆるカメラ・撮影機器に応用できます。
  • 内視鏡などのレンズ設計の制約が多い光学系に有効です。
  • レンズの枚数削減や歩留改善などでコストダウン、コンパクト化にも繋がります。
  • ステッチやCG、VR、画像認識、計測、ロボットなどの分野にも有効です。

内視鏡             < 内視鏡 >

監視カメラ             <監視カメラ>

ドローン              <ドローン>

アクションカメラ            <アクションカメラ>

自動車              <自動車>

スマートフォン             <スマートフォン>

一眼レフカメラ             <一眼レフカメラ>

 実はほとんどのカメラは歪んでいるのです。
フラットブラウン管TVが発売された時に、普通のブラウン管TVが売れなくなったように、歪みの無いカメラしか売れない時代が来るかも知れません。

AIRD™(Artificial Intelligence Retina Development)

 『AIRD(人工知能網膜現像)』は、機械学習を用いて人の網膜の働きを再現したRAW現像(デモザイク)技術です。ジッパーノイズやアーティファクトを無くし、センサーノイズや光学LPFや回折のボケも取り除きます。そして最大の特徴は、倍率色収差や軸上色収差の影響を受けにくく劣化しにくいことです。(特許第6435560号)

AIRDのコンセプト

AIRDの原理

 RとBの画素を利用せず、Gの画素のみと機械学習を使った超解像の技術を用いて、2倍のGの画素を半画素シフトして生成します。Gの画素の生成にRとBの画素を使わないことにより、ジッパーノイズやアーティファクトを原理的に発生させません。

 また、感度の高いのGの画像のみから画像を生成するため、実質感度が高くなります。RCCBやRYYB配列との相性もいいです。

DLMMSE画素    <従来技術(DLMMSE)の生成画素位置>

AIRD画素    <AIRDの生成画素位置>

CONV block    <従来技術(DLMMSE)のブロック図>

AIRD block    <AIRDのブロック図>

従来のデモザイク技術

 ジッパーノイズなどのアーティファクトや偽色は必ずと言っていいほど存在しています。その原因の一つとして、レンズの収差の影響により発生することもあります。

 従来のデモザイク技術の問題点として、
・ジッパーノイズなどのアーティファクトが発生
・偽色
・解像度の低下
・赤や青の画像の解像度劣化
・色収差によるジッパーノイズや偽色
などがあります。

AIRDの効果

  • ジッパーノイズなどのアーティファクトを完全に抑え、ジッパーノイズに起因した偽色は発生しなくなります。

DLMMSE画像        <DLMMSE(従来技術)の現像結果>

AIRD画像        <AIRDの現像結果>

  • 偽色も抑制します。

DLMMSE画像        <DLMMSE(従来技術)の現像結果>

AIRD画像        <AIRDの現像結果>

  • 倍率色収差や軸上色収差の影響を受けにくく、ジッパーノイズや偽色を抑えます。

DLMMSE画像        <DLMMSE(従来技術)の現像結果>

AIRD画像        <AIRDの現像結果>

  • 光学LPFや回折現象を機械学習することにより、光学LPFや回折によるボケを除去します。

f22_DLMMSE画像        <DLMMSE(従来技術)の現像結果(F22撮影)>

f22_AIRD画像        <AIRDの光学LPF・回折学習の現像結果(F22撮影)>

  • 感度の高いのGの画像のみから生成するため、実質感度が高くなり、更にセンサーノイズを機械学習することにより、センサーノイズも抑えることが出来ます。

暗所DLMMSE画像        <DLMMSE(従来技術)の現像結果(暗所撮影)>

暗所AIRDノイズ除去画像        <AIRDのノイズ学習の現像結果(暗所撮影)>

  • Optical Learning®や超解像と組み合わせての利用で、デモザイクの劣化の強調を抑えることが出来ます。
  • デモザイク処理での欠陥補正も可能です。

 なお、AIRDの詳細な評価結果はブログにも載せております。こちらもご参考にしてください。

デモザイクによる画質の違い(屋外編①)

デモザイクによる画質の違い(屋外編②)

デモザイクによる画質の違い(夜景編)

デモザイクによる画質の違い(屋内編①)

デモザイクによる画質の違い(屋内編②)

デモザイクによる画質の違い(屋内編③)

Keep Resolution Mapping™

 『Keep Resolution Mapping(超解像幾何学変換)』は、機械学習を用いて解像度を落とすことなく幾何学変換を行う独自の技術です。

Super Resolution Stepless Zoom™

 『Super Resolution Stepless Zoom(超解像無段階ズーム)』は、機械学習を用いた無段階電子ズームです。

Keep Resolution Mapping・Super Resolution Stepless Zoomの原理

 機械学習を用いた位相シフトと機械学習を用いたアパチャー補正を組み合わせることにより、幾何学変換(台形補正)や無段階ズームを解像度劣化なく復元できます。

KRMのコンセプト

 Keep Resolution MappingとSuper Resolution Stepless Zoomは、実はまったく同じアルゴリズムです。

原理          <原理>

4画素生成    <半画素シフトした場所に4画素生成>

ボケた画像        <4倍密のボケた画像>

1/4の開口補正    <半画素シフトした画素を1/4の開口補正>

Keep Resolution Mapping・Super Resolution Stepless Zoomの効果

 幾何学変換(台形補正)や無段階ズームを解像度劣化なく自由自在に復元できます。

 (従来の学習型超解像やディープラーニングでは決められた教師の解像度にしか復元できませんでした。)

mitchell          <Mitchell Filterによる3倍ズーム>

srsz    <Super Resolution Stepless Zoomによる3倍ズーム>

a7siiJPEG + mitchell          <a7sii JPEG + Mitchell Filterによる3倍ズーム>

srsz    <a7sii RAW + AIRD + Super Resolution Stepless Zoomによる3倍ズーム>

Visual Sharpness™

 『Visual Sharpness』は、視覚モデルに基づきエッジを付けず傾きのみを変えるシャープネスです。

従来のSharpness

 画面の大きさ、距離などの視聴環境や視聴者の視力などを補うための調整機能です。

VSのコンセプト1

 YouTubeなどでは、スマホで編集する人が多いのか、シャープネスをかけ過ぎて縁取りが発生している画像を多く見かけます。

Visual Sharpnessの原理

 視覚モデルに基づきエッジを付けず傾きのみを変えるVisual Sharpness。

VSのコンセプト1

Visual Sharpnessの効果

原画                      <原画>

従来                  <従来のシャープネス>

従来                  <従来のシャープネス>

Visual Sharpness                  <Visual Sharpness>

原画                      <原画>

従来                  <従来のシャープネス>

従来                  <従来のシャープネス>

Visual Sharpness                  <Visual Sharpness>

Visual AI®

 『Visual AI®(視覚人工知能)』は、人の目のように遠くも近くも写し出します。機械学習を用いた被写界深度制御技術で、AIによるパンフォーカスを実現します。(登録商標第6365294号、特許第6694626号)

Visual AI®の原理

 ステレオカメラなどの距離計測手段とOptical Learning®を組み合わせることにより、人の目のように遠くも近くも写し出す画像を創ります。

原理                      <原理>

実世界                    <実世界>

一眼カメラ                    <一眼カメラ>

パンフォーカス                   <パンフォーカス>

フォーカス                    <フォーカス>

ピンボケ                     <ピンボケ>

学習                    <学習>

距離計測                 <距離計測>

復元                   <復元>

Visual_AI                 <Visual AI®

  人は両目で距離を測り、脳で解像力を変えることによって遠くも近くも見えるのでは?と仮説を立てました。このメカニズムを機械学習で実現したのが『Visual AI®』です。

Visual AI®の効果

 ・被写界深度を深くするためには、光学的な課題でイメージセンサを大きくできません。

 ・イメージセンサの開口率は裏面照射型でもう限界まで来いていて、感度を上げることが困難になっています。

 ・Visual AI®は、被写界深度が深く感度の高い、使い易いカメラを設計する唯一の方法です。

 ・Visual AI®は、情報量の多い理想的なパンフォーカスを実現します。