当社技術を360°カメラに応用した例です。詳細についてはこちらのブログも参照してください。

Optical Learning^®

　『Optical Learning^®（無収差復元技術）』は、AIによりレンズのあらゆる収差やボケを取り除きます。詳細についてはこちらのブログも参照してください。（登録商標第5896153号、特許第6164564号、ZL2016800389144（中国）、US10,291,844（米国）、2,011,938（韓国））

Optical Learning^®の原理

　レンズの設計データから光学シミュレーションを行い、その結果をAI（機械学習）により画像の位置に対応した辞書を生成。その辞書を使って無収差に復元します。

従来の収差補正技術

　高画質を売りにしている収差補正技術としては、オフライン編集機などで機能として盛り込まれています。また、リアルタイムが実現できるものとして監視カメラ用などが発売されています。しかしながら、レンズの設計データから高精度に全ての収差まで補正する技術はありません。

　従来の収差補正技術の問題点として、
・画素ずらしにフィルターを使っているため、解像度の高い中央部もぼけてしまう。
・近似式による方法が多く、補正しきれない。歪みが残る。線にギザギザが残る。などの問題があります。
・周辺の引き伸ばした部分がぼけてしまう。
・レンズの収差までは補正しきれない。
・リアルタイムで高画質に補正できるものがない。
などがあります。

Optical Learning^®の効果

• 無収差というリアリティーの実現・・・広角レンズや魚眼レンズ、内視鏡などのあらゆる収差、減光やMTFによる歪みやぼけを復元します。つまり、あらゆるカメラを無収差にすることが出来ます。
• プロ用Codec（画像圧縮技術）並みの画質（SN基準約40dB）を実現。
• 安価なレンズをワンランク上の性能に改善します。（例：HD用レンズ→4K用レンズ）

※当社Optical Learning^®のGoPro Hero4での実施例です。レンズは㈲フィット様に解析していただきました。

Optical Learning^®の応用分野

• 一眼カメラ、アクションカメラ、ドローン、監視カメラ、内視鏡、自動車、スマートフォンなどのあらゆるカメラ・撮影機器に応用できます。
• 内視鏡などのレンズ設計の制約が多い光学系に有効です。
• レンズの枚数削減や歩留改善などでコストダウン、コンパクト化にも繋がります。
• ステッチやCG、VR、画像認識、計測、ロボットなどの分野にも有効です。

　実はほとんどのカメラは歪んでいるのです。
フラットブラウン管TVが発売された時に、普通のブラウン管TVが売れなくなったように、歪みの無いカメラしか売れない時代が来るかも知れません。

AIRDX1/X4™(Artificial Intelligence Retina Development X1/X4)

　『AIRDX1/X4（人工知能網膜現像）』は、AI超解像を用いて人の網膜の働きを再現したRAW現像（デモザイク）技術です。ジッパーノイズやアーティファクトを無くすだけでなく、モアレや色モアレにも効果があり、センサーノイズや光学LPFや回折のボケも取り除きます。そして最大の特徴は、倍率色収差や軸上色収差の影響を受けにくくパープルフリンジ・グリーンフリンジなどにも効果があります。(特許第6435560号）

AIRDX4

　通常のカメラはイメージセンサーのからのベイヤー配列の画像をデモザイクというアルゴリズムで現像して3倍の画素数に増やしています。しかしながら、この３倍の解像度に変換したときにイメージセンサーのサンプリング周波数で高域をカットされしまいます。 AI超解像デモザイクAIRDX4 （Artificial Intelligence Retina Development X4）は、このサンプリング周波数を水平垂直２倍にして、イメージセンサーの生（RAW）の情報から直接４倍（１２倍）の画素数に変換し、イメージセンサーの能力を最大限に引き出します。

従来のデモザイク技術

　ジッパーノイズなどのアーティファクトや偽色は必ずと言っていいほど存在しています。その原因の一つとして、レンズの収差の影響により発生することもあります。

　従来のデモザイク技術の問題点として、
・ジッパーノイズなどのアーティファクトが発生
・偽色
・解像度の低下
・赤や青の画像の解像度劣化
・色収差によるジッパーノイズや偽色
などがあります。

AIRDX1/X4の効果

• ジッパーノイズなどのアーティファクトを完全に抑え、ジッパーノイズに起因した偽色は発生しなくなります。

• 偽色も抑制します。

• 倍率色収差や軸上色収差の影響を受けにくく、ジッパーノイズや偽色を抑えます。

• 光学LPFや回折現象をAI(機械学習)により、光学LPFや回折によるボケを除去します。

• 感度の高いのGの画像のみから生成するため、実質感度が高くなり、更にセンサーノイズをAI（機械学習）することにより、センサーノイズも抑えることが出来ます。

• Optical Learning^®や超解像と組み合わせての利用で、デモザイクの劣化の強調を抑えることが出来ます。

欠陥画素補正

• デモザイク処理でAIを使った超高画質の欠陥画素補正も可能です。AIRDの欠陥画素補正の詳細についてはブログにも載せております。

　なお、AIRDX4の詳細についてはブログにも載せております。AIRDX4の詳細な評価に関してはこちらもご参考にしてください。

AIRDCWX1/X4™(Artificial Intelligence Retina Development ｃenter white X1/X4)

　『AIRDCWX1/X4（人工知能網膜現像）』は、センターホワイトの画素配列のイメージセンサーとAI超解像を用いたRAW現像（デモザイク）技術です。感度が高いだけでなく、ジッパーノイズやアーティファクト、ディスプレイ撮影時のモアレや色モアレは原理的に発生しません。(特許出願中）

KRM™(Keep Resolution Mapping)

　『KRM（AI超解像幾何学変換）』は、AI超解像を使って解像度を落とすことなく幾何学変換を行う独自の技術です。

SRSZ™(Super Resolution Stepless Zoom)

　『SRSZ（AI超解像無段階ズーム）』は、AI超解像を使った無段階電子ズームです。詳細についてはこちらのブログも参照してください。

Keep Resolution Mapping・Super Resolution Stepless Zoomの原理

　AI超解像を使った位相シフトとAI超解像を使ったアパチャー補正を組み合わせることにより、幾何学変換（台形補正）や無段階ズームを解像度劣化なく復元できます。

　KRMとSRSZは、実はまったく同じアルゴリズムです。

KRM・SRSZの効果

　幾何学変換（台形補正）や無段階ズームを解像度劣化なく自由自在に復元できます。

　（従来の学習型超解像やディープラーニングでは決められた教師の解像度にしか復元できませんでした。）

Visual Sharpness™

　『Visual Sharpness』は、視覚モデルに基づきエッジを付けず傾きのみを変えるAI超解像シャープネスです。詳細についてはこちらのブログも参照してください。

従来のSharpness

　画面の大きさ、距離などの視聴環境や視聴者の視力などを補うための調整機能です。

　YouTubeなどでは、スマホで編集する人が多いのか、シャープネスをかけ過ぎて縁取りが発生している画像を多く見かけます。

Visual Sharpnessの原理

　視覚モデルに基づきエッジを付けず傾きのみを変えるAI超解像Visual Sharpness。

Visual Sharpnessの効果

Visual AI^®

　『Visual AI^®（視覚人工知能）』は、人の目のように遠くも近くも写し出します。AI（機械学習）を用いた被写界深度制御技術で、AIによるパンフォーカスを実現します。（登録商標第6365294号、特許第6694626号）

Visual AI^®の原理

　ステレオカメラなどの距離計測手段とOptical Learning^®を組み合わせることにより、人の目のように遠くも近くも写し出す画像を創ります。

　　人は両目で距離を測り、脳で解像力を変えることによって遠くも近くも見えるのでは？と仮説を立てました。このメカニズムをAI(機械学習)で実現したのが『Visual AI^®』です。

Visual AI^®の効果

　・被写界深度を深くするためには、光学的な課題でイメージセンサを大きくできません。

　・イメージセンサの開口率は裏面照射型でもう限界まで来いていて、感度を上げることが困難になっています。

　・Visual AI^®は、被写界深度が深く感度の高い、使い易いカメラを設計する唯一の方法です。

　・Visual AI^®は、情報量の多い理想的なパンフォーカスを実現します。

360度画像

　魚眼レンズを使った360度画像の例です。Pannellumを使って表示させています。（Pannellumについては、ブログ『Pannellum（パネル）を使って見る！』を参照）

Insta360の360度画像

　Insta360　one RS 1inchで撮影し、360度画像に変換した6528x3264の360度jpeg画像です。

　Insta360　one RS 1inchで撮影し、360度画像に変換した6528x3264のmp4画像です。

HAL220LF+GFX100+Realop超解像現像の220度部分パノラマ画像

　HAL220LF+GFX100で撮影し、Realopの超解像現像し220度画像に変換した9196x9196の220度部分パノラマpng画像です。（提供：株式会社インタニヤ）

HAL220LF+GFX100+Realop超解像現像+超解像アップコンの220度部分パノラマ画像

　HAL220LF+GFX100で撮影し、Realopの超解像現像+超解像アップコンした220度画像に変換した18392x18392のマルチ解像度220度部分パノラマjpeg画像です。拡大倍率はかなり上がります。（提供：株式会社インタニヤ）