本文へ

製品情報>My Sony Club>知る・楽しむ>テクノロジー&プロダクツ>現実と仮想が融合した新しい情報体験〜ソニーの拡張現実感(AR)技術〜

現実と仮想が融合した新しい情報体験〜ソニーの拡張現実感(AR)技術〜 カメラを通じて映し出された目の前の風景に3Dグラフィックを表示させたり、建物の名前や情報を表示させたりすることができる“拡張現実感”(AR) が今、注目を集めています。ソニーは“AIBO”や“QRIO”といったロボットの研究・開発で培った「3D空間認識」技術などをもとに、現実空間と情報がシームレスかつ立体的につながる新しいAR、統合型 拡張現実感技術“SmartAR (スマートAR)”を開発しました。“SmartAR”が実現するまでに積み重ねられた技術、そして“SmartAR”がもたらす新しい体験やAR技術の可能性をひもときます。 SmartAR

AR(拡張現実感)技術とは

ARとは“Augmented Reality(拡張現実感)”の頭字語で、スマートフォンなどの端末のカメラを通して画面に表示されている映像に、文字や3Dグラフィックなどの付加情報を重ね合わせる技術です。現実の風景と付加情報を重ね合わせる、というとまるでSF映画のワンシーンに登場する技術のような印象を受けるかもしれませんが、実はAR技術は私たちの周りにすでに存在しています。たとえば、試合中の映像に選手のプロフィールやゲームのスコアを重ね合わせて表示するスポーツ中継は、広い意味ではARの一種と言えるでしょう。

ソニーは1994年からAR技術の研究をスタートし、1998年には2次元バーコード認識(マーカー方式)の“CyberCode(サイバーコード)(※)”アプリケーションをパーソナルコンピューター “VAIO”「PCG-C1」に搭載しています。“サイバーコード”は、ソニーコンピュータサイエンス研究所(ソニーCSL)が開発した技術で、2次元バーコードをカメラにかざすと、2次元バーコードにひも付けられたIDを認識し、同時に3次元の座標や2次元バーコードの傾きなどをリアルタイムに検知します。「PCG-C1」の場合は、搭載された小型カメラ“MOTION EYE”に、印刷したサイバーコードをかざすと特定のファイルやアプリケーションを自動起動させるといった、ARとパソコンを組み合わせたユニークな使いかたが可能でした。

CyberCode(サイバーコード)を利用したAR技術の例 CyberCode(サイバーコード)をPCのWEBカメラやスマートフォンのカメラで覗くと... 画面に映し出せれた映像にCGなどが合成され、現実に存在しているようなリアルさを体験できます! ※画面に映し出せれた映像をイメージした例

ARって何? What is AR? ARとは、どのようなテクノロジーなのだろうか?AR SPECIAL INTERVIEW 「AR研究の第一人者が語るARの現在と未来」 ソニーコンピュータサイエンス研究所 暦本 純一(れきもと じゅんいち)

紙に印刷しても認識できるという“サイバーコード”の特長を活かして、2007年に発売されたPlayStation®3用ゲーム「THE EYE OF JUDGMENT(アイ・オブ・ジャッジメント)」にも“サイバーコード”が採用されています。「THE EYE OF JUDGMENT」は、トレーディングカードに“サイバーコード”が刻まれており、USBカメラ「PlayStation®Eye」がカードに書かれた文様(2次元バーコード)を読みとることでカードの種類や位置、向きなどをリアルタイムに認識します。そして、その情報をテレビ画面上の映像に反映することで、手元にあるカードから“クリーチャー”が出現したかのような3D映像表現を実現。ゲームとAR技術が融合した新しい楽しさを開拓しました。

※ CyberCodeは、ソニー株式会社の登録商標で、ソニーコンピュータサイエンス研究所が開発した技術です

パーソナルコンピューター  “VAIO” 
「PCG-C1」 「PCG-C1」シリーズの“サイバーコード”の一例

PlayStation®3用ソフト
「THE EYE OF JUDGMENT(アイ・オブ・ジャッジメント)」  ©2007 Sony Computer Entertainment Inc,
 USBカメラ「PlayStation®Eye」 「THE EYE OF JUDGMENT」について詳しくはこちら

マーカーを用いないソニーの最新AR技術“SmartAR”

そして2011年5月、ソニーは2次元バーコードなどのマーカーを用いずに対象となる物体を直接認識する新しい統合型 拡張現実感技術(“SmartAR”)を発表しました。

現実の映像とARで表示する情報の一体感を向上させる”SmartAR“は、単に仮想物体や付加情報を表示させるだけでなく、スマートフォンなどのカメラによって映し出された風景を立体空間として認識することで、現実空間に広がりを持ってAR情報を表現できるようになりました。

また、 ”SmartAR“はスマートフォンなどで軽快に動作することとあわせ、屋内外を問わずに使用できる、現実と情報が一体化したかのような新世代のARを実現しています。

総合型 拡張現実感 技術 SmartAR

“SmartAR”の解説動画はこちら

INTERVIEW

現実空間と付加情報が一体化した新世代AR技術“SmartAR”。その実現への道のりとは
立体空間の再現など、今まで以上に現実と仮想の融合が進んだ“SmartAR”は、どのような技術で実現し、また、今までのAR技術とどこが異なるのでしょうか。そして“SmartAR”が目指す未来とは。“SmartAR”の開発を担当した2人の技術者に聞きました。

芦ヶ原 隆之 (よしがはら たかゆき) ソニー株式会社 システム技術研究所 知的システム研究部

福地 正樹 (ふくち まさき) ソニー株式会社 システム技術研究所 知的システム研究部

情報を自然な形で見せることで 現実との違和感をなくす“マーカーレス方式”

2次元バーコードのようなマーカー(目印)を使わずにAR対象を認識する“マーカーレス方式”は、“SmartAR”の根幹をなすテクノロジーです。目の前にある物を認識するとともに、状態や位置を把握することで実現したこの“マーカーレス方式”は、ソニーが長年にわたり研究を積み重ねてきたAR技術の成果といえます。

芦ヶ原:“SmartAR”は、物体の違いを認識する“物体認識技術”と、ロボット製品の開発で培った、空間の立体的構造を把握する“3D空間認識技術”を応用しています。“AIBO”の飼い主さんや“QRIO”と会ったことのある人は、彼らが障害物を避けて移動することを覚えているかと思います。“AIBO”や“QRIO”は、カメラが捉えた映像から物体と空間の状態を認識し、障害物の存在を把握して歩いていました。“SmartAR”は、この“物体認識技術”と“3D空間認識技術”を用いて、どの物体にどんなAR情報が関連付けられているのか、それとも無関係なのかを判断しています。物体そのものをマーカーにしてAR情報を表示する“マーカーレスAR”が実現できたのです。

福地:マーカー方式で使われる2次元バーコードは、見ただけでは内容や意味がわからない模様です。そのわからない模様から「PostPet」のモモちゃんが3Dグラフィックで登場したら、「楽しい」と感じるよりも、唐突すぎてびっくりすると思うんです。でも“マーカーレスAR”を使ってモモちゃんのイラストからモモちゃんが登場したら、それは違和感なく連想できる情報の表示の方法ですので、「楽しい」と感じられますよね。また、マーカーレス方式はデザイン面にもメリットがあります。たとえば、ぬいぐるみに制作者が意図しなかったARのマーカーが印刷されていたとしたら、ぬいぐるみのデザインが損なわれます。かといって見えづらいところにマーカーを印刷すると、すぐにARを使うことができません。物体そのものをマーカーとして登録する“SmartAR”では使い勝手はそのままに、ARのために模様などをデザインするという不自然さをなくすことができるんです。

“3D空間AR”で、仮想物体が現実の3次元空間に現れる

統合型 AR技術“SmartAR”は マーカーレス方式を可能にする物体認識のほかに、3D空間認識、高速認識・追従性、そして“ARインタラクション”という4つの特長で構成されています。そのなかのひとつ3D空間認識は、映像から物体の遠近を認識し、現実の立体空間を正確に再現した上でARによる付加情報を表示します。

福地:これまでのAR技術には、マーカーを使う必要があることから生じるデザイン上の制約や、現実の景色とAR情報を重ねあわせることで生じる違和感が多少なりともありました。“SmartAR”は“マーカーレスAR”をはじめとして、従来のAR技術にあった制約や違和感を取り除くことで、ARの普及を加速することを目標のひとつとしています。そして、従来のARにあった制約・違和感をなくす原動力のひとつが“3D空間AR”なんです。

たとえば、小さな机に配置した仮想のコーヒーカップを倒したとします。“3D空間AR”では、机の端まで流れたコーヒーは床にこぼれ落ちます。コーヒーがこぼれ落ちるのは現実の空間では当たり前ですよね。しかし、カメラに表示された風景の高さや奥行きを3D空間としてきちんと再現できなければ、こぼれたコーヒーは机の上を広がり、机の端を飛び出してそのまま空中に広がるという不自然なことが起こります。そこで、“3D空間AR”では立体空間を正確に捉え、その空間が原因で起こる現実の動きまでを再現することで、違和感のない、自然なAR体験を実現しました。

"3D空間AR”では、カメラが移動することによって観察される視差(遠くはあまり動かず近くはたくさん動く)を利用することで、空間の形状とカメラの傾き・移動を瞬時に計算し、これに“物体認識技術”を組み合わせることで立体空間を再現しています。これにより、専用の3Dカメラではなくスマートフォンに内蔵されているカメラでも3D空間を認識することができるのです。

ソニーのAR技術はロボット製品の開発で培われた ERS-110 1999年に発売された4足歩行型エンタテインメントロボット「AIBO」の初号機。パフォーマンスをするだけでなく、さまざまな学習をしたり感情を表現することができる。 試作機 SDR-4X 全身38箇所の間接を制御する「実時間統合適応制御システム」や、高度な立体視処理、音声処理機能などを搭載した小型二足歩行エンターテインメントロボット。「SDR-4X」は試作機として2002年に発表され、2003年以降は「QRIO」の愛称で親しまれた。

芦ヶ原:マーカーを使用した従来のAR技術では、目印となるマーカーが一部でも映像の外に出てしまうとARオブジェクトが消えてしまいます。しかし、“3D空間AR”の場合は、背景の空間を認識してARオブジェクトの位置も更新するので、マーカー(マーカーレスの場合はマーカーの代わりに使っている物体)がカメラのフレームの外に出る、いわば「見切れた」状態でも表示することができます。画面に収まりきらないような大きな仮想キャラクターを表示することだってできます。マーカーが映像の中にきちんと収まっているかどうかを意識しなければいけなかった従来のAR技術とくらべて、”SmartAR”は使いやすくなっていることはもちろん、現実の空間と仮想情報がより密接に感じられるようになっていると思います。

“SmartAR”でさらに広がるAR技術の活用方法

“ARインタラクション” AR情報つきのオブジェクトを発見し撮影する → 取得したAR情報を持ち帰りカタログのように閲覧できる → AR情報にタッチし操作する

“SmartAR”を構成する4つの特長のひとつ、高速追従性(“高速・ピッタリAR”)は、ARによって表示した付加情報や仮想物体をカメラの動きにスムーズに追従させることで、見た目のズレなどによって生じる不自然さを解消しています。また、AR情報をより便利に、より自然な形で利用できるようにするのが“ARインタラクション”です。これにより、スマートフォンなどでAR情報を直接タッチして取得・操作したり、自分のスマートフォンに保存したりすることができます。

福地:“Xperia arc”や“Xperia acro”など、高解像度撮影が可能なカメラと高性能なCPUを備えたスマートフォンの登場は、ARの可能性を広げる大きな転機になったと感じています。ただ、高性能なハードウェアが使用できるといっても、それだけでは現実の空間と付加情報がなめらかに組み合わさるようなAR情報の表示は困難です。しかし、“高速・ピッタリAR”は“物体認識技術”に加え、映像の一部しかわからないときに全体を判断する“マッチング技術”と、物体の形状変化に対応する“画像トラッキング技術”を組み合わせることで、移動するAR対象にもARオブジェクトをピッタリと寄り添うように表示させることができます。

芦ヶ原:スマートフォンなどの画面上に表現されたAR情報に直接タッチできる“ARインタラクション”は、新しい技術というよりもARの新しい活用方法のひとつとして提案している技術です。たとえば“SmartAR”は、今見ている場面をタッチして切り取り、かざし続けることから解放され、手元に持ってくることができます。いわばAR情報を「お持ち帰り」できるんです。一度保存しておけば、目の前にARの対象がなくても情報を自由に表示できるようになるので、カタログのような情報の場合、自宅でゆっくりと別の情報と比較することができますし、「情報を持ち帰る」ということを応用して、スタンプラリーやオリエンテーリングなどを新しい形で楽しむこともできるでしょう。コンサートやライブ会場に来た人に、おみやげとしてARオブジェクトを持ち帰ってもらうのもおもしろいかと思います。

福地:インターネット上には膨大な情報がありますが、欲しい情報にアクセスするためには検索サイトを使ったり情報がありそうなサイトにアクセスしたりするなど、ユーザーが能動的に行動しなくてはなりません。しかし“SmartAR”なら、気になった“物”をスマートフォンのカメラで見るだけで情報が得られます。また、ARで表示する付加情報は、利用する人ごとに情報を変えることもできます。AR情報にアクセスする人がその時感じたことをくみ取って、最適な付加情報を表示することが“SmartAR”や今後のAR技術が目指す理想のひとつではないかと思います。

芦ヶ原:ARの本格的な普及はこれから始まりますので、「スマートフォンをかざす=ARを使う」となるような、いわば“AR文化”を作っていきたいですね。ソニーは“ウォークマン”をはじめいろいろな文化を作ってきましたし、ARでも“SmartAR”でそれができると信じています。みんなが日常で当たり前にARを使うような文化を作ることができれば普及に弾みがつき、さらに新しい使いかたや可能性が生まれるのではないでしょうか。

福地 正樹 (ふくち まさき) 芦ヶ原 隆之 (よしがはら たかゆき)

“SmartAR”はまだ誰も想像できない、新しいAR体験の入り口へと導きます

“SmartAR”は今まで以上に現実世界とシームレスにつながる、そして現実世界に近いAR空間の構築を可能にしました。3次元の空間を再現したARは、遠隔地医療における外科手術のサポートや精密機器の組み立て支援など、医療・産業分野への応用が期待されています。ソニーが得意とするゲームや映像といったエンターテインメント分野においても、現実世界と仮想世界が融合した“SmartAR”の体験は、今までにない感覚と楽しさをもたらすことでしょう。また、ARは情報を得るだけではなく、インターネットの情報共有サイトのように新しいAR情報をその場で作成し、ユーザー同士で共有することも可能です。現地で情報を共有するARのユニークなコミュニケーションは、直接交わす言葉や間接的なメール、掲示板への書き込みといった従来の感覚とは異なる、新しいコミュニケーションを生み出すかもしれません。

ARは、映画などのSF世界ではすでになじみ深い存在ですが、現実ではまだ普及が始まったばかりです。ARの楽しさ、便利さ、体験はこれからどんどん生み出されていくことでしょう。もしかしたら映画やアニメで見慣れたARからは、想像もつかない画期的な体験が登場するかもしれません。ソニーと“SmartAR”がもたらす新しいAR体験とその発展にご期待ください。

※ “SONY”および“make.believe”はソニー株式会社の商標です
※ VAIO、AIBOはソニー株式会社の登録商標です
※ “PlayStation”、“プレイステーション”および“PS3”は株式会社ソニー・コンピュータエンタテインメントの登録商標です
※ PostPetは、ソネットエンタテインメント株式会社の登録商標です
※ 「Xperia」は、Sony Ericsson Mobile Communications ABの商標または登録商標です
※ “ウォークマン”はソニー株式会社の商標です
※ 記事内容は2011年8月18日現在の情報であり、予告なく変更される場合がございます