Karma Gerçeklik Nedir?

Karma Gerçeklik, kullanıcının bulunduğu doğal alanı, sanal ortama taşıyarak gerçekçi görünmesini sağlayan bir sistemdir. Ayrıca karma gerçeklik ile iki ortamla aynı anda etkileşime geçilebilmektedir. Kısacası karma geçeklik sayesinde sanal nesneler, kullandığınız alanlara entegre edilebiliyor.

Sanal Gerçeklik (VR)'ın Eksik Yönleri

Sanal gerçeklik (VR);  dünyayı kurtarmak için filolarınızı savunup ve yeni dünyalar keşfetmekten yıldız yolları ile boyama yapmaya kadar inanılmaz şeyler yaşamanıza olanak tanır. Ancak, kulaklıklar engel olabilir. Başkasının sanal gerçeklik gözlüğünü kullanmasını izliyorsanız, neler olup bittiğini ve neler gördüğünü söylemek zordur.

Daydream Laboratuvarı ve Google Araştırma Merkezi, bu sorunlara çözüm bulmak için bir araya geldi. Makine öğrenmesi, 3D görüntü  ve ileri işleme teknikleri birleşimini kullanarak, artık karma gerçeklikte gözlükleri "çıkarabilir" ve bir kişinin kimliğini, odaklanmasını ve tam yüzünü gösterebiliriz. Karma gerçeklik, sanal bir alanın içindeki ve dışındaki şeyleri iki boyutlu bir biçimde aktarmanın bir yoludur. Bu yeni teknoloji ile VR'deki kişinin daha kapsamlı bir resmini yapabiliyoruz.

Bir gözlük, yeşil bir ekran ve bir video kamera içeren kalibre edilmiş bir VR setini  (HTC Vive gibi) doğru izleme ve bölümlendirme ile birleştirerek "gerçek dünya" ve etkileşimli sanal öğeleri birlikte görebilirsiniz. Tilt Fırçası'nın neler yapabileceğini size göstermek için Conan O'Brien'ı, New York'taki YouTube Space'ten sanal alana götüren bir geziye sanal gerçeklik seti ile çıkardık. Ne yazık ki karma gerçeklikte yüzler gözlükler tarafından engellenmektedir.

VR setini kaldırmaya yönelik ilk adım, göz kırptıklarında veya farklı yönlere baktıklarında yüzün aldığı şeklin dinamik 3D modelini oluşturmaktır. Bu model, kişinin yüzü gözlüğün altında gizlenmiş olmasına rağmen kişinin nereye baktığını taklit etmemizi sağlar.

Daha sonra, kişinin bakışlarını gözlüğün içerisinden yakalamak için SMI (Sensomotoric Instruments) tarafından modifiye edilen bir HTC Vive kullanıyoruz. Buradan, 3D yüz modelini bir kameranın video akışıyla hizalayarak ve harmanlayarak kişinin yüzünün illüzyonunu yaratıyoruz. Yarı saydam bir "tüplü maske" görünümü, "gizemli  vadi" etkisinden kaçınmanıza yardımcı olur.

Son olarak, kişiyi Vive izleme sistemi ile harici kamera arasında kalibre etmeyi gerektiren sanal dünya ile birleştiriyoruz. Hareketin doğal görünmesi için bunu otomatik hale getirebilir ve son derece doğru aktarılmasını sağlayabiliriz. Sonucunda da hem sanal dünyayı, hem de içinde bulunduğu kişiyi, yüzü ve nereye baktıklarının tam bir görüntüsünü elde edebiliriz.

Karma gerçekliğe odaklanan ilk çalışmamız, bu teknolojinin yalnızca bir potansiyel uygulamasıdır. VR gözlüklerinin ötesine bakmak VR'de iletişim ve sosyal etkileşimi geliştirmeye yardımcı olabilir. VR video konferans yapabilmek ve konuştuğunuz insanların yüz ifadelerini veya en sevdiğiniz oyunu birlikte oynarken arkadaşınızın tepkilerini görmeyi hayal edin.

Bunlar sadece VR teknolojisinin bir başlangıcı ama gelişmeler oldukça sizlerle paylaşacağız. Daha detaylı bilgi Google Araştırma Bloğu’nda mevcuttur.  Bu, Google Araştırma, Daydream Laboratuvarı ve YouTube ekibi arasındaki devam eden bir işbirliğidir. Karma gerçeklik özelliklerini seçkin YouTube Mekanlarında kullanıma sunuyoruz ve bu teknolojiyi geleceğe nasıl taşıyacağımızı araştırıyoruz.

Google Araştırma ve Daydream Laboratuvarı

Avneesh Sud: Yazılım Mühendisi, Google Araştırma