S3D & WibbleWobble

Untuk pemain yang ingin tahu
Penerangan peringkat popular tentang teknologi, bagaimana ia dibina dan bagaimana ia berfungsi. Jika anda tidak berminat, tidak perlu membacanya - ia adalah bahan yang kering.

Bagaimana permainan melukis 3D
Cara biasa untuk menghasilkan imej 3D dalam permainan adalah dengan merender pemandangan dua kali - secara berasingan untuk mata kiri dan kanan, secara maya mengalihkan kamera relatif kepada pusat pemandangan. Ini mahal dari segi sumber dan memerlukan sokongan terbina dalam daripada enjin permainan. Tidak semua permainan boleh melakukan ini. WibbleWobble menawarkan dua laluan berbeza, dan perbezaan di antara mereka adalah asas - ia menentukan kedua-dua kualiti imej dan set artifak imej.

Laluan satu: ReShade Client - mensintesis stereo daripada bingkai rata
Permainan merender satu pandangan biasa. Kesan SuperDepth3D ReShade mengambil bingkai itu bersama-sama dengan penimbal kedalaman pemandangan dan membina semula sudut pandangan kedua daripadanya dengan mengalihkan piksel mengikut kedalaman. Enjin permainan tidak tahu apa-apa tentang stereo. Ini murah dari segi prestasi dan berfungsi dengan hampir semua permainan DX11/DX12. Pertukarannya ialah artifak yang wujud dalam kaedah itu sendiri. Ia diterangkan di bawah, dalam bahagian "Kekurangan".

Laluan dua: OpenVR Client - rendering 3D sebenar
WibbleWobble mendaftarkan dirinya dalam SteamVR sebagai set kepala VR maya. Permainan yang mampu VR, atau yang mempunyai mod VR, merender pemandangan dua kali dari dua kamera yang dipisahkan oleh jarak antara pupil, tepat seperti yang dilakukan oleh set kepala sebenar. IPD, resolusi setiap mata, dan panjang fokus ditetapkan dalam VR Config. Di sini WibbleWobble tidak mensintesis apa-apa: ia mengambil pasangan stereo yang sedia ada dan mengeluarkannya ke skrin secara berurutan bingkai, menyegerakkan cermin mata pengatup. Ini lebih mahal dari segi prestasi, tetapi geometri 3D adalah betul sepenuhnya. Tiada lubang di sepanjang kontur, tiada kesan "kadbod"; setiap mata mendapat pantulan dan sorotan sendiri. Pada dasarnya, ini adalah cara untuk bermain permainan VR pada monitor biasa dengan cermin mata 3D tetapi tanpa set kepala.

Reprojection - mekanisme pengembangan medan pandangan
Reprojection berfungsi dalam kedua-dua mod, termasuk monokular. Shader berprestasi tinggi mengambil bingkai permainan dan memetakannya ke atas geometri ruang kerja anda: pada satu monitor, atau empat monitor, atau skrin melengkung. Melalui penjejakan kepala (OpenTrack) imej beralih mengikut kepala anda, dan monitor mula bertindak sebagai tingkap ke dunia maya - kesan "tangki ikan VR". Tujuan reprojection adalah untuk mendapatkan skala dunia yang betul dan medan pandangan (FOV) yang betul untuk penggunaan berbilang monitor. Reprojection boleh dimatikan sepenuhnya (Client Config -> Reprojection: Disabled) dan anda boleh menggunakan hanya output stereo, BFI, dan upscaler - senario biasa untuk satu paparan.
* Perlu dinyatakan bahawa pengarang projek terlalu optimis tentang idea "mengembangkan dunia" merentasi beberapa panel. Kad grafik yang berkuasa pun tidak mempunyai prestasi yang mencukupi untuk ini. Anda akan bertuah jika kelajuan mencukupi untuk satu paparan 4K. Ia tidak akan berfungsi dengan berbilang paparan...

FOV (Field of View): sudut tontonan. Ia menentukan sektor dunia yang ditangkap oleh kamera maya dalam bingkai. Ia diukur dalam darjah, secara berasingan untuk menegak dan mendatar. FOV kecil (40-50°) kelihatan seperti kanta telefoto: sektor sempit dengan objek besar. FOV besar (100-120°) adalah sudut lebar, seperti kamera aksi. Anda melihat banyak ke sisi, tetapi tepi diregangkan dan objek kelihatan lebih jauh dan lebih kecil. Ini adalah parameter utama dalam WibbleWobble. Program mesti mengetahui sudut di mana permainan melukis bingkai untuk memproyeksikannya dengan betul ke monitor fizikal anda. Itulah sebabnya Game Config mempunyai dua medan, FOV Menegak dan FOV Mendatar, dengan satu keperluan: nilai mesti sepadan dengan yang ditetapkan dalam permainan itu sendiri. Tukar satu nilai dan yang lain dikira semula secara automatik untuk dipadankan dengan nisbah aspek tetingkap.

Jika FOV adalah:
terlalu besar dunia kelihatan seperti mainan dan skala objek diherotkan
terlalu rendah dunia kelihatan gergasi dan semuanya menjulang ke atas anda
dalam 3D kedalaman pecah bersama dengan skala, dan ketegangan mata berlaku

Penjejakan kepala sebagai "tingkap ke dunia"
Menggunakan kaedah OpenTrack, pengendali aplikasi menjejaki kedudukan kepala dan mengalihkan unjuran supaya monitor merender tingkap maya ke dalam pemandangan 3D. Ini mewujudkan kesan paralaks. Apabila anda menggerakkan kepala anda, imej beralih sedikit, seolah-olah anda benar-benar melihat melalui tingkap.

Output stereo berurutan bingkai
Aplikasi menerima bingkai daripada permainan pada kadar yang berubah-ubah apabila ia sedia, "bagaimanapun ia datang." Klien kemudian melaraskan kadar bingkai untuk main balik pada 60 Hz. Sumber pasangan stereo boleh menjadi SuperDepth3D, mod VR, atau kandungan 3D sedia ada. WibbleWobble menerimanya dalam format side-by-side atau checkerboard (Client Config -> Source Format) dan menyahkodnya dalam FrameBufferDecode. Renderer kemudian menukarnya menjadi aliran berurutan bingkai 120 Hz sambil menyegerakkan cermin mata pengatup. Pemancar berikut disokong: NVIDIA 3D Vision, Open3DOLED, projektor DLP, 3D Ready, dan pemancar IR Arduino/VESA buatan sendiri.

Melawan kekaburan gerakan dan cross-talk
Kekaburan gerakan adalah kekaburan yang dihasilkan oleh paparan. Panel LCD dan OLED moden mengekalkan piksel menyala untuk tempoh bingkai - mod sampel-dan-tahan. Semasa piksel kekal menyala dan tetap pada satu kedudukan, mata secara naluri terus mengikuti objek yang bergerak. Akibatnya, imej "calit" pada retina itu sendiri, walaupun setiap bingkai individu pada paparan adalah tajam sempurna. Semakin lama piksel menyala, semakin kuat calitan. Kecacatan itu menyembunyikan butiran halus dan seterusnya merendahkan imej dalam mod 3D.

Untuk mengurangkan masa piksel menyala, WibbleWobble menyediakan dua alat:
Black Frame Insertion - memasukkan bingkai hitam di antara bingkai berguna (parameter Black Frame Insertion Interval dalam Client Config).
CRT Beam Simulator oleh Blur Busters - shader yang meniru sapuan sinar elektron CRT: ia mengosongkan imej baris demi baris dan bukannya sebagai satu bingkai keseluruhan. Ia memberikan hasil yang lebih baik tetapi menuntut paparan: ia memerlukan gamma 2.2 atau 2.4, ABL/APL dilumpuhkan, dan OLED dalam mod SDR. Pada panel FALD dan MiniLED ia berfungsi dengan buruk kerana inersia lampu latar.

Kedua-dua mod ini tidak boleh diaktifkan pada masa yang sama. Apabila menggunakan CRT Sim, parameter Black Frame Insertion Interval dalam Client Config mestilah sifar. Perlu ditekankan secara berasingan bahawa permainan mungkin berjalan pada kadar yang lebih rendah daripada paparan mengeluarkan bingkai, dan program mengisi bingkai yang hilang sehingga kadar paparan. Tetapi ini bukan penjanaan imej perantaraan baharu - ia adalah pengulangan yang sedia ada. Dalam erti kata lain, tiada kelancaran yang disediakan oleh kaedah pensampelan semula.

Cross-talk adalah kesan di mana imej yang dimaksudkan untuk satu mata sebahagiannya sampai ke mata yang lain. Akibatnya, penonton melihat kontur berganda atau "hantu" lut sinar di sebelah objek. Ini merendahkan kualiti imej 3D dan mengurangkan rasa kedalaman. Untuk memerangi ini, sokongan untuk Black Frame Insertion dan simulator sinar CRT Blur Busters dibina. Untuk penindasan cross-talk yang komprehensif, mod pintar digunakan: imej permainan dilukis pada 60 Hz, cermin mata menerima penyegerakan pada 120 Hz, dan output ke skrin berjalan pada 240 Hz dengan pengulangan bingkai.

Untuk semua kebaikannya, kaedah ini mempunyai had yang harus dinyatakan secara berasingan. Ia berpunca bukan daripada sebarang ketidaksempurnaan dalam program tetapi daripada prinsip operasi yang dipilih. Sudut pandangan stereo kedua tidak dirender daripada model pemandangan tetapi dibina semula daripada bingkai yang telah siap dan peta kedalaman. Jika tiada data tentang apa yang tersembunyi di belakang objek latar depan dalam bingkai sumber, tiada tempat untuk memulihkannya.

Lubang di tepi objek - disocclusion
Ini adalah kecacatan utama kaedah. Apabila program mengalihkan sudut pandangan untuk mata kedua atau untuk pusingan kepala, sebahagian latar belakang yang disembunyikan oleh tepi objek latar depan dalam bingkai sumber sepatutnya menjadi kelihatan. Tetapi tiada siapa yang merender piksel tersebut - ia secara fizikal tidak wujud. Program tidak mempunyai apa-apa untuk mengisi jurang itu, jadi ia sama ada meregangkan piksel tepi, menghasilkan lingkaran "bergetah" yang calit di sepanjang kontur, atau menggantikan tampalan "munasabah" tetapi biasanya tidak betul. Semakin kuat peralihan sudut pandangan, semakin lebar jalur lingkaran. Ini bukan pepijat pelaksanaan tetapi had kaedah itu sendiri: anda tidak boleh mengekstrak daripada satu imej apa yang tersembunyi di belakang objek dan tidak kelihatan di dalamnya.

Pergerakan kepala membesarkan herotan
Dalam stereo biasa jarak antara sudut pandangan adalah kecil dan tetap - sama dengan jarak antara pupil. Tetapi dengan "tingkap ke dunia," kepala bergerak puluhan sentimeter dalam pelbagai arah, jadi peralihan sudut pandangan relatif adalah berkali ganda lebih besar daripada yang semula jadi, dan lubang serta calitan menjadi lebih besar. Ia berfungsi seperti ini: duduk diam dan hampir tiada artifak, tetapi kesan 3D juga lemah; bergerak banyak dan kesannya ada, tetapi segala-galanya di sepanjang tepi objek adalah calit dan terapung.

Grafik bergantung pada peta kedalaman
Program memerlukan maklumat yang betul tentang jarak ke setiap titik dalam pemandangan. Permainan tidak selalu menyediakannya, atau semuanya. Permukaan lut sinar - air, kaca, asap, api, dedaunan - biasanya tidak mempunyai kedalaman terperinci, atau enjin tidak menciptanya sama sekali. Akibatnya, objek berakhir pada jarak yang salah: air melekat di tempat yang salah, asap berganda, zarah tergantung di udara di tempat yang berbeza. Selain itu, tidak setiap permainan mengeluarkan penimbal kedalaman yang serasi sama sekali - dalam sesetengahnya ia terbalik, dalam yang lain ia dilindungi dan tidak boleh dibaca.

Pantulan dan sorotan paling banyak rosak
Cermin, air, asfalt basah, dan logam ditakrifkan oleh kedalaman permukaan mereka sendiri, bukan oleh imej yang dipantulkan di dalamnya. Apabila sudut pandangan beralih, pantulan hanyut ke entah mana. Jika sorotan "dicat" pada permukaan, ia tidak berkelakuan seperti yang sepatutnya dalam dunia sebenar. Kandungan berkilat yang paling menarik kelihatan rata dan salah dalam stereo.

Antara muka, crosshair, dan HUD
Elemen dua dimensi di atas bingkai - bar kesihatan, menu, crosshair - dilukis pada kedalaman sifar, jadi selepas pemprosesan ia berakhir pada jarak stereo yang salah. Antara muka sama ada melekat ke dalam skrin atau tergantung di hadapan pemandangan. Crosshair adalah sakit kepala sendiri; kedudukannya hampir selalu perlu dilaraskan dengan tangan.

Satu bingkai untuk kedua-dua mata
Kedua-dua mata melihat imej yang sama, hanya dialihkan. Dengan rendering stereo jujur setiap mata mendapat sorotan, bayang-bayang, dan pembiasan yang betul sendiri; di sini itu tidak akan berlaku. Kerana ini, objek kelihatan sebagai lapisan rata dipotong daripada papan lapis dan disusun mengikut kedalaman, bukannya sebagai badan isipadu. Dalam bahan berbahasa Inggeris kesan ini dipanggil kesan "potongan kadbod".

Pelarasan khusus permainan
Medan pandangan, julat kedalaman, dan penumpuan ditetapkan dengan tangan untuk setiap permainan secara berasingan. Kesilapan memberikan sama ada ketegangan mata daripada penumpuan berlebihan, atau skala yang salah, di mana dunia kelihatan seperti mainan atau gergasi, atau bahkan kedalaman terbalik sama sekali. Ini adalah penyelesaian "tala dan fikirkannya", bukan "pasang dan main".

Kependaman dan bingkai tidak sekata
Permainan merender bingkai secara tidak sekata, dan klien menyesuaikannya dengan fps stabil paparan dengan mengulang bingkai sedia ada. Pengulangan itu sendiri tidak memperkenalkan herotan, tetapi kependaman antara tindakan dan imej terkumpul: tangkapan bingkai, pemprosesan, output. Untuk penjejakan kepala, sebarang kependaman sedemikian dirasai sebagai "terapung" pemandangan. Game Config mempunyai parameter Frame Capture Delay untuk ini, untuk menala detik tangkapan.

Cross-talk baki dan keperluan monitor tinggi
Teknik perisian - sisipan bingkai hitam dan mod 60/120/240 - menekan hantu, tetapi tidak mengeluarkannya sepenuhnya, kerana cross-talk ditentukan oleh banyak faktor: fizik panel paparan dan cermin mata itu sendiri. Ia bergantung pada masa tindak balas piksel, kelajuan pensuisan, kontras kanta cermin mata, dan kadar lukisan menegak skrin. Selain itu, mod yang paling agresif memerlukan panel 240 Hz pantas dengan kegigihan piksel pendek, yang tidak dimiliki oleh setiap pengguna. Tidak seperti NVIDIA 3D Vision, ReShade tidak menghasilkan semula isipadu sedia ada tetapi mensintesisnya daripada bingkai rata. Itulah sebabnya lubang di sepanjang kontur, pantulan yang salah, dan tepi terapung adalah artifak stabil kaedah, bukan kekurangan sementara.

Geometri stereo di sini adalah jujur, dan tiada satu pun artifak sintesis imej - disocclusion, "kadbod," pantulan rosak - hadir di sini. Tetapi kaedah ini mempunyai kos sendiri juga, dan ia berbeza.

Permainan mesti menyokong VR
Ini adalah had utama. Kaedah ini tidak berfungsi dengan permainan sewenang-wenangnya: ia memerlukan sama ada sokongan VR terbina dalam atau mod VR. Jika tiada mod sedia ada, laluan OpenVR tidak akan berfungsi, dan hanya ReShade dengan semua artifaknya yang tinggal. Dalam erti kata lain, keserasian luas yang mana laluan pertama wujud hilang sepenuhnya di sini.

Beban berganda pada kad grafik
Pemandangan benar-benar dirender dua kali, dari dua kamera. Tiada penjimatan yang disediakan oleh unjuran semula pandangan tunggal: prestasi menurun sama seperti dalam VR sebenar. Ini sebahagiannya dikompensasikan oleh tetapan Resolusi dalam VR Config - resolusi setiap mata boleh diturunkan, dan WibbleWobble akan menskalakan imej sehingga resolusi paparan.

Pemasangan yang kompleks
SteamVR mesti dipasang. Pemacu didaftarkan melalui Install.bat dengan hak pentadbir, selepas itu dua baris mesti ditambah secara manual ke fail config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" dan "activateMultipleDrivers": "true". Kemudian lengkapkan Room Setup dalam mod STANDING ONLY. Ralat pada mana-mana langkah dan, bukannya stereo, anda mendapat skrin hitam tanpa mesej jelas tentang puncanya.

Had OpenVR itu sendiri
Sesetengah tetapan tidak boleh diubah semasa dalam perjalanan. Jika anda menukar resolusi atau kadar output, mulakan semula SteamVR diperlukan. Ini adalah had platform, bukan program, tetapi ia melambatkan penalaan permainan dengan ketara.

Pengoptimuman render merosakkan beberapa permainan
VR Config mempunyai parameter Optimise Single Eye yang membenarkan rendering hanya satu mata atau kedua-duanya pada separuh FOV. Pengarang projek memberi amaran secara langsung: mod "Both" adalah yang paling bermasalah - vignet dan penyahsegerakan mata mungkin berlaku, dan imej mungkin "beralih." Dalam sesetengah permainan pengoptimuman perlu dimatikan sepenuhnya.

Bergaduh untuk fokus tetingkap
Sesetengah permainan tidak memberikan fokus kepada antara muka WibbleWobble: kombinasi kekunci SHIFT + END tidak berfungsi, atau UI dilukis tetapi tidak boleh dikawal. Anda perlu bertukar secara manual melalui ALT + TAB. Masalah berasingan: tetingkap WibbleWobble tidak boleh ditutup - program tidak pulih selepas itu, dan permainan perlu dimulakan semula.

Memusatkan semula pada setiap pelancaran
Penjejakan mesti dipusatkan secara manual (SHIFT + .) setiap kali pada permulaan, diletakkan tepat di tengah-tengah kawasan kerja di hadapan skrin. Jika kepala tidak berada di sana semasa pemusatan, reprojection mula berkelakuan pelik dan skala "hanyut." Dengan pengakuan pengarang sendiri, mencapai kedudukan yang betul memerlukan latihan. Ini kemudiannya boleh diperbaiki dengan menggunakan perisian penjejakan yang lebih pintar.

Sipi aplikasi individu
Sesetengah program hanya berfungsi dengan jenama set kepala tertentu. Untuk mereka, VR Config mempunyai parameter Headset Identification yang membuat WibbleWobble mempersembahkan dirinya sebagai peranti berbeza - Vive, sebagai contoh - tanpanya penjejakan kepala tidak berfungsi dalam DEOVR. Dalam erti kata lain, keserasian di tempat-tempat bergantung pada penyelesaian seperti ini.

Persamaan dengan laluan pertama
Segala-galanya mengenai perkakasan berlaku untuk kedua-dua kaedah: cross-talk baki, keperluan untuk panel pantas, keperluan untuk penyegerakan cermin mata yang tepat. Output stereo, pemancar, BFI, dan CRT Sim berfungsi sama tanpa mengira dari mana pasangan stereo itu datang.