Apple Vision Pro is an upcoming mixed-reality headset developed by Apple Inc. It was announced on June 5, 2023, at Apple's Worldwide Developers Conference, with availability scheduled for early 2024 in the United States and later that year internationally. It is Apple's first product in another major category since the Apple Watch in 2015.

Apple advertises the Vision Pro as a "spatial computer", where digital media is integrated with the real world and physical inputs, such as motion gestures, eye tracking, and voice input, can be used to interact with the system. Primarily intended as a standalone device booting visionOS, a derivative of iOS designed to run its own extended reality apps, it can also be wirelessly connected to a Mac.

History

Development 
In May 2015, Apple acquired the German augmented reality (AR) company Metaio, originally spun off from Volkswagen. rumored to be originally motivated by Project Titan. That year, Apple hired Mike Rockwell from Dolby Laboratories. Rockwell formed a team that included Metaio  Peter Meier and Apple Watch manager Fletcher Rothkopf. The team, called the Technology Development Group, developed an AR demo in 2016 but faced opposition from then-chief design officer Jony Ive and his team. Augmented reality and virtual reality (VR) expert and former NASA specialist Jeff Norris was hired in April 2017. Rockwell's team helped deliver ARKit in 2017 with iOS 11. Rockwell's team sought to create a headset and worked with Ive's team; the decision to reveal the wearer's eyes through a front-facing eye display went over well with the industrial design team.

The headset's development experienced a period of uncertainty with the departure of Ive in 2019. His successor, Evans Hankey, left the company in 2023. Senior engineering manager Geoff Stahl, who reports to Rockwell, led the development of its visionOS operating system, after previously working on games and graphics technology at Apple. Apple's extended reality headset is meant as a bridge to future lightweight AR glasses, which are not yet technically feasible. In November 2017, Apple acquired Canadian XR company Vrvana for $30 million. The Vrvana Totem was able to overlay fully opaque, true-color animations on top of the real world rather than the ghost-like projections of other AR headsets, which cannot display the color black. It was able to do this while avoiding the often noticeable lag between the cameras capturing the outside world while simultaneously maintaining a 120-degree field of view at 90 Hz. The Totem also used IR illuminators and infrared cameras to perform spatial and hand tracking. 

According to leaker Wayne Ma, Apple was originally going to allow macOS software to be dragged from the display to the user's environment, but was scrapped early on due to the limitations of being based on iOS, and noted that the hand-tracking system was not precise enough to game. Workers also discussed collaborations with brands such as Nike for working out with the headset, while others investigated face cushions that were better suited for sweaty, high-intensity workouts, but was scrapped due to the battery pack and the fragile screen. A feature called "co-presence", a projection of a FaceTime user's full body was also scrapped due to unknown reasons.

Unveiling and release 
Information about a headset, then rumored to be called the Reality Pro, began surfacing in 2022. In May 2022, Apple executives previewed the device, including CEO Tim Cook. The company began recruiting directors to develop content for the headset in June. One such director, Jon Favreau, was enlisted to bring the dinosaurs on his Apple TV+ show Prehistoric Planet to life. By April, Apple was attempting to attract developers to make software and services. Apple filed over 5,000 patents for technologies which contributed to the development of Vision Pro. The Apple Vision Pro was announced at the Worldwide Developers Conference on June 5, 2023, with availability beginning in early 2024 in the United States at a starting price of  and later in 2024 in additional countries, including the United Kingdom, Canada, Japan, India, Brazil, Australia, France, Germany, Spain, Italy and South Korea, at varying starting prices. An estimated million units will be shipped initially.

On June 6, Apple acquired the AR headset startup Mira, whose technology is used at Super Nintendo World's Mario Kart ride. The company has a contract with the United States Air Force and Navy. Eleven of the company's employees were onboarded.

Specifications

Hardware 
Apple Vision Pro has a laminated glass display front, an aluminum frame covered by a flexible cushion, and an adjustable headband. The frame contains five sensors, six microphones and 12 cameras. Two micro-OLED displays with a total of 23 megapixels usually running at 90 FPS from a maximum of 96, each with a size of a postage stamp, will be seen by the user through the lens. The eyes are tracked by a system of LEDs and infrared cameras, which form the basis of the device's iris scanner named Optic ID (used for authentication, like the iPhone's Face ID). Custom optical inserts are supported for users with prescription glasses; these lenses will attach magnetically to the main lens and are developed in partnership with Carl Zeiss AG. The device's speaker is inside the headband and is placed directly over the user's ears. It can also virtualize surround sound. 

The Vision Pro uses the Apple M2 system on a chip. It is accompanied by a co-processor known as Apple R1, which is used for real-time sensor input processing. The device can be powered by an external power supply, a  port on a Mac, or a battery pack rated for two hours of use.

The user's face is scanned by the headset during setup to generate a persona—a realistic avatar used by OS features. During a public demo at Worldwide Developers Conference (WWDC), hands-on participants faces were scanned by an iPhone with TrueDepth camera for fitting purposes, and ears were scanned to optimize the speakers, with Apple stating this process can be done with the user's own iPhone or at an Apple Store as part of the purchase process.

A "digital crown" dial on the headset is used to control the amount of virtual background occupying the user's field of view, ranging from a mixed-reality view where apps and media appear to float in the user's real-world surroundings, to completely hiding the user's surroundings. The Vision Pro has an outward-facing display called EyeSight, which displays the eyes of the user's CGI persona. Its eyes appear dimmed when in AR and obscured when in full immersion to indicate the user's environmental awareness. When someone else approaches or speaks, even if the user is fully immersed, EyeSight shows their persona's virtual eyes normally and makes the other person visible.

Software 

Apple Vision Pro runs visionOS (internally called xrOS during its development), which is derived primarily from iOS core frameworks (including UIKit, SwiftUI, and ARKit), and XR-specific frameworks for foveated rendering and real-time interaction.

The operating system uses a 3D user interface navigated via finger tracking, eye tracking, and speech recognition. For example, the user can click an element by looking at it and pinching two fingers together, move the element by moving their pinched fingers, and scroll by flicking their wrist. Apps are displayed in floating windows that can be arranged in 3D space. visionOS supports a virtual keyboard for text input, the Siri virtual assistant, and external Bluetooth peripherals including Magic Keyboard, Magic Trackpad, and gamepads. Calls can be presented via windows of participants's personas.

The Walt Disney Company announced plans to develop apps for visionOS, including a Disney+ app incorporating mixed-reality experiences. Over 100 Apple Arcade games will be compatible with visionOS at launch. The company is working with Unity Technologies to support the Unity engine on visionOS. WebXR will be supported in Safari for visionOS. visionOS will be backwards compatible with existing iOS/iPadOS apps, which will be rendered in windows within the user environment.

Reception

Pre-release and unveiling 
Ars Technica reported that the Vision Pro was "truly something I had never seen before," noting the intuitiveness of its user interface in a choreographed demo given by Apple, and praising a dinosaur tech demo for its immersiveness. Feeling that its displays were dim but "much better than other headsets I've used on this front, even if it still wasn't perfect," and that the personas looked "surreal" but conveyed body language better than a more stylized avatar (such as Animoji or Horizon Worlds). Arguing that the Vision Pro was not a virtual reality (VR) platform, nor a competitor to Meta Platforms' Quest (formerly Oculus) product line, due to its positioning as "primarily an AR device that just happens to have a few VR features," and not as a mass market consumer product.

The Verge similarly noted that Apple had deliberately avoided presenting the Vision Pro as a VR platform, such as not referring to the device as a "headset," describing it as an AR device and "spatial computer," and not showcasing fully-immersive experiences such as games and metaverse platforms in its presentation (only demonstrating non-VR games, displayed in windows and controlled using an external gamepad). He suggested that this positioning "leaves wiggle room for the likely future of this technology that looks nothing like a bulky VR headset: AR glasses."

Bloomberg noted that loud gasps were heard among the crowd in response to the announcement of the Vision Pro price tag, followed by criticism of the cost by both consumers and online commentators. The three priciest components in the Vision Pro are its camera and sensor array, its dual Apple silicon chips, and the twin 4K micro-OLED virtual reality displays. Apple is reportedly working on a cheaper model that is scheduled for release in late 2025 or early 2026 as well as a second-generation model with a faster processor.

The Vision Pro has been criticized due to its high cost, seen by some as too high to go mainstream, its short battery lifespan, appearing distracting to others, and its lack of HDMI input and haptic feedback.

See also 
 HoloLens 2
 Meta Quest Pro
 Google Glass

References

External links
 
 Apple Vision Pro Press Release

Apple Inc. hardware
Products introduced in 2023
Virtual reality headsets
Wearable devices
Augmented_reality
Virtual_reality
Virtual world communities
Metaverse
Upcoming products
2024 in video gaming
애플 비전 프로()는 애플에서 만든 출시 예정인 혼합 현실 헤드셋이다. 2023년 6월 5일, 2023 세계 개발자 회의에서 발표되었으며 2024년 초에 구매할 수 있다. 헤드셋은 2015년 애플 워치 이후 회사의 첫 번째 새로운 소비자 제품 라인이며 애플 비전 제품 라인의 첫 번째 모델이다.

애플은 이 제품을 디지털 미디어가 현실 세계와 통합되고 제스처와 같은 물리적 입력을 사용하여 시스템과 상호 작용할 수 있는 공간 컴퓨터(spatial computer)라고 설명했다. 비전 프로는 전원 어댑터 또는 별도의 배터리 팩과 함께 사용할 수 있다.

역사

개발 
2015년 5월, 애플은 독일의 증강 현실(AR) 회사 메타이오를 인수했다. 그 회사는 코드명 "Project Titan"인 전기 자동차 프로젝트에 메타이오의 기술을 사용하려고 했다. 그해에 애플은 돌비 래버러토리스에서 마이크 록웰을 고용했다. 록웰은 메타이오 공동 창립자 Peter Meier와 애플 워치 매니저 Fletcher Rothkopf를 포함하는 팀을 만들었다. Technology Development Group이라고 불리는 이 팀은 2016년에 AR 데모를 개발했지만 당시 최고 디자인 책임자인 조너선 아이브와 그의 팀의 반대에 직면했다. 증강 현실 및 가상 현실(VR) 전문가이자 전 NASA 전문가인 제프 노리스는 2017년 4월에 고용되었다. 록웰의 팀은 2017년에 iOS 11과 함께 ARKit을 제공하는 데 도움을 주었다. The Information에 따르면 록웰의 팀은 헤드셋을 만들고 아이브의 팀과 협력했다. 전면 아이 디스플레이를 통해 착용자의 눈을 드러내기로 한 결정은 산업 디자인 팀과 잘 맞았다. 헤드셋의 개발은 2019년에 아이브가 떠나면서 불확실한 시기를 겪었다. 아이브의 후계자인 에반스 행키는 2023년에 회사를 떠났다. 록웰에게 보고하는 수석 엔지니어링 관리자인 Geoff Stahl은 이전에 애플에서 게임 및 그래픽 기술을 담당한 후 VisionOS 운영 체제의 개발을 이끌었다.

공개 및 출시 
헤드셋에 대한 정보는 2022년에 드러나기 시작했다. 2022년 5월 블룸버그 뉴스는 애플 CEO 팀 쿡을 포함한애플 경영진들이 기기를 미리 봤다고 보도했다. 그 회사는 6월에 헤드셋용 콘텐츠를 개발할 이사를 모집하기 시작했다. 그러한 감독 중 한 명인 존 패브로는 그의 애플 TV+ 쇼인 《Prehistoric Planet》에 공룡들을 되살리기 위해 채택했다. 블룸버그 기자 마크 구먼은 2023년 1월에 AR 헤드셋 계획이 보류됐다고 보도했다. 구먼은 4월에 헤드셋에 대한 추가 정보를 공유했으며 애플이 소프트웨어와 서비스를 만들기 위해 개발자들을 모을려고 시도하고 있다고 언급했다. 애플에 따르면, 그 회사는 비전 프로 개발에 기여한 기술에 대해 5,000건 이상의 특허를 출원했다. 애플 비전 프로는 2023년 6월 5일 애플 세계 개발자 회의에서 발표되었다. 2024년 초에는 에 이용할 수 있을 것이다. 초기에 약 1,000,000대가 선적될 것으로 예상된다.

사양

하드웨어 
애플 비전 프로에는 얉은 유리 디스플레이 전면, 유연한 쿠션으로 덮인 알루미늄 프레임, 조절 가능한 헤드밴드가 있다. 프레임에는 5개의 센서, 6개의 마이크 및 12개의 카메라가 포함되어 있다. 우표 크기의 총 2,300만 화소 의 마이크로 OLED 디스플레이 2개가 렌즈를 통해 사용자에게 보여질 것이다. 눈은 Optic ID(iPhone의 Face ID와 같이 인증에 사용됨)라는 장치의 홍채 인식의 기초를 형성하는 LED 및 적외선 카메라 시스템에 의해 추적된다. 맞춤형 광학 삽입물은 처방 안경 사용자를 위해 지원된다. 이 렌즈는 메인 렌즈에 자기적으로 부착되며 칼자이스와 제휴하여 개발되었다. 헤드셋의 스피커는 헤드밴드 내부에 있으며 사용자의 귀 바로 위에 위치하며 서라운드 사운드를 생성할 수 있다.

애플 비전 프로는 부드러운 팬에 의해 냉각되는 센서 입력 처리를 위해 헤드셋용으로 특별히 제작된 애플 M2 프로세서와 새로운 애플 R1 프로세서를 사용한다. 케이블을 통해 헤드셋에 연결된 맞춤형 패킷 배터리를 사용하면 장치를 2시간 동안 사용할 수 있다. 또는 헤드셋을 외부 전원 공급 장치에 연결할 수 있다.

소프트웨어 

애플 비전 프로는 애플이 공간 컴퓨팅이라고 부르는 3차원 인터페이스가 있는 visionOS를 실행한다. 헤드셋의 기본 모드는 가상 앱과 미디어가 사용자의 실제 환경에 떠 있는 것처럼 보이는 증강 현실이다. 헤드셋 상단의 크라운은 사용자의 시야를 차지하는 가상 배경의 양을 완전한 가상 몰입( 가상 현실)까지 조정할 수 있다. 비전 프로에는 사용자의 눈을 재현하고 사용자가 몰입하는 정도를 반영하는 EyeSight라는 외부 디스플레이가 있다. 증강 현실에서는 눈이 흐려지고 완전한 가상 현실에서는 눈이 가려져 다른 사람들에게 사용자의 환경 인식 표시를 제공한다. 다른 사람이 접근하거나 대화를 시작하면 EyeSight는 완전한 가상 현실에서도 정상적으로 사용자의 눈을 보여주고 상대방이 사용자에게 보인다.

인터페이스는 센서 배열에 의해 인식되는 눈과 손가락으로 탐색된다. 예를 들어 사용자는 요소를 보고 두 손가락을 모아서 요소를 클릭하거나, 집은 손가락을 움직여서 요소를 이동하거나, 손목을 튕겨서 스크롤할 수 있다. 게임 컨트롤러도 지원된다. visionOS는 텍스트 입력을 위한 받아쓰기 및 가상 키보드를 지원하며 Siri 가상 도우미는 음성 명령에 사용할 수 있다.

애플리케이션 
애플의 책자의 홈 화면 이미지에 따르면 애플 비전 프로에는 Apple TV, 음악, Mindfulness, 프리폼, 사파리, 사진, 메모, 앱스토어, 메일, 메시지, 키노트 등의 앱이 기본적으로 설치되어 있다.

애플 비전 프로는 NBA 2K23 (2022)을 포함하여 애플 아케이드의 100개 이상의 게임과 함께 출시될 예정이다. 디즈니+는 출시와 동시에 사용할 수 있다. 또한 마이크로소프트 워드, 마이크로소프트 엑셀, 마이크로소프트 팀즈, Zoom, 시스코 웹엑스, 어도비 라이트룸 등 마이크로소프트 오피스 제품군 등 여러 앱을 사용할 수 있다. 애플은 유니티 앱에 대한 기본 지원을 약속했다.

각주

외부 링크 
 
 애플 비전 프로 보도 자료

2024년 출시
애플의 하드웨어
증강 현실