История создания бесконтактного контроллера Kinect [Часть 1]

В 2005 году Xbox 360 стал серьёзной силой на рынке. Команда инженеров проводят сбор идей для будущего Xbox, пытаясь предугадать следующие несколько лет. Во главе с ведущим инженером-программистом Джо Бертолами [Joe Bertolami] они смотрят на то, что есть у других производителей технологий есть на стадии разработки. Как выразился сам Бертолами, у него сформировался «ощутимый взгляд» в будущее. Встречаясь с такими компаниями, как Samsung и LG, он обращает внимание не на то, что уже есть в магазинах или появится через полгода, а на то, где, по их мнению, будут технологии через два года, «в случае если развитие, будет идти по оптимистическому сценарию».

По сути, все эти компании имеют свои собственные подразделения по созданию прототипов. Работающие там люди, вроде наших людей, очень хотели продвинуть границу технологических возможностей далеко вперёд. Если бы вы поговорили с командой разработчиков дисплеев Samsung, то они рассказали бы вам всё, что они готовят для дисплеев с более высокой чёткостью воспроизведения, о стерео 3D гарнитурах и всё такое прочее. Вы бы увидели различные уровни сотрудничества между Microsoft и другими компаниями, где у нас были подобные связи.

Джо Бертолами

В это время одна из технологий начинает привлекать к себе особое внимание со стороны Microsoft — камеры, измеряющие глубину, и камеры, которые могут определять размер комнаты и размеры объектов внутри неё. Это не первый случай, когда Microsoft исследует технологию на базе камер. Например, за пару лет до этого у старшего менеджера по продукции Microsoft Ричарда Веласкеса [Richard Velazquez] была 3D-камера в дорожной карте новых аксессуаров для Xbox, но затем, в ходе разработки, её выкинули на «кладбище» для заброшенных идей. На протяжении многих лет сенсор глубины занимал умы многих инженеров в Microsoft, переходя от захватывающей новой технологии к некому конкретному устройству, как неотъемлемой части одного из самых амбициозных проектов на Xbox на сегодняшний день — Kinect — новый сенсор движения для Xbox 360, предназначенный устранить саму необходимость в обычных физических контроллерах. Он станет одним из крупнейших вложений Microsoft, но в итоге, как мы уже знаем, не выживет на дальней дистанции.

Журналисты портала Polygon опросили 12 человек, которые работали с Kinect: от бывших сотрудников Microsoft, до сторонних разработчиков, и воссоздали всю его историю по крупицам. Начиная с небольшой экспериментальной разработки, к инновационному проекту в масштабах всей Microsoft, которая потребовала несколько специальных подразделений, толпы разозлённых детей, помощь официантов и многое другое.

Наша история берёт свое начало в Израиле, где пятеро солдат остались без работы…

Шёл 2005 год, Авиад Майзелс [Aviad Maizels] рассуждает о Черепашках-ниндзя: «Когда мне было 10 лет, моему младшему брату было 5, и он хотел посмотреть новый эпизод Черепашек-ниндзя», вспоминает он в интервью Engadget в 2013 году, — «У эпизода было конкретное название, и он попросил меня написать его на пустой видеокассете. Я спросил его, зачем ты просишь меня это написать, а он ответил, что, если я напишу это на кассете, то именно эту серию включит магнитофон. Сейчас это кажется глупым, но именно так мы хотели, чтобы работала наша технология… как магия ».

У Мейзелса не было работы, равно как и у его друзей Офира Шарона [Ophir Sharon], Алекса Шпунта [Alex Shpunt], Димы Раиса [Dima Rais] и Тамира Берлинера [Tamir Berliner]. Все они встретились в Армии обороны Израиля, в которой израильские мужчины обязаны служить не менее трёх лет после достижения 18-летнего возраста. У них уже есть некоторые научные знания, так как четверо из них работали в области исследований и разработок для военных, и в итоге они получили учёные степени по математике, инженерии и в смежных областях. Вместо того чтобы искать работу, друзья решают создать собственную компанию, или как сказал Майзелс Engadget, «… чтобы создать нечто большее. Что конкретно? Мы хотели создать такую технологию, благодаря которой, исчезали бы сами технологии».

В своих ранних дискуссиях пятеро друзей остановились на игровой индустрии как на целевой области своей новой компании, как говорит Мейзелс, они чувствовали, что игры стали «застойными» и повторяющимися: «Завершите одну игру, затем вы переходите к новой, а там те же самые действия и похожая история». Но что, если бы вы могли играть в игру, не держа контроллер? Что, если бы само тело человека было контроллером?

Группа назвала свою компанию PrimeSense, стартап из Тель-Авива, специализирующийся на технологиях измерения глубины посредством камер и использовании этого для определения движущегося тела в пространстве. Они намеревались создать камеру, которая может распознавать людей и объекты в 3D, а также интерпретировать жесты в команды управления. В марте 2006 года PrimeSense впервые демонстрирует свои технологии на ежегодной конференции разработчиков игр (GDC) и ищет делового партнёра. Они уезжают с выставки с пачкой новых контактов, включая Microsoft, с которой PrimeSense продолжит контактировать, назначив вторую встречу через несколько месяцев.

Тем временем, Алекс Кипман [Alex Kipman] находится в Лос-Анджелесе на конференции E3 2006. Кипман, это генеральный менеджер Microsoft по инкубированию технологий аппаратного обеспечения, который ведёт переговоры с PrimeSense, знакомится с их технологией определения глубины и как она отслеживает движения тела. «Он понял нашу идею и понял, определённо представлял, что можно сделать с помощью этой технологии», — рассказывает соучредитель PrimeSense, Тамир Берлинер журналу Wired. Несколько лет спустя обе стороны заключили контракт, который в итоге приведёт к рождению Kinect. Но это не произошло в одночасье.

В 2006 году сенсор глубины был сырым, недоработанным и, что самое главное, слишком затратным для массового производства, даже для Microsoft. Чтобы сотрудничество развивалось дальше, должно было произойти несколько вещей. Во-первых, сенсор PrimeSense должен был стать меньше, дешевле и доступнее для потребителя «Аппаратное обеспечение должно исчезать таким образом, чтобы оно становилось практически незаметным для пользователя», — уточняет Рагху Мурти [Raghu Murthi], бывший главный менеджер Microsoft по оборудованию для интерфейса Xbox 360 журналу Wired, — «так чтобы пользователь взаимодействовал с системой, но не осознавал как». И даже в этом случае одной только технологии PrimeSense было недостаточно для конечного устройства. Если Microsoft хочет инвестировать в камеры с сенсорами глубины, то ей также необходимо разработать такое аппаратное обеспечение, которое будет не только их использовать, но и такое которое захотят купить люди. Всё это довольно трудно и затратно, но это та работа, которую поручили Кипману.

Но перед этим, прежде всего Nintendo перевернёт всю игровую индустрию, выпустив в ноябре 2006 года свою новую консоль — Nintendo Wii, которая произвела настоящую революцию и при этом стала самой быстро продаваемой консолью всех времён. Wii смогла продать мечту о физическом взаимодействии с играми. Это заставляло людей вставать с дивана, стоять и двигаться, превращая малоподвижный гейминг в нечто активное. Благодаря контроллеру движений Wii Remote, который заменил стандартные геймпады, Nintendo Wii стала самой доступной консолью для всей семьи и пожилых людей. Библиотека Nintendo Wii из спортивных и семейных игр, привлекала гораздо более широкую аудиторию, чем Xbox 360 и PlayStation 3 со своими играм с высоким возрастным рейтингом. Это был настоящий хит в домах престарелых.

Таким образом, Nintendo провела линию на песке, а Microsoft, уже обдумывала свои дальнейшие действия и варианты будущего Xbox. С одной стороны, была технология измерения глубины. Она была интересной, но, после некоторых оценок аналитиков, компания всё же не решается идти с ней ва-банк. По сути, в тот момент технологии просто ещё не существует: Microsoft пока не в состоянии получить полное обнаружение движения без использования чего-то вроде отслеживания скелета, что произойдёт позже. «Таким образом, мы как бы могли обнаруживать удары и предметы. И, в некотором роде нам удавалось экстраполировать эти данные в положение руки и мы могли как-то с помощью этого управлять» раскрывает подробности ранних испытаний сенсора Брайан Мерфи [Brian Murphy], бывший креативный директор и игровой дизайнер Microsoft «но это не имело ничего общего со скелетным трекингом».

Летом 2006 года появляется камера Xbox Live Vision от калифорнийской компании GestureTek, периферийная веб-камера для Xbox 360. В одной из её программ уже были заложены простейшие алгоритмы зондирования глубины и слежения за лицом. Однако, в тот момент, технический директор Microsoft Фрэнсис МакДугалл [Francis MacDougall] отрицает разработку сенсора- «уничтожителя Wii», уточняя свой ответ на этот вопрос изданию Gamasutra тем, что «это была всего лишь демоверсия». Несмотря на весь интерес к самой технологии, определение глубины всё же не становится следующим шагом для Xbox. Тем не менее, в Microsoft растёт понимание того, что компания должна как-то ответить Nintendo и компания ищет другие варианты.

Было несколько путей, которыми мы могли бы пойти. Когда на контроллеры впервые появились двойные аналоговые стики, то они, в конце концов стали стандартом для всех. И тогда ещё шла дискуссия, этот новый девайс Wiimote действительно станет будущим стандартом для игр?

Ричард Веласкес

Microsoft начинает разрабатывать собственное устройство для отслеживания движения и экспериментирует с «Xbox Wiimote», как выразился Мерфи. Веласкес говорит, что он рассматривает другие альтернативные методы контроллера, такие как концепция «неразрушимого контроллера, который вы можете бросать, бросать или прыгать». Он сравнивает идею с мячом NerfBall, который был «безвредным, если его бросить, не сломается, если его уронить или выбросить, и его можно было бы обменять и поделиться с другими игроками». Были также идеи для комплексных контроллеров движения, где игроки держат «один в одной руке, а второй в другой, точно так же, как PlayStation Move», — из рассказа Веласкеса для Polygon.

Инженеры в недрах Microsoft пытаются развивать эти идеи, пока два новых сотрудника не открывают заново старые. Кудо Тсунода [Kudo Tsunoda] присоединяется к Microsoft в 2008 году вместе с Дарреном Беннеттом [Darren Bennett] в качестве генерального директора и креативного директора соответственно. Они объединяют усилия с Кипманом. В то время как другие экспериментируют с тем, что может стать аналогом Wii на Xbox, Тсунода, Беннет и Кипман вместе с небольшой командой, работают над своим экспериментальным проектом, основанным на камерах глубины и сенсора глубины. Ключевое различие между этой и предыдущей инициативой заключается в том, что новые усилия привносят в процесс машинное обучение, чтобы идентифицировать скелет пользователя вместе с первоначальной технологией PrimeSense. Они делают несколько разных демонстраций, и, как и в случае с Wii до этого, предлагают новые способы взаимодействия с играми, отказываясь от стандартного контроллера в пользу камеры, которая может считывать движения человеческого тела, переводя эти данные в действия на экране.

Именно эти демонстрации начинают менять взгляд Microsoft на будущее. Небольшая команда с Кипманом во главе уже способна показать, а не просто рассказать об устройстве, использующее технологии обнаружения глубины и скелетного трекинга, может привнести в игры. «Он действительно был великолепен с презентациями и был довольно убедительным», — вспоминает Веласкес для Polygon. «Реальная возможность создать это для людей, таким образом, чтобы они могли видеть, чем оно может стать, стало действительно самым важным фактором, который, я думаю, и привела к тому, что его команда получила необходимое финансирование и свободу, чтобы вывести свои идеи на полную мощность».

В Microsoft отказались комментировать эту истории, отклонив запросы на интервью для Беннетта, Кипмана, Тсуноды и других, которые всё ещё работают в компании.

У команды также есть то, что Бертолами назвал «поразительно практичным и точным» конвейером, где, по его мнению, технология будет через два года и когда, она, якобы, сможет выйти на рынок. Технология довольно хрупкая и команда Кипмана, вероятно, умалчивает о некоторых проблемах ради презентации, но широкими мазками они способны представить общую картину того, каким будет финальный алгоритм производства и распространения Kinect.

«И это довольно примечательно, так как это происходило в конце 2008 — начале 2009 года, они делали всё это в основном собственными силами, без какой-либо помощи со стороны от кого бы то ни было», — вспоминает Бертолами. Их технодемки, демонстрирующие распознавание голоса и скелетного трекинга привлекают внимание руководителей Microsoft. Это был переломный момент, потому что часть руководства Xbox уже собиралась отказаться от разработки аналога Wii. Несмотря на слухи о том что они собираются отказаться от такого проекта, Microsoft всё же решилась профинансировать технологию измерения глубины. Проект получил зелёный свет в конце 2008 года. Команда, работающая над контроллерами движения, присоединилась к команде Тсуноды, Беннетта и Кипмана. И уже в начале 2009 начинается серьёзная работа.

Кипман был тем человеком, кто видел всё с точки зрения Kinect. Мои идеи, были не для Кинекта. Это были интересные разработки, но с другого ракурса. Тем, кто действительно представлял себе основную концепцию ещё на ранней стадии проекта, был именно Алекс. Когда он придумал её и начал собирать команду, мы объединили свои умы, потому как, очевидно, мы уже многого достигли в исследовании камер, измеряющих глубину. И вот так всё слилось воедино. Вот почему вы увидите коллекцию самых разных в ранних патентах, потому что они стали составными частями той команды, которые уже занимались различными исследованиями для новой камеры Xbox.

Ричард Веласкес

Wii больше не была примером для них, разве что как источник первоначального порыва вдохновения и желания сделать нечто большее. «Вместо того чтобы просто придерживаться палки, которая движется в трёхмерном пространстве, мы перешли на новый уровень понимания того, как на самом деле происходят наши собственные движения и как работает ваш скелет» добавляет Бертолами.

Кодовым названием для Kinect в то время cтал «Project Natal» в честь бразильского города, где родился Кипман. В течение следующих нескольких лет он станет мощным и амбициозным проектом для Microsoft.

Продолжение следует …

Следите за скидками и новостями Xbox в нашей группе Вконтакте

The post Хроники Kinect [Часть 1: Рождение Natal] first appeared on Xbox Union.