Все примеряют маски в инстаграме. Всего за год сториз стали главной платформой для дополненной реальности «Медуза» сделала там настоящую игру |
||
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Разработка ИИГолосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Авторизация |
2019-10-27 11:07 Последние несколько лет технологические компании изучают возможности дополненной реальности (AR) — механизма, при котором зрителю или пользователю кажется, будто виртуальные объекты находятся в физическом мире и взаимодействуют с ним. Одной из самых перспективных площадок для массового распространения AR в 2019 году оказался Instagram: с одной стороны, эта соцсеть предоставляет широкие возможности для встраивания масок (и даже небольших игр на их основе), с другой — растет быстрее и качественнее конкурентов. Директор по инновациям «Медузы» Султан Сулейманов рассказывает, в чем особенность AR-платформы Instagram — и как мы разработали свою игру для нее. Глава 1 Дополненная реальность и где она обитает Чтобы понять место Instagram в мире AR, нужно изучить все слои дополненной реальности. Самый верхний слой — это специальные устройства, обычно очки, с полупрозрачными стеклами, через которые видно как реальный мир, так и виртуальные объекты. Наиболее известные представители этого класса — шлем Hololens от Microsoft, а также возрожденные очки Google Glass и Magic Leap One от таинственного стартапа Magic Leap. К ним в ближайшие годы намерены присоединиться Facebook (этого компания не скрывает) и Apple (а это только слухи). У очков дополненной реальности два главных недостатка. Первый: их почти нет на широком рынке. Второй: они стоят и будут стоить ужасно дорого, так что на быстрое массовое распространение пока рассчитывать не приходится. Решить обе проблемы пытается второй слой — дополненная реальность в телефонах и планшетах. После ошеломительного успеха отдельных AR-приложений, таких как Pokemon Go и MSQRD (последнее в 2016 году купил Facebook), создатели главных мобильных операционных систем — Apple и Google — представили специальные инструменты для разработчиков: ARKit и ARCore соответственно. Их появление позволило значительно снизить порог входа в мир дополненной реальности: эти инструменты берут на себя базовую работу по обнаружению поверхностей, на которые можно установить виртуальный объект, оценку освещенности и т. п. Количество iOS- и Android-устройств, поддерживающих ARKit и ARCore, в 2018 году оценивалось в 1,05 миллиарда. Несмотря на это в топах App Store и Google Play можно найти не так много приложений, работающих исключительно в дополненной реальности. Поскольку встраивать отдельные AR-функции можно внутрь не AR-приложений. И это третий слой Что это могут быть за функции? В играх это, например, размещение игрового поля на столе — или на полу комнаты, в которой находится пользователь. В новостных приложениях, таких как Quartz или The New York Times, — демонстрация объектов и локаций, о которых идет речь в материале: модель космического аппарата «Кассини» или Луна на фотографиях Нила Армстронга. Наконец, в приложениях соцсетей — многочисленные маски, позволяющие разнообразить съемку фото и видео для сториз. Такие есть в снэпчате, фейсбуке, инстаграме, тиктоке, а в простеньком виде — даже во «ВКонтакте». (На всякий случай уточним: мы не знаем, используют ли приложения социальных сетей ARKit и ARCore — или работают на собственных разработках.) Сейчас разработчик может и выпустить собственное приложение с элементами дополненной реальности, и опубликовать свою маску в соцсетях. Как пояснил «Медузе» Андрей Ивашенцев, директор по инновациям компании Yode Group, специализирующейся на разработках в сфере AR и виртуальной реальности, выбор во многом зависит от того, есть ли у разработчика своя аудитория. Дело в том, что распространять знания об AR-функции в отдельном приложении гораздо сложнее, чем в соцсетях: в случае с отдельным приложением пользователю обычно приходится записывать видео с экрана, а затем уже рассылать его друзьям или постить на свои страницы. В соцсетях делиться AR-контентом куда легче, это «максимально приятно для пользователя — и полезно для создателя маски». Примерить маску тут чаще всего можно в один клик. Причем примерить в буквальном смысле: подавляющее большинство таких масок построены на «натягивании» каких-то объектов на лицо, от банальных заячьих ушек и очков Гарри Поттера до прозрачных щупалец. Есть и еще один, четвертый слой дополненной реальности — в браузере. Современные мобильные браузеры умеют показывать 3D-модели специальных форматов в режиме дополненной реальности. Например, в поиске Google иногда попадаются модели животных, которых можно «разместить» в комнате и оценить их размеры. Но этот слой самый примитивный, поскольку он позволяет лишь осматривать виртуальные объекты, но не взаимодействовать с ними. Глава 2 Красота три тысячи Когда в августе 2016 года в инстаграме появились сториз, это была почти точная копия такой же функции в снэпчате. Почти — потому что в инстаграм-сториз не были встроены виртуальные маски и другие элементы дополненной реальности. Первый шаг в этом направлении компания сделала почти через год, в апреле 2017-го, когда ежедневная аудитория одних только инстаграм-сториз уже превысила аудиторию всего Snapchat. Тогда инстаграм ввел AR-стикеры. Функция позволяет прикрепить эмодзи или один из предложенных стикеров к конкретному участку видео. Например, можно прикрепить к лицу ребенка эмодзи с кошкой, и если алгоритм сработает хорошо, эмодзи приклеится к лицу на все 15 секунд ролика. AR-стикеры появились в инстаграме на год позже, чем у конкурента; единственное, что в тот момент было функционально разным в двух приложениях, — это маски для лица. В снэпчате уже несколько лет можно было включить селфи-камеру, выбрать фильтр, открыть рот и наблюдать, как из него вытекает радужный поток. Уже в мае 2017-го маски появились и в инстаграме. Работало это довольно примитивно: камера в приложении находила лицо в кадре и привязывала виртуальные объекты к глазам (если это очки), верхней части лба (если это корона) или носу (если это заячий нос, идущий в комплекте с заячьими ушами на голове). Маски от самого Instagram и спустя два с половиной года остаются довольно бесхитростными: сердечко на щеке, сердечки над головами, цветочек на голове, солнцезащитные очки, уши и носы животных, знак зодиака на лице со звездным фоном за человеком. Ситуация стала гораздо интереснее в октябре 2018 года, когда компания открыла доступ к платформе для сторонних разработчиков. Первые месяцы доступ давали только некоторым пользователям, отправившим заявки, но летом 2019-го загружать маски разрешили всем желающим. На языке инстаграма тех, кто создает маски, называют не разработчиками, а творцами — creators. По-видимому, подчеркивается, что это больше творческая работа, а не инженерная: важнее придумать маску, а не написать для нее код. Пожалуй, главной маской, созданной для инстаграма вне инстаграма, оказалась Beauty3000: она покрывает лицо человека блестящим пластиковым слоем. Beauty3000 использовали в своих сториз звезды. Ее популярность, наряду с другими странными фильтрами, стала поводом для большого текста-манифеста The Verge, вышедшего в конце февраля 2019 года: «У масок в инстаграме глянцевое, металлическое и сюрреалистичное будущее». Автор статьи Эшли Карман отмечает, что новая волна масок не соответствует «кардашьянским стандартам красоты»: это не цифровой мейкап, который «улучшает» внешность человека, а нечто совсем экспериментальное, вроде хот-догов, вращающихся над головой. «Идея пластмассовой, искусственной красоты в современном обществе особенно актуальна, — рассказывала Dazed автор Beauty3000, дизайнер из Берлина Йоханна Ясковска. — Когда я создавала Beauty3000, я думала только так: „Вы хотите пластик? Я дам вам настоящий пластик“». Автор Dazed Гунсели Яльцинская тоже отметила, что маски нового поколения превращают людей скорее в инопланетян, чем в милых собак — или в модель Кайли Дженнер. «Красота в соцсетях стала скучной», — говорила ей Ясковска. Глава 3 Как это делается Beauty3000 вдохновила других художников на эксперименты с масками в инстаграме. Многие из них (как и сама Ясковска) начинали с масок для сториз в фейсбуке: доступ «творцам» туда открыли раньше, чем в инстаграм. Instagram принадлежит Facebook, поэтому платформы для масок в сториз в них почти идентичны. Инструмент для создания масок тоже один и тот же — это программа Spark AR Studio (с небольшими различиями в функционале). Поскольку аудитория Spark AR — это «творцы», а не разработчики, почти все в ней можно сделать без программирования. В первую очередь добавить в область перед камерой какие-то 2D- и 3D-объекты и привязать к ним подходящие «материалы». «Материалы» — это эффекты, которые можно добавить к модели: текстура, полупрозрачность, глянцевость и так далее. Например, можно взять прямоугольник и применить к нему «материал», который добавит текстуру с изображением монокля, сделает ее полупрозрачной и будет имитировать блеск при движении. Следующий логичный шаг — связать объекты с лицом в кадре. Делается это в несколько кликов. В Spark AR предусмотрена специальная сущность, отвечающая за определение лиц и их частей. Благодаря этому можно запросто изобразить нечто вроде рэперской татуировки — «прилепить» какой-нибудь текст под глаза и на лоб. Просто трехмерные объекты, висящие в воздухе, — это скучно. Нужно добавить простейшую логику. За это отвечает специальная секция в интерфейсе Spark AR, которая называется Patch Editor. Это, по сути, пространство для визуального программирования. Соединив, например, блок, который отвечает за поиск лица, с блоком, который определяет, открыт ли на этом лице рот, а все это — с блоком, который включает анимацию с переливающейся радугой, можно получить маску, напоминающую радужную рвоту из Snapchat. Дальше — на что хватит фантазии.
В итоге в инстаграме появляются страннейшие AR-инсталляции. Скажем, за вечер можно соорудить фильтр, который будет заставлять пельмени из кастрюли залетать в раскрытый рот. Если приложить более существенные усилия, можно получить маску, в которой сам пользователь становится едой — точнее, куском мяса в вакуумной упаковке. Автор этой маски — дизайнер и художник Кайо Вита, живущий в Роттердаме, — рассказал «Медузе», что о сторонних фильтрах для инстаграма как о культурном феномене он узнал благодаря маскам Йоханны Ясковской. До того, как начать работать с масками в инстаграме, он загружал фильтры в фейсбук (куда доступ сторонним авторам открыли раньше): «Но там они не очень хорошо сработали. Инстаграм в этом плане более дружелюбный. Тысячи звезд и инфлюенсеров пользуются им каждый день, благодаря этому все, что было опубликовано в инстаграме, распространяется быстрее, чем в сториз фейсбука». Инстаграм-знаменитости не только пользуются чужими масками, но и создают свои. Например, фотограф и художница из России Елена Шейдлина, у которой больше четырех миллионов подписчиков, сделала две собственные маски. В одной можно примерить на голову маску инопланетянина, в другой — получить дополнительные глаза, носы, рты — а также щупальца, которые будут из этих дополнительных глаз, носов и ртов торчать. Шейдлина рассказала «Медузе», что знакома с автором маски Beauty3000 Йоханной Ясковской — и именно благодаря ей занялась созданием сторонних масок для инстаграма. До лета 2019 года, когда доступ к разработке масок открыли для всех, художникам приходилось вставать в очередь и ждать одобрения от администраторов фейсбука (отдельное одобрение модераторов также требуется для публикации готовой маски). Шейдлина встречалась и созванивалась с представителями Facebook, который владеет Instagram — но несмотря на это ей пришлось ждать несколько месяцев: «Им казалось, что моя аудитория может сломать инстаграм, и у них еще не отлажена работа с большими аудиториями». В итоге ее все-таки допустили к созданию масок — и за один только август они набрали 36 миллионов показов. Автор масок для инстаграма из России Михаил Двощанский пошел еще дальше — и начал создавать мини-игры. Самая популярная — Flying Face — очень сильно напоминает мобильную игру Flappy Bird: здесь тоже надо управлять птичкой, помогая ей пролететь между трубами. Только у птички ваше лицо, а управляется она с помощью моргания. За первый месяц Flying Face получила миллиард просмотров (то есть столько людей суммарно увидели сториз, в которых используется такая маска), рассказал «Медузе» Двощанский. Использовали ее, по словам автора, 500 миллионов раз. Как и Кайо Вита из Роттердама, Двощанский начинал с масок в фейсбуке. Там, отмечает он, больше возможностей, чем в инстаграме: например, есть отслеживание рук в кадре и динамически генерируемый 3D-текст; эти функции есть в Spark AR, но использовать их для инстаграм-масок нельзя. Кроме того, текст с подсчетом очков, который бывает нужен в мини-играх, в инстаграме не может быть статическим — его приходится привязывать к положению головы; в фейсбуке такого ограничения нет. Сам Двощанский специализируется на масках в инстаграме — там на него подписаны 4,6 миллиона человек. Имеет смысл публиковать маски в фейсбуке только в том случае, если у вас там есть аудитория, считает он. Глава 4 Вау! Игра «Медузы» До того, как создание масок в инстаграме стало доступно всем желающим, подать заявку на участие в бета-версии могли только владельцы личных аккаунтов. В августе 2019 года это ограничение сняли, и мы в «Медузе» начали думать над собственной маской. Самое логичное — это вплести в волосы пользователей змей, чтобы они были похожи на Медузу Горгону (именно к ней отсылает название нашего издания). Для этого пришлось нарисовать 3D-модели змей, анимировать их и точечно расставить над головой. К счастью, Spark AR позволяет добавить в проект примерную модель головы — и использовать ее, чтобы отсекать 3D-объекты по периметру. Благодаря этому можно добиться иллюзии, что змеи действительно растут из головы, а не висят в воздухе. К несчастью, трехмерные змеи смотрелись совсем чужеродно, когда в кадр заходили люди с короткими волосами или вовсе без волос. И тут мы увидели Flying Face Двощанского. До этого мы не задумывались всерьез о том, что внутри инстаграма тоже можно создавать игры — а ведь у «Медузы» целый отдел игр. Перебирая разные механики, мы остановились на пятнашках — древней головоломке, в которой надо двигать детали пазла по полю, пока не сложится исходное изображение. С пятнашками наши разработчики уже сталкивались, оставалось ответить на несколько ключевых вопросов:
Ответ на первый вопрос был самым простым: надо взять изображение с камеры, порезать его на плиточки и перемешать. Правда, вместо поля 4?4 мы соорудили поле попроще — 3?3. Так что технически это не пятнашки, а восьмеряшки. Ответ на второй вопрос тоже лежал на поверхности, но шли мы к нему несколько недель. Несмотря на то, что Spark AR предлагал использовать жесты смахиваний по экрану, в первом приближении нам не удалось их активировать — и мы собрали игру исключительно на нажатиях по экрану. В теории это работает: в каждый момент времени каждая плитка, соседствующая с пустым местом, может сдвинуться только в одну сторону, поэтому достаточно зафиксировать, что на нее нажали, чтобы сделать ход. На практике, разумеется, выяснилось, что этот принцип никому не понятен — и нам пришлось разобраться, как заставить маску реагировать на жесты. Поэтому в итоговой версии плиточки (слава богу) можно смахивать в нужную сторону. Обновлено: вот и нет! По какой-то причине жесты смахиваний в маске вновь не работают. Нажимайте на плиточку, которую хотите сдвинуть. Что показывать в конце, мы тоже придумали — но обойдемся без спойлеров. Просто зайдите с телефона в инстаграм «Медузы», перейдите во вкладку со смайликом, выберите маску и нажмите «Попробовать» (либо просто откройте эту ссылку). Если вам понравится процесс или результат, запишите видео или сфотографируйте себя в маске: ваши подписчики увидят это в сториз и смогут тут же сыграть в игру. Глава 5 Что дальше? Мы не рассказывали Кайо, что работаем над своей маской, вдохновившись чужой работой — но он в ходе интервью заочно поддержал нас: «Я бы сказал, что никто из тех, кто сейчас создает фильтры, не делает это в одиночку. Каждый фильтр может содержать решение, патчи или код, которые придумали „творцы“ из сообщества Spark AR. В фейсбук-группе много разработчиков, художников и энтузиастов, которые делятся знаниями и двигают платформу вперед. Это коллективная разработка возможностей масок и AR в соцсетях». В группе Spark AR Community, о которой говорит Вита, состоит почти 40 тысяч пользователей: они советуются по поводу создания фильтров, делятся инструкциями и хвалятся своими масками. Facebook отказался раскрывать «Медузе» число «творцов» и созданных ими масок, но счет наверняка идет на тысячи. В инстаграме уже даже есть специальные аккаунты — агрегаторы масок. Автор одного из них Анастасия Чичкова утверждает, что отрецензировала в сториз больше 10 тысяч масок. Инстаграм не оплачивает создание масок, но первопроходцам — тем, кто присоединился к закрытому бета-тестированию в первые месяцы, — достались сотни тысяч подписчиков. Дело в том, что поначалу, чтобы получить доступ к маскам конкретного автора, нужно было подписаться на его аккаунт. У Томаса Поссе, чьими масками вдохновлялся Двощанский и о котором рассказывал The Verge, в декабре 2018 года была тысяча подписчиков, сейчас — 1,2 миллиона. Однако в середине 2019-го необходимость подписываться на авторов масок пропала — теперь фильтры можно пробовать там, где ты их увидел: в профиле автора или в сториз друзей. А сама подписка просто добавляет все фильтры этого пользователя в ряд кнопок, которые пользователь видит на экране создания новых сториз. В фейсбук-сообществе создателей масок появлялись посты тех, кто недоволен этими изменениями — но Двощанский проблемы в этом не видит: «Раньше люди подписывались чисто из-за масок, теперь же маски становятся приятным бонусом и люди подписываются в основном из-за личности, что стоит за аккаунтом». Сам он извлекает пользу из создания масок по-другому: в середине октября он рассказал изданию Rusbase, что за последние два месяца создал четыре маски и продал рекламу в аккаунте, суммарно заработав 500 тысяч рублей. Бизнесом на масках занимаются не только энтузиасты, но и целые компании. В июне 2019 года свою нехитрую маску выпустил «Теремок»: она превращала лицо пользователя в блин. В конце августа компания отчиталась, что маску в сториз увидел миллион пользователей, а поделились фото или видео с ней три тысячи человек. Маску «Теремка» сделала петербургская компания Junk Reality. В августе ее представитель прислал в «Медузу» письмо с предложением создать маску для издания — и отметил, что компания уже разработала маску «Бабочки» для певицы Елены Темниковой, а также маски для модели Виктории Лопыревой и «Додо Пиццы». Компания не ответила на просьбу об интервью, но в том же письме были указаны расценки: 350 тысяч рублей за простые маски, 700 тысяч — за примитивную игру, в которой пользователь должен ловить буквы, а за это его награждают превращением в героя русских сказок — с русыми волосами, в рубахе и шапке-ушанке. Поправка: после выхода материала с «Медузой» связался представитель компании Instafilter, партнера Junk Reality. Он заявил, что маски для «Додо Пиццы» и Темниковой — их работа. Конкуренция среди создателей AR-масок растет, и в процессе этой конкуренции произойдут две вещи — серьезный демпинг и плавное падение планки качества, предупреждает Андрей Ивашенцев, заместитель гендиректора компании Yode Group, специализирующейся на разработках в сфере AR и виртуальной реальности. «Вполне вероятно, что через какое-то время наступит насыщение рынка. Возможно, при этом для многих брендов будет хорошим тоном иметь фирменную маску», — предсказывает он, отмечая, что маски становятся интереснее, если они привязаны к информационному поводу — или в них предусмотрена геймификация. К 3 сентября его компания выпустила маску с лицом Михаила Шуфутинского — и за один день сториз с ней увидели больше миллиона человек. Маски, так или иначе меняющие лицо человека, не демонстрируют максимум возможностей дополненной реальности в соцсетях, уверен Ивашенцев. При этом дальнейшее развитие, считает он, произойдет, когда аудитория «привыкнет к обыденности AR-масок — так же, как привыкла к сенсорным экранам» телефонов: «Просто представьте, что сейчас растет поколение детей, для которых наличие маски с ушками котика в камере — обыденность, то есть она была с ними всю их жизнь». Ивашенцев отмечает, что социальные сети — очень хороший кроссплатформенный канал дистрибуции AR-контента и AR-игр: неважно, айфон у пользователя или андроид — главное, чтобы у него было приложение фейсбука или инстаграма. «Инстаграм сделал AR доступным, потому что пользователям, чтобы его попробовать, не нужно скачивать новое приложение или знать что-либо о дополненной реальности», — добавляет Кайо Вита. Он тоже не считает, что применение технологии остановится на масках для лица: «Я верю, что AR-проект более успешен, когда он добавляет реальному миру дополнительный уровень информации и функциональности. Что-то, что было бы невозможно без этой технологии». Например, это может быть дополнение к информации на этикетке — то, что не получилось уместить на упаковке. «Возможностей очень много», — заключает Вита. Если вы еще не попробовали игру-маску «Медузы», напоминаем: для этого достаточно открыть наш профиль в приложении инстаграма или перейти по этой ссылке с телефона и нажать кнопку «Открыть в Instagram». Если вы будете выкладывать сториз с маской, тегните в ней наш аккаунт @meduzapro — нам будет приятно. Источник: meduza.io Комментарии: |
|