Сделай сам: как идеология Do It Yourself толкает вперед медиаискусство - iQ Russia

Недавно был опубликован кусок большого интервью для Intel, в котором я раскрыл технические детали моих проектов в Deftaudio с Сергеем Павловым. https://iq.intel.ru/diy/

О подробностях съемки шоу “Минута Славы” я говорю впервые. Полный текст ниже.

Intel: Мне поручили задать несколько вопросов о вашем устройстве, которое преобразует цвет в звук для статьи в блог Intel. Как пришла идея сконструировать такое устройство? в двух словах и для "чайников" – как оно функционирует?

Andrey: «Цвет в звук» - забавное название, но оно имеет отношение к сути. Речь идет о FTIR Multitouch проекте, которым я занимался ночами несколько лет назад. Это было в 2010-2012 годах, воплотилось в целый ряд работ и устройств, связанных со звуком и совершенно далеких от него. Частью из них я поделился с Intel, т.к. это очень хорошо ложилось в те направления, которыми мы занимались в то время. Сама технология распознавания образов (об Intel 3D Sense тогда вообще не говорили) связана с механизмом инфракрасного подсвета и считыванием образа на поверхности полупрозрачного материала. Нагрузка на системные ресурсы растет в геометрической прогрессии с размером этой поверхности, а также скоростью считывания. Именно это определяет т.н. User Experience, задержки здесь неприемлемы.

Мои работы с Сергеем Павловым используют open-source проект Reactivision, (http://reactivision.sourceforge.net/) который объединяет очень большую группу разработчиков и энтузиастов этого направления. Любой проект с использованием этой среды уникален, т.к. требует своего аппаратного решения и GUI с заложенными характеристиками. Среда же дает базовый framework - трансляцию распознанных образов в протокол, с которым можно дальше работать. Для Intel это было исключительно интересно в то время в силу двух причин – демонстрация развлекательных приложений с высоким требованием к системным ресурсам, а также фокус в сторону ОС MeeGo. Последний факт был особенно примечателен (напомню речь о 2010г) тем, что MeeGo планшеты, телефоны и low-end netbook уже были в продаже. На практике производительности Atom процессора под управлением ОС MeeGo было достаточно для обслуживания панели небольших размеров (диагональю 1-1.5м) с приемлемым качеством отклика системы. В этом видео как раз показана одна из реализаций аппаратной части с внешней панелью под управлением нетбука https://www.youtube.com/watch?v=NvzRNJaRNtg

Intel: Занимались ли вы музыкой/нойзом/звуковыми экспериментами до этого? планируете ли что-то сделать в этой сфере в будущем?

Andrey: Музыкальное применение этой технологии было первоочередной задачей. На тот момент у меня уже был богатый опыт создания музыкальных инструментов, контроллеров, различных устройств сопряжения, основанных на микроконтроллерах, что в совокупности с низкоуровневым программированием на ассемблере дало производительность и надежность. Новые амбициозные проекты начинались с заметной периодичностью, и к 2008 году их стало настолько много, что мы с Сергеем выделили их в особую группу – творческое объединение Deftaudio. (www.deftaudio.ru). Наряду с электронным разработками создавались и акустические перкуссионные инструменты с использованием собственных технологий производства. https://www.youtube.com/watch?v=6bGkJZ0kZ1w Так или иначе, на момент 2010 года создание музыкальной multitouch поверхности, которая впоследствии была названа ReActive, представлялось возможным. Особенностью «музыкального решения» в первую очередь являются повышенные требования к надежности аппаратной части, а также удобству в процессе эксплуатации. Именно поэтому поверхность была помещена в закрытый короб со всем содержимым – инфракрасной камерой, обратной проекцией, embedded компьютером, ИБП. Программная же оболочка также требовала изменений, новый GUI и интеграцию с существующим музыкальным ПО. В этом видео я подробно рассказываю о том как это работает: https://www.youtube.com/watch?v=DDZXB0Qlv9U Повысились требования и к аппаратной части, теперь нагрузку процессора составляли три ключевых ингредиента – среда распознавания, визуализация с обратной связью и само музыкальное ПО. Выход CPU архитектуры Sandy Bridge от Intel помог решить эти задачи в жестко ограниченном термопакете и энергопотреблении. В результате появилось решение, которое мы представили публике в телешоу «Минута Славы», где наряду с интерактивной поверхностью была показана другая разработка - Лазерная Арфа. В номере оба инструмента участвуют в создании музыкальной композиции в реальном времени. Поверхность управляет запуском музыкальных фрагментов (семплов), их громкостью и эффектами. Лазерная арфа в цифровом виде передает мелодическую партию на тот же компьютер.

https://www.youtube.com/watch?v=KJncI-hMZMM&feature=youtu.be&t=59s

Не вдаваясь в детали записи подобных телевизионных шоу, особенность моей работы в Intel была опущена во избежание скрытой рекламы, поверх которой была рассказана правдивая история моих изобретений. На съемках нашей задачей было отладить всю конфигурацию задолго до начала, затем откатить ее за сцену и развернуть за 5 минут. Так и получилось, система продолжала работать на протяжении пяти часов, пока шла съемка других номеров, а развернули мы ее за 3 минуты. Без единого теста камеру включили на запись, и мы отыграли свой номер. Это был исключительно волнительный момент, где на карту было поставлено все, начиная от качества дизайна музыкальных инструментов и заканчивая творческими способностями. В один момент мы приобрели массовую публичность, постоянные интервью стали нормой. В то же время, это позволило установить новые контакты с единомышленниками и научными учреждениями занимающимися исследованиями в области музыки и света, ярчайший пример - НИИ экспериментальной эстетики «Прометей» в г. Казань. http://prometheus.kai.ru/in_r.htm Феномену музыкального интерактивного стола было дано научное объяснение, связующее воедино звук и свет. Я очень дорожу такими контактами, они дали возможность сотрудничества в дальнейшем.

Intel: Какие технологии Intel могут в обозримой перспективе повлиять на сферу музыки/медиа-арта?

Andrey: Безусловно, миниатюризация электронных компонентов дает возможности дизайна нового класса музыкальных устройств. Обладая вычислительной мощностью, превосходящей бытовые ПК 10-15 лет назад, функционал подобных устройств ограничивается только фантазией. Планшеты и смартфоны уже давно воспринимаются как инструменты создания музыкальных композиций. Нередко функционал этих приложений просто отсутствует на ПК, например, использование multitouch для управления синтезом звука. Наряду с этим меня привлекают возможности кардинально новых подходов в дизайне контроллеров и инструментов, раскрывающие новую технику звукоизвлечения, такие проекты как TouchKeys https://www.kickstarter.com/projects/instrumentslab/touchkeys-multi-touch-musical-keyboard и Roli https://roli.com/. У Intel, определенно, огромный потенциал продолжить эту эволюцию с Intel Curie.

Источник: iq.intel.ru

Комментарии: