Прежде чем приступить к анимации лица персонажа, следует точно знать период звучания речи и ее темп. Прослушивание предварительно записанной речи и расчет времени ее произнесения называется анализом дорожки, или разбивкой. Обычно звук воспроизводится на специальном аппарате, который снабжен счетчиком. Оператор, анализирующий его показания, прослушивает звуковую дорожку несколько раз и с максимальной точностью определяет, когда был произнесен каждый звук. Полученная информация заносится в таблицу соответствия кадров и фонем (см. рис. 7.1).

Как видите, в таблице есть столбец с номерами кадров. Напротив специальных ячеек вы можете вписывать свои замечания, которые касаются речи персонажей, выражения их лиц, положения камеры и т.д.

С появлением компьютерной анимации процесс разбивки звуковой дорожки существенно упростился. Теперь дизайнер визуально оценивает степень синхронности речи и мимики персонажа и точно определяет момент произнесения каждого звука в аудиофайле. Для анализа звуковой дорожки существует целый ряд инструментов. В настоящей главе мы рассмотрим условно-бесплатное приложение Magpie, которое было создано Мигуэлем Гринбергом (Miguel Grinberg) и работает в средах Windows 95/ Windows NT. Данная утилита довольно популярна, так как позволяет вывести на экран уже упоминавшуюся выше таблицу соответствия кадров и фонем, прослушать звуковую дорожку и предварительно просмотреть анимацию, а также осуществить разбивку аудиофайла. Прежде чем продолжить чтение книги, обязательно загрузите пробную версию Magpie с информационной страницы по адресу: http://thirdwish.simplenet.com/ Magpie.html. Как уже говорилось, это условно-бесплатная программа. Если вы захотите работать с ней и дальше, придется зарегистрироваться. Замечу, что цена ее невысока по сравнению с временем, которое вы в итоге сэкономите. Необходимая информация об условиях регистрации находится на той же Web-странице.

Использование Magpie при анализе звуковой дорожки

Давайте для начала выполним небольшое упражнение. Оно прекрасно проиллюстрирует технологию применения утилиты Magpie для разбивки звуковой дорожки при работе по синхронизации движения губ и речи. Загрузите аудиофайл.

Загрузка аудиофайла

Аудиофайл Sweet2.wavнаходится в папке Chapter7 на прилагаемом к книге компакт-диске.

В верхней части экрана помещены панели меню и инструментов. На второй из них находятся кнопки, которые соответствуют наиболее часто используемым функциям утилиты. Вдоль левого края экрана располагается вертикальная рамка; на ней показаны изображения рта при произнесении тех или иных фонем. Непосредственно под панелью инструментов находится окно, в котором синим цветом выделен сигнал, поступающий из аудиофайла. Само окно по вертикали разделено пунктирными линиями так, что каждая ячейка соответствует одному кадру анимации. Справа находится пустой квадрат - окно предварительного просмотра, где можно увидеть, как движутся губы говорящего персонажа в реальном масштабе времени. Под окном сигнала расположена таблица соответствия. В ней содержится информация о времени произнесения каждой фонемы и номере кадра, в котором это происходит.

Итак, давайте разберемся, как программа Magpie работает со звуком.

Работа со звуком

Итак, вы узнали, как выделять кадры и прослушивать отдельные фрагменты аудиофайла в приложении Magpie. Это те основные операции, которые используются при расчете времени в процессе синхронизации движения губ и речи. А теперь давайте проанализируем звучащую фразу и составим для нее таблицу соответствия.

Анализ звуковой дорожки, или Когда рыба - не рыба

Анализируя речь персонажа, мы разбиваем каждое слово на отдельные элементы - фонемы. Например, слово «animation» в фонетической транскрипции будет выглядеть так: [ae-n-ih-m-ae-y-sh-e-n].

Наименьшее количество визуальных представлений фонем, с которым работают сейчас большинство аниматоров при разбивке звуковой дорожки, равно 10. Этот набор вам уже известен.

Вы знаете также правило: чем больше визуальных представлений фонем вы используете, тем более детальной становится разбивка звуковой дорожки и тем реалистичнее будет ваш фильм. Если вы хотите создать по-настоящему качественную анимацию, работайте с тем комплектом моделей, который представлен в главе 5 настоящей книги. Чем меньшим количеством визуальных представлений фонем вы ограничиваетесь, тем менее естественным будет зрительный ряд, сопровождающий речь персонажа. Когда-то Ханна Барбара обходилась всего тремя моделями во всех своих работах, и это, несомненно, их обеднило, но было приемлемо для того типа анимации. Однако времена изменились. Если вы стремитесь создавать реалистичных героев, используйте в работе как минимум набор из десяти визуальных представлений фонем.

Хотелось бы еще раз напомнить о том, что уже обсуждалось в главе 5. Между звуками в речи и буквами на письме нет прямого соответствия. Обычно при изучении фонетики приводится следующий классический пример, созданный английским писателем Бернардом Шоу. Чтобы показать, как далеко отошли друг от друга написание и произношение английских слов, Шоу придумал слово «ghoti» и утверждал, что его следует читать как [fish]. В самом деле, сочетание букв «gh» можно прочесть как [f] (например, в слове «enough» - «достаточно»), «о» - как [ih] («women» -«женщины»), «ti» - как [sh] («nation» - «нация»). Ну как, логично? Русская орфография гораздо проще английской, но и в русском языке нет точного соответствия между буквами в письменной речи и фонемами в устной. Помните об этом и при анимации ориентируйтесь на звучащую речь персонажа, а не на ее буквенную запись.

В окне программы Magpie схематично изображены различные конфигурации рта, каждая из которых является визуальным представлением той или иной фонемы. Если один раз щелкнуть по ее значку левой кнопкой мыши, это представление появится в окне 'предварительного просмотра.

Теперь попробуем проанализировать речь персонажа, аудиозапись которой содержится в файле Sweet2. wav. Глядя на диаграмму сигнала, мы «видим» звук и можем точно сказать, в какой момент он был произнесен. Заметно, что на участках, соответствующих паузам в речи, сигнал имеет меньшую амплитуду и расположен ближе к центральной линии. Максимальная амплитуда колебаний звуковой волны свидетельствует о наличии гласных фонем, которые произносятся громче и дольше других. Начнем анализ со слов «All right». Мы рассмотрим последовательность кадров, полученную в результате неоднократного проигрывания звуковой дорожки.

При этом фиксировались те моменты, когда артикуляция одного звука сменялась произнесением другого. Здесь мы не будем останавливаться на таких деталях, а сразу воспользуемся готовой разбивкой

Анализ слов «All right»

Иногда бывает полезно записывать в столбце примечаний таблицы звучащие в речи слова. Благодаря этим записям вы сможете впоследствии быстро найти нужный фрагмент. Чтобы создать примечание, дважды щелкните по ячейке в соответствующей колонке напротив кадра 2. Затем впишите слова «All right» в поле диалогового окна и активизируйте кнопку Enter. Текст введен в столбец примечаний.

Теперь экран выглядит так, как показано на рис. 7.3.

Продолжаем работу.

Завершим разбивку фразы, проанализировав слово «sweethearts». Согласен, процесс действительно скучный и монотонный, но ничего не поделаешь - его надо довести до конца.

Что ж, нам пришлось изрядно потрудиться. Чтобы посмотреть на результат, щелкните по кнопке Play. Движения губ должны достаточно точно совпадать с речью. Давайте проверим несколько фрагментов анимации.

Насколько удачной оказалась синхронизация губ и речи в момент произнесения слов «All right»? Обратите внимание: в кадрах 36-38 звук [t] в слове «right» пропал. Так обычно случается в разговорной речи, особенно в быстрой. Главное- не пропускайте звуков[m], [b|, [p], [s] и [w], и тогда ваша анимация в целом получится правильной.

Обычно между двумя фонемами оставляют один промежуточный кадр. Исключение составляет случай, когда за фонемами [ш], [Ь] и [р] следует гласный звук: время перехода от одной фонемы к другой настолько незначительно, что промежуточные кадры обычно не нужны. Однако учтите: если несколько фонем расположены в файле близко друг к другу, то синхронизация будет выглядеть неестественной из-за слишком быстрого движения губ. При разбивке речи необходимо знать, какие звуки можно опустить и в какой момент. Повседневная речь отличается быстротой, но даже в таком случае переход от одной фонемы к другой не происходит мгновенно.

Теперь займемся наиболее важным аспектом синхронизации движения губ и речи - расчетом времени.

Время - это главное

В анимации необходимо добиваться точного совпадения движения губ с речью персонажа. Сохраните результаты работы в файле формата .avi или экспортируйте их в какой-либо доступный вам пакет. Это позволит вам при предварительном просмотре анимации оценить точность синхронизации, так как воспроизведение фильма в реальном времени может несколько отличаться в различных программных системах. Давайте поговорим о том, как создается тестовый видеофайл в формате AVI в утилите Magpie.

Создание тестовых видеофайлов

Похоже, что синхронизация проведена не очень точно: движения губ отстают от речи, в то время как обычно они предшествуют звукам. Надо, чтобы движения губ на 2-4 кадра опережали соответствующие моменты звучащей речи; тогда анимация станет более реалистичной. Тем не менее учтите, что синхронизация, при которой движения губ обгоняют звуки на 12-16 кадров, считается неприемлемой, хотя в случае с фонемами [m], [Ь] [р], а иногда [f] и [v] допускается опережение и на большее число кадров.

Известны два способа, с помощью которых достигается такое опереже ние. Первый: вы со стопроцентной точностью размечаете звуковую дорож ку в окне представления сигнала. Вы смотрите на изображение, слушаете фразу, сравниваете их и ставите в соответствие кадрам тс или иные фоне мы. Когда все будет готово, включите звуковое сопровождение немного позже видеофайла. Второй вариант: запаздывание звука учитывается еще при разбивке дорожки. Последний способ надежнее, поскольку позволяет установить более точный контроль над анимацией за счет окончательной отладки синхронизации еще в среде Magpie.

Именно с упомянутой целью в Magpie предусмотрена возможность «сдвига» звукозаписи при предварительном просмотре в реальном времени. К сожалению, такая коррекция не учитывается при создании видеофайла и не отражается в экспортируемых данных. Однако указанная опция позволяет быстро решить, каким образом синхронизовать звук с видеорядом. Давайте посмотрим, как это делается.

Сдвиг звукового сигнала в реальном времени

Понятно, что такое положение дел пас не устраивает. Самый лучший способ отладить синхронизацию - внести изменения в таблицу соответствий. Давайте посмотрим, как это сделать.

Сдвиг кадров в таблице соответствий

Из приведенного примера ясно, что программа Magpie позволяет сдвигать ключевые кадры путем уничтожения старых или добавления новых кадров в анимацию. Эти уточнения отразятся и на экспортируемых данных, поскольку мы фактически изменили разбивку.

До сих пор мы имели дело с достаточно простой моделью рта мультипликационного персонажа, благодаря чему наша работа оказалась относительно легкой. Теперь давайте займемся более сложной задачей.

Выбор модели рта

В рассмотренных выше примерах использовались схематичные изображения рта. Они годятся при базовой разбивке звуковой дорожки, но проверять полученную анимацию лучше на других мишенях. Редактор Magpie позволяет работать с различными фонемами и наборами моделей рта. В уже знакомой нам разбивке мы можем применить три таких набора.

Как видите, применение различных моделей приводит к разным результатам, хотя во всех случаях звучит одна и та же запись. В редактор Magpie можно загружать даже ваши собственные наборы визуальных представлений фонем. Это позволяет работать в режиме предварительного просмотра и делать разбивку речи для модели головы именно того персонажа, который будет действовать в анимации. Давайте поговорим о том, как загружать пользовательский комплект изображений рта.

Пользовательский набор изображений рта и визуальных представлений фонем

Чтобы лучше разобраться в процессе анимации, давайте введем в Magpie интересующий нас набор изображений рта. Предположим, у вас имеется SD-модель, которую вы собираетесь анимировать. Первым делом необходимо изготовить для каждой фонемы одно соответствующее ей изображение лица вашего персонажа. Напомню, что в главе 5 книги дана характеристика различных звуков, а в главе 3 рассмотрен процесс моделирования головы. При разработке визуальных представлений фонем регулярно обращайтесь к этим материалам.

Изображения, которые вы станете импортировать в Magpie, должны быть файлами Windows в формате BMP, размером 128x128 пикселов. Обычно файл анимации создается на основе кадров, каждый из которых содержит визуальное представление той или иной фонемы. Анимация получается в результате рендеринга последовательности файлов в формате BMP. Изображения различных положений рта, как правило, хранятся в каталоге \Magpie\Mouths.

Прежде чем приступить к выполнению упражнения, скопируйте bmp-файлы в отдельную папку. Рекомендую вам создать специальный каталог \Magpie\Mouths\AnimeF\. А теперь непосредственно займемся формированием пользовательского набора изображений рта.

Файл анимации Sweetanm2. mov, созданный па основе файла SweetANM. mps, находится в папке Chapter7 на прилагаемом к книге компакт-диске.

Из приведенного примера ясно, что иногда изменение набора изображений рта вызывает необходимость подправить разбивку звуковой дорожки. Однако в итоге наши усилия не пропадут даром: предварительная анимация в Magpie будет мало чем отличаться от окончательной, которая выполняется на основе экспортированных данных. А мы именно этого и добивались!

Экспорт табличных данных

Завершив анализ звуковой дорожки, приступайте к анимации. Воспользуйтесь встроенными в программу Magpie средствами, которые предназначены для экспортирования данных о ключевых кадрах в пакет трехмерного моделирования. Если же вы собираетесь заниматься анимацией вручную, распечатайте таблицу соответствий кадров и фонем.

Редактор Magpie 1.1 поддерживает экспорт данных в пакеты Animation Master и LightWave, а в программу Hash Animation Master сразу экспортирует кадры с пометками как ключевые, благодаря чему промежутки могут заполняться другими кадрами. Если вы не маркируете ключевые кадры, то каждый кадр будет экспортирован как ключевой, и вполне вероятно, что анимация получится дерганой.

Magpie может экспортировать данные в Light Wave в формате ObjList, а если вы владеете зарегистрированной копией программы, то и в формате встраиваемого модуля Morph Gizmo. Если импортированные в пакет Light Wave данные имеют формат ObjList, при анимации используется метод замещения. Иначе говоря, в момент появления ключевого кадра LightWave фактически полностью заменяет каркас головы персонажа, исключая тем самым возможность какой-либо дополнительной подгонки изображения внутри самой программы. Добавим, что при этом затрачиваются большие ресурсы и ухудшаются функции управления. Гораздо предпочтительнее использовать новый метод Morph Gizmo, поскольку он экономичнее и позволяет лучше осуществлять контроль над анимацией.

При экспорте данных в формате Morph Gizmo программа Magpie помогает поставить в соответствие названию визуального представления фонемы объектный файл LightWave. Когда всем фонемам будут соответствовать какие-либо объектные файлы, данные перемещаются в Morph Gizmo. Если вы вдруг захотите что-то подправить в модели лица, то сможете «вернуться» и внести необходимое изменение: например, заставить глаз персонажа мигать или даже вздрагивать в нервном тике.

Программа 3D Studio MAX тоже может импортировать информацию об анализе и разбивке звуковой дорожки, проделанных средствами Magpie, если вы выполняете анимацию лица персонажа с помощью инструмента Bones (Скелет). Так, например, па Web-странице по адресу http:// thirdwish.simplenet.com/Magpie.html представлен свободно распространяемый встроенный модуль Maglmp.dlu (автор Эндрю Рейд - Andrew Reid). Он позволяет создавать в МАХ при помощи инструмента Bones кадры-негативы с различными выражениями лица. Затем каждому кадру ставится в соответствие одно визуальное представление фонемы. Далее информация о положении, повороте и масштабировании костей автоматически переносится в кадры анимации при помощи таких утилит программы Magpie, как средства импортирования данных и файл разбивки аудиозаписи.

Редактор Magpie позволяет также распечатывать данные на принтере или экспорта их в определенный пользователем формат. Но умолчанию информация о разбивке звукозаписи выводится в обычный текстовый файл в кодировке ASCII. За счет изменения формата выводимого текста можно обеспечить взаимодействие Magpie и с другими приложениями, которые не были названы выше.

Хотя процесс экспортирования автоматизирован, справедливости ради необходимо сказать несколько слов о работе вручную в программе трехмерного моделирования. Такая работа строится на основе текстовых данных, взятых из таблицы соответствий кадров IT фонем. Если аниматор воспользуется зеркалом и, глядя на свое отражение, определит ключевые кадры, полученная таким «дедовским» способом анимация будет смотреться естественнее и живее. Дело в том, что при обработке информации программой повторяющиеся визуальные представления фонем всегда выглядят одинаково, а это придает анимации механистичность. По-видимому, лучше сочетать автоматический экспорт данных с ручной корректировкой некоторых фрагментов анимации.

Будущее программы Magpie

Здесь мы поставим точку в разговоре. Теперь вы знаете достаточно, чтобы выполнить разбивку любого аудиофайла в процессе анимации лица. Как вы убедились, на синхронизацию движения губ и речи требуется много времени. Чтобы сократить его, продолжайте практиковаться и совершенствоваться. Чем больше вы упражняетесь, тем лучших результатов достигнете.

Кроме того, рекомендую вам следить за выходом новых версий программы Magpie. Ее последний вариант, Magpie Pro, находится на стадии бета-тестирования. Вы можете загрузить с Web-страницы пробную версию, которая позволяет работать с несколькими каналами в таблице соответствия и в окне предварительного просмотра. Таким образом, вы можете выполнять разбивку и анимацию отдельных частей изображения (черт лица) - показывать не только движения рта, бровей и глаз, но и положение других сегментов лица персонажа.

Кроме того, в версии Magpie Pro есть видеоокно. Оно предназначено для немедленного воспроизведения анимации, которая построена на основе выполненной разбивки. Наконец, редактор Magpie Pro имеет также средства автоматического анализа и расчленения речи на составляющие. Дополнительную информацию и более полный список возможностей программы вы найдете на Web-странице по адресу:http:// thirdwish.simplenet.com/Magpie.html.

Заключение

Вот в целом и все, что я хотел рассказать вам об анимации лица трехмерных персонажей. Как видите, тут есть над чем поразмыслить и поработать. Нет предела совершенству. Однако помните, что хорошая базовая модель -солидный фундамент любой анимации.

Кроме того, следует всегда иметь под рукой зеркало. В книге представлены примеры нескольких десятков выражений лица, но в действительности их намного больше. Поэтому зеркало, несомненно, поможет вам в самых трудных случаях. Еще я бы посоветовал вам подолгу и тщательно анализировать кинофрагменты, следя за мимикой актеров. Понаблюдайте за Робином Вильямсом (Robin Williams) или Джимом Керри (Jim Carrey)! Очень полезным может оказаться даже просмотр какого-нибудь средненького фильма ужасов.

Выражение лица персонажа важнее всех других деталей сцены! Не жалейте сил на то, чтобы оно получилось запоминающимся.

Надеюсь, что прочтение этого пособия доставило вам не меньше удовольствия, чем мне - беседа с читателем. До встречи на страницах следующей книги!