В течение следующих нескольких месяцев RunwayML будет демонстрировать различные креативы с помощью наших инструментов. Сегодняшнее интервью с Клэр Эванс и Йоной Бехтолт из дэнс-поп-группы YACHT.

В прошлом году дэнс-поп-группа YACHT выпустила Chain Tripping, иммерсивный альбом, номинированный на премию Грэмми, разработанный участниками группы Клэр Эванс, Йоной Бехтолт и Робом Кисветтером с использованием Runway. Базируясь в Лос-Анджелесе, группа использовала Runway для оформления песен и визуальных материалов альбома, включая музыкальные клипы, фотографии группы, обложку альбома и живые инсталляции. Они даже назвали альбом с помощью GPT-2.

Интерес YACHT к использованию машинного обучения в процессе написания песен начался пять лет назад. Имея опыт работы научным редактором и писателем, Клэр было любопытно, как ИИ может повлиять на искусство и творчество. Она упоминает, что читала произведения Дэвида Коупа и видела работы таких художников, как Марио Клингеманн, Мемо Актен и Робби Баррат.

Начало разговора о новой технологии, которая не для нас

«На самом деле мы не знаем, что такое неправильный способ делать что-то… Вы начинаете с грубой силы, пробуете разные вещи и в конечном итоге делаете то, что обученный программист и не подумал бы делать».

Когда дело дошло до Chain Tripping, группа увидела в альбоме возможность лучше понять машинное обучение. «Нам всегда интересно начать разговор с новой технологии, которая нам не подходит», — говорит Клэр. «Runway был первым пользовательским инструментом, который мы увидели». С помощью музыки, визуального искусства, фотографии, видео, типографики, дизайна и верстки группа создала то, что они называют «документом» о текущем состоянии искусства и машинного обучения.

С Runway группа нашла доступный инструмент с рынком моделей, с которыми они могли экспериментировать. Поскольку они не программисты, Клэр и Йона ранее обращались к более опытным сотрудникам. По словам Клэр, полагаться на других людей было неприятно. «Подиум — это единственный инструмент, с которым мы действительно смогли повозиться», — добавляет она. «Вот как вы узнаете, как работают системы».

Оглядываясь назад на их процесс, Йона видит творческую ценность в неправильном использовании моделей. «На самом деле мы не знаем, что делать не так, — размышляет Клэр. «Вы начинаете с грубой силы, пробуете разные вещи и в конечном итоге делаете то, что обученный программист и не подумал бы делать».

В музыкальном видео Scatterhead дуэт извлек танцевальные кадры из архива и вставил их в модели пост-мэппинга, чтобы создать глючные танцевальные формы, а затем добавил формы из DensePose, модели, которая позволила им отображать свои собственные 3D-формы из телевизионных видеоизображений. Что интересно и важно, так это то, что эти инструменты не идеальны, — говорит Йона, описывая, как их конечности исчезали и снова появлялись на другой части их тела. Но там, где они терпят неудачу, часто происходят самые интересные эстетические вещи.

Поиск повествовательного значения в машинном обучении

«Мы все придаем смысл во времени, в моем исполнении и слушая песню. То, о чем кто-то думает, что эта песня, так же важно, как и то, о чем я думаю».

Прослушивая альбом сейчас, группа описывает материал как живущий в пространстве между традиционным повествовательным написанием песен и анти-нарративными генеративными процессами ИИ. «Большой вопрос заключался в том, как мы можем использовать машинное обучение для создания чего-то, что технически не является музыкой, — говорит Клэр, — но на самом деле вписывается в объем работ, которыми мы можем гордиться».

Для большинства художников смысл произведения исходит от создателя. ML разрушает эту связь. Для YACHT творческий процесс означал сидение перед сгенерированным ИИ текстом и языком, также известным как «бессмысленная абракадабра». Таким образом, задача состоит в том, чтобы найти смысл в этом необработанном языке, который появился в результате процесса, созданного людьми из входных данных, которые были отобраны от людей. «Этот процесс интерпретации и аранжировки является огромной частью того, где смысл действительно работает», — говорит нам Клэр. . Другими словами, это разница между тем, как вы что-то говорите, и тем, что вы говорите.

До того, как Covid-19 отменил живые выступления, группа представила своим фанатам Chain Tripping с живыми проекциями, созданными Runway. «Поскольку [этот альбом] вышел из пространства между нами и машиной, у нас есть прекрасный коллективный опыт, который мы получаем с нашей аудиторией», — говорит Клэр. «Мы все придаем смысл во времени, в моем исполнении и слушая песню. То, о чем кто-то думает, что эта песня, так же важно, как и то, о чем я думаю».

Йона упоминает беседы после выступления, когда группа говорила со своими поклонниками о процессах машинного обучения, используемых в выступлении. «Мы сказали им просто пойти домой, скачать Runway и поиграть с этим», — описывает Йона. «Эти инструменты создают совершенно непредсказуемые результаты. Вы должны сделать все возможное, но это действительно весело». Оглядываясь назад, он признает, что инструменты машинного обучения были довольно странным разговором в час ночи в рок-клубе.

Создание масштабных видеоинсталляций с помощью машинного обучения на заднем дворе

«Подиум просто кладет его тебе в карман. Благодаря этому вы можете создавать массовые видеоинсталляции, используя машинное обучение, прямо у себя на заднем дворе. Это дико».

Наряду со своим визуальным альбомом группа также нашла время для разработки видеоинсталляции для галереи Dolby в Сан-Франциско. Имея длину 96 футов, группа решила использовать проект, чтобы понять, что на самом деле видят системы машинного обучения, а что теряется при переводе. Ссылаясь на Эдверда Мейбриджа и начало истории фотографии, художники создали визуальное заявление о том, как ML в конечном итоге изменит мир.

Задача в этом проекте заключалась в том, чтобы сшить одно непрерывное изображение для 96-футового пространства. Они сняли свои оригинальные кадры с помощью iPhone на заднем дворе. «Мы просто показали это компьютеру, и важные данные были извлечены», — объясняет Клэр. «Подиум позволил нам создать что-то, что имело очень высокую производственную ценность с очень небольшими ресурсами».

Философия группы Клэр и Йоны заключается в том, чтобы сделать как можно больше с минимальными затратами. Они описывают Runway как освобождающую и демократизирующую компанию. «У этих инструментов обычно есть привратники или уровень вычислительных знаний для доступа к ним», — говорит Клэр, упоминая, как трудно независимым художникам заниматься машинным обучением. «Подиум просто кладет его тебе в карман. Благодаря этому вы можете создавать массовые видеоинсталляции, используя машинное обучение, прямо у себя на заднем дворе. Это дико».

Следите за YACHT в Instagram и Twitter, чтобы узнать больше об их работе с ML. Слушайте всю их музыку на Bandcamp.

Узнайте больше о Клэр в Instagram и Twitter, а затем купите ее книгу, чтобы узнать тайную историю женщин, которые помогли создать Интернет.

Получите их визуальный альбом на BluRay сейчас!