Home » CT REVIEW

CT Review <<어떻게 볼 것인가>>

May.2020 No Comment

존 버거(John Berger)의 1972년 동명의 TV 프로그램은 사진과 TV가 고전 회화를 보는 방식을 바꾸었다고 설명했다. 작년 11월부터 석 달간 대전시립미술관에서 전시되었던 ‘어떻게 볼 것인가’ 전시는 그로부터 거의 50년이 지난 21세기, 새로운 디지털 매체 환경(인터넷, 스마트폰, VR 등)에서 작품을 접하는 방식이 어떻게 변화하고 있는지에 대해 다룬다.
이 전시의 핵심 키워드는 ‘몰입’이다. 과거 미술관이 화이트 큐브에 미술품을 배치함으로써 몰입 가능한 환경을 만들었던 것과 달리, 현대 미술관은 과학기술을 동원하여 새로운 몰입감과 미적 경험을 줄 수 있는 환경을 구축하고 있다.

캐롤리나 할라택 <스캐너 룸> 에서 관람자는 안개 속에 갇혀 거리를 알 수 없는 낯선 공간에서 스캔되는 경험을 한다. 작품은 관객의 시각, 청각, 촉각을 자극하는 특별한 몰입감을 선사하며 의미를 전달한다.
노스 비주얼스와 남주한 교수님의 MACLAB이 함께 만든 작업은 이다. 이 작품은 음악 기술을 활용해 연주자 없이 반복적으로 피아노를 연주하며, 바닥과 벽면에 걸친 대형 인터렉티브 프로젝션으로 새로운 시청각적 경험을 제공한다.

1

그림 1Deep Space Music

 

박주용 교수님이 기획에 참여한 <프로젝트X>에는 반성훈 작가의 인터랙티브 작품 <물질의 단위> <사회의 형성>과 문화재청의 VR 석굴암 전시가 함께 전시되었다.
박주용 교수님께서 작성하신 논고에서는 무질서해보이는 것 사이에서 질서를 발견하는 것이 창의성이자, 보다 확장된 ‘보다’의 의미임을 언급하며, 과학과 예술이 밀접하게 연관되어 있음을 다룬다.
<어떻게 볼 것인가>도록은 고해상도로 인쇄된 사진과 작가의 해설, 관련 담론들을 통해 전시의 의미를 생각해 볼 수 있는 책이다.

전시와 기획에 참여하신 박주용, 남주한 교수님 두 분께 전시에 관한 소감과 이야기를 들어보았다.

<박주용, 남주한 교수님 인터뷰>
안녕하세요, <어떻게 볼 것인가> 전시와 출간 축하드립니다. 문화기술대학원 작가 분들이 전시를 하는 일은 종종 있었지만, 이번 전시는 작가 활동을 하지 않던 연구자 분들도 전문 분야의 기술을 활용해 협업한 전시라는 점에서, 특별한 의미가 있는것 같습니다.

<박주용 교수님>
Q: 예술의 창의성에 대한 연구를 해오셨고, 수학적 패턴을 활용해 제주도에 건축 조형<팡도라네> 를 설치하기도 하셨습니다. 이번엔 <어떻게 볼 것인가> 전시의 기획을 성공적으로 마치셨는데요, 연구 주제가 예술과 많은 연관성이 있으시지만 이번처럼 직접 전시에 참여하시는 건 연구를 하시는 것과 또 다른 느낌일 것 같습니다. 어떤점이 비슷하거나 다른가요?

A: 네트워크 물리학 문제이든, 새롭게 구상하는 전시이든 해결해야 할 문제가 있을 때 깊은 생각을 하면서 해답을 찾는 과정의 구조는 같은 것 같아요. 그러나 전문 지식, 경험, 그리고 재능이 다 사람마다 다르기 때문에 문제가 풀려가는 속도나, 머리 속으로 상상할 수 있는 해법의 품질과 규모는 현실적으로 차이가 있죠. 예를 들어, 이번에 함께 일했던 대전시립미술관의 이보배 연구사님이라고 계신데, 저 같은 사람이 작품과 공간에 대한 아이디어를 내면 그것을 쓱싹 그림으로 그려내면서 제가 상상하던 것보다 한 단계 더 나아간 개념을 시각화하는 것을 보면서 다시 한 번 그런 걸 느꼈습니다. 결과적으로는 그렇게 서로 다른 능력과 지식을 갖고 왔기 때문에 새로운 것을 만들 수 있었던 것이구요. 정리하자면, 전문성과 경험을 바탕으로 해법을 만들어내는 과정은 비슷하지만 그 과정에 있어서 구체적인 기술들은 꽤 다르기 때문에 새로운 걸 배우는 과정은 반드시 필요합니다.

Q: ‘어떻게 볼 것인가’ 라는 주제를 ‘보다 높은 차원의 질서를 새로운 기술의 발달을 통해 감각하게 되는 점이 ‘본다’의 본질이다.’라고 소개하셨는데요. 특히 ‘물리학자가 이론을 통해 자연 현상을 새롭게 느끼는 것처럼, 예술가는 이동수단과 표현 방식의 발달로 감각을 확장한다’는 부분이 인상 깊었습니다. 예술 작품을 감상한 경험을 통해서도 그러한 ‘본다’의 확장을 경험하신 적이 있으신가요?

A: 과학의 이론은 지금까지 자연에 대해 갖게 된 이해를 도식화해서 잘 정리한 것이라고 보면 됩니다. 즉, 이론의 형태로 정리된 현재의 이해와 지식을 바탕으로 아직까지 보지 못했던 것을 찾고, 어떨 때는 아직 생각지도 못했던 것들의 존재를 상상하며 과학의 지평을 넓히는 것이 과학적 탐구이죠. 그와 비슷하게 예술은 빛, 소리 같은 매체를 통해 우리에게 자연으로부터 전달되는 자극을 창의적으로 표현해내는 것인데, 우리가 아직 보지 못했던 풍경을 만나게 해주는 이동수단이나, 새로운 표현을 가능하게 해주는 기술의 발달로 아직 해보지 못했던 것을 시도하면서 확장하게 됩니다.

개인적으로는 과학과 예술의 이러한 관계를 깨닫고 음미하게 되면서 (그림을 보면서는 그 화가가 보았던 것, 음악을 통해서는 그 음악가가 들었던 것들을 상상하게 되면서) 어떤 예술작품을 보고 듣게 되었을 때 단순한 소비자가 아니라 그것을 만든 예술가들의 눈을 빌려 세상을 보는 상상을 많이 하게 되었어요. 몇 년 전 서울 예술의 전당에서 하던 모딜리아니 특별전을 가게 되었을 때 모딜리아니의 그림 속에서 어떤 인물화는 눈동자가 있고, 어떤 것은 없다는 것을 알게 됐어요. 왜 그랬을까 궁금해하다보니 결국 모딜리아니의 시선을 갖지 않고서는 답을 알아낼 수 없다는 것을 알아냈어요. 물론 모딜리아니가 어떤 생각으로 그렇게 했는지 완벽하게 알 순 없겠지만 그의 시점으로 들어가는 상상만으로도 나는 새로운 것을 보는 경험을 하게 된 거죠.

<남주한 교수님>
Q, 기술로서의 음악과 예술로서의 음악에는 차이가 있을 것 같습니다. 이번 전시를 준비하시면서 연구하고 계신 기술을 예술로 재창안하셨는데요. 어떤 부분을 주안점으로 놓고 작업하셨는지 궁금합니다.

A: 먼저, 작품에 대한 간단한 소개를 드리면, 은 2012년 터키의 미디어 아트 그룹인 Nohlab에 의해 Ars Electronica에서 초연된 작품입니다. 원래는 인간 피아니스트가 피아노 연주를 하고 그 소리에 반응하여 추상적인 시각 요소들이 몰입형으로 전개되는 공연 형태의 작품인데, 이번 대전시립미술관 특별전 <어떻게 볼 것인가>에서는 3개월간 하루 종일 실시간으로 연주되는 전시 형태로 포맷을 변경하였습니다. 자동 연주 피아노의 경우, 사람 연주를 저장하여 단순히 재생하는 형태가 아니라, 저희 연구실의 결과물인 “인공 지능 피아니스트” 알고리즘을 적용하여, 오선지 형태의 악보를 입력으로 받으면 인간 피아니스트와 같이 표현력 있는 연주를 자동으로 생성하도록 하였습니다.
이러한 새로운 시도에 있어서, 첫번째 문제는 18,19 세기 클래식 피아노 음악을 중심으로 학습된 인공 지능 피아니스트 알고리즘이 20세기의 현대 음악을 제대로 연주를 할 수 있을지 확인하는 것이었습니다. 사실, 검토했던 8곡 중에 몇 곡은 연주의 자유도가 너무 크거나 일반적인 건반 연주 형태가 아니라 연주가 불가능하였습니다. 예를 들어, John Cage의 라는 곡이 있었는데, 이것은 피아노 현에 물리적인 장치를 부착하여 음색의 변화를 의도한 곡이라 재현이 불가능했고, Morton Feldman의 라는 곡은 “”Slow. Soft. Durations are free”와 같은 지시어로 연주하도록 되어 있어서, 그러한 지시어를 학습한 적이 없는 알고리즘이 연주로 표현하기가 어려웠습니다. 다행히 그 중 4곡은 (Prokofiev , Shostakovish , Glass , Messiaen ) 현대 음악 임에도 불구하고 어느 정도 자연스러운 연주가 생성되는 것을 확인하여 전시에서 선곡하게 되었습니다. 두번째 문제는 자동 연주 피아노를 통해 하루 8시간씩 3개월간 쉬지 않고 연주해야 하는데, 모터 장치에 의해 동작하는 자동 연주 피아노가 기계적인 문제없이 또는 피아노 줄이 끊어지지 않고 버틸 수 있을지 우려되었습니다. 특히, Glass 는 매우 강한 타건으로 반복적인 연주를 하는 부분이 있기 때문에 더욱 걱정되었습니다. 다행히 3개월 전시 동안 별 문제없이 동작하였습니다.
<남주한 교수님>
Q: 인공지능 피아니스트와 연주 시각화 작품의 협업을 진행하셨는데요, 미래에는 사람과의 협업 시스템으로서의 발전 가능성도 말씀해주셨습니다. 인공지능 기술을 통한 작품이 예술의 영역에 다가가려면 또 어떠한 점들이 더 고려되어야 할까요?

이번 인공지능 피아니스트는 알고리즘을 통해 미리 생성된 연주 파일을 반복 재생하는 방식으로 동작 하였습니다. 따라서, 인간 피아니스트처럼 해당 공간에서 울리는 연주 소리를 직접 듣고, 피아노의 타건 세기나 페달을 조절할 수 없었는데요. 진정한 연주자 모델링을 위해서는 악보를 읽고 자연스럽고 감정을 실은 연주하는 “표현 지능”뿐만 아니라, 자신의 연주 또는 다른 연주자의 연주를 듣고 음악적 또는 음향적인 이해할 수 있는 “청음 지능” 또한 필요합니다. 즉, 음악 소리를 듣고, 연주된 각각 음의 높이와 세기를 음색, 잔향 등 여러가지 소리 요소를 파악하여, 표현된 연주를 해당 공간에 따라 조절할 수 있어야 합니다. 또한, 앙상블 형태의 연주라면 다른 연주자의 악기 소리를 듣고, 서로 박자와 화성을 맞출 수 있어야 합니다. 향후 이러한 청음 지능에 관련된 연구를 더욱 보강하면, 인간 연주자와 서로 실시간으로 커뮤니케이션이 가능한 다양한 형태의 예술로 발전시킬 수 있을 것으로 생각하고 있습니다.

<박주용 교수님, 남주한 교수님>
Q: 이번 전시 작품과 글을 보면서 기술적인 배경 이외에도 역사적인 배경, 예술사적인 배경을 두루 고려하셨다는게 느껴졌습니다. 문화기술대학원 학생들 중에도 앞으로 전시나 작품의 형태로 기술과 문화에 걸친 작업을 하게될 학생들이 있을텐데요, 학생들에게 조언 해주실 말씀을 부탁드립니다.

<남주한 교수님>
A: 대학원에서 연구하면서 구글 스칼라를 통해 자주 논문 검색을 할 것으로 생각하는데요. 구글 스칼라의 첫 페이지에는 아이작 뉴턴이 말했던 “거인의 어깨에 올라서서 더 넓은 세상을 바라보라” 라는 문구가 적혀 있습니다. 우리가 하는 연구에는 완전히 새로운 것은 없으며, 단지 다른 연구자들이 수행했던 수 많은 연구의 바탕 위에 나 혼자 새로운 연구라고 착각(?)하는 약간의 티끌을 더할 뿐이라고 생각합니다. 하지만, 이러한 작은 것들이 쌓여서 새로운 연구 물결이 형성되고 기술과 사회가 진보한다고 생각합니다. 예술 분야도 마찬가지로, 완전히 새로운 것은 없고, 오래전부터 생각해오고 쌓여온 아이디어와 미적 요소가 현 시대의 기술이나 문제 의식을 통해 계속 새로운 형태로 표현되는 것이 아닌가 생각합니다. 따라서, 너무나 독창적인 것을 하고자 하는 강박관념을 가지기 보다는, 과거의 예술 작품이나 시도를 천천히 들여다 보면서 아이디어와 인사이트를 얻고, 그 위에 현재의 기술과 방법으로 어떻게 구현할지 생각하는 것도 하나의 접근 방법이지 않을까 생각합니다. 그런 의미에서 예술에 관심이 있는 과학자 또는 공학자와 같이 협업을 시도해보는 것도 좋을 것 같습니다. 실제로 우리 대학원 졸업생 중에서 예술가와 공학자로 한 팀을 이루어 활동한 사례가 꽤 있었던 것으로 알고 있습니다.

<박주용 교수님>
A: 전시나 작품을 생각하는 학생들이라면 과학과 예술이 만나는 지점에 대한 고민이 많을 것 같은데, 제일 좋은 방법은 그 안에 몰입해서 들어가보는 거죠. 자기 손으로 만지고 자기 힘으로 만들어보지 않는다면 평생 자기의 것이 되지 않을 거예요. 제 수업을 듣고 우리 대학원을 졸업한 학생이 하나 있어요. 과학적 방법론 수업 시간마다 어렵다고 말하면서도(웃음) 언제나 열심히 들어와서 이해하려는 노력을 하던 모습이 눈에 들어왔던 학생이죠. 지금 작품 활동도 열심히 하는데, 우리 대학원에서 배웠던 개념들을 반영해서 만들고 있는 작품들이 좋은 평을 많이 받고 있습니다. 이 졸업생처럼, 새로운 것을 하기 위해서 들어온 우리 대학원에서 주는 기회를 잘 살리는 노력들을 하기를 바랍니다.

권태균 (ilcobo2@kaist.ac.kr)