About anything else you need to know / 당신이 알아야 할 다른 것에 대해서 (2018)

TYPE : Interactive installation, 2ch Video

MATERIAL : PC, projector, monitor, webcam, Deep leaning training (GAN, RNN)

SIZE : dimension variable

YEAR : 2018

.

[당신이 알아야할 다른 것에 대해서 (Aboutanything else you need to know)]는 언론 매체와와 웹에서 소비되는 뉴스 데이터 중 특정 데이터(혹은 전체)를 선택하여 그 성격과 구조를 분석하고, 이를 인간 x 사회 x 기계의 구조가 가능한 시스템의 관점에서 인공지능과 데이터를 이용한 작업으로 해석하여 표현하였다. 

작업의 구성에서 인공지능은 딥러닝 학습법 중 GAN(Generative adversarial networks)과 RNN(Recurrent Neural Networks)이라는 특정한 학습을 진행하여, 인간이 아닌 타주체의 재해석으로 보여진다. 이 각각의 인공지능 학습결과 모델은 미래적 환경의 주체적 존재에 대한 물질적/정신적 표상을 드러낸다. 먼저 GAN의 경우는 뉴스 이미지 데이터를 활용하여, 영상과 인터랙션 타입 두가지의 방향으로 작업을 구성한다. 첫번째로는 한국의 각 방송사(kbs, mbc, sbs, jtbc, tv조선) 아나운서 앵커를 통해 송출되는 뉴스 데스크 이미지를 바탕으로 구성한다. 이 데이터는 인공지능에 의해 새롭게 재구성 되어, 관람객의 인터랙션에 따라 변화하는 형태로 선보여진다. 이때 카메라(감시카메라)를 통해 받아들여진 이 시각/청각 소스는 인공지능에게 전달되어, 인공지능으로 재구성된 뉴스의 핵심요소(모델)가 시청각적 소스에 따라 변화하는 모습을 디스플레이를 통해 나타나게 한다. 두번째로는 전 세계 언론의 주요 뉴스 채널(CNN, BBC, CCTV13, NHK, France24, ARD tagesschau, JTBC, 조선중앙TV)의 비디오와 각 국의 정상들(한국- 문재인 대통령, 미국-도널드 J 트럼프 대통령, 프랑스 – 에마뉘엘 마크롱 대통령, 중국 – 시진핑 주석, 독일 – 앙겔라 도로테아 메르켈 총리, 일본 – 아베 신조 총리, 러시아 – 블라디미르 푸틴 대통령, 북한 – 김정은 국방위원장)의 연설 영상을 데이터 베이스로 선택하고 가공하여 현실에 존재 하지 않는 가상의 뉴스를 생성하고 이를 비디오 출력물로 제작한다. 

RNN의 경우는 뉴스 방송에 사용된 혹은 뉴스의 글에 해당하는 부분에서 작용하여 작업을 구성한다. 특정한 정제를 거친 텍스트를 바탕으로 이 작업을 구성하고, 이를 TTS(text-to-speech) 를 사용하여 인간이 말하는 것과 동일하게 말하게 만든다. 이는 음향 설비에 따라 영상에 덧입혀지거나 인터랙션의 관람객의 움직임에 따라 혹은 주제의 선택에 따라 선별적으로 출력된다. 

이 작업은 언론과 기계문명의 흐름이 어떻게 나아가고 있으며, 인간이 이 상황에서 어떤 움직임과 자세를 취해야 하는지에 대한 고민을 함께 풀어보는 자리가 될 것을 기대한다. 

[About anything else you need to know] is to select specific data (or whole) of the news data consumed from the media and the web, analyze its nature and structure, In terms of artificial intelligence and data.

In the composition of work, artificial intelligence proceeds through specific learning called GAN (Generative adversarial networks) and RNN (Recurrent Neural Networks) in the deep learning learning method and is seen as a reinterpretation of non-human subjects. Each of these artificial intelligence learning outcome models reveals the material / spiritual representation of the subjective existence of the future environment. First, in the case of the GAN, the news image data is used to construct the work in the direction of the image and the interaction type. The first is based on the News Desk image transmitted through the anchor of the Korean broadcasters (kbs, mbc, sbs, jtbc, tv). This data is newly reconstructed by artificial intelligence and displayed in a form that changes according to the interaction of the viewer. At this time, the visual / auditory source received through the camera (surveillance camera) is transmitted to the artificial intelligence, which causes the display of the key elements (models) of the news reconstructed by artificial intelligence to change according to the audiovisual source. Secondly, the video of the major news channels of the world (CNN, BBC, CCTV13, NHK, France24, ARD tagesschau, JTBC, Chosun Central TV) and the leaders of each country (Korea – President Moon Jaein, USA – President Donald J. Trump , President of France – Emmanuel Marc Long, President of China – Sijingpin, Prime Minister of Germany – Angela Dorothea Merkel, Prime Minister of Japan – Abe Shinzo, President of Russia – Vladimir Putin, North Korea – Kim Jung Eun) And generates a video output of the virtual news.

In the case of RNN, it works in the parts used for news broadcasts or in the news articles. It builds this task based on text that has undergone a specific refinement, and uses it to say the same thing that humans say using text-to-speech (TTS). This can be added to the image according to the sound equipment, or selectively according to the movement of the viewer of the interaction or the selection of the theme.

I hope that this work will be a place to see how the flow of media and civilization is moving and how people should move and attitude in this situation.

FULL
Interactive type capture
Video type capture