Home » CT OPINION, 기술

[CT Opinion] 인공지능은 적절히 불편부당할 수 있을까

March.2021 No Comment

Scene #1. 2020년 8월 22일, 고척 스카이돔에서 열린 키움 히어로즈와 KIA 타이거즈의 10차전 경기. 키움의 이정후 선수가 친 타구가 KIA 김호령 선수에 의해 잡혔다. 하지만 최수원 심판은 안타를 선언하였고, 이를 발판으로 키움은 이날 경기를 승리했다. 해당 경기를 중계한 SBS 스포츠는 이를 ‘오심이 만든 역전’이라고 표현했다. 시즌 초부터 계속된 오심 논란에 많은 팬들은 ‘AI에게 심판을 맡기자’며 불만을 터트렸다. 공교롭게도, 2군 경기에서 ‘로봇심판’이 시범 운영되는 가운데 생긴 일이었다.

Scene #2. ‘카카오 너무하군요. 들어오라고 하세요.’ 2020년 9월 8일, 국회 본회의장. 윤영찬 더불어민주당 의원의 메시지가 기자들에게 포착되었다. 주호영 국민의힘 원내대표의 연설 소식이 포털 사이트 ‘다음’의 메인 화면에 뜨자 항의의 뜻을 전달한 것이었다. 이 사실이 논란이 되자 카카오 측에서는 ‘뉴스 배치는 전적으로 AI에 의해 결정된다’며 자사의 중립성을 강조했다. 하지만 카카오의 입장 표명이 나온 후에도, 야당은 포털 사이트의 뉴스 배치가 외압으로부터 자유로울 수 있는지에 대한 의혹을 이어갔다.

온라인 플랫폼이 발달하면서, 인터넷 상에서 수많은 결정들이 내려지고 있다. 이러한 결정을 내리는 것은 다름 아닌 AI다. AI는 정해진 알고리즘과 입력 받은 데이터에 따라, 영화를 추천해주기도 하고 뉴스 기사를 띄워 주기도 한다. 그런데 이런 AI를 바라보는 시각에는 믿음과 의심이 공존한다. 어떤 이는 AI가 기계이기 때문에 편견이 없다고 말하지만, 다른 이는 AI가 기계이기 때문에 진정으로 중립적이지 못하다고 말한다. ‘기계’라는 단어를 누군가는 공정성을 담보할 수 있는 확실한 방안으로, 누군가는 책임 회피의 수단으로 받아들인다. 기술과 사회의 접점에서 연구하는 우리는 AI를 어떻게 바라보아야 할까?

인공지능은 어떻게 편향성을 배웠는가

Scene #3. 2016년 3월, 마이크로소프트는 AI 챗봇 ‘테이’를 선보였다. 테이는 @TayandYou라는 트위터 계정을 통해 사람들과 소통하였다. 테이의 기능 중 하나는 ‘Repeat after me’였는데, 사용자가 이 문장을 덧붙이면 테이는 이를 새로운 학습 데이터로 이용했다. 하지만 극우 커뮤니티 4chan의 유저들이 이를 악용해 테이에게 반복적으로 혐오 발언을 입력했고, 급기야 테이는 혐오 표현을 쏟아냈다. 결국 마이크로소프트는 16시간만에 테이를 폐쇄한다.

이렇게 인공지능이 특정 계층에 대한 혐오적, 배제적인 태도를 보여준 사례는 테이로 끝나지 않았다. 아마존 역시 AI 기반의 채용 시스템을 개발했지만, AI가 남성을 선호하는 경향을 보여 해당 시스템을 폐기했다. 네이버나 카카오다음 같은 국내 포털 사이트는 여러 언론사의 기사를 모으고 배치하는 작업에 AI 기술을 이용하지만 댓글 조작, 검색어 조작, 뉴스 어뷰징 등의 정치적 이슈에 수없이 시달려 왔다. 내로라하는 기술력을 가진 IT 기업들도 ‘불편부당한 AI (impartial AI)’의 이슈에서 자유롭지 못한 것이다.

1

그림 1 트위터 이용자 @bascule은 왼쪽과 같은 두 장의 사진을 업로드했다. 두 경우 모두 오바마 대신 미치 맥코넬의 얼굴을 중요 부분으로 인식했다. 사진의 채도나 대비를 바꿔가며 실험한 결과, AI는 흑인의 어두운 얼굴을 배제하는 ‘선호도’가 있었다. (사진출처=트위터)

불편부당한 AI, 더 깊이 들어가서 ‘기술의 불편부당성’에 어떻게 접근해야 할까? 도구에 불과한 AI는 어쩌다가 편향성을 배웠을까?
가장 명백한 답변은 편향적인 학습 데이터다. 테이처럼 유저들이 악의적인 방해공작을 펼친 경우도 있지만, 우리 사회에 내재된 편향성이 드러난 경우도 있다. 앞서 말한 아마존의 채용 시스템은 과거의 채용 사례를 학습했기 때문에 남성 지원자를 더 선호했다. 최근 이슈를 일으킨 ‘이루다’가 소수자 혐오를 쏟아낸 것도 같은 맥락이다. 많은 전문가들은 이루다를 제작한 스캐터랩이 수집한 데이터에 사회적 혐오와 편견이 반영되어 있었다고 주장한다. 이를 제대로 필터링하지 않고 학습시킨 결과, 이루다는 여성, 성소수자, 장애인에 대한 혐오 발언을 그대로 출력했다.
때로는 편향된 데이터가 알고리즘의 작동 방식과 만나 문제를 야기한다. 얼굴 감지 알고리즘의 경우, 사람의 얼굴과 배경을 구분하기 위해 피처(feature)를 정한다. 이 때 쓰이는 피처 중 하나가 픽셀의 밝기이다. 어두운 그림자와 밝은 얼굴을 대비하여 경계선을 찾는 것이다. 하지만 위 트위터의 사례에서 볼 수 있듯, 이러한 방식은 예기치 못한 부작용을 낳기도 한다. AI의 정확도를 높이기 위해 주어진 학습 데이터를 기반으로 매개변수를 최적화하는 과정에서, 누군가가 가진 특징들은 데이터의 편향성에 따라 배제된다.

믿을 수 없는 인공지능

Scene #4. 2016년 6월. 구글 브레인 연구진은 스탠포드 대학교, UC 버클리, 그리고 OpenAI와 함께 ‘Concrete Problems in AI Safety’라는 제목의 백서를 발표한다. 이 보고서에는 기계학습을 일반 분야에 적용하면서 생길 수 있는 기술적, 도덕적인 문제들을 제시하고 있다. 백서의 결론부에서 연구진은 작은 규모의 사고라도 자동화된 시스템에 대한 불신으로 이어질 수 있다며, 미래를 고려하고 원칙적인 접근이 필요하다고 말했다.

많은 사람들은 인공지능이 사람과 다르게 행동할 것을 기대한다. 완전무결까지는 아니더라도, 인간이 가진 편견이나 오판을 극복한 존재이기를 바란다. 하지만 실제로 인간과 다르게 행동하는 로봇이 있다면, 인간은 이를 어떻게 받아들일까?
영화 <아이, 로봇>의 주인공은 로봇을 불신한다. 그가 사고를 당했을 때, 지나가던 로봇이 같이 사고 당한 어린아이 대신 자신을 구했기 때문이다. 로봇의 행동은 확률에 기반한 ‘논리적인’ 행동이었지만 그는 그 논리적인 행동 때문에 로봇을 믿지 않는다
‘열차 문제(Trolley Problem)’라는 사고실험을 많이들 들어 봤을 것이다. 운행 중이던 기차에 문제가 생겨 제어 불능 상태가 되었다. 그리고 이 열차의 선로에 5명의 사람들이 서 있다. 이대로라면 5명의 사람이 사고를 당할 터. 하지만 전철기를 사용한다면 1명만 사고나는 쪽으로 방향을 바꿀 수 있다. 이 때 방향을 바꾸는 것이 도덕적으로 허용되는가? 조사에 따르면 89% 사람들이 ‘허용된다’고 답했다. 하지만 조건을 약간 바꿔 ‘달리는 열차 앞에 1명의 사람을 밀어 넣어 5명을 구하는 것이 도덕적으로 허용되는가’ 하는 질문을 물으면, 11%의 사람만이 이것이 허용된다고 답했다. ‘1명을 희생시켜 5명을 구한다’는 명제는 똑같지만 그 과정이 무엇이느냐에 따라 우리의 판단은 달라진다.

1

그림 2 열차 문제는 윤리적 판단에 대한 사고실험이다. 하지만 자율주행 자동차를 설계하는 사람들에게는 아주 실질적인 문제로 다가온다. (사진출처=Wikimedia)

여기서 문제를 다시 한번 바꿔보자. 자율주행 자동차가 사고로 5명을 치려는 상황, 방향을 급히 바꾸면 한 사람만 죽고 끝날 수 있다. 어떤 결정이 그나마 사회적으로 용납받을까? 한 가지 조건을 더 추가해보자. 당신이 제3자로서 뉴스를 통해 그 사고를 접할 때와 운전석에 앉아 사고가 나는 광경을 직접 목격할 때, 당신의 허용 기준은 어떻게 바뀔까? 우리 사회는 어떤 판단을 내리는 인공지능을 더 신뢰할까?
이루다 논란이 터진 후, 스캐터랩에서는 이루다 모델과 DB를 완전히 삭제한다고 밝혔다. 하지만 소비자들은 여기서 그치지 않고 이들이 ‘연애의 과학’을 통해 얻은 원천 데이터 전량을 삭제할 것을 요구하고 있다. 이는 스캐터랩이 5년에 걸쳐 수집한 데이터다. 이번 사태는 AI를 사용하는 소비자뿐 아니라 그것을 만드는 개발자들에게도 시사점을 던져준다. 공정하지 않은 인공지능, 이를 책임지지 않는 개발사는 사람들에게 신뢰를 주지 못한다. 그리고 사람들에게 신뢰를 줄 수 없는 AI는 사회에서 받아들여지지 못한다. 이는 아직까지 AI에 법적 판결이나 중요한 계약을 맡기지 않는 이유이다. 우리는 아직 AI를 믿지 못한다.

Not undirected intelligence, but beneficial intelligence

Scene #5. 2017년 1월, 캘리포니아의 도시 아실로마에 AI 연구자들이 모였다. 이 곳은 1975년 유전학자들이 모여 윤리적이고 안전한 DNA 재조합 실험을 위한 원칙을 제안했던 곳이다. 그때처럼 ‘아실로마 컨퍼런스’라고 명명된 이 행사에서, AI 연구자들은 아실로마 AI 원칙을 개발했다. 이 원칙은 향후 인공지능 연구의 가이드라인이 될 연구적ᆞ윤리 및 가치적ᆞ장기적 이슈 23가지를 다루고 있다. 아실로마 원칙의 첫 번째 조항은 연구 목표에 대한 것이다. ‘AI 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라 인간에게 유용하고 이로운 지능을 개발하는 것이다’.

영국 BBC는 ‘적절한 불편부당성(Due impartiality)’을 핵심 가치로 내세운다. 그런데 이들이 말하는 적절한 불편부당성은 단순한 ‘수적 균형’이나 ‘중립’과는 다른 의미이다. BBC는 두 가지 의견을 반반씩 소개하는 기계적 공정함이 아니라, 사회 구성원들이 합의한 가치체계를 반영하는 적절한 불편부당성을 강조한다. 다양성을 기반으로 하여 편향되지 않고, 배제적이지 않고, 협소적이지 않게 사람들의 의견을 조명하는 것. 이러한 BBC의 저널리즘은 ‘두 편의 무게를 재는 시소가 아닌, 360도로 살이 뻗쳐나가는 수레바퀴’라고 비유된다.
아실로마 AI 원칙의 9번째 항목은 연구자의 책임에 대한 것이다. 원칙은 인공지능 연구자가 연구산출물을 통해 사회에 영향을 끼칠 기회와 그에 대한 책임을 가지는 이해관계자임을 지목한다. 또한 그 다음 항목에서는 인공지능의 목표와 행동이 인간의 가치와 일치하도록 설계해야 한다고 말한다. 이러한 아실로마 원칙은 ‘적절한 불편부당성’의 가치와 일맥상통하는 면이 있다. 회색지대에서 기계적 중립을 지키는 것 대신, 자신의 콘텐츠가 가져올 영향을 고민하고 그것이 사회의 가치와 부합하도록 하는 것. 두 원칙이 종사자에게 묻는 책임의 의미이다.

1

그림 3 스탠포드의 연구진은 엑스레이 사진을 학습시켜 환자가 느끼는 고통의 정도를 예측하는 AI를 만들었다. 이 과정에서, 연구진은 기존 의료계가 가지고 있던 인종적 편견을 찾아냈다. (사진출처=네이처)

올해 1월, 네이처에 실린 한 논문이 사람들의 이목을 끌었다. 스탠포드의 연구진은 AI를 통해 엑스레이 사진으로부터 무릎골 관절염 환자가 느끼는 고통을 예측했다. 기존에는 환자가 느끼는 고통을 직접 설명하고 의사는 이를 바탕으로 증상을 예측했지만, 이 알고리즘을 통해 고통의 정도를 객관적으로 예상할 수 있다. 그런데 연구진은 데이터를 인종별로 비교하여 흥미로운 사실을 짚어낸다. 의사들이 같은 정도의 고통을 느낀다고 판단한 환자들 중에서, 실제로는 흑인이 백인에 비해 더 큰 고통을 느끼는 것으로 밝혀졌다. 다시 말해, 의사들은 흑인이 말하는 고통의 정도를 과소평가하는 경향이 있었던 것이다. 이 연구는 다양성이 확보된 적합한 데이터셋을 이용했을 때, 인공지능이 실제로 차별에서 자유로울 수 있음을 보여준다. 사회의 편향성을 그대로 보여주던 AI가 편향성을 깨는 도구로 사용된 것이다.

수십, 수백만 개의 자료를 필요로 하는 빅데이터의 특성상, 적절한 불편부당성을 지닌 데이터셋을 구축한다는 것은 쉽지 않은 도전일지도 모른다. IT 기업들에서는 편향성 이슈를 해결하기 위해 방법론을 개발하고 있지만 과학기술적인 노력만으로 해결될 수 있는 일이 아닐지도 모른다. 인공지능의 역할이 무엇이고 인간과 어떻게 상호작용하는지, 이에 대한 사회적 공감대는 현재진행형으로 수립되고 있기 때문이다. AI와 사회가 어떤 합의점에 도달할지, 지금의 우리가 완벽히 예측하기는 힘들다. 하지만 AI가 갖춰야 할 ‘적절한 불편부당성’은 무엇일지 생각해야할 때다.

남궁민상 (whovian@kaist.ac.kr)