2. 인공지능과 노동감시

1) 인공지능의 문제점

번역 서비스에서부터 뉴스 콘텐츠 추천까지, 인공지능 스피커에서 범죄수사 목적의 얼굴인식까지… 알게 모르게 우리 사회 곳곳에 인공지능이 도입되고 있다. 인공지능을 통한 직원 채용, 플랫폼에서의 업무 할당 알고리즘, 시장 예측과 직장 내 의사결정 지원도구 등 고용과 노동 과정에서도 인공지능의 활용이 증가하고 있다.

인공지능은 여러 편의와 효율성을 제공할 수 있음에도 불구하고 인공지능의 개발 및 활용 과정에서 인권 침해의 우려가 제기되어 왔으며 노동자에 대해서도 예외가 아니다. 앞서 플랫폼 노동에서 언급했다시피, 알고리즘을 통한 업무 배분, 노동 과정에 대한 모니터링, 성과에 대한 평가와 관리 등은 노동자에게 상당한 스트레스를 유발할 수 있다. 인공지능과 알고리즘의 편향과 그에 따른 차별도 문제로 제기되고 있다. 이는 인공지능 학습에 이용된 데이터의 편향에 기인할 수도 있고 프로그램머의 개인적, 집단적 편견을 반영한 것일 수도 있다. 학습 데이터가 기존의 현실을 그대로 반영한 것일지라도 불평등하고 차별적인 현실을 고착시킨다는 비판을 면하기 힘들다. 인공지능과 알고리즘의 이러한 위험성은 채용 과정에서 성별, 연령, 지역 등에 따른 차별을 야기할 수 있고, 노동자의 성과 평가에 사용될 경우 그 공정성을 신뢰하기 힘들게 한다.

가장 큰 문제는 알고리즘의 작동방식이 투명하지 않다는 것이다. 알고리즘의 불투명성은 공공부문에서는 공공기관의 책임성 문제를 야기할 수 있다. 공공기관은 자신이 내린 어떠한 결정에 대해 국민들에게 그 근거를 설명할 의무가 있는데 이를 충족할 수 없는 것이다. 또한 인공지능 알고리즘의 결정에 따라 신체적, 재산적, 법적으로 커다란 부정적 영향을 받은 사람이 그 이유를 알 수 없다면, 자신이 부당하다고 생각하는 결정에 대해 이의제기를 하기 힘들어질 것이다. 인공지능 면접에서 탈락했거나 플랫폼으로부터 부정적인 평가를 받아도 그 이유도 모르고 받아들일 수밖에 없는 것이다.

〔사례〕 불투명한 인공지능 채용 절차

2019년 한국경제연구원 조사에 따르면 인공지능을 활용한 채용을 이미 진행하고 있는 기업이 11.4%, 계획이 있는 기업이 10.7%였다[한국경제연구원 보도자료, 「대기업 채용 “줄인다” 34% “늘린다” 18%」, 2019.9.16]. 공공기관의 경우 2020년 최소 20여 곳 이상에서 채용 절차에 인공지능을 도입하였다. 그런데 시민사회단체들이 13개 공공기관에 정보공개를 청구한 바에 따르면, 대부분의 기관들이 관련 자료에 대해 비공개 하였는데, 일부 기관은 “AI면접 관련 자료관리 및 운영은 용역사에서 수행하므로 당사는 요청한 자료가 없다”, “AI면접 관련 사항은 업체에 일임하고 있으니 업체로 문의하라” 고 답변하였다. 공공기관이 민간의 인공지능 시스템을 도입하면서도 인공지능 도입의 원칙과 절차조차 마련되어 있지 않음이 드러난 것이다.[진보네트워크센터 보도자료, 「시민단체, 인공지능 채용 공공기관 13곳에 정보공개 청구 및 결과 발표」, 2020.10.27]

또한, 국회 국정감사 자료에 따르면 공공기관 인공지능 면접 평가와 사람 면접관의 평가가 판이하게 달랐던 것으로 드러났다. 또한, 민간 인공지능 제품이 불합격으로 결정한 사례에 대해서 해당 공공기관이 그 사유를 파악하지 못하고 있었다. 즉, 인공지능의 평가가 공정하고 효과적인지에 대한 검증없이 민간기업의 인공지능에 의존하고 있던 것이다. 이 인공지능 서류심사가 학력, 성별, 지역 등에 따라 지원자를 차별하지 않았는지, 인공지능 면접이 지원자의 외모, 사투리 등 발음, 표정 등에 대한 부정확하고 부당한 평가를 낳지는 않았는지 검증되거나 알려진 바가 전혀 없다.[한겨레21, 「AI 면접관이 말했다 “너 인성 문제 있어?”」, 제1335호, 2020.10.23]

2) 인공지능과 알고리즘에 대한 노동자의 권리

국제노동기구ILO는 2019년에 발간한 「일의 미래 보고서」에서 “일에 영향을 미치는 최종 선택이 알고리즘이 아니라 사람에 의해서 이뤄지도록 보장하는 ‘인간주도’ 접근법을 지지한다”고 선언하였다. 더불어 노동자의 존엄성 보호를 위해 센서, 웨어러블 기기 및 기타 모니터링 기기를 통해 이루어지는 알고리즘 관리, 감시, 통제를 규제할 것을 촉구하였다.

2018년에 시행된 유럽연합의 개인정보보호법GDPR은 인공지능의 감시, 평가, 의사결정으로부터 노동자를 비롯한 정보주체의 권리를 보호하기 위해, 개인의 특성, 성과 등에 대한 예측이나 평가, 즉 프로파일링과 개인에게 중대한 영향을 미치는 자동화된 의사결정으로부터 정보주체를 보호하기 위한 규정을 포함하고 있다. 여기서 프로파일링이란 개인정보를 사용하여 개인의 특정 측면, 즉 업무 성과나 건강, 취향, 행태 등을 분석하거나 예측하는 것을 말한다. 예를 들어 온라인 서점에서 나의 구매 내역을 분석하여 내가 좋아할만한 신작을 추천해 주는 것, 나의 인터넷 사이트 방문 기록을 수집하여 맞춤 광고를 내보내는 것, 라이더의 이동경로와 배달건수, 평점 등을 기반으로 라이더의 성과를 측정하는 것, 이 모든 것들이 프로파일링이다.

유럽연합 개인정보보호법GDPR, 프로파일링 및 자동화된 의사결정에 대한 정보주체의 권리

유럽연합 개인정보보호법GDPR은 인공지능 등 자동화된 평가 및 의사결정에 대하여 두 가지 경우로 나누어 규율하고 있다. 첫째, GDPR은 노동자의 업무성과 등을 자동으로 평가하는 이른바 ‘프로파일링’에 대하여 규정하고 이를 규율하고 있다. 둘째, GDPR은 여기서 더 나아가 사람의 개입이 전혀 없는 완전 자동화 의사결정에 대하여 정보주체인 노동자가 그 대상이 되지 않을 권리를 규정하였다.
유럽연합의 프로파일링에 대한 가이드라인은[WP29, 「자동화된 의사결정과 프로파일링에 대한 가이드라인」(Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679), 2018.2.6., WP251rev.01] 프로파일링이 효율성을 증대시키고 자원을 절약하는 혜택이 있는 반면에, 개인이 프로파일링 대상이 되고 있는지 모르거나 정확히 무엇이 관여되어 있는지 이해하지 못할 수 있다는 점에서 불투명하다고 지적하였다. 또한 개인을 특정한 범주에 한정시켜 선택을 제한하고 기존의 고정관념과 사회적인 차별을 항구화할 우려도 있다. 예를 들어 편향된 현실 데이터로 학습한 검색 알고리즘이 구직자인 여성에게 남성보다 급여가 적은 직장을 추천할 수 있는 것이다.
프로파일링 역시 개인정보의 처리이므로 개인정보 보호원칙을 준수해야 한다. 더불어 정보주체인 노동자는 회사가 자신의 개인정보를 기반으로 프로파일링을 하는지, 만일 한다면 프로파일링에 영향을 미치는 요소는 무엇이며, 노동자에게 어떠한 결과를 야기하는지에 대해 사전에 설명을 들을 권리를 보장받는다. 또한 회사가 ‘정당한 이익’을 근거로 프로파일링을 수행하는 등 특정한 상황에 해당한다면, 노동자는 이에 대해 거부할 권리도 갖는다.
만일 프로파일링이 개인에 대해 체계적이고 광범위한 평가를 수행하고, 프로파일링에 근거한 의사결정이 법적이거나 중대한 영향을 미치는 경우 회사는 개인정보 영향평가를 의무적으로 실시해야 하며, 영향평가 결과 드러난 위험성을 최소화하기 위한 조치를 취해야 한다. 이러한 보호조치에는 프로파일링에 대해 정보주체인 노동자가 자신의 의견을 피력할 권리 및 결과에 이의를 제기할 권리 등을 보장하는 것이 포함된다.
둘째, GDPR은 ① 정보주체에게 법적 효력을 초래하거나 이와 유사하게 본인에게 중대한 영향을 미치는 의사결정이고 ② 자동화로 처리되는 의사결정을 ③ 오로지 자동화된 처리 방식에만 의존하여 이루어지는 경우를 일반적으로 금지하고 있다. 이때 ‘유사하게 중대한 영향’의 경우란, 법적 권리나 의무에 변화가 없더라도 ‘인적 개입 없이 이루어지는 전자채용’ 등 개인의 상황, 행동 또는 선택에 중대하게 영향을 미치거나, 정보주체에 지속적이거나 영구적인 영향을 미치는 경우, 또는 개인이 배제되거나 차별을 받게 되는 경우를 포함한다.
다만 계약의 체결 또는 이행을 위해 필요한 경우, 법률이 허용하는 경우, 정보주체의 명시적인 동의에 근거한 경우는 예외적으로 완전 자동화 의사결정이 허용된다. 특히 근로 계약 등 계약의 체결 또는 이행의 사유로 완전 자동화 의사결정을 실시하기 위하여는 자동화가 목적 달성에 필요한 최소한의 처리여야 하고, 동일한 목표를 달성할 수 있는 덜 침해적인 수단이 있는 경우는 해당하지 않는다. 완전 자동화 의사결정이 민감정보에 근거하여 이루어질 수 있는 경우로는 정보주체의 명시적인 동의에 의하거나, 법률에 기반한 상당한 공익상의 이유로 처리가 필요하며 정보주체를 보호 조치가 존재하는 경우뿐이다.
회사가 예외적으로 완전 자동화 의사결정을 실시하는 경우에도, 정보주체 노동자의 권리와 자유 및 정당한 이익을 보호하기 위한 보호 조치가 반드시 마련되어야 한다. 이때의 보호 조치는 프로파일링 및 완전 자동화 의사결정의 유무, 관련된 로직에 관한 구체적이고 유의미한 정보, 처리의 중대성과 이로 인해 발생할 수 있는 결과 등을 노동자에게 사전적으로 설명하고, 그에 대하여 노동자가 인적 개입을 요구할 권리, 본인의 의견을 피력할 권리, 결정에 대한 설명을 들을 권리 및 결정에 이의를 제기할 권리 등을 보장하는 것을 포함한다. 더불어 회사는 처리한 데이터셋에서 편견이 있는지 확인하고, 이를 해결할 수 있는 방법을 개발해야 한다. 또 알고리즘을 검사하고 자동화 의사결정의 정확성과 관련성을 주기적으로 검토하여 그 개선에 반영하여야 한다.

그러나 아직 국내 개인정보보호법은 이와 관련한 조항을 포함하고 있지 않다. 다만, 2021년에 개인정보보호위원회가 국회에 발의한 개인정보보호법 개정안은 관련 조항을 신설하는 내용을 담고 있다.

3) 인공지능 노동감시에 대한 대응 방안

① 인공지능의 학습과 활용, 알고리즘을 통한 프로파일링 역시 개인정보의 수집과 처리를 동반한다. 인공지능을 통한 개인정보 처리가 개인정보보호법을 준수하는지 감시할 필요가 있다.

② 노동자는 인공지능 알고리즘이 자신에게 어떠한 영향을 미치는지 알 권리가 있다. 사용자에게 노동자의 개인정보를 프로파일링하는지 여부, 관련된 로직과 영향을 미치는 주요 요소, 노동자에게 미치는 영향 등에 대해 투명하게 공개할 것을 요구해야 한다. 이러한 정보는 비전문가인 노동자가 이해할 수 있는 방식으로 쉽게 설명되어야 한다.

③ 노동자는 자신에게 부정적 영향을 미치는 인공지능에 대해 문제제기할 권리가 있다. 인공지능을 통한 자동화된 의사결정의 기준이 무엇인지 설명을 요구하고 자신의 견해를 표명할 권리를 가진다. 인공지능을 통해 어떠한 결정이 내려졌다면, 그 이유와 결정 요소들이 사후에 검증이 가능할 수 있도록 기록되어야 한다.

④ 회사가 인공지능을 개발하거나 혹은 구매할 경우, 해당 인공지능이 특정 목적 달성에 효과적인지, 공정하고 차별적이지 않은지 검증할 수 있는 절차가 마련하도록 요구한다. 인공지능의 개인정보 침해 위험을 사전에 평가할 수 있는 개인정보 영향평가, 인권에 미치는 영향을 평가할 수 있는 인권영향평가, 혹은 독립적인 기관에 의한 감사 등을 활용할 수 있다.

⑤ 인공지능을 개발하거나 구매할 때 도입의 필요성, 기능의 범위나 작동방식 등에 대해 노동조합 혹은 노동자 대표와 사전에 협의하도록 요구해야한다.

⑥ 인공지능의 도입은 노동자의 노동 과정과 권리에 커다란 영향을 미칠 수 있기 때문에, 인공지능 도입 과정에서 노동자의 권리 보호를 위한 국가적인 차원의 입법 마련도 촉구할 필요가 있다. 유럽연합 인공지능 법안에서 규정했듯이, 특정 노동자를 차별하거나 노동자의 권리에 부정적 영향을 미칠 수 있는 고위험 인공지능을 규율할 수 있는 법안이 마련될 필요가 있다. 개인정보보호법에 노동자에 대한 프로파일링과 자동화된 의사결정에 대응할 수 있는 정보주체의 권리도 포함되어야 한다.

유럽연합 인공지능 법안

2021년 4월 21일 유럽 집행위원회는 “인공지능 법안”을 유럽의회에 발의하였다. 유럽연합은 이를 통해 채용, 고용, 노무 관리 등의 분야에 사용되는 인공지능에 대하여 법적 의무 부과를 추진하고 있다. 이 법안은 플랫폼 노동을 비롯하여 채용 및 고용, 노무 관리에 사용되는 인공지능을 ‘고위험’으로 규정하였다. 특히 인력 채용 및 선발, 승진 및 해고 결정, 근로 관련 계약 관계로 종사하는 사람에 대한 업무 할당, 모니터링 또는 평가에 사용되는 인공지능 시스템은 고위험으로 분류된다. 이러한 시스템이 사람들의 장래 직업 전망과 생계에 현저한 영향을 미칠 수 있기 때문이다. 여기서 “근로 관련 계약 관계”는 피고용 노동자 뿐만 아니라 플랫폼을 통해 서비스를 제공하는 사람들을 포함한다. (전문 36) [European Commission, 「인공지능 법안」(Proposal for a Regulation laying down harmonised rules on artificial intelligence. Artificial Intelligence Act), 2021.4.21]