4장. 시민사회의 생성형 AI 정책 모델 해설

1. 시민사회 생성형 AI 정책 모델의 개요

생성형 AI는 시민사회단체의 업무 효율을 높이고, 기존의 활동 방식을 변화시킬 수 있는 도구가 될 수 있습니다. 그러나 동시에 부정확한 정보 생성, 결과물의 편향성, 개인정보 및 단체 기밀의 유출, 기술 의존으로 인한 활동가 역량 약화 등 다양한 위험도 포함하고 있습니다. 이러한 문제는 단체의 사회적 책임, 신뢰도, 그리고 인권 문제와 직결됩니다. 

시민사회단체는 공익, 인권, 투명성, 민주성을 핵심 가치로 삼고 있습니다. 따라서 생성형 AI를 활용할 때도 단체의 목적과 가치에 맞는 명확한 기준과 절차, 그리고 책임 구조가 필요합니다. 이것이 바로 시민사회단체의 생성형 AI 정책이 필요한 이유입니다. 

생성형 AI를 활용하는 방식은 단체의 성격, 규모, 활동 분야에 따라 매우 다릅니다. 같은 단체 안에서도 활동가의 역할에 따라 주로 사용하는 AI 도구나 활용 정도는 달라질 수 있습니다. 따라서 생성형 AI 정책은 모든 단체에 동일하게 적용되는 정답이 존재하는 것이 아니라, 각 단체가 스스로 토론하고 결정해야 할 문제입니다. 

이 정책 모델은 모든 단체가 따라야 하는 규범을 제시하는 것이 아니라, 각 단체가 자신의 상황과 철학에 맞는 정책을 설계할 수 있도록 돕는 기본 틀을 제공하는데 목적이 있습니다. 물론 이 정책 모델은 생성형 AI를 사용할 때 고려해야 할 기본 원칙도 함께 제시합니다. 단체는 이를 참고해 단체의 상황에 맞게 조항을 수정·삭제·추가하여 내부 정책을 수립할 수 있습니다. 

또한, 이 가이드와 정책 모델이 생성형 AI 사용을 권장하거나 장려하는 것으로 오해되어서는 안됩니다. 생성형 AI가 충분한 효율성을 제공하지 않는 경우, 환경적 부담에 대한 우려, 또는 기술에 대한 불편함 등 다양한 이유로 생성형 AI를 사용하지 않을 단체나 활동가가 있을 수 있습니다. 이 가이드의 목적은 어디까지나 “만약 단체가 생성형 AI를 사용할 경우, 어떤 최소한의 기준 하에서 사용하는 것이 바람직한가”를 제안하는 것입니다. 

시민사회는 단순한 AI 사용자를 넘어, 신뢰할 수 있는 AI의 개발과 책임있는 사용을 요구하는 역할을 합니다. 따라서 시민사회의 AI 정책은 단체 내부의 실무지침이면서 동시에 사회적 정책 제안의 의미도 갖습니다. 각 단체가 이 정책 모델을 바탕으로 자신들의 상황에 맞게 발전시키고 이를 실천해 나간다면 책임있는 AI 활용 문화 형성에 기여할 수 있을 것입니다. 

2. 총칙 

정책 모델의 형식은 각 단체가 선호하는 방식으로 자유롭게 구성할 수 있습니다. 예를 들어, 법령이나 약관과 유사하게 ‘1장 총칙’, ‘1조(목적)’과 같은 형식을 사용할 수도 있습니다. 

1) 목적

이 정책은 우리 단체가 생성형 AI(Generative AI) 기술을 단체의 활동 목적과 인권 원칙을 준수하면서 책임감있고 효과적으로 사용하기 위한 기준과 절차를 정하는 것을 목적으로 한다.

생성형 AI 정책을 수립하는 핵심 목적은 단체가 이 기술을 단체의 가치와 인권 원칙에 부합하도록 사용하기 위함입니다. 여기서 ‘책임감’있는 사용은 단순히 도구를 효율적으로 사용하는 것을 넘어, 생성형 AI 사용이 미칠 수 있는 사회적 영향, 예를 들어 편향과 차별, 노동 및 환경에 미치는 영향을 무시하지 않고 고려하겠다는 의미입니다. ‘효과적’인 사용 역시 업무 효율성만을 뜻하지 않습니다. 생성형 AI의 사용이 단기적으로 효율적인 것처럼 보이더라도 활동가의 역량을 훼손하거나 조직 내 숙고·토론의 과정을 대체한다면, 그것은 효과적인 사용이 아닐 것입니다. 사실 확인을 하는데 더 많은 시간이 들거나, 귀찮다는 이유로 결과물을 제대로 검토하지 않아 잘못된 결정을 하거나 단체의 명성을 훼손하게 된다면, 이 역시 효과적인 사용은 아닐 것입니다. 각 단체는 자신의 상황과 요구에 맞는 적절한 활용 방법을 고민할 필요가 있으며, 이 정책은 그러한 고민의 결과를 반영해야 할 것입니다. 

2) 기본 원칙

우리는 생성형 AI 기술을 사용할 때 다음과 같은 원칙을 준수한다.  ① 생성형 AI를 사용하여 만들어진 결과물과 의사결정에 대한 모든 책임은 우리 단체에게 있다.  ② 생성형 AI는 보조적인 도구일 뿐이며, 활동가의 판단과 숙련을 대체하지 않는다.  ③ 생성형 AI의 결과물은 소수자 및 취약계층에 대한 어떠한 형태의 편향이나 차별을 포함하거나, 기본권에 부정적인 영향을 미치지 않아야 한다.  ④ 생성형 AI 활용 과정에서 개인정보와 보안이 침해되지 않아야 한다.  ⑤ 생성형 AI가 결과물 생성에 핵심적으로 기여했거나 혼동을 야기할 우려가 있는 경우, 생성형 AI의 활용 여부 및 방식을 투명하게 공개한다. ⑥ 생성형 AI 기술의 발전이 환경과 노동에 미치는 영향을 고려한다.

생성형 AI 정책이 일관성을 가지려면, 그 기반이 되는 원칙을 명확히 할 필요가 있습니다. 본 정책 모델은 6가지 원칙을 제안하고 있습니다. 

첫째, 생성형 AI를 사용하여 만들어진 결과물과 그에 기반한 의사결정에 대한 모든 책임은 우리 단체에게 있습니다. 아무리 AI가 일정한 자율성을 가진다해도, 도구에게 책임을 물을 수는 없습니다. 생성형 AI 도구의 기능상 결함 때문에 문제가 발생하여 향후 AI 개발업체에 문제 제기를 할 수는 있겠지만, 1차적인 책임은 그 결과물을 사용한 우리 단체에게 있습니다. 따라서 각 단체는 생성형 AI를 사용하는 전 과정에서, AI 활용의 주체로서 책임을 다하기 위한 절차를 마련해야 합니다. 예를 들어, 생성형 AI의 결과물은 항상 단체가 책임지고 검토를 해야 하며, 문제가 발생했을 때 어떻게 대응할 것인지에 대한 내부 절차를 마련해야 합니다. 또한, 이 원칙은 생성형 AI를 사용하는 모든 과정에서, 설사 생성형 AI의 결과물을 거의 그대로 사용하더라도, 최종적인 판단과 감독은 인간(단체 활동가)의 책임 아래 이루어져야 한다는 것을 의미합니다. 

둘째, 생성형 AI는 어디까지나 보조적인 도구일 뿐이며, 활동가의 판단과 숙련을 대체해서는 안됩니다. 이는 첫번째 원칙과도 연결됩니다. 생성형 AI의 결과물을 1차적으로 판단하는 것은 단체 활동가입니다. 생성형 AI는 활동가를 대체하는 것이 아니라, 거꾸로 활동가의 역량을 강화하는 도구가 되어야 합니다. 이를 위해서는 단체 활동가가 AI를 책임 있고 효과적으로 사용할 수 있는 역량을 갖추고 있어야 합니다. 단체는 활동가가 전문성, 경험, 역량을 키워나갈 수 있도록 지원해야 합니다. 이 정책 모델은 신입 활동가의 역량 강화를 위해 문서 작성에 생성형 AI의 사용을 일정하게 제한하는 것과 같이, 필요하다면 업무 수행 과정에서 생성형 AI의 도움을 받는 것을 제한할 수 있도록 제안합니다. 이는 개인 활동가의 역량 문제만이 아니라, 단체 내에서 특정 이슈에 대한 입장을 토론하고 공통의 문제의식을 유지하는 것은 필수적이며, 생성형 AI가 이를 대체하도록 해서는 안되기 때문입니다. 단체의 성명이나 입장을 작성할 때 생성형 AI를 사용하면, 단체 내부 논의와 숙고의 과정을 약화시키거나 대체할 우려가 있으므로, 단체에 따라 이러한 용도의 사용을 금지하는 정책을 둘 수도 있습니다. 

셋째, 생성형 AI의 결과물이 소수자 및 취약계층에 대한 어떠한 형태의 편향이나 차별을 포함하거나 기본권에 부정적인 영향을 미쳐서는 안됩니다. 생성형 AI 학습에 사용된 데이터는 현실의 편향이나 불평등, 고정관념을 그대로 반영하고 있으며, 생성형 AI 결과물은 이를 재생산할 수 있습니다. 편향되거나 차별적인 결과물을 사용하는 것은 소수자 및 취약계층에게 2차 피해를 야기하고, 동시에 인권 옹호를 지향하는 단체의 신뢰와 명성을 훼손할 수 있습니다. 〈2-2) 편향 및 고정관념(stereotype)에 대한 비판적 검토〉에서 이러한 위험을 줄이기 위한 지침을 다루고 있습니다. 

넷째, 생성형 AI 활용 과정에서 개인정보와 보안이 침해되지 않아야 합니다. 개인정보 및 보안 이슈는 모든 디지털 활동에서 중요한데, 생성형 AI를 사용할 때에도 예외가 아닙니다. 특히, 외부 상용 생성형 AI 서비스를 이용할 경우, 프롬프트를 통해 입력한 데이터가 해당 업체로 전송될 수밖에 없으며 그에 따른 보안 문제가 발생합니다. 또한, 이렇게 AI 업체에 제공된 데이터는 향후 AI 학습 목적으로 사용될 수 있으며, 그 결과 AI 제품이 활용되는 과정에서 다른 사용자의 결과물로 출력될 수 있습니다. 〈2-3) 개인정보 보호 및 보안〉에서 이에 대비한 구체적인 지침을 다루고 있습니다. 각 단체의 개인정보 및 보안 정책 역시 생성형 AI를 고려하여 업데이트될 필요가 있습니다. 

다섯째, 생성형 AI가 결과물 생성에 핵심적으로 기여했거나 혼란을 야기할 우려가 있는 경우, 생성형 AI의 활용 여부 및 방식을 투명하게 공개할 필요가 있습니다. 인공지능의 맥락에서 투명성과 설명가능성은 다양한 의미를 포함합니다. 우선 사람들이 자신과 상호작용하는 대상이 AI임을 인지할 수 있도록 해야 합니다. 또한 AI 시스템의 결정이 추적 가능하고 설명 가능해야 함을 의미합니다. 즉, 문제가 생겼을 때 그 원인을 추적할 수 있어야 하고, AI 시스템이 내린 결정의 근거, 논리, 영향을 미친 주요 요소 등에 대해 알 수 있어야 합니다. 더불어, AI 시스템의 개발자는 이용자에게, AI 시스템의 이용자는 그 영향을 받는 사람에게 필요한 정보를 제공할 필요가 있습니다. 물론 이러한 원칙이 생성형 AI 서비스를 사용하는 이용자에게 동일하게 적용되지는 않을 수 있습니다. 생성형 AI의 경우 결과물을 도출한 근거나 논리가 결과물 자체에 포함되어 있거나 또는 중요하지 않을 수 있기 때문입니다. (예를 들어, 왜 이러한 이미지를 출력했는지는 프롬프트를 입력한 이용자가 바로 알 수 있습니다. 반면 어떤 학습 데이터로부터 그러한 이미지가 출력되었는지 설명하는 것은 불가능할 수 있습니다.) 

기본적으로 책임성과 투명성 원칙을 중요하게 생각하는 시민사회단체는 생성형 AI의 활용과 관련해서도 가능한 범위에서 투명성을 확보할 필요가 있습니다. 그 이유는 생성형 AI의 결과물에 영향을 받는 사람들이, 정보에 기반하여 판단할 수 있도록 하여 AI와 단체에 대한 신뢰성을 높일 수 있기 때문입니다. 예를 들어, 생성형 AI를 이용해 어떤 문서를 요약했으나 그 정확성이 완전하지 않을 수 있다면, 해당 결과물에 그 사실을 표시함으로써 수용자들이 이를 감안하여 정보의 신뢰도를 판단할 수 있도록 해야 합니다. 또한, 딥페이크처럼, 수용자가 생성형 AI의 결과물을 인간의 창작물 또는 실재로 오인함으로써 혼란이 발생할 수 있습니다. 예를 들어, 미국 국방부 청사(펜타곤) 부근에서 대형 폭발이 발생한 것처럼 보이는 가짜 사진이 소셜미디어에서 확산되어 혼란이 발생한 바 있습니다.  

경우에 따라 투명성은 법적으로 요구되는 의무일 수 있습니다. 예를 들어, EU AI 법에 따르면, 1) AI 시스템의 제공자는 사람이 자신과 상호작용하는 대상이 AI라는 것을 알 수 있도록 설계해야 하며, 2) 생성형 AI의 경우 제공자는 결과물이 AI 생성물임을 기계판독 가능한 방식으로 인식될 수 있도록 해야 합니다. 또한, 3) 감정인식이나 생체인식 시스템의 배치자(이용자)는 자연인에게 그 사실을 알려야 하며, 4) 딥페이크를 생성하는 AI 시스템 배치자(이용자)는 결과물이 AI에 의해서 생성되었다는 사실을 공개해야 합니다. 단, 예술적 작품에 해당할 경우 해당 작품의 감상을 저해하지 않는 방식으로 알릴 수 있습니다. 시민사회단체의 경우 4번째 의무와 관련이 많을 것입니다. 단체에서 권력을 비판하는 패러디 이미지를 만들거나 특정 이슈와 관련된 다큐멘터리를 만드는 경우가 많기 때문입니다. 

한국의 인공지능 기본법도 인공지능 투명성 확보 의무(31조)를 규정하고 있습니다. 1) 고영향 또는 생성형 인공지능에 기반하여 운영된다는 사실을 이용자에게 사전에 고지해야 하고, 2) 생성형 인공지능의 결과물이 그것에 의해 생성되었다는 사실을 표시해야 하며, 3) 생성형 AI를 이용해 딥페이크를 제작하는 경우 그 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시해야 합니다. 이때 예술적ㆍ창의적 표현물인 경우 전시 또는 향유를 저해하지 않는 방식으로 할 수 있습니다. 한국의 인공지능 기본법에서 이러한 의무의 주체는 인공지능 사업자입니다. 그렇기 때문에, 생성형 AI 도구의 이용자인 시민사회단체가 이 의무의 주체는 아닐 수 있습니다. 다만, 법제가 아직 형성 중인 단계에 있어 해석이 유동적이고, 개정 가능성이 크며, 투명성 의무의 취지를 고려할 때, 신뢰와 인권을 중요시하는 시민사회단체의 입장에서 가능한 범위에서 투명성 원칙을 자율적으로 준수하는 것이 바람직할 것입니다. 

그러나, 생성형 AI 사용 사실을 모든 결과물에 일괄적으로 표시하는 것은 비현실적이며 필요 이상으로 부담이 될 수 있습니다. 인터넷 검색이나 사무용 애플리케이션 등에 AI 기능이 기본 내장됨에 따라, 이용자의 의도와 상관없이, 정도의 차이는 있을지언정 상당히 많은 업무에 AI를 활용하게 되는 상황이 발생하고 있습니다. 이때 AI의 도움을 받은 모든 결과물에 ‘이 결과물의 생성에 AI의 도움을 받았습니다’라고 표시를 하는 것은 단체에 실무적인 부담이 될 뿐만 아니라, 수용자에게도 별다른 정보를 제공하지 못합니다. 단체가 충분한 검토를 거쳐 책임 있게 공개한 결과물에 AI 사용 사실을 기계적으로 표기할 경우, 오히려 그 결과물에 대한 대중의 신뢰를 불필요하게 떨어뜨릴 수도 있습니다. 첫번째 원칙에서처럼 담당자 및 단체가 모든 표현이나 사실관계를 엄격하게 검토한 후, 공개되는 결과물에 대한 모든 책임을 질 수 있다면, 생성형 AI는 다른 도구와 마찬가지로  하나의 도구로 활용한 것으로 볼 수 있습니다. 그러나 사람의 검토에도 불구하고 결과물의 핵심적인 내용에 있어서 AI의 기여를 대체할 수 없는 경우, 예를 들어 AI 도구를 활용하여 데이터 분석 결과를 도출했거나, 생성형 AI로 음악, 이미지, 영상 등의 저작물을 제작한 경우, 생성형 AI 사용 여부 및 방식(어떤 방식으로 사용했는지 또는 생성형 AI가 결과물에 어떻게 기여했는지)을 표시하는 것이 바람직할 것입니다. 특히, 딥페이크와 같이 현실과 혼동을 야기할 수 있는 결과물의 경우에는 수용자의 혼란을 방지하기 위해서라도 생성형 AI 이용 사실을 표시할 필요가 있습니다. 

투명성 원칙을 어떻게 적용할 것인지는 이 가이드와 정책 모델의 논의 과정에서도 매우 논쟁적이었던 주제입니다. ‘생성형 AI가 결과물 생성에 핵심적으로 기여했거나 혼동을 야기할 우려가 있는 경우’라는 기준이 모호하기 때문에, 자의적인 판단에 따라 생성형 AI의 활용 여부를 공개하지 않을 수 있다는 우려도 제기되었습니다. 그러나 이 가이드의 제안은 법적인 판단을 하거나 객관적인 기준을 제시하기 위한 것이 아니라는 점을 다시 한번 확인하고자 합니다. 어떠한 기준으로 생성형 AI 활용 여부에 대해 공개할 것인지는 단체의 윤리 기준과 토론의 결과를 반영하여 결정되어야 할 것입니다. 〈2-5) 생성형 AI 활용의 투명성〉에서 투명성에 관한 지침을 다루고 았습니다.  

여섯째, 생성형 AI 기술의 발전이 환경과 노동에 미치는 영향을 고려해야 합니다. AI는 학습 및 운영 과정에서 전기와 물과 같은 많은 자원을 소비합니다. AI 학습 및 운영에 대규모 연산이 필요하기 때문인데, AI의 성능 향상을 위해 학습에 사용되는 데이터의 규모와 매개변수의 크기도 증가하고 있으며, 이에 비례하여 AI의 에너지 수요도 급증하고 있습니다. 현재 에너지 공급의 상당 부분은 여전히 석탄이나 천연가스와 같은 고탄소 에너지원에 의존하고 있기 때문에, AI와 데이터센터의 확장이 기후 위기를 악화시킨다는 우려가 커지고 있습니다. 또한, 데이터센터에서 발생하는 열을 냉각하기 위해 많은 양의 물이 소비되기 때문에 지역사회와의 갈등이 일어나기도 합니다. 환경단체가 아니더라도 기후 위기 대응에 공감하는 시민사회단체라면 이러한 문제를 외면할 수 없습니다. 물론 AI 학습 및 운영 과정의 에너지 문제는 소비자인 개별 시민사회단체가 직접 개입하기 어려운 구조적 문제입니다. 그럼에도 불구하고, 유사한 기능을 제공하면서도 에너지를 덜 소비하는 경량 모델을 사용하려 하고, AI 업체에 그러한 모델의 제공을 요구할 수 있습니다. AI 업체들이 AI 개발 및 운영 과정에서 얼마나 많은 에너지를 사용하는지에 대한 데이터를 투명하게 공개할 것을 요구할 수도 있습니다. 

한편, AI의 발전으로 기존의 직무가 대체될 수 있다는 우려도 커지고 있습니다. 생성형 AI 역시 예외가 아닙니다. 이미 프로그래머, 통역사, 디자이너, 콜센터 상담원 등 노동자들이 생성형 AI의 도입으로 인해 해고되거나 일자리가 줄어드는 현상이 나타나고 있습니다. 이는 물론 국가, 사회적인 차원에서 다뤄야 할 구조적인 문제이지만, 개별 단체 차원에서도 스스로의 책임을 고민해야 할 영역입니다. 단체가 생성형 AI를 도입할 때 기존에 업무를 수행하던 활동가와 함께 협의하는 과정이 필요합니다. 생성형 AI가 예상보다 기존의 업무를 대체하는데 한계가 있을 수도 있고, 일정하게 대체할 경우 기존의 직무를 조정해야 할 수도 있습니다. 재정이 열악한 시민사회단체 입장에서 생성형 AI 기술은 기존에 비용을 감당할 수 없었던 일을 가능하게 하거나 비용을 절감할 수 있는 수단이 될 수 있습니다. 그러나 두번째 원칙에서 언급한 것처럼 생성형 AI에 의존하는 것이 단기적으로 효율적이더라도 활동가 및 단체의 전문성이나 역량을 유지하고 강화하는데 도움이 되는 것인지 신중하게 판단할 필요가 있습니다.

3) 이 정책의 범위

이 정책은 우리 단체가 외부의 상용 생성형 AI 서비스를 이용하는 경우를 대상으로 한다. 단체가 AI 도구를 직접 개발 제공하거나 생성형 AI가 아닌 다른 종류의 AI 도구를 이용하는 경우에는 별도의 원칙과 지침을 마련한다.

이 정책은 챗지피티(ChatGPT)나 제미나이(Gemini), 클로드(Claude) 등 상용 생성형 AI 서비스를 단체가 활용하는 경우에 초점을 맞춘 것입니다. 그러나 단체가 AI를 활용하는 방식은 매우 다양할 수 있기 때문에, 모든 사례에 이 정책을 그대로 적용하는 것이 적절하지 않을 수 있습니다. 예를 들어, 단체 홈페이지에 방문자용 챗봇을 설치하여 정보를 제공하거나 문의에 응답할 수 있도록 하는 경우, 국제회의나 행사에서 AI 동시통역 서비스를 사용하는 등의 경우, 본 정책을 그대로 적용하기 어렵습니다. 동시통역 AI 서비스의 통역 결과물에 할루시네이션이 포함되더라도 이에 실시간으로 대응하기는 곤란할 것이기 때문입니다. 다만, 이러한 서비스를 도입할 것인지 고려하는 과정에서, 본 정책의 원칙과 지침에 기반하여 사전에 엄격하게 평가할 수 있을 것입니다. 또한 오픈소스 모델을 이용하여 단체가 자체적으로 생성형 AI를 구축하여 사용하는 경우에도 이 정책을 적용할 수 있겠지만, 이 경우 생성형 AI 개발 과정에 대한 정책을 별도로 마련해야 합니다. 기후 데이터를 분석하기 위한 AI, 온라인 상 허위조작정보나 혐오표현을 탐지하는 AI 등 특정 분야에서 사용되는 비생성형 AI를 사용할 경우 그에 대한 별도의 정책과 지침이 필요합니다. 

3. 생성형 AI 활용 지침 

1) 정보의 정확성 확인

생성형 AI의 결과물은 부정확한 정보를 포함할 수 있으므로, 반드시 신뢰할 수 있는 방식으로 정확성을 확인해야 한다.  ① 사실관계가 중요한 업무에서는 생성형 AI 활용에 특별한 주의가 필요하다 ② 인터넷 검색, 전문가 자문 등 다양한 출처를 통해 사실관계를 교차검증한다.  ③ 데이터나 자료가 최신 정보인지 확인한다.  ④ 권위있는 출처나 공식 문서를 우선적으로 참조한다.  ⑤ 최근 정보를 반영한 AI의 결과물(예 : 웹검색 기반 AI 결과물)을 우선적으로 활용한다.  ⑥ 명확하고 구조화된 프롬프트를 사용하고 출처를 제공할 것을 요구한다.  ⑦ 원본을 직접 읽지 않은 상태에서 요약 기능만 사용하는 것은 주의해야 한다.

생성형 AI는 원리상 자신이 학습한 데이터를 기반으로 다음에 올 단어를 확률적으로 예측하는 모델입니다. 즉, AI는 무엇이 사실인지 여부를 이해하고 답변하는 것이 아니라, 문맥상 가장 그럴듯한 문장을 생성합니다. 따라서 생성형 AI의 답변이 사실 여부를 보증하지는 않습니다. 이러한 구조적 특성 때문에 생성형 AI는 사실이 아닌 내용을 마치 진실인 것처럼 생성하는, 이른바 ‘할루시네이션(hallucination)’ 현상을 완전히 피하기 어렵습니다. 또한, AI는 마지막으로 학습한 시점 이후에 발생한 사실이나 정보에 대해서는 알지 못합니다.

이러한 문제를 보완하기 위해 최근에는 인터넷이나 별도의 데이터베이스에서 검색을 한 후에, 이 자료를 바탕으로 답변을 생성하는 소위 RAG(Retrieval-Augmented Generation, 검색 결합 생성) 방식이 활용되기도 합니다. 그러나 학습 데이터나 인터넷 상의 콘텐츠에도 정확하지 않은 정보가 있을 수 있고, AI가 잘못된 정보를 선택할 수 있으므로 마찬가지로 주의가 필요합니다. 

시민사회단체는 정확성과 신뢰성이 매우 중요합니다. 잘못된 정보나 왜곡된 사실을 전달하면 단체의 신뢰를 해칠 뿐 아니라, 관련 이슈나 캠페인에 부정적 영향을 줄 수 있습니다. 따라서 AI의 결과물을 활용할 때 ‘사실관계가 중요한 경우’, 반드시 사실 확인 절차를 거쳐야 합니다. 예를 들어, 전반적인 문장은 그럴 듯 하더라도 법률 조항, 판례 번호, 어떤 사건의 날짜, 통계 데이터 등 세부적인 사실 관계가 잘못된 경우가 많기 때문에 반드시 확인이 필요합니다. 

정확성을 확인하기 위해 다양한 방법이 활용될 수 있습니다. 앞서 언급한 것처럼 AI가 자체적으로 생성한 결과물보다 인터넷에서 검색한 최근 정보를 반영한 결과물을 활용하는 것이 바람직합니다. 물론 생성형 AI가 참조했다고 밝힌 링크가 연결되지 않거나, 예전 자료 또는 중요도가 낮은 자료를 참조할 수도 있기 때문에, 외부의 정보를 참조하여 결과물을 산출했다고 하더라도 일일이 출처의 정확성을 검증할 필요가 있습니다. 

해당 주제와 관련된 공식 문서나 권위있는 출처, 학술 논문 등을 우선적으로 참조하는 것이 바람직합니다. 물론 정부, 국제기구, 공공기관에서 발간한 보고서 역시 정치적으로 편향된 관점과 왜곡된 데이터를 포함할 수 있다는 점은 인식해야 합니다. 

법령이 개정되거나 특정 사건이 시간에 따라 전개될 수 있기 때문에 더 최신의 정보가 있는지 확인할 필요도 있습니다. 이러한 검증 작업에 시간과 노력이 많이 소요되기 때문에, 때로는 생성형 AI를 사용하는 것이 오히려 효과적이지 않을 수도 있습니다. 

다른 생성형 AI에 유사한 질의를 해서 답변 결과를 비교하는 것도 하나의 방법입니다. 서로 다른 출처를 인용할 수 있고 만일 사실 관계가 서로 다르다면 특별히 주의해서 봐야할 것입니다. 

결국 생성형 AI의 결과물에 대해 최종적인 판단을 하는 것은 단체와 이를 담당하는 활동가입니다. 제대로 판단하기 위해서는 담당자의 경험과 전문성이 필요합니다. 생성형 AI를 활용하더라도 활동가의 역량이 중요한 이유가 여기에 있습니다. 활동가가 역량을 갖추고 있지 못하다면, 인터넷 검색이나 전문가 자문 등을 통해 보완하더라도 단체가 책임질 수 없는 결과물을 내놓을 수 있습니다. 

자료를 다른 언어로 번역하는 다소 기술적인 작업에서도 할루시네이션이 발생할 수 있습니다. 예를 들어 챗지피티나 제미나이 등은 과거에 비해 매우 자연스러운 번역을 제공하지만, 일부 내용을 생략하거나 번역 결과물을 마음대로 편집하기도 하며, 해당 원문에 없지만 관련된 주제의 내용을 추가하기도 합니다. 대량의 자료를 번역할 경우 이러한 오류가 커질 수 있습니다. 따라서 번역된 결과물을 반드시 원문과 대조해야 합니다. 번역의 질이나 할루시네이션의 정도는 제품이나 요금제에 따라 달라질 수 있습니다. 상용 제품의 기능은 계속 변화하기 때문에 본 가이드에서는 특정 제품에 대해 언급하려고 하지 않으며, 각 단체에서 스스로 검토해보시기를 바랍니다. 

이용자가 올린 자료의 요약에서도 할루시네이션이 발생할 수 있습니다. 예를 들어, 업로드된 자료에 포함되어 있지 않지만, 유사한 주제의 다른 내용이 포함될 수 있습니다. 요약한 결과물이 정말 원 자료의 핵심을 정리했는지도 검토해봐야 합니다. 생성형 AI 요약 서비스를 지나치게 신뢰하여 원 자료를 읽지 않고 요약 서비스에만 의존하는 경우 핵심을 놓칠 위험이 있습니다. 따라서 요약 결과만 읽고 원문을 읽지 않는 것은 매우 위험합니다. 가능하면 요약문은 참고용으로만 활용하고, 중요한 문서일수록 원문을 읽을 것을 권장합니다. 

명확하고 구조화된 프롬프트를 사용하면 할루시네이션을 일정하게 줄일 수 있습니다. 답변의 근거나 범위, 형식 등을 조건지워 줌으로써 AI가 마음대로 창작하는 범위를 제한하는 것입니다. 예를 들어, 다음과 같은 방법을 사용할 수 있습니다. 

– 답변의 근거나 출처를 구체적으로 표시하도록 요구 
– 시점의 특정 : 예를 들어, 2024년 이후의 자료만 사용 
– 지리적 범위의 제한 : 예를 들어, 분석 대상을 유럽과 미국의 법제로 한정 
– 모르면 모른다고 말하게 하기 : 예를 들어, 출처를 확인할 수 없는 경우는 ‘확인 불가’로 표시할 것.  
– 출력의 형식을 구체적으로 지정 : 예를 들어, 법률을 인용할 경우 조문번호를 포함하도록 할 수 있음. 

물론 이렇게 해도 할루시네이션을 완전히 방지할 수 있는 것은 아닙니다. 따라서 결과물의 정확성을 검토하는 것은 여전히 중요합니다. 

2) 편향 및 고정관념(stereotype)에 대한 비판적 검토

AI는 기존의 데이터를 학습하고 이를 모방하기 때문에, 생성형 AI의 결과물이 기존 현실의 편견, 편향, 고정관념을 그대로 반영할 수 있으므로, 이러한 결과물이 공개되거나 사용되지 않도록 주의해야 한다.  ① 활동가가 생성형 AI 결과물의 편향·차별 표현을 인식할 수 있도록 정기적인 인권 교육을 시행한다. [또는 AI 결과물 검토 담당자를 지정한다]  ② 생성형 AI 활용 과정에서 문제가 될 수 있는 표현이 발견되면, 즉시 사용을 중지하고 [검토 담당자]에게 전달한다.  ③ 생성형 AI에 차별적이지 않은 내용으로 다시 작성해줄 것을 요구하고, 그 결과물을 다시 검토한다.  ④ 해당 생성형 AI를 서비스하는 업체에 발생한 문제에 대해 신고한다.  ⑤ 차별적, 혐오적 표현을 반복적으로 생성할 경우, 해당 생성형 AI의 사용을 중단한다. ⑥ 생성형 AI에만 의존하지 않고 다른 경로를 통한 정보와 관점의 수집을 검토한다.

생성형 AI는 인터넷 상의 데이터를 대량으로 학습합니다. 이 데이터는 차별적 언어, 젠더·인종·지역 편견, 사회적 위계, 고정관점(stereotype)을 그대로 반영하고 있습니다. 예를 들어, 많은 사람들이 ‘미등록 이주민’이 아니라 ‘불법 체류자’라는 용어를 사용한다면 생성형 AI는 이를 재생산할 가능성이 큽니다. 이 과정에서 소수자나 취약계층에 대한 낙인·차별·고정관념·혐오 표현을 확대 재생산할 위험이 매우 높습니다. 이러한 결과물을 아무런 문제의식없이 활용할 경우, 공익과 인권 옹호라는 단체의 핵심 가치와 맞지 않고 단체에 대한 신뢰를 손상시키게 될 것입니다. 따라서 생성형 AI를 사용할 때 이러한 위험을 감지하고 차단하는 내부 절차가 필요합니다. 

이러한 위험을 방지하기 위해서는 우선 모든 활동가가 AI 결과물에서 편향·차별을 인식할 수 있도록 정기적인 인권 교육을 시행할 필요가 있습니다. 단체에 따라 필요하다면, 특히 단체 외부로 발행되는 모든 자료를 사전에 검토하기 위한 절차를 두거나 담당자 지정을 고려할 수 있습니다. 혐오·차별 표현이 의심되는 결과물을 발견하면, 사용을 즉시 중단하고 검토 담당자에게 전달합니다. 또는 생성형 AI에 수정을 요청할 수 있을 것입니다. (예 : 이 표현은 차별적일 수 있으니, 중립적·포용적 언어로 다시 작성해줘) 그리고 재작성된 결과물에 문제가 되는 표현이 없는지 다시 검토합니다. 심각하게 문제가 되는 표현을 생성하거나 차별적·혐오적 표현이 반복될 경우, 해당 AI 업체의 신고 또는 피드백 채널을 이용하여 문제를 제기합니다. 동일한 문제가 반복되거나 해결되지 않는다면, 해당 AI 서비스의 사용을 공식적으로 중단합니다. 이를 대체할 수 있는 도구를 검토하고, 문제 사례를 내부 기록으로 남겨 재발 방지에 활용합니다.

이와 같은 점들을 주의한다고 해도, 생성형 AI의 근본적인 한계를 인식할 필요가 있습니다. 전통적인 검색 엔진은 (검색 알고리즘이 갖고 있는 문제에도 불구하고) 여러 사이트의 목록을 제공합니다. 그러나 생성형 AI는 통상 하나의 답변을 제공하는 경우가 많으며, 이는 이용자들이 AI의 답변을 무비판적으로 수용할 위험을 높입니다. 또한, 비단 사회적 소수자와 관련된 표현에만 편향이 발생하는 것은 아니며 그 사회의 비주류적 관점, 또는 인터넷을 통해 표현되지 않은 관점이나 정보를 배제할 우려가 있습니다. 이러한 구조적 문제를 고려한다면, 생성형 AI의 답변을 비판적으로 검토하는 것으로 충분하지 않을 수 있습니다. 생성형 AI에 지나치게 의존하지 말고, 중요한 주제에 대해서는 직접 조사, 전문가 의견 등 다양한 경로로 정보와 견해를 수집할 필요가 있다는 것을 항상 염두해 두어야 합니다. 

3) 개인정보 보호 및 보안

상용 생성형 AI 서비스를 이용할 경우, 프롬프트로 입력한 데이터는 AI 업체의 서버에 저장되므로 무단 접근 및 유출과 같은 보안 문제가 발생할 수 있다. 또한, 이 데이터가 모델 재학습에 사용될 경우 다른 이용자의 출력물을 통해 개인정보나 기밀정보가 유출될 가능성도 있다. 이에 정당한 법적 근거없이 개인정보가 처리되거나 단체의 기밀 정보가 유출되지 않도록 보안에 주의해야 한다.  ① 프롬프트를 통해 주민등록번호, 신용카드번호, 비밀번호, 민감정보(생체정보, 성적지향 등)와 같은 개인정보를 올리지 않는다.  ② 생성형 AI를 통한 개인정보의 분석이 필요할 경우 가명처리를 해야 한다.  ③ 보안 등급에 따라 높은 수준의 보안이 필요한 기밀자료(예 : 피해자 인터뷰, 비공개 회의록, 회계기록 등)를 프롬프트를 통해 올리지 않는다.  ④ 생성형 AI 서비스의 이용약관, 개인정보 처리방침, 보안 정책을 확인하여, 데이터 보관 기간, 프롬프트로 입력된 데이터를 AI 학습에 사용하는지 여부, 개인정보보호법 등 관련 법 준수 여부, 암호화 등 보안정책, 요금제별 보안 수준의 차이를 파악한다. 가능하면 학습 데이터 활용을 거부(옵트아웃)하는 옵션이나 해당 기능이 포함된 요금제를 선택한다.  ⑤ 생성형 AI를 통해 공유한 데이터는 정기적으로 백업하고 삭제한다.  ⑥ 생성형 AI가 다른 애플리케이션이나 외부의 API와 연계될 경우, 그 과정에서 불필요한 개인정보나 데이터가 전송되지 않도록, 전송되는 데이터의 범위를 확인한다.  ⑦ 업무용 계정과 개인용 계정을 분리하여 사용한다.

사용자가 프롬프트에 입력한 문장, 업로드한 문서 등 데이터는 AI 업체의 서버로 전송되어 저장됩니다. 이 과정에서 여러 보안 위협이 발생할 수 있습니다. 전송 중 보안 침해가 발생할 수도 있고, AI 업체가 저장된 데이터에 무단으로 접근하거나 AI 업체의 서버가 해킹당해 데이터가 유출될 수 있습니다. 구글 드라이브와 같은 클라우드에 단체의 데이터를 저장하게 될 때 검토해야 할 보안 고려사항이 여기에도 적용됩니다. 

* 디지털정의네트워크(구 진보네트워크센터)는  2024년에 〈2024 디지털 보안 가이드〉와 〈개인정보 안전성 확보조치 가이드〉를 발간한 바 있습니다. 시민사회단체가 준수해야 할 일반적인 보안 정책 및 개인정보에 대한 보안 정책은 이 가이드를 참고하시기 바랍니다. 

생성형 AI와 관련하여 고유한 추가적 보안 위협이 있습니다. AI 업체의 서버로 전송된 데이터가 이후 AI의 재학습 과정에서 학습 데이터로 사용될 수 있습니다. 생성형 AI 기술이 학습 데이터를 그 자체로 저장하고 이를 출력에 활용하는 방식은 아니지만, 연구에 따르면 (개인정보를 포함하여) 특정 정보가 모델 파라미터에 암기되어 특정한 조건 하에 추출될 수 있습니다. 따라서 재학습된 AI의 활용 과정에서 다른 이용자의 출력에 단체의 개인정보나 기밀정보가 노출될 위험이 발생합니다. 

이러한 보안 위협에 대비하기 위하여 다음과 같은 안전조치가 필요합니다. 

첫째, 프롬프트를 통해 주민등록번호, 여권번호, 운전면허번호 등 개인식별번호, 신용카드번호, 비밀번호, 민감정보(생체정보, 성적지향 등)와 같은 개인정보를 올리지 않아야 합니다. 한국의 개인정보보호법은 아래와 같은 정보를 민감정보로 규정하고 있습니다. 그런데 위치정보와 같이 개인정보보호법 상 민감정보로 규정되어 있지는 않지만, 개인정보 침해가 큰 정보들이 있을 수 있습니다. 다른 나라에서 민감정보로 규정하고 있는 항목은 한국과 다를 수 있습니다. 시민사회단체라면 민감정보로 간주될 수 있는 정보들을 폭넓게 보호하는 것이 바람직할 것입니다.

개인정보보호법 상 민감정보(제23조) : 사상ㆍ신념, 노동조합ㆍ정당의 가입ㆍ탈퇴, 정치적 견해, 건강, 성생활 등에 관한 정보, 유전정보, 범죄경력자료, 생체인식정보, 인종이나 민족에 관한 정보

둘째, 앞의 원칙은 고유식별정보나 민감정보에 대한 특별한 위험성을 강조한 것일 뿐, 일반적인 개인정보를 업로드하지 않는 것이 바람직합니다. 만일 개인정보의 분석이 필요할 경우에는 가명처리를 해야 합니다. 가명처리란 이름이나 개인식별번호와 같은 일부 개인정보를 삭제하거나 암호화된 문자열로 대체하는 방법으로 원본 데이터로 되돌릴 수 있는 추가적인 정보 없이는 개인을 식별하지 못하도록 만드는 것을 말합니다. 

셋째, 개인정보가 아니더라도 보안 등급에 따라 높은 수준의 보안이 필요한 데이터, 즉 유출되었을 경우 문제가 될 수 있는 기밀자료 역시 프롬프트를 통해 올리지 않도록 주의해야 합니다. 예를 들어, 피해자 인터뷰, 중요한 결정에 대한 비공개 회의록, 회계기록 등이 이에 해당할 것입니다. 보안등급을 어떻게 설정할 것인지, AI 업체를 얼마나 신뢰할 수 있는지, 단체의 위험 감내 수준 등에 대한 판단은 단체의 상황에 따라 달라질 것입니다. 

넷째, 생성형 AI 서비스의 이용약관, 개인정보 처리방침, 보안 정책을 확인하여, 데이터 보관 기간, 프롬프트로 입력된 데이터를 AI 학습에 사용하는지 여부, 개인정보보호법 등 관련 법 준수 여부, 암호화 등 보안정책, 요금제별 보안 수준의 차이 등을 파악할 필요가 있습니다. 일부 해외 생성형 AI 업체의 서비스의 경우 한국의 개인정보보호법에 대한 준수가 미흡할 수 있으며, 이 경우 국내 개인정보보호법 상 보호를 제공받지 못할 수 있습니다. 요금제에 따라 개인정보 보호 수준도 달라집니다. 많은 업체들이 무료로 서비스를 제공하는 경우 (심지어 유료로 사용하고 있더라도 개인 이용자인 경우) 프롬프트를 통해 이용자가 공유한 데이터를 AI 학습에 사용하고 있습니다. 일부 업체는 이용자가 옵트아웃할 수 있는 옵션을 제공하지만, 그렇지 않은 업체도 있습니다. 만일 AI 업체가 옵트아웃(즉, AI 학습 데이터로 사용하지 않는 선택지) 옵션을 제공할 경우 그것을 선택해야 합니다. 또는 보안을 위해서는 이용자가 업로드한 데이터를 AI 학습 목적으로 사용하지 않는 요금제를 선택할 수도 있습니다. 이 경우 단체에 경제적인 부담이 됩니다. 그리고 AI 서버에 저장된 데이터의 보안이 절대적으로 보장되는 것은 아닙니다. 

예를 들어 2025년 11월 현재 한국에서 제공되는 주요 생성형 AI 서비스는 다음과 같은 정책을 가지고 있습니다. OpenAI의 ChatGPT Free 나 개인 유료요금제인 ChatGPT Plus의 경우 이용자가 입력한 데이터를 기본적으로 학습 데이터로 사용합니다. 다만, 이용자가 설정을 변경하여 옵트아웃할 수 있도록 하고 있습니다. (‘설정 → 데이터 제어 → 모두를 위한 모델 개선’에서 ‘꺼짐’으로 설정)  반면, 기업용 요금제인 ChatGPT Team 이나 ChatGPT Enterprise, API (개발자용) 등은 기본 설정이 옵트아웃입니다. 즉, 이용자 데이터를 학습 목적으로 사용하지 않습니다. 

구글은 제미나이 독자적인 요금제가 아니라 다른 구글 서비스(구글 검색, 구글 Workspace, 구글 Cloud 등)와 통합되어 AI 서비스를 제공합니다. 챗지피티와 마찬가지로 무료 및 개인 유료 요금제의 경우에는 이용자가 업로드한 데이터를 기본적으로 AI 학습 목적으로 사용할 수 있도록 하고 있습니다. 구글 Workspace, 구글 Cloud 등 기업용 요금제의 경우 학습 데이터로 사용하지 않는다고 합니다. 구글 역시 ‘Gemini 앱 활동’ 기능을 끔으로써 모델 학습에 사용되지 않도록 할 수 있는데, 이 경우 대화 자체를 저장하지 않게 됩니다. 즉, 챗지피티의 경우에는 대화 기록 자체를 삭제하지 않고 학습 데이터로 사용하지 않도록 하는 옵션을 선택할 수 있는데, 제미나이의 경우 옵트아웃을 선택하면 대화 기록까지 삭제하게 됩니다. 

클로드(Claude) 서비스를 제공하는 앤트로픽(Anthropic)의 경우 2025년 10월 8일 정책을 변경하여 이용자가 가입할 때 자신의 데이터를 AI 학습과 개선 목적으로 사용할 수 있도록 할 것인지 선택하는 옵션을 제공하고 있으며, 이후에도 설정에서 변경할 수 있습니다. 앤트로픽 역시 기업 사용자의 데이터는 AI 학습에 사용하지 않는다고 합니다. 

이처럼 생성형 AI 서비스마다, 그리고 요금제마다 프라이버시 정책이 다릅니다. 또한 이 정책은 시간이 지나면서 자주 변경이 됩니다. 따라서 단체는 자신이 사용하고자 하는 AI 서비스의 정책에 대해 세심하게 검토할 필요가 있습니다. 

상용 생성형 AI 서비스를 이용하는 경우, AI 업체의 서버에 단체가 프롬프트를 통해 입력한 내역이나 업로드한 데이터가 저장된다는 점에서 보안상 취약점이 존재합니다. 이는 구글 클라우드와 같이 빅테크 업체의 클라우드 서비스를 이용하는 경우도 마찬가지입니다. 이러한 보안 위협을 피하고자 한다면 믿을 수 있는 단체/기업의 서비스를 사용하거나 자체 서버 공간에 데이터를 보관해야 합니다. 오픈소스 모델을 사용하여 독자적인 서비스를 구축하거나, 상용 생성형 AI 서비스를 이용하더라도 독자적인 시스템을 구축하는 방향으로 계약을 체결할 수 있습니다. 그러나 이를 위해서는 단체들이 이 시스템을 운영할 수 있는 기술력과 자금이 필요합니다. 안타깝지만 이를 감당할 수 있는 시민사회단체는 많지 않을 것입니다. 오픈소스 모델의 한국어 지원이 취약하다는 점도 한국 이용자에게는 하나의 장벽입니다. 

개인정보 및 보안이 되는 채팅을 하고자 할 경우 Duck.ai가 하나의 대안이 될 수 있습니다. 개인정보를 보호하는 검색엔진을 표방하는 덕덕고(DuckDuckGo)는 이용자의 개인정보를 익명처리하여 앤트로픽(Anthropic)의 클로드(Clause), 메타의 라마(Llama), OpenAI의 GPT-4/5 등의 모델과 대화를 나눌 수 있는 AI 서비스인 Duck.ai를 제공합니다. Duck.ai는 사용자의 사용방식을 추적하거나 대화 내용을 저장하지 않으며 (대화 내용은 원격 서버가 아닌 기기에 저장된다고 합니다), 데이터를 AI 학습에 사용하지 않는다고 합니다. IP주소와 같은 개인정보가 포함된 모든 메타데이터는 앤트로픽이나 OpenAI와 같은 모델 제공자에게 메시지를 보내기 전에 완전히 삭제됩니다. 즉, 앤트로픽이나 OpenAI는 누가 메시지를 보냈는지 알 수 없다는 것입니다. 그러나 Duck.ai를 사용하더라도 프롬프트에 포함된 개인정보나 기밀정보까지 보호되는 것은 아닙니다. 이 프롬프트의 정보는 Duck.ai를 통해 AI 업체로 전송됩니다. 다만, Duck.ai에 따르면, AI 업체에 전송된 데이터도 응답을 제공하는 데 더 이상 필요하지 않을 때(최대 30일 이내, 안전 및 법률 준수를 위한 몇 가지 예외 사항 포함) 수신한 모든 정보를 삭제한다는 내용의 계약을 체결했다고 합니다. 아직 한국에서 사용하기에는 다른 상용 생성형 AI에 비해서 기능상의 제약이 있기는 하지만, 상대적으로 좋은 보안을 제공하고 있기 때문에 용도에 따라서는 이 서비스의 사용을 고려할만 합니다. 

다섯째, 생성형 AI를 통해 공유한 데이터의 보안이 우려된다면 기존에 공유한 데이터를 정기적으로 백업하고 삭제할 필요가 있습니다. 물론 삭제를 설정한다고해서 AI 업체의 서버에서 바로 삭제되는 것은 아니고, 일정기간 동안(예를 들어, 30일 정도) 남아있을 수 있습니다. 그럼에도 삭제를 하는 것이 데이터 보안 위협을 줄일 수 있습니다. 다만, 생성형 AI는 답변을 생성하는데 기존 대화내용을 참조할 수 있기 때문에, 이를 삭제할 경우 활용성을 제약할 수 있다는 점은 고려해야 합니다. 삭제 시점 및 책임자를 문서로 남겨둔다면 장기적으로 관리하는데 도움이 될 것입니다. 

여섯째, 생성형 AI가 다른 애플리케이션이나 외부의 API와 연계될 경우, 생성형 AI가 필요 이상으로 자신의 데이터에 접근하거나 데이터를 외부 업체에 전송하지 않도록, 연결되는 애플리케이션이나 전송되는 데이터의 범위를 확인해야 합니다. 예를 들어, 챗지피티의 GPT 탐색 기능은 여행 계획을 위해 Expedia 서비스와, 이미지 작업을 위해 Canva 서비스와 연동되어 있습니다. 챗지피티 내에서 입력한 내용의 일부가 Expedia나 Canva와 같은 외부 업체에 전송되며, 여기에도 개인정보가 포함될 수 있습니다. 구글 제미나이는 지메일, 캘린더, 구글 독스 등 다른 구글 서비스와 연동될 수 있으며, 항공권이나 호텔 검색과 같이 외부 서비스를 이용하기도 합니다. 이때 내가 프롬프트로 입력하거나 업로드한 내용 중 어떤 부분이 외부 업체에 전송되는지 파악하기 쉽지 않습니다. 이들 AI 앱들이 스마트폰에서 작동할 경우 연락처, 위치, 사진 등 스마트폰에 저장된 내용이나 기능에 접근할 수 있습니다. 물론 각각의 허용 여부를 이용자가 통제할 수는 있지만, 수많은 설정을 제대로 파악하고 관리하는 것은 쉬운 일이 아닐 것입니다. 

AI가 ‘생성형’에서 더 나아가 내 업무를 대신하는 ‘에이전트’로서의 기능이 강화되면 개인정보 위협이 더욱 증가하게 될 것입니다. 내 스마트폰의 AI 에이전트와 항공사 사이트의 AI 에이전트가 데이터를 주고 받는 것과 같이, 여러 개의 에이전트가 데이터를 주고받게 될 경우 정보의 흐름을 파악하는 것이 지금보다 훨씬 힘들어질 것입니다. 비록 이용자가 지시하고 중간 중간 확인한다고 해도, 이용자가 지시한 작업의 수행을 위한 세부적인 단계는 에이전트가 알아서 수행하게 될 것이기 때문입니다. 이 과정에서 내 개인정보에 누가 접근하는지, 전송된 개인정보가 얼마나 오래동안 보관되는지 등을 파악하기 힘들고, 제대로 관리되지 않거나 의도적인 남용에 노출될 수 있습니다. 수많은 전송 과정에서 보안이 침해될 위험성이 증가하고, 자신의 계정을 에이전트가 대리 사용하게 되어 정보주체가 인지하지 못하는 사이에 계정이 조작될 위험성도 증가합니다. 이에 따라 정책적으로는 필요한 최소한의 정보만 전송되도록 한다던가, 사용 목적이 다할 경우 폐기하도록 하는 등 개인정보 보호원칙의 준수가 더욱 중요해집니다. 또한 개인정보처리자인 AI 업체들이 정보주체에게 개인정보의 접근, 활용에 대해 보다 쉽게 설명해야 할 의무도 강화될 필요가 있습니다. 이는 시민사회단체가 정책 결정자에게 요구해야 할 사항이지만, 당장 서비스를 사용하는 이용자의 입장에서는 이러한 위험성에 대해 인지하고 자신의 보안 정책 및 사용 패턴에 반영할 필요가 있습니다. 

일곱째, 업무용 계정과 개인용 계정을 분리하는 것이 바람직합니다. 개인용 계정으로 업무를 했을 경우 향후 문제가 생겼을 경우 추적이 어려울 수 있습니다. 물론 이 경우 단체가 개인별로 계정을 제공해야 하기 때문에 단체의 비용 부담이 있을 수 있습니다. 

4) 저작권

생성형 AI 사용시 여러 측면에서 저작권 침해 위험이 있다. 사회적으로는 저작권자의 데이터를 허락없이 AI 학습 데이터로 사용할 수 있는지가 논란이 되고 있지만, 이는 이용자가 통제할 수 없는 부분이다. 다만, 학습에 사용된 개인정보나 저작물이 모델에 암기되어 결과물에 반영될 수 있기 때문에, 생성형 AI의 결과물이 학습에 사용된 저작물과 상당히 유사하게 생성될 경우, 이용자의 의도와 무관하게 저작권 침해 책임을 질 수 있다.  ① 생성형 AI의 결과물(특히, 이미지나 오디오)이 의도하지 않게 저작권을 침해할 수 있으므로 주의한다. 사용하기 전에 유사한 저작물이 있는지 검색(예 : 이미지 검색)해본다.  ② 생성형 AI 결과물을 재료로 사람이 직접 상당한 수정·편집을 거쳐 활용한다.

생성형 AI는 학습을 위해 공개된 데이터 또는 별도의 계약을 통해 입수한 데이터 등 다양한 데이터를 사용하는데, 여기에는 개인정보 뿐만 아니라 저작권이 있는 저작물도 포함될 수 있습니다. 저작물은 시·소설과 같은 어문 저작물, 음악, 사진이나 그림 등의 이미지, 영상 저작물 등 다양한 형식을 포함합니다. 저작권 보호기간이 지나 더이상 보호되지 않는 저작물도 존재합니다. 한국 저작권법에 따르면 저작재산권은 저작자 사후 70년, 업무상 저작물은 공표 후 70년간 보호됩니다. 그런데 AI 학습을 위한 저작물 이용을 둘러싼 AI 업체와 저작권자 사이의 갈등은 전 세계적으로 뜨거운 이슈이며, 여러 소송이 진행 중에 있습니다. AI 업체와 저작권자 사이에서 개별 계약이 체결되기도 하지만, 2025년 11월 현재 아직 명확하게 해결된 문제는 아닙니다. 이에 대해서 저작권을 보호해야 한다는 견해와 AI 학습 목적의 저작물 이용을 공정이용으로 허용해야 한다는 견해 등 다양한 의견이 존재하며, 이에 대한 상세한 논의는 본 가이드의 범위를 벗어납니다. 

그러나 생성형 AI를 사용하는 과정에서 이용자인 시민사회단체가 저작권 분쟁에 휘말릴 수 있기 때문에, 이에 대해서는 주의가 필요합니다. 즉, 개인정보와 마찬가지로 생성형 AI가 산출한 결과물, 특히 음악, 이미지, 영상이 AI가 학습한 타인의 저작물을 포함하여 상당히 유사해보일 수 있고, 이에 대해 원 저작권자가 저작권 침해를 주장할 수 있습니다. 이 경우 생성형 AI 업체의 책임과 별개로, 생성형 AI를 이용해 해당 결과물을 생성한 이용자 역시 저작권 침해 책임을 질 수 있습니다. 비록 이용자가 저작권이 있는 저작물과 유사하다는 것을 알지 못했거나 저작권 침해 의도가 없었더라도 말입니다. 따라서 단체에 대한 신뢰 훼손과 법적 분쟁을 예방하기 위하여, 생성형 AI를 사용하는 이용자는 자신도 모르게 타인의 저작권을 침해하지 않도록 주의를 기울여야 합니다. 특히, 결과물을 단체 사업 홍보 등 공개적으로 사용할 경우에는 사전 점검이 필수적입니다. 

이를 위해 생성형 AI의 결과물과 유사한 저작물이 있는지 확인해야 합니다. 인터넷을 검색하거나 관련 저작권 데이터베이스를 통해 검색해볼 수 있습니다. 텍스트 역시 검색엔진으로 특정 문단을 검색하여 검증할 수 있으며, 이미지 역시 이미지 검색을 통해 확인할 수 있습니다. 

저작권 침해 위험을 줄이는 또 하나의 방법은 생성형 AI 결과물을 활용하되 이를 사람이 직접 수정, 가공, 편집하는 것입니다. 생성형 AI가 만든 결과물은 저작권이 없지만, 사람의 창작적 기여가 더해진 경우 저작권을 인정받을 수 있다는 장점도 있습니다. 

생성형 AI를 사용한 모든 내역을 기록하기는 어렵지만, 저작권 분쟁이 우려되는 경우 생성형 AI 사용과 관련한 내용, 예를 들어 사용한 AI 도구명, 생성일시, 프롬프트, 수정 여부, 담당자 등의 정보를 기록해두면 향후에 대응하는데 도움이 될 수 있습니다. 

5) 생성형 AI 활용의 투명성

생성형 AI를 사용하는 사실을 수용자들이 인지하지 못해 오해나 혼란을 야기할 우려가 있을 경우, 해당 결과물이 생성형 AI를 통해 만들어졌음을 표시한다. ① 생성형 AI를 활용한 분석, 또는 생성형 AI로 제작한 음악, 이미지, 영상 등 생성형 AI가 결과물 생성에 핵심적으로 기여한 경우, 해당 저작물이 생성형 AI에 의해 만들어졌다는 사실을 표시한다.   ② 딥페이크와 같이 생성형 AI를 이용해 현실과 혼동될 수 있는 결과물을 생성한 경우, 그 사실을 저작물에 표시한다. 다만, 예술적·창작적 저작물의 경우, 감상을 저해하지 않는 방식으로 표시할 수 있다.  ③ 챗봇, 동시통역 도구 등 외부 사람과 직접적으로 상호작용하는 생성형 AI의 경우, 사람들이 자신과 상호작용하고 있는 대상이 AI라는 점을 명확하게 인지할 수 있도록 알린다.  ④ 홈페이지 등을 통해 본 단체의 생성형 AI 정책을 공개한다

앞서 원칙 부분에서 설명했듯이, 생성형 AI 활용 과정에서도 책임성과 투명성 원칙은 매우  중요합니다. 그러나 생성형 AI를 조금이라도 활용한 모든 결과물에 일일이 그 사실을 표시하는 것은 현실성이 없고, 수용자에게도 큰 의미가 없습니다. 물론 이는 생성형 AI의 결과물이 단체의 책임 하에 엄격하게 검토되었다는 것을 전제로 합니다. 만일 생성형 AI로 보고서를 만든 후에 사실 확인이나 편향 여부를 전혀 검토하지 않은 채 외부에 공개했을 경우,  해당 보고서는 사실 관계가 틀렸거나 편향된 내용을 포함할 수 있습니다. 그럼에도 생성형 AI 사실 사실까지 표시하지 않는다면, 수용자는 보고서의 모든 내용을 사실로 받아들일 수 있고, 향후에 잘못된 내용이 드러날 경우 단체의 신뢰성을 심각하게 저해할 수 있습니다. 반대로 잘못된 내용이 드러나지 않으면 오히려 허위나 편향적인 정보가 더 확산될 것이고, 단체 그 책임에서 자유로울 수 없습니다. 따라서 단체는 책임성을 갖고 정보의 정확성과 편향 가능성을 확인하기 위해 최대한 노력해야 하며, 이를 보장하기 힘들 경우 최소한 해당 결과물이 생성형 AI를 활용해 작성되었고 일부 내용에 오류가 있을 수 있다는 점에 대해 수용자에게 알리는 것이 바람직합니다.

이러한 고지는 단체에서 내용에 대한 검토를 일정하게 수행한 경우에도 적용될 수 있습니다. 예를 들어, 생성형 AI를 활용해 데이터를 분석한 경우 사람이 모든 오류 가능성을 찾아내기 어렵습니다. 예술적, 창작적 결과물인 경우 아무런 표시가 없다면 인간이 만든 작품으로 오해될 수 있습니다. 아직 생성형 AI의 결과물이라는 것이 어느 정도 눈에 띄는 경우가 많지만, 기술이 고도화될수록 그 경계는 희미해질 것입니다. 심지어 딥페이크와 같이 현실과 혼동할 수 있도록 의도적으로 조작된 이미지나 영상이라면 수용자의 혼란을 넘어 추가적인 문제를 야기할 수 있습니다. 

딥페이크 기술은 딥페이크 성폭력물처럼 불법적 용도뿐 아니라 합법적인 저작물의 제작에 활용될 수도 있습니다. 예를 들어, 시민사회단체에서 성소수자의 신원을 보호하기 위해서 다큐멘터리에서 활용하거나, 권력자를 비판하는 패러디물을 제작하는데 활용할 수도 있습니다. 이 경우 표시 의무가 작품의 감상을 방해한다면, 작품의 향유를 방해하지 않는 방식(예를 들어 크레딧에 표시)으로 표시할 수도 있습니다. 딥페이크에 그 사실을 표시하는 것은 EU AI Act 준수를 위한 요건이기도 하고 점점 더 많은 나라에서 유사한 규제를 도입할 가능성이 높습니다. 

6) AI가 환경에 미치는 영향에 대한 고려

생성형 AI의 확대에 따라 데이터센터 운영을 위한 전력사용량과 물 사용의 증가, AI를 위한 반도체 생산 등 자원사용량이 증가하고 있다. 이에 환경에 미치는 부정적 영향을 최소화할 수 있는 방식으로 AI를 활용한다.  ① 감사인사 등 불필요한 대화 또는 에너지를 많이 사용하는 이미지·음성·영상 처리 요청을 지양한다.  ② 동일한 자료를 재요청하는 경우가 많을 때는 생성된 결과물의 재활용, 단체 구성원간 결과물 공유 등을 통해 불필요한 반복 요청을 최소화한다. ③ 생성형 AI가 아니어도 처리가 가능한 업무는 적합한 다른 도구를 우선 활용한다. ④ 가능하다면 경량 AI 모델을 사용한다. ⑤ AI 운영을 위한 데이터센터의 환경영향평가, 전력사용량, 에너지효율 등의 정보공개, 친환경 재생에너지 사용 등 친환경 정책을 실천하는 기업의 제품을 사용한다.

앞서 설명했듯이, 생성형 AI의 개발 및 운영에는 막대한 연산 자원과 에너지가 필요합니다. 따라서 생성형 AI를 사용할 때 환경적 영향을 고려하는 것도 매우 중요한 인권적 실천입니다. 시민사회단체들은 AI의 개발 및 운영 과정에서 사용되는 에너지 데이터를 공개할 것, 친환경 에너지를 사용할 것, 무분별한 데이터센터 설립을 자제할 것 등 AI가 환경에 미치는 부정적 영향을 최소화하기 위해 다양한 요구를 제기해왔습니다. 하지만, AI 제공업체가 환경에 미치는 영향에 대해 ‘이용자 입장’에서 개입하는 것은 쉽지 않을 수 있습니다. 그럼에도 불구하고 우리가 실천 가능한 방법들을 계속 모색하는 것은 여전히 중요합니다. 

우선, 불필요한 생성형 AI 활용을 줄이는 노력이 필요합니다. 물론 어느 정도가 필요 최소한의 사용인지 명확한 것은 아니지만, AI 활용시 항상 환경적 영향을 염두에 두어야 하겠습니다. 예컨대 챗봇에 감사 인사를 하는 등 불필요한 대화를 하지 않도록 하고, 특히 텍스트보다 훨씬 많은 전력을 소비하는 이미지·음성·영상 생성은 꼭 필요한 경우가 아니라면 지양하는 것이 좋습니다. 한 단체 내에서 동일한 요구를 반복적으로 발생한다면, 기존에 생성한 결과물을 재활용하거나 구성원간 공유를 통해 불필요한 요청을 줄일 수 있습니다. 물론 저장된 자료의 최신성과 정확성을 검토하고, 단체 내 공유 과정에서 부서 간 부적절한 개인정보 공유가 발생하지 않도록 주의해야 합니다. 일반적인 검색 엔진을 이용하거나 데이터 분석을 위한 오프라인 도구를 이용하는 등 생성형 AI가 아니어도 처리가 가능한 업무는 적합한 다른 도구를 우선 활용할 필요가 있습니다. 

가능하다면 경량 AI 모델(예를 들어, ChatGPT 4o 대신 4o mini, Claude Opus 대신 Haiku)을 사용할 수 있습니다. 경량 모델은 대규모 모델보다 전력 소비와 연산 부하가 훨씬 적습니다. 단순 요약, 정리, 번역, 분류 등 굳이 초대형 모델이 필요하지 않은 경우가 많습니다. 환경 부담을 줄이기 위해 적절한 용도에 맞는 모델을 선택할 필요가 있습니다. 물론 어떤 모델이 적절한지 이용자가 판단하기 어려울 수 있으며, AI 업체들이 이를 자동적으로 판단할 수 있는 인터페이스를 개발하는 것이 효과적일 수 있습니다. 

또한,  AI 운영을 위한 데이터센터의 환경영향평가, 전력사용량, 에너지효율 등의 정보공개, 친환경 재생에너지 사용 등 친환경 정책을 실천하는 기업의 제품을 사용할 필요가 있습니다. 어떤 기업이 친환경 정책을 실천하고 있는지 판단하기 위해서는, 우선 기업들이 관련 데이터를 투명하게 공개할 필요가 있습니다. 기업의 환경정책이나 ESG 보고서 등 기업의 데이터를 참조할 수 있을 것입니다.

4. 정책의 수립과 집행

1) 생성형 AI 사용 승인 

① 단체의 사업 목적으로 생성형 AI를 사용하기 위해서는 [운영위원회]의 승인을 거쳐야 한다.  ② 특정 생성형 AI 사용을 승인하기 전에, 해당 AI 서비스의 성능, 적절한 요금제, 필요한 설정 등 사용 정책을 마련한다.  ③ AI 책임자는 본 단체에서 활용하는 생성형 AI의 목록을 관리하고, 변경시 구성원에게 공지한다.  ④ 생성형 AI로 인해 업무를 대체하거나 변경할 필요가 있을 경우, 단체의 구성원과 사전에 협의한다.

단체 구성원 개개인이 임의로 다양한 AI 서비스를 사용할 경우, 신뢰할 수 없는 AI 서비스를 사용하게 되거나 본 정책과 일치하지 않는 방식으로 이용할 위험이 있습니다. 이러한 위험을 단체 차원에서 체계적으로 통제하기 위해서는, 단체에서 사용할 AI 도구를 승인하고 관리하는 절차가 필요합니다. 

이를 위해 특정 AI 서비스를 사용하기 전에 해당 AI 서비스의 성능에 대해 자세히 파악할 필요가 있습니다. 요금제에 따라 달라지는 사항을 검토하고, 본 정책을 준수하기 위해 필요한 설정은 무엇인지, 사용하지 말아야 하는 기능은 무엇인지 등을 포함한 사용 정책을 마련해야 합니다. 운영위원회 등 적절한 단체 내 의사결정기구에서 특정 생성형 AI 사용 여부를 결정하고 단체 AI 책임자가 이 목록을 관리합니다. 이 목록에는 해당 AI 서비스 이름, 제공업체, 버전, 요금제, 사용정책, 승인일 등을 기록할 수 있습니다. 

생성형 AI가 내부 구성원이 수행하던 기존의 업무를 일정하게 대체하거나 변경할 가능성이 있는 경우, 당사자들과 사전에 협의해야 할 필요가 있습니다. 노동과 인권의 가치를 중요하게 생각하는 시민사회단체라면, 생성형 AI를 도입할 때도 이를 고려하는 방식으로 접근해야 합니다. 생성형 AI로 특정 업무를 수행하던 활동가의 노동을 일방적으로 대체하는 것이 아니라, 생성형 AI가 어떠한 변화를 가져올지, 그에 따라 사람의 역할을 어떻게 재설계할지, 그에 따른 부담이나 이익을 어떻게 분배할지에 대해 협의해야 합니다. AI를 활용해 업무를 효율화한다고 판단했지만, AI가 대체할 수 없는, 생각하지 못한 다른 문제가 있을 수도 있습니다. 단순 반복 업무를 AI를 통해 효율화하되 그에 따른 새로운 역할을 부여할 수도 있고, 사람과의 관계 형성 등 인간에게만 가능한 업무로 재구성할 수도 있습니다. 

2) 생성형 AI 활용이 허용되는 활용의 범위

AI 책임자는 본 단체에서 생성형 AI의 활용이 허용되는 사례, 허용되지 않는 사례, 또는 엄격한 검토가 필요한 활용 사례를 문서로 관리한다.

단체의 정책적 입장이 강하게 드러나는 업무, 개인정보 및 보안이 중요한 업무 등을 생성형 AI에 의존하는 것은 부담스러울 수 있습니다. 이러한 업무에 활용하는 것은 사전에 제한하거나 또는 엄격한 검토를 거치도록 할 필요가 있습니다. 이와 같이 허용, 제한, 엄격한 검토가 필요한 활용의 범위를 사전에 규정해두면, 단체 구성원이 일관된 원칙을 가지고 생성형 AI를 활용할 수 있을 것입니다. 물론 단체의 활동 방식이나 가치에 따라 어떤 업무에 생성형 AI를 사용할지 달라질 수 있습니다. 예를 들어, 어떤 단체는 단체의 메시지가 드러나는 성명서 작성을 생성형 AI에 의존하는 것은 옳지 않다고 판단할 수 있습니다. 반면 기존에 유사한 이슈에 대해 단체가 성명을 자주 발표해왔고 최종적인 검토를 사람이 한다면 생성형 AI의 도움을 받을 수 있다고 판단할 수도 있습니다. 

각 단체는 자유로운 형식으로 작성할 수 있지만, 예를 들어 다음과 같이 허용되는 활용, 엄격한 검토가 필요한 활용, 허용되지 않는 활용의 목록을 문서로 관리하여 단체 구성원이 공유하도록 합니다. 

아래의 내용은 이 가이드에서 권장하는 것이 아니며, 단순한 예시일 뿐입니다.  [허용되는 활용]  자료 번역  회의록 녹취 및 요약  자료 검색  아이디어 구상 [엄격한 검토가 필요한 활용]  연구 보고서 작성  캠페인 홍보물 작성  법률 자문 및 분석  [허용되지 않는 활용]  성명서 및 컬럼의 작성  이미지와 영상 제작  피해자 인터뷰 분석 회원 개인정보 분석

3) 교육 및 역량 강화

① 모든 구성원이 본 정책을 숙지하고, AI 관련 최신 동향에 대해 인지할 수 있도록 [1년에 1회 이상] 구성원에 대한 AI 교육을 시행한다. ② 업무상 필요한 도구의 사용법에 대한 교육의 일환으로, 생성형 AI의 사용법에 대한 교육을 시행한다.  ③ 단체 구성원의 역량 강화를 위해 필요할 경우, 업무 수행 과정에서 생성형 AI의 도움을 받는 것을 제한할 수 있다.

단체의 AI 정책이 실제로 작동하기 위해서는 단체 구성원이 이를 이해하고 이행해야 합니다. 본 정책을 수립하는 과정에서부터 구성원이 함께 토론할 필요가 있으며, 새로 합류하는 구성원을 고려하면 정기적인 교육이 필수적입니다. 이때 정책에 대한 이해와 변경 필요성에 대한 토론을 원활하게 하기 위해, AI 관련 최신 동향도 함께 교육을 하는 것이 도움이 될 것입니다. 할루시네이션, 편향 등 생성형 AI 결과물의 근본적인 문제를 이해하기 위해서는 AI의 기술적 특성에 대한 교육도 어느정도 필요할 수 있습니다. 단체 내외부에서 발생한 문제 사례(예를 들어, 편향적 결과를 도출한 사례)를 축적하고, 이를 공유하는 것도 문제를 체감하는데 도움이 될 것입니다. 본 가이드가 단체 내 교육에 좋은 참고 자료가 될 수 있기를 바랍니다. 

단체 차원에서 생성형 AI를 활용하기로 한다면, AI 활용 능력에 있어서 활동가 사이의 격차가 발생하는 것은 바람직하지 않을  것입니다. 이 때문에 생성형 AI의 사용법에 대한 교육이 필요할 수 있습니다. 생성형 AI를 특별하게 취급할 필요는 없고, 단체 내에서 업무상 필요한 도구의 사용법에 대한 통상적인 교육의 일환으로 시행하면 될 것입니다. 

때로는 단체 구성원이 특정한 생성형 AI를 사용하는 것을 일정기간 동안 정책적으로 제한할 수도 있습니다. 생성형 AI의 결과물의 편향이나 오류를 제대로 판단하고 검토하기 위해서는 그에 합당한 전문성과 경험이 필요합니다. 따라서 그런 역량을 갖추고 있지 못한 활동가에게 생성형 AI를 활용하도록 하는 것은 적절하지 않을 수 있습니다. 또한 단체에 따라 신입 활동가의 역량 강화를 위해 성명서를 직접 작성하거나 회의록을 정리하는 업무를 맡기기도 합니다. 이를 생성형 AI가 대신한다면 신입 활동가의 학습과 역량 강화에 아무런 도움이 되지 않을 것입니다. 따라서 단체 차원에서 생성형 AI의 활용 자체를 전면적으로 제한하지는 않더라도, 특정한 구성원을 대상으로 일정 기간 동안 업무에 생성형 AI를 사용하는 것을 제한하는 정책을 가질 수 있습니다. 

4) 외부 파트너와의 협력

다른 단체 또는 외부 사람들과 협업을 하거나, 기고를 받는 등 단체의 활동을 위해 협력할 때, 생성형 AI 활용 정책에 대해 외부 사람에게 사전에 고지하거나, 해당 정책에 대해 협의해야 한다.

시민사회단체는 다른 단체와 연대 활동을 하거나 외부의 필자, 프리랜서, 전문가 등과 협업하는 경우가 많습니다. 단체 내부의 생성형 AI 정책이 다른 단체 및 외부 파트너와 합의되지 않을 경우, 공동의 결과물이 단체의 정책에 위배되거나 단체의 신뢰에 피해를 입히는 상황이 발생할 수 있습니다. 예를 들어, 외부 필자가 생성형 AI로 작성한 원고에 정확하지 않은 내용들이 포함될 수 있습니다. 해당 결과물이 단체의 이름으로 공개된다면 단체 역시 그 책임을 피하기 어렵습니다. 따라서 사전에 단체의 생성형 AI 정책을 공유하고 동의를 받거나, 정책에 대한 이견이 있을 경우 협의하는 과정이 필요합니다. 원고나 디자인 등 특정한 업무나 결과물을 의뢰할 경우, 요청서나 협약서에 “본 단체의 AI 활용 정책을 준수할 것”이라는 문구를 포함할 수 있습니다.

5) 문제발생 시 조치 

① 생성형 AI와 관련되어 문제가 발생할 경우 즉시 ‘AI 책임자’에게 보고한다. 보고에는 다음과 같은 내용을 포함한다 : 발생 일시 / 사용 도구명 / 해당 결과물 / 문제가 된 부분 / 프롬프트 입력 내용 / 부정적 영향의 내용과 범위  ② AI 책임자는 즉시 사실을 확인하고, 필요할 경우 피해 확산을 방지하기 위한 긴급조치를 취한다.  ③ AI 책임자는 [운영위원회]를 소집하여 단체의 대응 방안을 수립한다. 이를 위해 문제의 원인, 영향의 범위, 단체의 책임 유무 및 범위, 관련 법제 및 법적 대응의 필요성 등을 검토한다.   ④ 필요할 경우 적절한 방식으로 해당 사안에 대해 외부에 공지한다. 공지에는 문제의 내용 및 원인, 영향을 받는 당사자, 단체의 대응 조치, 재발 방지 조치 등이 포함될 수 있다.  ⑤ 필요할 경우 적절한 방식으로 영향을 받는 당사자에게 사과문을 전달한다. 사과문에는 문제의 내용 및 원인, 단체의 대응 조치, 피해 구제 및 보상, 재발 방지 조치 등이 포함될 수 있다.  ⑥ 재발 방지 대책을 수립하고 필요하다면 본 정책에 반영한다  ⑦ AI 책임자는 본 사안에 관련된 모든 내용과 과정을 기록한다.

본 정책의 첫번째 원칙에서 밝힌 바와 같이, 생성형 AI의 결과물로 인한 모든 책임은 우리 단체에 있습니다. 문제가 발생할 경우 단체에 대한 신뢰가 훼손되고 피해자가 발생할 수 있는데, 이에 대해 적절하게 대응하지 못하면 단체에 대한 신뢰는 더욱 악화될 것입니다. 생성형 AI로 인한 문제가 발생할 경우의 대응 절차를 마련해놓지 않으면, 어떻게 대응해야할지 우왕좌왕하거나 임시방편적 대응을 할 위험이 있습니다. 

기본적으로 생성형 AI로 인해 발생한 문제에 대한 대응 절차는 다른 원인으로 발생한 문제에 대한 대응 절차와 크게 다르지 않습니다. 문제가 발생하면 책임자에게 보고하고, 즉시 사실 확인에 들어가야 합니다. 보안 문제와 같이 즉각적인 대응이 필요할 경우에는 원인에 대한 사실 확인이 늦어지더라도 피해 확산을 막기 위한 긴급조치를 취해야할 수 있습니다. 책임있게 문제를 해결할 수 있는 단위(예를 들어 운영위원회)에 보고하고 구체적인 대응 방안을 수립해야 합니다. 필요할 경우 해당 사안을 외부에 공지하고 사과를 해야할 수도 있습니다. 저작권 침해와 같은 특정한 피해자가 있을 경우 당사자에게 사과하고 적절한 보상을 제공해야 할 것입니다. 어느 정도 문제가 수습된 이후에는 재발을 방지하기 위해 정책에 반영해야 할 사항이 있는지 검토합니다. 그리고 이 모든 과정과 관련 자료를 기록으로 남겨야 합니다. 

이러한 기본적인 대응 절차를 바탕으로, 생성형 AI를 고려하여 세부적인 대응 절차를 마련해야 할 것입니다. 예를 들어, AI 책임자가 사고에 대한 기본적인 대응을 책임지도록 할 수 있을 것입니다. 그리고 사고 발생시 보고해야 할 내용에 발생 일시, 사용 도구명, 해당 결과물, 문제가 된 부분, 프롬프트 입력 내용, 부정적 영향의 내용과 범위 등을 포함하도록 할 수 있습니다. 

6) AI 책임자와 감독

① 본 단체의 책임있는 AI의 활용과 감독을 위해 ‘AI 책임자’를 둔다. 본 단체의 AI 책임자는 [       ] 이다. ② 생성형 AI의 결과물이 본 단체의 정책에 부합하지 않거나, 본 정책을 위반하는 사례가 있을 경우 AI 책임자에게 보고한다.  ③ 단체 구성원이 본 정책을 위반할 경우 내부 징계 절차에 따른다.

개인정보보호법에 따라 단체가 ‘개인정보보호책임자’를 두는 것과 마찬가지로, 인공지능 관련 정책의 수립과 집행, 감독을 책임지는 AI 책임자를 둘 수 있습니다. AI 책임자가 다른 직책을 겸임할지, 또는 AI를 담당하는 별도의 팀을 둘 것인지 등은 각 단체의 규모 및 AI를 사용하는 정도와 맥락에 따라 달라질 수 있습니다. AI 책임자는 단체의 AI 정책 수립 과정을 총괄하며, 문제가 생겼을 때 이에 대한 대응을 책임집니다. 따라서 생성형 AI의 결과물이 본 단체의 정책에 부합하지 않거나, 본 정책을 위반하는 사례가 있을 경우 AI 책임자에게 보고되어야 합니다. 단체 구성원이 본 정책을 위반하여 징계가 필요할 경우에는 단체의 내부 징계 절차에 따르면 되기 때문에, 본 정책안에서 별도로 다루지는 않았습니다. 

7) 정책의 변경

① AI 기술의 급속한 발전을 고려하여 본 정책은 AI 책임자가 필요하다고 판단할 경우, 또는 최소한 연 1회 재검토 및 업데이트 되어야 한다.  ② AI가 단체에 미치는 영향에 대해 정기적으로 평가한다.  ③ 본 정책에 대해 논의할 때 모든 구성원이 참여할 수 있도록 한다.

AI 기술의 급속한 발전과 다양한 서비스의 등장을 고려할 때, AI 정책은 자주 업데이트될 필요가 있습니다. 당분간은 최소한 연 1회 재검토하도록 하되, AI 책임자가 필요하다고 판단할 경우 언제든지 재검토되어야 합니다. 특히, 생성형 AI의 결과물로 인한 사고가 발생할 경우, 정책에 문제점이나 공백은 없었는지 검토할 필요가 있습니다. 이러한 재검토 과정이 없다면, 정책이 기술 변화에 뒤처져 실효성을 잃거나 단체의 활동에 과도한 부담을 줄 수 있습니다. 정책을 재검토할 때에는 본 정책이 단체에 미치는 영향, 즉 단체의 구성원과 활동에 어떠한 영향을 미치는 지도 평가되어야 합니다. 이 과정에서 구성원들이 제대로 준수할 수 없는 과도한 규정은 없는지도 점검할 필요가 있습니다. 처음 정책을 수립할 때부터 정책을 재검토하는 과정의 전 주기에 단체의 모든 구성원이 참여하여 함께 논의할 수 있도록 합시다. 그래야 정책의 문제의식에 대한 구성원 간 인식을 일치시킬 수 있고, 변경된 내용들이 공유되지 않아 발생할 수 있는 혼란을 예방할 수 있습니다.