문맥 (context)
이 글은 인공지능은 행위의 동기와 의도 그리고 목적을 스스로 생성하고 산출할 수 있는 자율적 행위자가 아니기 때문에 도덕적 기계가 될 수 없다고 주장한다. 예상 가능한 인공지능 행위자가 갖게 될 공학적 의미의 자율성은 인간 행위자의 도덕적 자율성과 근본적인 차이를 가지며, 그것은 단지 의사 자율성에 불과하다. 따라서 그것은 그냥 놀랍도록 편리하거나 위험한 기계일 뿐이다. 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성만이 진정한 의미의 도덕적 자율성이다. 반면에 인공지능 행위자는 기껏해야 형식적 자율성만을 가지며, 그러한 자율성은 한정된 목적에 제약되고, 그것만을 실행하도록 특화된 자동기계의 자동성에 다름 아니다. 아무리 복잡한 윤리적 문제의 해결을 위해 설계된 인공지능이라도 언제나 프로그램이 지시하는 일정한 그리고 한정된 행위만을 충실히 이행하는 기계인 한, 그것은 실제로는 도덕적 기계도 도덕적 행위자도 아니다. 도덕적 기계는 이론적으로도 실제적으로도 불가능하다. 만일 그런 존재가 있다면, 그것은 분명 인간종 이상의 다른 새로운 가공할 위력을 지닌 인공종일 것이다. 현재 가능한 인공지능 행위자를 둘러싸고 벌어지는 대부분의 전망들은 그릇된 상상의 산물이다. 도덕적 기계의 불가능성과 함께 윤리적 관점에서 의사 자율적 행위자에 불과한 인공지능 로봇은 모든 면에서 위험성을 완전히 제거하도록 철저하게 기획되고 통제된 기계이지 않으면 안 된다. AIA가 도덕적 기계가 될 수 있는 가능성은 전혀 없다. 그러한 가능성을 허용하는 유사 추론들은 논리적 상상일 뿐이다. AIA는 사전에 특정 조건을 설정해 두었을 경우에만 그에 부합하는 의미에서 도덕적 행위를 할 수 있을 뿐이며, 그 경우에만 좋은 사람과 동일한 의미의 ‘도덕적 기계’ 혹은 AMA일 수 있다. 그러나 AIA는 그러한 조건 자체를 스스로 생성하고 설정할 수 있는 도덕적 관점을 가질 수 없기 때문에 결코 좋은 사람과 같은 존재가 될 수 없다. 도덕적 기계의 가능성은 AI로봇이 자동성이 아닌 자율성을 갖는 존재일 경우에만 성립한다. 공학적 인공지능 로봇이 갖는 의사 자율성 혹은 유사 자율성은 도덕적 자율성이 아니다. 자기생성적, 자기정립적, 자기선택적인 실질적 자율성만이 진정한 의미의 자율성이며, AIA는 기껏해야 형식적 자율성만을 가지며, 그러한 자율성은 자동기계의 자동성에 다름 아니다. 마찬가지로 개념적으로 언제나 좋은 도덕적 행위자이기만 한 AIA는 한 가지 특정한 방식의 행위만을 하도록 설계된 좋은 기계에 불과하다. 그것은 놀랍도록 편리하거나 똑똑하거나 위험한 기계일 뿐이다. 인공지능을 도덕적 기계가 될 수 있거나 도덕적 행위자로 간주하거나 그에 따른 도덕적 행위의 가능성을 다루는 많은 논의들은 대부분 언어적 속임수이거나 실제로는 과대 포장된 수사에 불과하다. 그러한 논의들은 기본적으로 도덕성, 혹은 도덕적 속성을 오해하거나, 아니면 도덕성 자체를 상품 설명서의 사용지침과 같은 것으로 오인한 것이다. 그것은 마치 상품의 무분별 사용을 방지하거나 올바른 사용을 위한 매뉴얼을 윤리적 원칙과 같은 것으로 간주하는 것과 같다. 또한 AI로봇을 자율주행 자동차의 경우처럼 자율적 행위자로 호칭하는 것은 마치 인간과 유사한 행위자인양 부름으로써 인공지능 기계에 보다 많은 상품가치를 매기려는 과대광고일 뿐이다. 인간지능이나 초지능 AI로봇의 등장 보다 우려되는 것은 AI로봇이 갖게 될 예상되는 놀라운 능력 정확하게 말하면, 그것은 무기다 은 어떤 경우에도 자동기계인 이상, 결코 도덕적 행위자가 아니기 때문에 그로부터 빚어지는 위험을 예측하고 통제하려는 노력이 더 중요하다는 점이다. 도덕적 존재인 인간이 윤리적 행위와 마찬가지로 비윤리적 행위도 할 수 있듯이 진정한 의미에서 자율적인 도덕적 기계가 가능하다면, 그것은 곧 비윤리적인 행위도 할 수 있는 위험한 존재가 될 것이다. 그러나 살펴본 바와 같이 이런 인공존재의 출현은 불가능하다. 하지만 인간의 지시에 따르도록 프로그램 되거나 조작된 AIA는 가능할 것이기 때문에 사이보그처럼 인간-인공지능-기계의 결합체로서의 기계인간 혹은 초인공지능 로봇을 소유하거나 부리는 인간은 순수인간 이상의 존재가 될 수 있다. 게다가 모든 것을 컴퓨터 작동으로 통제할 수 있게 되고, 하나의 시스템으로 연결하고 연산하게 되는 인공지능 사회에서 그 위험은 가공할 것이 될 것이다. 이러한 가능한 위험을 예견하고 예방하는 것이 ‘기계윤리’ 또는 ‘인공지능 윤리’에 맡겨진 과제다.
지시문 (instruction)
주어진 원문을 읽고 필요한 정보를 파악하여, 원문에 근거해 질문에 답하라.
질문 (question)
본문에서 논의하는 인공지능 행위자(AIA)가 진정한 의미의 도덕적 자율성을 갖기 위해 반드시 갖추어야 할 조건은 무엇인가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation인공지능 행위자(AIA)가 도덕적 자율성을 갖기 위한 필수 조건을 묻는 질문이다.
-
2정보 추출
information_extractionAIA의 현재 상태(의사 자율성, 형식적 자율성)와 진정한 자율성의 차이를 설명하는 부분을 추출한다.
- 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성만이 진정한 의미의 도덕적 자율성이다.
- 자기생성적, 자기정립적, 자기선택적인 실질적 자율성만이 진정한 의미의 자율성이며
-
3근거 선택
evidence_selection진정한 도덕적 자율성의 정의를 담은 구절을 핵심 근거로 선택한다.
- 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성만이 진정한 의미의 도덕적 자율성이다.
-
4논리 통합
logical_integrationAIA가 가진 형식적 자율성과 대비되는 실질적 자율성의 속성을 통합한다.
- 자기생성적, 자기정립적, 자기선택적인 실질적 자율성만이 진정한 의미의 자율성이며
-
5결론 도출
conclusion_formulation동기, 의도, 목적을 스스로 생성하고 변경할 수 있는 능력이 핵심임을 도출한다.
- 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성
-
6답변 생성
answer_generation추출된 속성들을 정리하여 답변을 작성한다.
- 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성
최종 답변 (final_answer)
인공지능 행위자가 진정한 의미의 도덕적 자율성을 갖기 위해서는 동기와 의도 그리고 목적을 스스로 생성, 산출 및 변경할 수 있는 자기생성적, 자기정립적, 자기선택적인 실질적 자율성을 갖추어야 한다.
핵심 해석 (core_interpretation)
인공지능 행위자가 진정한 의미의 도덕적 자율성을 가지려면 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능해야 한다.