사용자 인터페이스 상에서의 사용자 액션을 설명하는텍스트를 자동으로 생성하는 시스템, 방법 및 그 컴퓨터실행가능 명령어를 포함하는 컴퓨터 판독가능 매체 document_id A220623044116

컴퓨터와의 자연어/스피치 기반 상호작용을 가능하게 하기 위한 소정의 시도가 있어 왔다. 이러한 시도의 결과는 지금까지 한계가 있었다. 이는 기술의 불완전성, 비침해적(non-intrusive) 마이크로폰 기반구조의 부족, 고가의 작성 비용, 보호된 고객 거동 및 수많은 태스크에 높은 가치를 제공하는 그래픽 사용자 인터페이스(GUI) 형태의 경쟁자의 조합 때문이다. 본 발명은 GUI와의 보다 밀접한 통합 및 작성 비용 감축에 초점을 맞추고 있다. 그래픽 사용자 인터페이스(GUI)는 광범위하게 사용되는 인터페이스 메커니즘이다. GUI는 포지셔닝 태스크(예를 들어, 사각형의 크기 조정하기), 시각적 수정자 태스크(예를 들어, 대상을 흐릿한 푸른 음영이 지게 하기) 또는 선택 태스크(예를 들어, 이는 일백 개의 그림 중 내가 회전시키고 싶은 것임)에 매우 좋다. GUI는 또한 빠른 단일 단계 특징(feature)에 빠르게 액세스하기에도 좋다. 애플리케이션 GUI는 태스크 지향적 관점(예를 들어, "내 컴퓨터를 해커로부터 안전하게 하기" 등의 사용자가 행하길 원하는 보다 높은 수준의 태스크에 의해 구성됨)보다는 기능적 관점(예를 들어, 메뉴, 툴바 등으로 구성됨)으로부터 구성된 유용한 툴박스(tool box)이다. 그러나, GUI는 마찬가지로 사용자에게 수많은 문제점도 안겨준다. 툴박스 어놀로지(toolbox analogy)를 사용하면, 사용자는 박스 내에서 툴을 찾거나 그 툴을 어떻게 사용하여 태스크를 완료할지를 알아내는데에 대한 어려움을 갖게 된다. 불명료한 계층구조로 강요된 단일 워드, 작은 버튼 및 탭들로 나타내진 인터페이스는 그들의 태스크에 대해 사람들이 생각하는 방식으로 사용되지 않는다. GUI는 태스크를 수행하기 위해 어느 구성요소가 필요한지를 판정하기 위해 사용자가 태스크를 분석하기를 요구한다. 이 요건은 복잡성을 초래한다. 복잡성 이외에, 그것은 GUI 구성요소(즉, 메뉴 클릭, 다이얼로그 클릭 등)를 조합하기 위한 시간도 요한다. 이는 전문적인 사용자에게도 비효율적이고 시간 소모적일 수 있다. GUI 문제를 처리하기 위한 하나의 기존 메커니즘은 기입된 도움말 절차(written help procedure)이다. 도움말 절차는 종종 도움말 문서, 제품 지원 서비스(PSS) 지식 기반(KB) 규약 및 뉴스그룹 포스트(newsgroup post)의 형태를 취하며, 그들은 고객 요구와 GUI 문제점 간의 격차를 채운다. 그들은 툴박스에 부수적으로 따라오는 안내서와 유사하며, 수많은 이점을 갖는다. 이러한 이점에는 예를 들어 다음이 포함된다: 1) 그들은 비전문적인 작성자들에게도 비교적 작성이 용이함; 2) 그들은 서버 상에 갱신하기 용이하기 때문에, 연결된 사용자는 새로운 콘텐츠에 용이하게 액세스할 수 있음; 및 3) 그들은 GUI를 교육시켜 사용자가 문제점 해결을 제어하게 함. 그러나, 도움말 문서, PSS KB 규약 및 뉴스그룹들은 그들의 문제점 세트를 갖는다. 이러한 문제점들에는 예를 들어 다음이 포함된다: 1) 복잡한 태스크는 사용자 측에서의 대량의 처리를 필요로 함. 사용자는 GUI에서의 각각의 단계에서 언급된 것으로부터 매핑할 필요가 있음. 2) 문제 해결사(Troubleshooter)(및 심지어 절차 도움말 문서)는 종종 도움말 토픽 내에 복잡한 가지 구조를 생성하는 상태 정보를 포함하여, 토픽을 사용자가 판독하고 처리하기에 길고 어렵게 만듦. 툴바는 사라질 수도 있고 다음 단계가 취해질 수 있기 전에 나타날 필요가 있을 수 있음. 문제 해결사는 종종 가장 최악으로 절망적일 때(문제 해결사가 스스로 해답을 찾아야하기 때문에) 및 최상으로 비전문가에 의해 응답이 불가능할 때의 상태에 대해 질문함. 3) 수백만 개의 문서가 존재하며, 해결방안을 찾는 것은 어디서부터 검색을 시작해야할지에 대한 문제 및 그 후 반환된 수천 개의 검색 결과 중 최상의 검색 결과를 어떻게 찾아내야할지에 관련됨. 4) 공유된 작성 구조가 없음. 뉴스그룹 포스트, KB 규약, 문제 해결사 및 절차 도움말 문서 모두 상이한 구조 및 작성 전략을 갖지만, 그들은 모두 유사한 문제점들만 해결함. GUI 문제점을 해결하기 위한 또 다른 기존 메커니즘은 마법사(Wizard)이다. 마법사는 GUI 및 기입된 도움말 절차의 취약점을 해결하기 위해 만들어졌다. 현재는 수천 개의 마법사가 존재하며, 이러한 마법사들은 제조되는 거의 모든 소프트웨어 제품에서 발견될 수 있다. 이는 마법사가 기존 텍스트 기반 도움말 및 지원에 의해 현재 해결되지 않는 실제 필요한 부분을 해결하기 때문이다. 마법사는 사용자가 태스크 지향 방식으로 기능에 액세스하게 하며, GUI 또는 툴을 자동으로 조합시킬 수 있다. 마법사는 프로그램 관리자 및 개발자에게 고객 태스크를 처리하기 위한 수단을 허용한다. 마법사는 태스크 성공을 위해 필요한 단계를 거쳐 사용자를 안내하는 박스 내의 전문가와 같다. 몇몇의 마법사는 고객이 시스템을 설정하는 것을 도우며(예를 들어, 설정 마법사), 몇몇의 마법사는 특징을 포함하는 콘텐츠를 포함하고 고객이 콘텐츠를 생성하는 것을 도우며(예를 들어, 뉴스레터 마법사 또는 파워포인트의 AutoContent 마법사), 그리고 몇몇의 마법사는 고객이 문제점을 진단하고 해결하는 것을 돕는다(예를 들어, 문제 해결사). 마법사는 사용자에게 수많은 이점을 제공한다. 마법사 이점 중 몇몇은 다음과 같다: 1) 마법사는 "태스크"의 개념을 구체화할 수 있음. 통상 마법사가 사용자를 도와 무엇을 완료하려고 하는지가 명확해짐. 단계적 페이지에서, 사용자는 쉽게 선택을 행할 수 있고, 잘 설계된 마법사의 경우에서는, 종종 사용자가 시각적으로 압도당하는 경우가 감소됨. 2) 마법사는 소프트웨어의 기본 특징을 자동으로 조합시키고 그들과 상호작용할 수 있어, 고객이 선택을 하는데 필요한 정보 또는 전문지식을 포함함. 이는 사용자가 태스크를 실행시키는 데 소요되는 시간을 절약시킴. 3) 마법사는 콘텐츠를 자동으로 생성할 수 있으며, 텍스트를 생성하고 레이아웃을 계획함으로써 사용자 시간을 절약시킴. 4) 마법사는 또한 질문을 하고, 응답을 획득하고 가장 관련성이 있는 다음 질문 또는 특징으로 분기하기에 좋은 수단임. 그러나, 마법사는 또한 그들의 문제점 세트를 갖는다. 몇몇의 이러한 문제점은, 사람들이 완료하고자하는 태스크들이 그 태스크들을 수행하기 위한 마법사들 보다 많다는 것을 포함한다. 마법사 및 귀납적 사용자 인터페이스(Inductive User Interface, IUI)는 사용자에게 기본 GUI를 어떻게 사용해야하는지를 교시하지 않으며, 종종 마법사가 완료됐을 때, 사용자는 다음에 어디로 가야할지를 확신하지 못하게 된다. 마법사를 작성하는 비용은 여전히 높기 때문에, 마법사를 작성하기 위한 기술적 전문기술을 가진 인재(예를 들어, 소프트웨어 개발자)가 필요하다.