トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 音声操作装置及び該音声操作装置の音声命令判定方法
【発明者】 【氏名】松尾 洋

【要約】 【課題】消費電力を抑えながらも、ユーザが無駄な時間を費やさずに、音声命令(ボイスコマンド)の入力を可能とする音声操作装置を提供する。

【解決手段】音声入力部15から入力された音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位毎に、常時、録音記録領域24aに繰り返し録音させる常時録音動作を行なわしめる録音・再生制御部23を有し、更に、録音・再生制御部23とは独立別個に動作できて、前記常時録音動作と併行して動作している、録音記録領域24aに直前に録音された音声情報の録音内容の中に、あらかじめ音声命令登録エリア22aに登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なう音声命令照合部21g1と、該音声命令照合動作の開始指示を行なう照合動作指示部21cと、現在、音声情報が入力中であることを検出する音声入力検出部21bとを有している。
【特許請求の範囲】
【請求項1】 各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位毎に、常時、録音記録領域に繰り返し録音させる常時録音動作を行なわしめる自律動作可能な録音制御手段を有し、更に、該録音制御手段とは独立別個に動作可能で、前記常時録音動作と併行して動作して、前記録音記録領域に繰り返し録音されている前記音声情報のうち、直前に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめる音声命令照合手段を有していることを特徴とする音声操作装置。
【請求項2】 請求項1に記載の音声操作装置において、前記音声命令照合動作の実行時点において前記音声入力手段からの音声情報が入力中であることを検出する音声入力検出手段を備え、前記音声命令照合手段の前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、前記音声入力検出手段が、前記音声命令照合動作の実行時点において音声情報が入力中の状態にあることを検出している場合には、該入力中の音声情報に基づいて、再度、前記音声命令照合手段が、前記音声命令照合動作を行なわしめることができることを特徴とする音声操作装置。
【請求項3】 請求項1または2に記載の音声操作装置において、前記音声命令照合動作の開始指示を行なう照合動作指示手段により、前記音声命令照合動作の開始指示がなされた際に、はじめて、前記音声命令照合手段の前記音声命令照合動作を開始させることを特徴とする音声操作装置。
【請求項4】 各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位で、録音記録領域に録音させる録音動作を行なわしめる録音制御手段と、前記録音記録領域に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめる音声命令照合手段と、前記音声命令照合動作の開始指示を行なう照合動作指示手段と、前記音声命令照合動作の実行時点において前記音声入力手段からの音声情報が入力中であることを検出する音声入力検出手段とを有し、前記照合動作指示手段が、前記音声命令照合手段の前記音声命令照合動作の開始を指示した際に、前記音声入力検出手段が、前記音声命令照合動作の実行時点において音声情報が入力中の状態にあることを検出している場合には、該入力中の音声情報に基づいて、前記音声命令照合手段が、前記音声命令照合動作を行なわしめることを特徴とする音声操作装置。
【請求項5】 請求項3または4に記載の音声操作装置において、前記照合動作指示手段が、あらかじめ定められた特定の音声情報が入力されたことを判別することにより、前記音声命令照合動作の開始を指示するものであることを特徴とする音声操作装置。
【請求項6】 請求項3または4に記載の音声操作装置において、前記照合動作指示手段が、あらかじめ定められた特定のキースイッチの操作、あるいは、キーボードやマウスの特定の操作を判別することにより、前記音声命令照合動作の開始を指示するものであることを特徴とする音声操作装置。
【請求項7】 請求項1乃至6のいずれかに記載の音声操作装置において、前記録音記録領域が、複数面の録音記録領域からなっており、前記録音制御手段が、あらかじめ定められた時間を超えない単位毎に、順次、前記複数面の録音記録領域に録音させることができ、かつ、前記音声命令照合手段が、前記複数面の録音記録領域のうち、最新の音声情報の録音内容が録音されている録音記録領域にある前記音声情報の録音内容から、順次、過去に遡って、前記音声命令照合動作を行わしめることができることを特徴とする音声操作装置。
【請求項8】 請求項1乃至7のいずれかに記載の音声操作装置において、音声命令の実行に必要な動作環境を設定させる起動処理動作を行なわしめる起動処理手段を有し、該起動処理手段の前記起動処理動作と、前記音声命令照合手段の前記音声命令照合動作とを、併行して動作させることができることを特徴とする音声操作装置。
【請求項9】 請求項1乃至7のいずれかに記載の音声操作装置において、音声命令の実行に必要な動作環境を設定させる起動処理動作を行なわしめる起動処理手段を有し、該起動処理手段の前記起動処理動作が、前記音声命令照合手段の前記音声命令照合動作がなされた後に、はじめて実行されることを特徴とする音声操作装置。
【請求項10】 請求項1乃至9のいずれかに記載の音声操作装置において、前記音声命令照合手段の前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、自動的に、次の音声命令の入力を促す音声命令待機状態に設定させることを特徴とする音声操作装置。
【請求項11】 各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置における音声命令判定方法において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位毎に、常時、録音記録領域に繰り返し録音させる常時録音動作を行なわしめ、更に、該常時録音動作と併行して動作して、前記録音記録領域に繰り返し録音されている前記音声情報のうち、直前に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめることを特徴とする音声命令判定方法。
【請求項12】 請求項11に記載の音声命令判定方法において、前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、前記音声命令照合動作の実行時点において音声情報が入力中であることを検出している場合には、該入力中の音声情報に基づいて、再度、前記音声命令照合動作を行なわしめることができることを特徴とする音声命令判定方法。
【請求項13】 請求項11または12に記載の音声命令判定方法において、特定の照合動作指示手段により、前記音声命令照合動作の開始の指示がなされた際に、はじめて、前記音声命令照合動作を開始させることを特徴とする音声命令判定方法。
【請求項14】 各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置における音声命令判定方法において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位で、録音記録領域に録音させる録音動作を行なわしめることができ、一方、前記録音記録領域に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作の開始の指示を行なう照合動作指示手段が、前記音声命令照合動作の開始を指示した時点で、前記音声入力手段から入力中となっている前記音声情報に基づいて、前記音声命令照合動作を行なわしめることを特徴とする音声命令判定方法。
【請求項15】 請求項13または14に記載の音声命令判定方法において、前記照合動作指示手段が、あらかじめ定められた特定の音声情報が入力されたことを判別することにより、前記音声命令照合動作の開始を指示するものであることを特徴とする音声命令判定方法。
【請求項16】 請求項13または14に記載の音声命令判定方法において、前記照合動作指示手段が、あらかじめ定められた特定のキースイッチの操作、あるいは、キーボードやマウスの特定の操作を判別することにより、前記音声命令照合動作の開始を指示するものであることを特徴とする音声命令判定方法。
【請求項17】 請求項11乃至16のいずれかに記載の音声命令判定方法において、前記録音記録領域が、複数面の録音記録領域からなっており、前記常時録音動作、あるいは、前記録音動作が、あらかじめ定められた時間を超えない単位毎に、順次、前記複数面の録音記録領域に録音させることができ、かつ、前記音声命令照合動作が、前記複数面の録音記録領域のうち、最新の音声情報の録音内容が録音されている録音記録領域にある前記音声情報の録音内容から、順次、過去に遡って、前記音声命令照合動作を行なわしめることができることを特徴とする音声命令判定方法。
【請求項18】 請求項11乃至17のいずれかに記載の音声命令判定方法において、音声命令の実行に必要な動作環境を設定させる起動処理動作と、前記音声命令照合動作とを、併行して動作させることができることを特徴とする音声命令判定方法。
【請求項19】 請求項11乃至17のいずれかに記載の音声命令判定方法において、音声命令の実行に必要な動作環境を設定させる起動処理動作が、前記音声命令照合動作がなされた後に、はじめて実行されることを特徴とする音声命令判定方法。
【請求項20】 請求項11乃至19のいずれかに記載の音声命令判定方法において、前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、自動的に、次の音声情報の入力を促す音声命令待機状態に設定させることを特徴とする音声命令判定方法。
【発明の詳細な説明】【0001】
【発明の属する技術分野】本発明は、音声により、各種の操作指示を行なう音声命令入力手段を備えた音声操作装置及び該音声操作装置における音声命令判定方法に関する。情報機器、通信機器、あるいは、家電製品など広い分野に適用され、特に、CPUの処理能力や電源容量が制限されやすい携帯機器においても、十分に適用が可能な音声操作装置及び該音声操作装置における音声命令判定方法に関する。
【0002】
【従来の技術】音声による命令入力手段を備えた音声操作装置においては、まず、該音声操作装置の状態を音声命令の入力・照合状態に設定させて、該入力・照合状態において、音声命令として入力された音声情報と、あらかじめ登録されている音声命令(ボイスコマンド)とを照合して、該照合結果に合わせて、登録されている音声命令(ボイスコマンド)に該当するコマンド処理を実行させるようになっている。
【0003】たとえば、特開平3−003539号公報「ボイスコマンド式自動車電話機」においては、音声命令を含む音声情報を入力し、登録されている音声命令(ボイスコマンド)と照合して、一致したときに、登録内容を表示するようにした音声命令(ボイスコマンド)式自動車電話機において、入力された音声情報に含まれる音声命令と登録されている音声命令(ボイスコマンド)とが一致していない場合に、登録された音声命令(ボイスコマンド)の中から可能性のあるものをすべて捜し出して表示させ、該表示された音声命令(ボイスコマンド)の中から、ユーザが選択した音声命令を実行させるようにした自動車電話機が開示されている。
【0004】また、特開平3−147018号公報「音声による操作装置」においては、特定のキーを押して、音声命令の待機モードに設定させる動作をさせることによって、音声命令として必要とする所定の音声情報以外を受け付けないようにした上で、該音声命令により、操作装置への入力指示種別を切り替えるようにした操作装置が開示されている。
【0005】また、特開平11−296190号公報「車載用情報処理装置及び自動車」においては、入力された音声情報により各種の操作を行わしめる音声操作装置を用いることによって、車載用の各種情報機器を容易に操作できると共に、各種携帯用機器とも容易に接続できるようにした車載用情報処理装置が開示されている。
【0006】ここで、かかる各開示例において実施されている従来の音声操作装置における音声命令(ボイスコマンド)の判定動作の基本的な流れについて、図11に示すフローチャートを用いて説明する。まず、音声操作装置を起動させると、音声命令の入力・照合動作の起動を指示するための特定の起動キースイッチSWが押されたか否かをチェックし、まだ、押されていない場合(S201のNO)、該起動キースイッチSWの押下待ち合わせ動作を繰り返し、押された場合は(S201のYES)、音声命令(ボイスコマンド)の実行に必要な動作環境を整えるための初期設定を行なう起動処理を実行させる(S202)。なお、該起動キースイッチSWは、当該音声操作装置本体の電源投入スイッチそのものである場合もある。かかる場合は、直ちに、ステップS202の動作に移行する。
【0007】次いで、音声命令の実行を要求されるのを待機する旨の待機画面、即ち、「コマンド実行待機中」を表示させ(S203)、待機中の状態に遷移する。ここで、ユーザが、目視により、音声操作装置が起動されていることを確認して、最初に、音声命令(ボイスコマンド)のメニューを表示させるために音声命令指示キーを押す(S204)。
【0008】音声命令指示キーが押されているかチェックして、押されていなければ(S205のNO)、ステップS203に戻り、再度、待機中の状態を表示して、ユーザからの音声命令指示キーの押下を待ち合わせる。一方、音声命令指示キーが押されていれば(S205のYES)、音声命令のメニューを表示すると共に、音声命令の入力を待ち合わせている旨を表示する「コマンド待機中」の表示を設定し(S206)、ユーザからの音声命令の入力を待つ。
【0009】一方、ユーザは音声命令の待機中状態に遷移していることを目視により確認した後(S207)、音声命令をマイクロフォン等を介して入力すると共に、音声命令の入力が終了したことを示すために、再度、音声命令指示キーを押す。音声操作装置は、音声命令を含む音声情報の入力がなされ、録音が完了するのを、音声命令指示キーの再度の押下があるまで待ち合わせている(S208)。
【0010】音声命令指示キーの再度の押下があることを検出すると(S209のYES)、音声命令を含む音声情報と、あらかじめ登録されている音声命令(ボイスコマンド)との照合動作を開始させ(S210)、「コマンド待機中」の表示を「コマンド照合中」の表示に変更して、表示させる(S211)。
【0011】録音されている音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S212)、「コマンド照合中」の表示を解除させた後(S213)。入力された音声命令(ボイスコマンド)に該当する動作を実行させる(S214)。
【0012】一方、録音されている音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合(S212のNO)、録音された音声情報には、該当する音声命令(ボイスコマンド)が含まれていなかった旨を示すアラートを表示させた後(S215)、先に設定していた「コマンド照合中」の表示を「コマンド待機中」の表示に変更させて、次の音声命令の入力を待ち合わせるために、ステップS206に戻る。
【0013】
【発明が解決しようとする課題】しかしながら、かかる従来の音声操作装置における音声命令(ボイスコマンド)の判定動作においては、音声操作装置の特定の起動キースイッチSWを押して(あるいは、音声操作装置本体の電源スイッチを投入して)、起動が完了するまでは、音声命令の入力を行なうことできない状態とされており、また、音声操作装置は、起動時において、ユーザがどんな操作を所望して起動させているかも認識できないため、ユーザが所望していない音声命令に関するコマンド処理動作も含めて、音声命令(ボイスコマンド)の実行が可能になるように、音声情報の入力・照合動作に先立って、すべての音声命令(ボイスコマンド)に関するコマンド処理の動作環境をあらかじめ整えておく必要があり、音声操作装置の起動に長時間を必要とする結果を招いている。
【0014】また、ユーザが、音声命令を入力する場合には、音声操作装置が、音声命令入力を可能とする状態に遷移したことを示す「コマンド待機中」の表示が出されるまで、目視で待ち合わせることが必要であり、該表示を目視確認するために、その間、現在実行中の作業を中止せざるを得ないのが一般的である。
【0015】また、前述したように、音声命令の入力の際に、まず、音声操作装置の状態を音声命令の入力・照合状態に設定させてから、音声命令を入力する必要があったが、かかる音声命令の入力・照合状態においては、ユーザに音声入力が可能であることをディスプレイ表示させたり、あるいは、入力された音声情報をデジタル変換して音声命令の照合動作させたりするなどの各種の処理を実行させるために、表示装置やCPU、メモリ等の情報処理装置の各回路部すべてが動作可能な状態とする必要があり、軽視できない程の大きな消費電力を必要としている。従って、音声操作装置を、電池などの電源容量が限られている携帯機器に適用せんとする場合においては、常時、音声命令の入力・照合状態に設定しておくことは、電池がすぐ切れてしまう結果を招き、実使用が困難となっている。
【0016】更に、音声による命令を実行するに先だって、入力された音声情報に含まれている音声命令と、あらかじめ登録されている音声命令(ボイスコマンド)との照合動作を、プログラムとして実行させ、所望の音声命令を探索し、実行すべき音声命令を決定せんとする場合には、該プログラムを実行するために、CPUに関する多くの処理量を必要とする。しかしながら、電池などの電源容量が限られている携帯機器にかかる音声操作装置を適用する場合においては、パフォーマンスの高いCPUを採用することができないという背景があるため、登録できる命令の数を極端に減らして、少ない命令によって特定の動作についてのみ実施させることとして、使い勝手を犠牲にしつつ、製品化されてきているのが実情である。しかしながら、昨今の携帯機器の機能高度化の要求に伴い、音声による命令の数が増加していく傾向が益々強まっており、登録された命令数が多くなるに比例して、入力された音声命令と、登録された音声命令(ボイスコマンド)との照合に長い時間が必要となることが避けられなくなってきている。
【0017】また、一方では、音声操作装置の高度化・高容量化が進むにつれて、音声操作装置の起動に必要とする時間も長くなる一途をたどっている。かかる音声操作装置においては、音声命令の入力を行なうことが可能な状態になるまでの起動時間に長時間を要するようになってきており、音声による命令入力手段を用いずに、むしろ、手作業で操作をした方が早いという事態さえ発生させてきている。極端な場合には、音声操作装置を起動している間に、ユーザ自身が、音声操作装置に対して何を命令するつもりで起動させているか忘れてしまうこともある程に起動時間が長くかかる事態にも至っている。
【0018】即ち、ユーザは、音声を媒体とする命令を使用する度に、音声操作装置の起動動作と、音声命令を含む音声情報の入力及び入力された音声情報に含まれる音声命令の照合動作などの各動作のために、無駄に長い時間を費やされることとなり、多大な無駄と苦痛を感じてしまっている状況になっている。
【0019】更には、AC電源などを使用して電源に余裕がある家電製品においてさえも、環境問題に対する意識が強くなってきている昨今では、未使用時の待機状態における電力の消費についても重視される傾向が強まってきているため、無駄に電力を消費する家電製品類は、販売しても、該家電製品類の購入を控える風潮になってきている。従って、前述の多大な消費電力を無駄に必要とするとの問題は、もはや、携帯機器だけの問題ではなく、一般の音声操作装置全体に共通する問題となってきている。
【0020】また、音声命令の入力・照合動作を迅速に行なわせんとして、単純に、音声情報を常時録音させておき、その中に含まれる音声命令を使用して操作用の命令として実行させようとする音声操作装置を構成するだけでは問題の解決にはならない。即ち、ポケットや腰のホルダなどに入れて持ち歩くことが多い携帯機器に音声操作装置を適用する場合においては、常時録音動作を行っているため、周辺雑音の影響を受けたり、あるいは、必要時に音声命令(ボイスコマンド)を入力したとしても、その時点では、電池の消耗量が大きくなってしまっていて、音声命令の録音レベルが小さすぎたりして、音声命令の抽出が正しくできずに、誤動作を引き起こす可能性も少なくないという問題もある。
【0021】加えて、扱い方を理解していない子供を抱えている家庭において使用されることが多い家電製品等では、子供の声に反応して誤動作してしまう危険も孕んでいるために、安全性の面から、常に、音声命令を受け付けているわけにはいかないという側面もある。
【0022】本発明は、かかる問題を解決するためになされたものであり、本発明にかかる音声操作装置及び該装置における音声命令判定方法として、消費電力を抑えながらも、ユーザが無駄な時間を費やさずに、音声命令の入力を可能とする音声命令入力・照合手段を提供する音声操作装置及び該音声操作装置に適用される音声命令判定方法を実現せんとするものであり、更には、ユーザが必要としていない時には、入力されてくる音声情報に全く反応しないようにせしめることにより、音声操作装置の誤動作を防止することが可能な安全性が高い音声操作装置及び音声命令判定方法を提供せんとすることにある。
【0023】
【課題を解決するための手段】本発明にかかる音声操作装置においては、あらかじめ定められた時間、たとえば、数十秒程度ずつの長さの音声情報を、繰り返して、常時録音させて、該音声情報の中に含まれている音声命令の抽出動作を直ちに実施させることができる音声命令照合待機状態を設けている。而して、常時録音された前記音声情報のうち、起動直前に録音された音声情報に含まれている音声命令に関して、あらかじめ登録済みの音声命令(ボイスコマンド)との照合動作を行なわしめることにより、従来の音声操作装置におけるがごとく、音声命令の入力が可能な状態になってから、はじめて音声命令の録音を開始するという時間的なロスをなくすことができる。而して、入力された音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を大幅に短縮させることができることを特徴としている。
【0024】また、同時に、常時、音声命令を含む音声情報を録音しながらも、ユーザが、あらかじめ定められた任意の手段を用いて、録音された音声情報に含まれている音声命令に関する照合動作の開始指示(即ち、認識指示)を行なうことができる照合動作指示手段も備えさせている。該照合動作指示手段により、録音されている前記音声情報に含まれている音声命令に関する照合動作の開始指示が出された際に、直ちに、既に、入力されて録音されている前記音声情報を用いて、あらかじめ登録済みの音声命令(ボイスコマンド)との照合動作を開始せしめることにより、音声命令の前記認識時間を大幅に短縮させることができる。
【0025】また、前記照合動作指示手段により、照合動作の開始指示が出るまでは、録音されている音声情報の照合動作をさせるまでもなく、すべて無効な音声入力として処分してしまうため、録音された音声情報に関する常時照合を必要としていた従来の音声操作装置よりも、消費電力を大幅に削減することができることも、本発明にかかる音声操作装置の特徴の一つである。
【0026】更に、前記照合動作指示手段により、照合動作の開始指示を行なわしめることにより、ユーザが、音声命令の実行を必要としていない時に発された音声命令を、確実に無効とすることが可能となり、音声操作装置の誤動作を防止することができるため、従来の音声操作装置よりも、安全性が高い音声操作装置を提供することができることも、本発明にかかる音声操作装置の特徴の一つを構成している。
【0027】以上の他にも、携帯時において、常時、音声情報を録音させることにしても、周辺雑音の影響を受けることが少ない音声命令照合動作の起動時、あるいは、起動直前において、入力された音声情報の録音も行なわしめることにより、指示された音声命令をより確実に実行させることができることも本発明にかかる音声操作装置の特徴となっている。即ち、本発明にかかる音声操作装置は、如何に示すがごとき具体的な解決手段を適用することによって構成されている。
【0028】第1の解決手段は、各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位毎に、常時、録音記録領域に繰り返し録音させる常時録音動作を行なわしめる自律動作可能な録音制御手段を有し、更に、該録音制御手段とは独立別個に動作可能で、前記常時録音動作と併行して動作して、前記録音記録領域に繰り返し録音されている前記音声情報のうち、直前に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめる音声命令照合手段を有している音声操作装置とするものである。
【0029】従って、前記常時録音動作を採用しているので、音声照合動作起動直前に録音されている音声情報に含まれている音声命令を用いて、音声命令の照合動作を行なわしめることが可能であり、照合動作の開始後に、改めて音声命令を含む音声情報の入力を行なう時間を不要とすることができ、音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を大幅に短縮させることが可能となる。
【0030】また、前記音声命令照合動作のごとき高機能な動作を行なう必要がある前記音声命令照合手段が、前記録音制御手段とは独立別個に動作可能な状態で存在させているので、高機能動作を必要とする前記音声命令照合手段等を、CPUを有する情報処理装置により実現させ、各種の情報を表示させるディスプレイ表示や、音声操作装置への指示を行なうキースイッチSW、キーボード/マウス等の操作結果に伴う各種の演算処理や、あるいは、他の装置との通信処理等と共に、前記音声命令照合動作を前記情報処理装置によって実行させることができる。即ち、当該音声操作装置に対する音声情報以外の各種の入力情報に関しては、前記情報処理装置により、前記録音制御手段で行なっている前記常時録音動作と併行させて、処理せしめることも可能となる。従って、たとえば、音声操作装置のキースイッチSWの押下やキーボード/マウスなどの手作業による各種の操作を行ないながら、同時に、音声命令を含む音声情報の入力も行なうことが可能となるので、自然な操作性を確保することもできる。
【0031】第2の解決手段は、第1の解決手段に記載の音声操作装置において、前記音声命令照合動作の実行時点において前記音声入力手段からの音声情報が入力中であることを検出する音声入力検出手段を備え、前記音声命令照合手段の前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、前記音声入力検出手段が、前記音声命令照合動作の実行時点において音声情報が入力中の状態にあることを検出している場合には、該入力中の音声情報に基づいて、再度、前記音声命令照合手段が、前記音声命令照合動作を行なわしめることができる音声操作装置とするものである。
【0032】従って、音声命令照合動作の起動直前に入力されて録音されている音声命令と、該起動中に入力されてきている音声命令とを、共に、該起動時の音声命令として認識するので、音声命令のより確実な実行を可能としている。
【0033】第3の解決手段は、第1または第2の解決手段に記載の音声操作装置において、前記音声命令照合動作の開始指示を行なう照合動作指示手段により、前記音声命令照合動作の開始指示がなされた際に、はじめて、前記音声命令照合手段の前記音声命令照合動作を開始させる音声操作装置とするものである。
【0034】従って、音声命令の照合動作の開始を指示する特定の照合動作開始手段による指示が入力されてくるまで、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声操作装置の音声照合動作に関わる各回路部は、スリープ状態(たとえば、動作周波数を低減させている状態や、電源の供給を停止させている状態にしたり、あるいは、ディスプレイを消灯させている状態)に設定させることができ、消費電力を削減できると共に、誤動作を防止させることが可能になる。
【0035】第4の解決手段は、各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位で、録音記録領域に録音させる録音動作を行なわしめる録音制御手段と、前記録音記録領域に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめる音声命令照合手段と、前記音声命令照合動作の開始指示を行なう照合動作指示手段と、前記音声命令照合動作の実行時点において前記音声入力手段からの音声情報が入力中であることを検出する音声入力検出手段とを有し、前記照合動作指示手段が、前記音声命令照合手段の前記音声命令照合動作の開始を指示した際に、前記音声入力検出手段が、前記音声命令照合動作の実行時点において音声情報が入力中の状態にあることを検出している場合には、該入力中の音声情報に基づいて、前記音声命令照合手段が、前記音声命令照合動作を行なわしめる音声操作装置とするものである。
【0036】従って、音声操作装置が周辺雑音の影響を受けることが少ない起動時に発声されている音声情報を用いて、音声命令照合動作を行なわしめるので、該音声情報に含まれている音声命令を正しく認識させる可能性を高めることができ、音声操作装置の起動時における音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を更に短縮させることができ、また、指示された音声命令を正しく認識できるので、音声命令の確実な実行を可能としている。更に、常時、音声情報の録音動作をさせる常時録音動作を行なわしめないので、消費電力を更に軽減させることもできる。
【0037】第5の解決手段は、第3または第4の解決手段に記載の音声操作装置において、前記照合動作指示手段が、あらかじめ定められた特定の音声情報が入力されたことを判別することにより、前記音声命令照合動作の開始を指示するものであることとする音声操作装置とするものである。
【0038】従って、音声命令の照合動作の開始を指示する特定の音声情報即ち照合動作起動用音声命令が入力されてくるまでは、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声操作装置の音声照合動作に関わる各回路部は、スリープ状態に設定させることができ、消費電力を大幅に削減させることができると共に、不要な音声情報による音声命令の照合動作も行なわしめないので、音声操作装置の誤動作を防止させることが可能になる。
【0039】第6の解決手段は、第3または第4の解決手段に記載の音声操作装置において、前記照合動作指示手段が、あらかじめ定められた特定のキースイッチの操作、あるいは、キーボードやマウスの特定の操作を判別することにより、前記音声命令照合動作の開始を指示するものであることとする音声操作装置とするものである。
【0040】従って、音声命令の照合動作の開始を指示する特定の操作(たとえば、特定のキースイッチSWの操作やキーボード/マウスの特定の操作などの音声情報以外の操作)があるまでは、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声命令照合動作に関わる各回路部は、スリープ状態に設定させることができ、消費電力を大幅に削減できると共に、不要な音声情報による音声命令の照合動作も行なわしめないので、音声操作装置の誤動作を防止させることが可能になる。
【0041】第7の解決手段は、第1乃至第6の解決手段のいずれかに記載の音声操作装置において、前記録音記録領域が、複数面の録音記録領域からなっており、前記録音制御手段が、あらかじめ定められた時間を超えない単位毎に、順次、前記複数面の録音記録領域に録音させることができ、かつ、前記音声命令照合手段が、前記複数面の録音記録領域のうち、最新の音声情報の録音内容が録音されている録音記録領域にある前記音声情報の録音内容から、順次、過去に遡って、前記音声命令照合動作を行わしめることができる音声操作装置とするものである。
【0042】従って、複数の音声情報の録音記録領域(即ち、デジタル化された音声情報を録音する録音データエリア)に録音されている過去の音声命令まで照合の対象としているので、直前に入力・録音(記録)されている音声情報の中に、登録されている音声命令(ボイスコマンド)に該当する音声情報がなかった場合に、過去に入力されていた音声情報に遡って、更に、音声命令の照合動作を繰り返すことが可能であり、音声情報の再入力を行なわなくても、必要とする音声命令を実行させることができる可能性が高く、音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を短縮させることができると共に、音声命令の確実な実行を可能とすることができる。
【0043】第8の解決手段は、第1乃至第7の解決手段のいずれかに記載の音声操作装置において、音声命令の実行に必要な動作環境を設定させる起動処理動作を行なわしめる起動処理手段を有し、該起動処理手段の前記起動処理動作と、前記音声命令照合手段の前記音声命令照合動作とを、併行して動作させることができる音声操作装置とするものである。
【0044】従って、音声操作装置が、マルチタスク実行環境を実現することができる高性能のCPUを有する情報処理装置によって構成されているような場合においては、該音声操作装置の起動時において、マルチタスクで、音声命令の照合動作と音声命令(ボイスコマンド)の実行環境の設定動作とを併行して実行させることにより、音声操作装置の起動時における音声命令の実行に至るまでの時間を更に短縮させることができる。
【0045】第9の解決手段は、第1乃至第7の解決手段のいずれかに記載の音声操作装置において、音声命令の実行に必要な動作環境を設定させる起動処理動作を行なわしめる起動処理手段を有し、該起動処理手段の前記起動処理動作が、前記音声命令照合手段の前記音声命令照合動作がなされた後に、はじめて実行される音声操作装置とするものである。
【0046】従って、入力された音声命令を、前記起動処理動作に先立って、事前に判定させることができるので、前記起動処理動作において、要求されていない音声命令即ち実行不要な音声命令に関するコマンド処理の動作環境を設定させる起動処理についてまで行なわしめる必要はなく、起動時における音声命令の実行時間を更に短縮させることができる。
【0047】第10の解決手段は、第1乃至第9の解決手段のいずれかに記載の音声操作装置において、前記音声命令照合手段の前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、自動的に、次の音声命令の入力を促す音声命令待機状態に設定させる音声操作装置とするものである。
【0048】従って、周辺雑音の影響を受ける可能性も若干残っている起動直前に入力された音声情報の録音時における雑音の混入の発生、あるいは、周辺雑音の影響を受けることが少ない起動時でも、起動時に入力されてくる音声情報に関する録音不良の発生等に伴って、音声命令の照合動作が正常に動作せず、音声命令として正しく認識できなかった場合であっても、音声命令を含む音声情報の再入力を促す音声命令待機状態に、即座に、自動的に移行させることにより、音声命令の認識時間の短縮が図れると共に、音声命令の実行の確実性を向上させ、ユーザが所望する操作を迅速に実現させることができる。
【0049】第11の解決手段は、各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置における音声命令判定方法において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位毎に、常時、録音記録領域に繰り返し録音させる常時録音動作を行なわしめ、更に、該常時録音動作と併行して動作して、前記録音記録領域に繰り返し録音されている前記音声情報のうち、直前に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作を行なわしめる音声命令判定方法とするものである。
【0050】従って、前記常時録音動作を採用しているので、音声命令照合動作の起動直前に録音されている音声情報に含まれている音声命令を用いて、音声命令の照合動作を行なわしめることが可能であり、照合動作の開始後に、改めて音声命令を含む音声情報の入力を行なう時間を不要とすることができ、音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を大幅に短縮させることが可能となる。
【0051】また、前記音声命令照合動作と、前記常時録音動作とを、同時に併行させて動作させることが可能となるので、たとえば、音声操作装置のキースイッチSWの押下やキーボード/マウスなどの手作業による各種の操作を行ないながら、同時に、音声命令を含む音声情報の入力も行なうことが可能となり、自然な操作性を確保することもできる。
【0052】第12の解決手段は、第11の解決手段に記載の音声命令判定方法において、前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、前記音声命令照合動作の実行時点において音声情報が入力中であることを検出している場合には、該入力中の音声情報に基づいて、再度、前記音声命令照合動作を行なわしめることができる音声命令判定方法とするものである。
【0053】従って、音声命令照合動作の起動直前に入力されて録音されている音声命令と、該起動中に入力されてきている音声命令とを、共に、該起動時の音声命令として認識するので、音声命令のより確実な実行を可能としている。
【0054】第13の解決手段は、第11または第12の解決手段に記載の音声命令判定方法において、特定の照合動作指示手段により、前記音声命令照合動作の開始の指示がなされた際に、はじめて、前記音声命令照合動作を開始させることとする音声命令判定方法とするものである。
【0055】従って、音声命令の照合動作の開始を指示する特定の照合動作開始手段による指示が入力されてくるまで、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声操作装置の音声照合動作に関わる各回路部は、スリープ状態に設定させることができ、消費電力を削減できると共に、誤動作を防止させることが可能になる。
【0056】第14の解決手段は、各種の操作指示を音声命令として入力することができる音声入力手段を有し、該音声入力手段から入力された前記音声命令に応じた操作を実行させることができる音声操作装置における音声命令判定方法において、前記音声入力手段から入力された前記音声命令を含む音声情報を、あらかじめ定められた時間を超えない単位で、録音記録領域に録音させる録音動作を行なわしめることができ、一方、前記録音記録領域に録音された前記音声情報の録音内容の中に、あらかじめ登録されている音声命令が含まれているか否かを照合させる音声命令照合動作の開始の指示を行なう照合動作指示手段が、前記音声命令照合動作の開始を指示した時点で、前記音声入力手段から入力中となっている前記音声情報に基づいて、前記音声命令照合動作を行なわしめる音声命令判定方法とするものである。
【0057】従って、音声操作装置が周辺雑音の影響を受けることが少ない起動時に発声されている音声情報を用いて、音声命令照合動作を行なわしめるので、該音声情報に含まれている音声命令を正しく認識させる可能性を高めることができ、音声操作装置の起動時における音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を更に短縮させることができ、また、指示された音声命令を正しく認識できるので、音声命令の確実な実行を可能としている。更に、常時、音声情報の録音動作をさせる常時録音動作を行なわしめないので、消費電力を更に軽減させることもできる。
【0058】第15の解決手段は、第13または第14の解決手段に記載の音声命令判定方法において、前記照合動作指示手段が、あらかじめ定められた特定の音声情報が入力されたことを判別することにより、前記音声命令照合動作の開始を指示するものであることとする音声命令判定方法とするものである。
【0059】従って、音声命令の照合動作の開始を指示する特定の音声情報即ち照合動作起動用音声命令が入力されてくるまでは、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声操作装置の音声照合動作に関わる各回路部は、スリープ状態に設定させることができ、消費電力を大幅に削減させることができると共に、不要な音声情報による音声命令の照合動作も行なわしめないので、音声操作装置の誤動作を防止させることが可能になる。
【0060】第16の解決手段は、第13または第14の解決手段に記載の音声命令判定方法において、前記照合動作指示手段が、あらかじめ定められた特定のキースイッチの操作、あるいは、キーボードやマウスの特定の操作を判別することにより、前記音声命令照合動作の開始を指示するものであることとする音声命令判定方法とするものである。
【0061】従って、音声命令の照合動作の開始を指示する特定の操作(たとえば、特定のキースイッチSWの操作やキーボード/マウスの特定の操作などの音声情報以外の操作)があるまでは、一切、入力された音声情報に含まれている音声命令の照合動作を開始させないので、音声命令照合動作に関わる各回路部は、スリープ状態に設定させることができ、消費電力を大幅に削減できると共に、不要な音声情報による音声命令の照合動作も行なわしめないので、音声操作装置の誤動作を防止させることが可能になる。
【0062】第17の解決手段は、第11乃至第16の解決手段のいずれかに記載の音声命令判定方法において、前記録音記録領域が、複数面の録音記録領域からなっており、前記常時録音動作、あるいは、前記録音動作が、あらかじめ定められた時間を超えない単位毎に、順次、前記複数面の録音記録領域に録音させることができ、かつ、前記音声命令照合動作が、前記複数面の録音記録領域のうち、最新の音声情報の録音内容が録音されている録音記録領域にある前記音声情報の録音内容から、順次、過去に遡って、前記音声命令照合動作を行なわしめることができることとする音声命令判定方法とするものである。
【0063】従って、複数の音声情報の録音記録領域(即ち、デジタル化された音声情報を録音する録音データエリア)に録音されている過去の音声命令まで照合の対象としているので、直前に入力・録音(記録)されている音声情報に登録されている音声命令(ボイスコマンド)に該当する音声情報がなかった場合に、過去に入力されていた音声情報に遡って、更に、音声命令の照合動作を繰り返すことが可能であり、音声情報の再入力を行なわなくても、必要とする音声命令を実行させることができる可能性が高く、音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を短縮させることができると共に、音声命令の確実な実行を可能とすることができる。
【0064】第18の解決手段は、第11乃至第17の解決手段のいずれかに記載の音声命令判定方法において、音声命令の実行に必要な動作環境を設定させる起動処理動作と、前記音声命令照合動作とを、併行して動作させることができることとする音声命令判定方法とするものである。
【0065】従って、音声操作装置が、マルチタスク実行環境を実現することができる高性能のCPUを有する情報処理装置によって構成されているような場合においては、該音声操作装置の起動時において、マルチタスクで、音声命令の照合動作と音声命令(ボイスコマンド)の実行環境の設定動作とを併行して実行させることにより、音声操作装置の起動時における音声命令の実行に至るまでの時間を更に短縮させることができる。
【0066】第19の解決手段は、第11乃至第17の解決手段のいずれかに記載の音声命令判定方法において、音声命令の実行に必要な動作環境を設定させる起動処理動作が、前記音声命令照合動作がなされた後に、はじめて実行されることとする音声命令判定方法とするものである。
【0067】従って、入力された音声命令を、前記起動処理動作に先立って、事前に判定させることができるので、前記起動処理動作において、要求されていない音声命令即ち実行不要な音声命令に関するコマンド処理の動作環境を設定させる起動処理まで行なわしめる必要がなく、起動時における音声命令の実行時間を更に短縮させることができる。
【0068】第20の解決手段は、第11乃至第19の解決手段のいずれかに記載の音声命令判定方法において、前記音声命令照合動作の結果、前記録音記録領域に録音されている前記音声情報の録音内容に、あらかじめ登録されている音声命令が含まれていないと判定された際に、自動的に、次の音声情報の入力を促す音声命令待機状態に設定させることとする音声命令判定方法とするものである。
【0069】従って、周辺雑音の影響を受ける可能性も若干残っている起動直前に入力された音声情報の録音時における雑音の混入の発生、あるいは、周辺雑音の影響を受けることが少ない起動時でも、起動時に入力されてくる音声情報に関する録音不良の発生等に伴って、音声命令の照合動作が正常に動作せず、音声命令として正しく認識できなかった場合であっても、音声命令を含む音声情報の再入力を促す音声命令待機状態に、即座に、自動的に移行させることにより、音声命令の認識時間の短縮が図れると共に、音声命令の実行の確実性を向上させ、ユーザが所望する操作を迅速に実現させることができる。
【0070】
【発明の実施の形態】以下に、本発明の実施の形態について、図を用いて、説明する。まず、図2は、本発明にかかる音声操作装置を携帯型情報機器10aや、電子レンジ10bに搭載した場合の実施形態の一例を示す概略斜視図である。また、図1は、本発明にかかる音声操作装置の構成の一例を示すブロック図である。図1と、図2とに示す各部位が同じ部位については、同一の符号を付している。また、図1に示すように、本発明にかかる音声操作装置10の制御系は、全体の制御を司るCPU(中央制御部)21と、メモリ部22とを有している。
【0071】図1において、マイクロフォン15によって電気信号に変換された音声情報は、CPU21と独立に存在して、自律動作をすることができる録音・再生制御部23によって、デジタル信号に変換されるようになっている。録音・再生制御部23は、デジタル化された音声情報を、CPU(中央制御部)21を使用することなく、直接、録音用メモリ部24にある録音記録領域24aに録音させることができる。従って、CPU21が起動されていない状態にあっても、録音・再生制御部23は、自律動作が可能であり、常時、マイクロフォン15から入力されてくる音声情報をデジタル信号に変換して録音記録領域24aに録音(記録)させることができる。
【0072】液晶表示部11は、音声操作装置内の動作状態や各種の案内情報をユーザへ表示させるものである。液晶表示部11は、コモン回路部26aおよびセグメント回路部26bにて、印加される電圧により、所定の表示が形成されるようになっており、コモン回路部26aおよびセグメント回路部26bは、CPU21内の表示制御部21eに接続された液晶駆動回路部25によって、それぞれ制御されている。
【0073】表示制御部21eにおいては、座標・指令変換部21dから出力される座標情報と指令とに基づいて、文字フォント情報エリア22cに格納されている各種のフォント情報を用いながら、液晶表示部11にて表示される画像データを作成して、液晶表示部25に出力している。液晶駆動回路部25は、液晶表示部11における表示ドット等をビットマップに基づいて、コモン回路部26aおよびセグメント回路部26bを制御するようになっている。
【0074】また、キースイッチSW12乃至14は、ユーザが音声操作装置に対して各種指示を入力するためのキースイッチである。ここに、13は、液晶表示部11に表示されている各種の案内用メニューの中からユーザが所望する項目を選択するための選択キースイッチSWであり、12は、選択キースイッチSW12で選択された項目を決定して、CPU21への入力信号を発生させるための入/決定キースイッチSWであり、14は、前記の選択の操作を取り消すための取消キースイッチSWである。該キースイッチSW12乃至14の操作結果は、メモリ22内のデータエリア22bに保存され、音声操作装置内部の各部に対する動作指令として、音声操作装置の各種の動作を起動させる信号に変換される。なお、起動キースイッチSW12aは、照合動作指示部21cの照合指示モードとして、音声命令の照合動作を開始させる旨の指示をCPU21へ通知するためのキースイッチである。
【0075】たとえば、録音記録領域24aの面数(1個のみ、あるいは、指定された複数の面数)を指定したり、音声命令登録エリア22aに登録されている音声命令を追加・変更・削除するなどの更新指示をしたり、プログラムエリア22dに格納されている音声操作装置の制御プログラムの内容の更新指示をしたり、音声命令の照合動作を開始させるための指示を行なうための照合動作指示部21cの動作モード(たとえば、起動キースイッチSW12aやキーボード/マウスの特定の操作を照合動作の開始の指示とするか、あるいは、指定された特定の音声情報を用いて照合動作の開始の指示とするかなど)を指定したり、更には、録音・再生制御部23の動作モードとして、常時録音動作を繰り返す常時録音動作モードとするか、あるいは、録音の開始指示に基づいて録音動作を開始する録音動作モードとするかを指示するなど、音声操作装置の各種の動作を起動させる。
【0076】また、CPU21内の音声命令変換部21aは、音声命令の照合処理動作全体を制御すると共に、入力されてくる音声情報の中にあらかじめ登録されている音声命令(ボイスコマンド)が含まれている場合には、該音声命令(ボイスコマンド)に該当する動作を行なわしめるために、該当するコマンド実行部を起動させるものである。また、音声命令変換部21aは、音声命令登録エリア22aに格納されている登録済み音声命令(ボイスコマンド)と照合・比較させるために、録音記録領域24aに録音された音声情報(デジタル音声データ)の中から、音声命令に相当する適切な音声情報を抽出して、バッファエリア22eを介して、比較部21gに渡したり、あるいは、音声入力部(マイクロフォン)15から入力されてくる新たな登録用の音声命令を音声命令登録エリア22aに登録させたり、逆に、既に登録済みの音声命令を音声命令登録エリア22aから取り出して、音声出力部(スピーカ)16から出力させる等の音声命令に関する各種の処理も行なう。
【0077】また、CPU21内の音声入力検出部21bは、録音・再生制御部23の動作状態をモニタするものであり、現在、音声入力部(マイクロフォン)15から、録音・再生制御部23に対して、音声情報が入力中であることを検出する機能を有している。たとえば、音声命令照合動作の実行時点において、音声入力部(マイクロフォン)15から音声情報が入力されているか否かを検出することもできる。
【0078】また、CPU21内の照合動作指示部21cは、キースイッチSW12乃至14からの指示を受け取り、音声命令の照合動作を開始させるための指示を行なう動作を指示するものである。たとえば、キースイッチやキーボード/マウスの特定の操作を該照合動作の開始の指示とするか、あるいは、指定された特定の音声情報を照合動作の開始の指示を行なう照合動作起動用音声命令として扱い、該照合動作起動用音声命令の入力がある場合に、音声命令照合動作の開始の指示とするかを選択し、いずれか選択された音声命令照合動作の開始指示がなされた際に、音声命令の照合動作を開始せしめる。
【0079】また、CPU21内の起動処理部21fは、入力された各種の音声命令の動作環境を整えるために、必要とする各種の制御プログラムを実行可能な状態に設定したり、バッファエリア22eの領域を確保して、初期値に戻したり、必要な情報を設定したりするなどの初期設定を実行するものである。
【0080】また、CPU21には、入力されてくる各種のデータとメモリ部22及び録音用メモリ部24に記録されている各種のデータとの比較処理を行う比較部21gや、前述のCPU21内の各処理部から要求された各種の演算処理等を行なう演算部21hも設けられている。比較部21gには、音声命令照合部21g1も設けられており、該音声命令照合部21g1においては、音声命令変換部21aからバッファエリア22eを介して引き渡された音声情報と、音声命令登録エリア22a内に格納されている登録音声命令(ボイスコマンド)との照合動作を行ない、入力された音声情報に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか否かを判定する。
【0081】なお、CPU21の演算部21hには、リアルタイムクロックRTC27が接続されており、該RTC27によるクロック信号に基づいて、現在時刻の計時、タイマカウンタ、アラーム等も実行されるようになっている。
【0082】メモリ部22は、各種の動作を行なう制御プログラムが記憶されているプログラムエリア22d、液晶表示部11にて表示される文字フォントが記憶されている文字フォント情報エリア22c、キースイッチSW12、13,14より入力されたデータを記憶するデータエリア22b、更には、変数などの一時的なデータを保持するためのワーク領域として使用されるバッファエリア22e及び音声命令(ボイスコマンド)としてあらかじめ登録された音声データを記憶する音声命令登録エリア22aを有している。
【0083】また、メモリ部22は、電源が供給されなくても、記憶内容を保持することができるフラッシュメモリ等の不揮発性メモリによって構成されており、必要に応じて、記憶内容を書き換えることができる。従って、登録済みの音声命令(ボイスコマンド)の更新や、文字フォント情報の更新のみならず、プログラムエリア22dに記憶された制御プログラムであってもバージョンアップ等を容易に行なうことができる。
【0084】以下に、図1に示す本発明にかかる音声操作装置の動作について、フローチャートを用いて説明する。
【0085】まず、請求項1,11に記載の発明による作用効果となる、入力された音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)の短縮と、音声命令を含む音声情報の自然な入力とを実現させている手順と、請求項3,6,13,16に記載の発明による作用効果となる、消費電力の軽減、誤動作の防止を実現させている手順と、更に、請求項9,19に記載の発明の作用効果となる、音声命令にかかるコマンドの実行に至るまでの時間の短縮を実現させている手順とを、図3乃至図5に示すフローチャートを用いて説明する。
【0086】ここに、図3は、本発明にかかる音声操作装置のCPU21上で動作する音声命令(ボイスコマンド)の判定動作における流れの一例を示すフローチャートである。また、図4,図5は、共に、本発明にかかる音声操作装置の録音・再生制御部23上で動作するものであり、図4は、マイクロフォン15から入力されてくる音声情報を常時録音させる常時録音動作の流れを説明するためのフローチャートであり、図5は、マイクロフォン15から入力されてくる音声情報の中から録音すべき音声情報を識別させる音声録音識別動作の流れを説明するためのフローチャートである。
【0087】まず、あらかじめ、キースイッチSW12乃至14を操作することにより、CPU21の座標・指令変換部21dにおいて、操作内容が指令として解釈されて、データエリア22bには、録音・再生制御部23の動作モードとして、入力される音声情報を、常時、録音記録領域24aに繰り返し録音させる常時録音動作を指示する情報が録音(記録)され、録音・再生制御部23に対しては、該常時録音動作が指示される。更に、キースイッチSW12乃至14を操作して、データエリア22bに、照合動作指示部21cの照合指示モードとして、起動キースイッチSW12aが押された時、音声命令の照合動作を開始させる旨の情報が記録され、以降のCPU21の動作は、該起動キースイッチSW12aの押下までは、一切、音声命令の照合動作が行なわれず、前記常時録音動作により、録音記録領域24aに録音(記録)されている音声情報は、繰り返し上書き録音動作が行なわれることにより、古い音声情報が次々に捨て去られていくのみで、何ら音声命令の照合動作には使用されないことになる。
【0088】なお、起動キースイッチSW12aを、録音・再生制御部23,録音用メモリ部24,音声入力部(マイクロフォン)15などの音声情報の録音動作に必要とする回路部以外(たとえば、CPU21、メモリ部22、液晶表示部11など)に電源を供給する電源投入用のキースイッチSWとすることも可能であり、かかる場合においては、前述のごとく、キースイッチSW12乃至14を操作することなく、照合動作指示部21cの前記照合指示モードの初期値は、該起動キースイッチSW12aの押下によるとの設定がなされることとしても良い。
【0089】次に、図3に示す手順に移り、まず、音声操作装置のCPU21上で動作する音声命令変換部21aからの指示により、録音・再生制御部23は、常時、音声情報の録音動作を繰り返す常時録音動作の動作モードで自律動作しており、あらかじめ定められた時間(たとえば、30秒)を超えない範囲で、録音記録領域24aに上書き録音を繰り返させる録音・再生制御部23の常時録音動作により、録音記録領域24aには、入力されてくる音声情報が逐次録音(記録)されている(S1)。常時録音動作の詳細については後述する。次に、CPU21内の音声命令変換部21aにおいて、照合動作指示部21cの照合指示モードとして指定されている、照合動作の開始を指示する起動キースイッチSW12aが押されたら(S2のYES)、音声命令の照合処理に移行し、そうでなければ(S2のNO)、ステップS1に戻り、録音・再生制御部23は、常時録音動作を繰り返す。
【0090】起動キースイッチSW12aが押されていた場合(S2のYES)、録音された音声情報に含まれている音声命令を判別するための音声命令照合処理に移行するが、該音声命令照合処理には、多くの時間を要するので、あらかじめ、ここで、メモリ部22のデータエリア22bに「コマンド照合中」の表示を設定し、表示制御部21eを介して、液晶表示部11にも、その旨を表示させておく(S3)。次に、録音されている音声情報の中に、音声命令登録エリア22aにあらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか照合するために、録音記録領域24aに録音されている録音音声情報から適切な音声情報を、逐次、バッファエリア22eに取り出して、比較部21g内の音声命令照合部21g1により、登録されている音声命令(ボイスコマンド)と照合させる(S4)。
【0091】あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)が含まれている場合(S5のYES)、入力された音声命令に該当するコマンド処理を実行させるための動作環境を整えさせる設定を行なわしめる起動処理を実行させる(S6)。次いで、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させた後(S7)、入力された音声命令に該当する登録済み音声命令(ボイスコマンド)に割り当てられたコマンド処理を実行させる(S8)。
【0092】一方、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)が含まれていない場合(S5のNO)、登録されているすべての音声命令(ボイスコマンド)に関する動作環境を整えさせるための通常の起動処理を実行させる(S9)。次いで、録音されていた音声情報の中に該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを、表示制御部21eを介して、液晶表示部11に表示させた後(S10)、先に設定していた「コマンド照合中」の表示を解除させる(S11)。その後、新たな音声命令の入力やキースイッチSW、キーボード/マウスなどの操作などを待ち合わせる旨の待機画面を、表示制御部21eを介して、液晶表示部11に表示させ(S12)、待機中の状態に遷移する。
【0093】次に、前述したマイクロフォン15から入力されてくる音声情報を常時録音させる常時録音動作の流れについて、図4のフローチャートを用いて説明する。ここに、常時録音動作とは、録音・再生制御部23が、録音記録領域24aにある古い録音音声情報を消去しながら、新たに入力されてくる音声情報について、あらかじめ定められた時間(たとえば、30秒)を超えない範囲で、該録音記録領域24aに上書き録音を繰り返させる動作である。
【0094】また、かかる常時録音動作は、前述した通り、CPU21を使用せずに、録音・再生制御部23において、独立に実行されるものである。即ち、録音・再生制御部23は、CPU21が停止状態であっても、あるいは、CPU21が起動されて何らかの他の処理を実行中であっても、CPU21とは全く独立して、マイクロフォン15から入力される音声情報を録音する動作を継続的に実行し続けることができる。
【0095】まず、音声情報の入力を待ち合わせる録音待機状態に設定する(S21)。かかる状態において、音声情報が音声入力部(マイクロフォン)15から入力されてくると、該音声情報に関して、録音させるべき音声情報を識別させるために音声録音識別動作に移行する。音声録音識別動作においては、マイクロフォン15から入力されている音声情報の中から、音声命令(ボイスコマンド)の候補として、録音記録領域24aに録音すべきとされる音声情報を識別する(S22)。
【0096】なお、音声録音識別動作の詳細については後述するが、本実施例においては、マイクロフォン15より入力された音声情報について、たとえば、1秒以上の空白(無音)部分が継続しているか、あるいは、30秒以上の音声情報の入力が継続している場合にのみ、かかる状態を検出した時点で、録音動作を停止させ、かかる状態に該当しない音声情報はすべて録音対象とする例を示している。なお、無音の継続時間や音声情報の継続時間については、音声操作装置の用途に応じて、任意の値を選択させることができる。
【0097】前記ステップS22において、音声命令(ボイスコマンド)の候補として、識別された音声情報を録音記録領域24aに録音(記録)させるために、まず、該音声情報以前に音声命令(ボイスコマンド)の候補として録音されていた音声情報を録音用メモリ部24の録音記録領域24aからすべて消去させる(S23)。録音用メモリ部24の消去された録音記録領域24aに、今回入力されて、音声命令(ボイスコマンド)の候補として識別されている30秒以内の新たな音声情報を、録音記録領域24aに録音(記録)させる(S24)。
【0098】録音記録領域24aに録音された音声情報は、前述した如く、照合動作指示部21cにおいて、音声命令の照合動作の起動を指示する起動キースイッチSW12aが押されるまでは、あらかじめ登録されている音声命令(ボイスコマンド)との照合動作は一切行なわれず、前記のステップS22乃至S24の動作が繰り返され、次々に、録音記録領域24aに録音されている音声情報が、新たな音声情報に書き換えられていくという常時録音動作が実現されている。
【0099】次に、マイクロフォン15から入力されてくる音声情報の中から録音すべき音声情報を識別して、録音・再生制御部23内に録音させてデジタル変換させる音声録音識別動作の流れについて、図5を用いて説明する。なお、前述の如く、マイクロフォン15から入力された音声情報に、1秒以上の空白(無音)部分があるか、あるいは、30秒以上の音声情報の入力が継続している場合にのみ、かかる状態を検出した時点で、録音動作を停止させ、かかる状態に該当しない音声情報は、すべて、音声命令(ボイスコマンド)の候補として、録音対象とする例を示している。
【0100】また、かかる音声録音識別動作は、前述した通り、CPU21を使用せずに、録音・再生制御部23において、独立に実行されるものである。即ち、録音・再生制御部23は、CPU21が停止中であっても、あるいは、CPU21が起動されて何らかの他の処理を実行中であっても、CPU21とは全く独立して、マイクロフォン15から入力される音声情報に関する識別動作を継続的に実行し続けている。
【0101】ここに、1秒、あるいは、30秒の時間を計数する方法として、CPU21に連結されているリアルタイムクロックRTC27に基づいて常時計数している時計やタイマを使用することもできるが、本発明の一実施例として、リアルタイムクロックRTC27を使用しないで、録音・再生制御部23の音声録音識別動作における動作時間に基づく変数を利用した疑似カウンタにより時間を計数することも可能である。以下には、かかる変数の利用により、時間を計数する場合について説明する。
【0102】まず、入力されてくる音声情報の音声録音識別動作を開始するために、初期状態に設定した後(S31)、マイクロフォン15から音声情報が入力されている継続時間を計数するための前記疑似カウンタを構成する変数 YSをリセットして初期状態に設定する(S32)。次に、現在、マイクロフォン15から音声情報が入力されているか判定する(S33)。マイクロフォン15から音声情報の入力があれば(S33のYES)、まず、入力されている音声情報を録音・再生制御部23内に録音し、デジタル情報に変換する(S34)。更に、音声情報が入力されている継続時間を計数するために、前記疑似カウンタを構成する変数YSを1だけ加算する(S35)。
【0103】ここで、変数YSが、30秒を示すためにあらかじめ定められた値、本実施例においては、300(本実施例においては、前記ステップS33乃至S35に示す録音及びデジタル変換処理を繰り返す動作に約100ミリ秒を必要とする場合を示しており、従って、変数YSが300の値に達した時に、30秒の経過時間を計数することになる。)を超えない限り(S36のNO)、未だ録音を開始してから30秒に達していないので、ステップS33に戻り、入力されてくる次の音声情報の録音動作に戻る。
【0104】一方、変数YSが300の値に達している場合(S36のYES)、30秒分の音声情報が、録音・再生制御部23内に録音された状態に達していることになるので、音声命令(ボイスコマンド)としての入力を行なうのに充分な時間が、既に経過しており、更に継続して入力されてくる音声情報は音声命令(ボイスコマンド)としては不要な周囲雑音情報とみなして、ここで、音声情報の録音動作を一旦停止させる(S41)。即ち、一般に、音声操作装置においては、音声による命令入力時間は短いものであり、余り長時間の音声情報を用いる必要はない。
【0105】また、音声による入力は、常に、全く同じ長さの時間で入力を行なうことは不可能に近く、毎回微妙に異なる長さの誤差を含む時間となる。該誤差を甘く見積もると、入力された音声命令を正しく取り込めず、音声操作装置の誤動作を引き起こしやすくなる。たとえば、長時間の音声情報を比較照合する場合、音声情報の長さの分だけ、照合し合う音声情報相互のズレが大きく検出されてしまうので、本実施例においては、音声情報の最大入力継続時間の長さを30秒までに限定することにより、音声情報に含まれる音声命令の認識精度と、使い勝手とのバランスを維持させている。
【0106】また、現在、マイクロフォン15から音声情報の入力がないと判定された場合(S33のNO)、音声情報が入力されない空白(無音)時間を計数するための前記疑似カウンタを構成する変数 MSをリセットして初期状態に設定する(S37)。ここで、再度、現在もマイクロフォン15からの音声情報の入力がないか判定する(S38)。かかる再度の音声情報の入力の有無判定動作を行なわしめる理由は、入力される音声情報についての微妙な調子や言い回しにより、マイクロフォン15が無音と判断してしまう場合があるため、無音時間がある程度継続していない場合、音声の入力が継続しているものと認識させる必要があるためである。
【0107】即ち、今度は、マイクロフォン15から音声情報が入力されている(即ち、無音ではない)と判定された場合(S38のNO)、ステップS33に戻り、入力されている音声情報を録音させる動作に移行させる。一方、今度も、マイクロフォン15から音声情報が入力されていない(即ち、無音である)と判定された場合(S38のYES)、音声情報が入力されない空白(無音)状態の継続時間を計数するための前記疑似カウンタを構成する変数 MSを1だけ加算する(S39)。
【0108】ここで、変数MSが、1秒を示すためにあらかじめ定められた値、本実施例においては、10(本実施例においては、前記ステップS38乃至S39に示す音声の無音判定処理を繰り返す動作に約100ミリ秒を必要とする場合を示しており、したがって、変数MSが10の値に達した時に、1秒の継続時間を計数することになる。)を超えない限り(S40のNO)、ステップS38に戻り、まだ無音状態が継続しているか判定する動作に戻る。
【0109】一方、変数MSが10の値に達している場合(S40のYES)、1秒分の無音状態が継続していることになるので、既に、音声命令(ボイスコマンド)として指定したい音声情報の入力が終了した状態にあるか、あるいは、全く音声命令を入力していない状態のままであるかのいずれかであり、ここで、音声の録音動作を一旦停止させる(S41)。
【0110】以上に説明した如く、本発明にかかる音声操作装置の実施形態においては、常時録音動作を採用しているので、直前に録音されている音声情報に含まれている音声命令を用いて、音声命令の照合動作を行なわしめることが可能であり、照合動作の開始後に、改めて音声命令を含む音声情報の入力を行なう時間を不要とすることができ、音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を大幅に短縮させることが可能となる。
【0111】また、前記音声命令照合動作を行なっている音声操作装置のCPU21とは、全く別個独立して、自律動作している録音・再生制御部23において常時録音動作が行なわれている。従って、たとえば、CPU21によって処理されることとなる音声操作装置のキースイッチ押下やキーボード/マウスなどの手作業による各種の操作を行ないながら、同時に、音声命令を含む音声情報の入力も行なうことが可能となるので、自然な操作性を確保することもできる。
【0112】更には、起動キースイッチSW12aの押下を行なうまでは、一切、入力された音声情報に含まれている音声命令の照合動作を開始しないので、液晶表示部11なども含め、CPU21関連の各回路部はスリープ状態に設定させることができ、消費電力を削減できると共に、不要な音声情報による音声命令の照合動作も行なわないので、音声操作装置の誤動作を防止させることが可能になる。
【0113】また、音声命令に該当するコマンド処理の実行に必要な動作環境を設定させる起動処理に先立って、事前に音声命令の照合動作が実行されて、入力された音声命令が判別されているので、すべての音声命令(ボイスコマンド)に関するコマンド処理の動作環境を設定させる通常の起動処理を実施させる必要はなく、入力された音声命令に関するコマンド処理の動作環境のみを設定させる起動処理を実施させて、直ちに、コマンド処理の実行に移行できる。従って、コマンド処理に至るまでの時間を大幅に削減させることができる。
【0114】次に、本発明にかかる音声操作装置の音声命令(ボイスコマンド)の判定動作における別の実施例として、請求項5,15に記載の発明による作用効果となる、消費電力の軽減と誤動作の防止とを実現させている手順を、図6に示すフローチャートを用いて説明する。ここに、図6は、本発明にかかる音声操作装置の録音・再生制御部23上で動作する音声情報の常時録音動作における別の実施例の流れを説明するためのフローチャートであり、特定の音声情報を用いて、照合動作の開始を指示することにより、消費電力の軽減と誤動作の防止とを実現させるものである。
【0115】即ち、本実施例においては、キースイッチSW12乃至14を操作して、データエリア22bに、照合動作指示部21cの照合指示モードとして、音声情報の照合動作の起動を指示する前記起動キースイッチSW12aの代わりに、該照合動作の開始を指示するのに、特定の音声情報を照合動作起動用音声命令として用いることを設定するものである。従って、たとえば、携帯型の音声操作装置をポケットから取り出す前に、特定の音声情報(即ち、照合動作起動用音声命令)により、音声命令の照合動作を行なう音声操作装置本体の起動の開始を指示することが可能となり、起動時間を短縮させることが可能になる。
【0116】なお、本実施例においても、録音・再生制御部23の動作モードとしては、キースイッチSW12乃至14により、常時録音動作が指定されており、常時録音動作においては、前述した如く、録音・再生制御部23が、録音記録領域24aにある古い録音音声情報を消去しながら、新たに入力されてくる音声情報について、あらかじめ定められた時間(たとえば、30秒)を超えない範囲で、該録音記録領域24aに上書き録音を繰り返させる動作が実行されている。
【0117】まず、音声情報の入力を待ち合わせる録音待機状態に設定する(S51)。かかる状態において、音声情報がマイクロフォン15から入力されてくると、該音声情報について、録音させるべき音声情報を識別させるために音声録音識別動作に移行する。音声録音識別動作においては、図5に示したように、マイクロフォン15から入力されている音声情報の中から、音声命令(ボイスコマンド)の候補として、録音記録領域24aに録音すべきとされる音声情報を識別する(S52)。なお、音声録音識別動作としては、図5に示すごとく、マイクロフォン15より入力された音声情報について、たとえば、1秒以上の空白(無音)部分が継続しているか、あるいは、30秒以上の音声情報の入力が継続している場合にのみ、かかる状態を検出した時点で、録音動作を停止させ、かかる状態に該当しない音声情報はすべて録音対象とする例を示している。
【0118】前記ステップS52において、音声命令(ボイスコマンド)の候補として、識別された音声情報を録音記録領域24aに録音(記録)させるために、まず、該音声情報以前に音声命令(ボイスコマンド)の候補として録音されていた音声情報を録音用メモリ部24の録音記録領域24aからすべて消去させる(S53)。録音用メモリ部24の消去された録音記録領域24aに、今回入力されて、音声命令(ボイスコマンド)の候補として識別されている30秒以内の新たな音声情報を、録音記録領域24aに録音させる(S54)。
【0119】次に、録音・再生制御部23は、CPU21を起動させて、録音記録領域24aに録音された音声情報に、音声命令の照合動作の起動を指示する特定音声情報(即ち、照合動作起動用音声命令)が含まれているかどうかだけを判定させる(S55)。含まれていなければ(S55のNO)、CPU21は、自律的に、スリープ状態に戻り、一方、録音・再生制御部23は、ステップS52に戻り、照合動作の起動を指示する特定音声情報が入力されてくるまで、ステップS52乃至S55の動作を繰り返させる。
【0120】一方、録音記録領域24aに録音された音声情報に、音声命令の照合動作の起動を指示する特定音声情報(即ち、照合動作起動用音声命令)が含まれている場合には(S55のYES)、CPU21は、音声命令の照合動作を実行する音声操作装置の各回路部を起動させる(S56)。一方、録音・再生制御部23は、前述の図4に示す場合と同様に、常時、音声情報の録音動作を繰り返させる常時録音動作に移行する(S57乃至S59)。
【0121】従って、本発明の実施例においては、録音記録領域24aに録音された音声情報に、音声命令の照合動作の起動を指示する特定音声情報(即ち、照合動作起動用音声命令)が含まれているか否かを判定する前述の動作の間だけは、CPU21が、起動されている状態となるが、液晶表示部11等、前記特定音声情報の判定動作には、関与する必要がない回路部については、消灯されている状態のままで、待機状態になっている。
【0122】而して、従来の技術の例にあるように、音声命令の入力を可能とする状態に遷移したことを示す「コマンド待機中」の表示を、液晶表示部11の表示で確認してから、音声情報の入力を開始するごとき場合に比して、格段に消費電力を抑える事が可能になる。特に、液晶表示部11は、大型,高精細,多色表示が一般化しているため、消費電力の面では、非常に大きなウェイトを占めるようになってきており、液晶表示部11の点灯の有無は、消費電力に大きな影響を及ぼす。
【0123】即ち、本発明の実施例で示すように、消費電力を抑えながら、かつ、特定音声情報(即ち、照合動作起動用音声命令)により無駄無く、迅速に、音声操作装置の音声命令照合動作を開始させることが可能になっている。また、前記特定音声情報(即ち、照合動作起動用音声命令)が認識されるまでは、入力された音声情報に関する音声命令(ボイスコマンド)の照合動作にも移行しないので、音声操作装置の誤動作も防止することができる。
【0124】次に、本発明にかかる音声操作装置の音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例として、請求項7,17に記載の発明による作用効果となる、過去に遡って、確実に音声命令を実行させることを実現させている手順を、図7に示すフローチャートを用いて説明する。
【0125】ここに、図7は、本発明にかかる音声操作装置の録音・再生制御部23上で動作する音声情報の録音動作におけるさらに別の実施例の流れを説明するためのフローチャートであり、複数面の録音記録領域24aを録音用メモリ部24に設けさせることにより、過去に遡って入力された音声情報を用いて、音声命令の照合動作を行なわしめ、音声命令の認識時間を短縮させると共に、ユーザが所望する音声命令を確実に実行させることを実現させるものである。
【0126】即ち、本実施例においては、キースイッチSW12乃至14を操作して、データエリア22bに、録音用メモリ部24内に複数面の録音記録領域24aを設けさせるように指示させる情報を設定させることにより、録音用メモリ部24内にキースイッチSWで指定された面数の複数面の録音記録領域24aを確保させ、直前に録音された音声情報に、登録されている音声命令(ボイスコマンド)に一致する音声情報が存在していない場合には、過去に録音された音声情報に遡って、音声命令の照合動作を行わしめるものである。
【0127】本実施例においては、録音・再生制御部23の動作を前記図4の場合と一部変更させることにより、実現させている。即ち、録音・再生制御部23の基本的な動作の流れは、前記図4に示す場合と同じであるが、複数面の録音記録領域24aを有しているので、新たに入力されてきた音声情報をどの面の録音記録領域24aに録音せしめるかを記録用カウンタCMを用いて識別せしめるようにする動作を、図4に示す動作手順に更に追加させている。
【0128】図7に示す実施例においては、録音記録領域24aの面数が3個の場合を示しており、入力された3個までの音声情報を、あらかじめ定められた時間(本実施例においては、30秒)を超えない単位毎に、順次、蓄積・録音(記録)させることができる。従って、3個よりも多い音声情報が入力されてきた場合には、古い順番に過去の音声情報が録音されている録音記録領域24aの面に、新たな音声情報が上書き録音(記録)されていく。なお、録音記録領域24aの面数として、3個の場合を例示しているが、実際に、音声操作装置を使用する場面に合わせて、録音記録領域24aの面数を決定して行くことが望ましい。
【0129】まず、音声情報の入力を待ち合わせる録音待機状態に設定した後(S61)、録音記録領域24aの3個の面数に音声命令(ボイスコマンド)候補として録音されている音声情報をすべて消去して初期状態に戻す(S62)。次いで、該録音記録領域24aのどの面に録音(記録)させるかをカウントする記録用カウンタCMをリセットして初期値に設定する(S63)。
【0130】かかる状態において、音声情報がマイクロフォン15から入力されてくると、図5に示したように、音声録音識別動作において、マイクロフォン15から入力されている音声情報の中から、音声命令(ボイスコマンド)の候補として、録音記録領域24aに録音すべきとされる音声情報を識別する(S64)。なお、本実施例においても、音声録音識別動作としては、図5に示すごとく、マイクロフォン15より入力された音声情報について、たとえば、1秒以上の空白(無音)部分が継続しているか、あるいは、30秒以上の音声情報の入力が継続している場合にのみ、かかる状態を検出した時点で、録音動作を停止させ、かかる状態に該当しない音声情報はすべて録音対象とする例を示している。
【0131】録音用メモリ部24内の複数面の録音記録領域24aの中の記録用カウンタCMが指定する面に、前記ステップS64で識別された音声情報を、音声命令(ボイスコマンド)の候補として、録音(記録)させるために、まず、該音声情報以前に音声命令(ボイスコマンド)の候補として録音されていた音声情報を記録用カウンタCMが指定する録音記録領域24aの面からすべて消去させる(S65)。録音用メモリ部24内の消去された録音記録領域24aの面に、今回入力されて、音声命令(ボイスコマンド)の候補として識別されている30秒以内の新たな音声情報を、録音(記録)させる(S66)。
【0132】次に、新たに録音(記録)された音声情報の録音記録領域24aの面数を計数させて、次の入力音声情報を次の録音記録領域24aの面に録音させることができるように、記録用カウンタCMを1だけ加算させる(S67)。該記録用カウンタCMが、まだ、3以内であれば(S68のYES)、新たに録音(記録)された音声情報の録音記録領域24aの次の面に、今後入力されてくる新たな音声情報を録音(記録)させるために、ステップS64に戻り、今後入力されてくる音声情報を識別する音声録音識別動作に移行させる。
【0133】一方、前記記録用カウンタCMが、3を超えている場合(S68のNO)、既に、録音記録領域24aには3個の音声情報が録音されている状態に達しているため、既に録音されている録音記録領域24aの古い順に、今後入力されてくる音声情報を上書きさせるために、録音記録領域24aの最初の面に戻って録音させるべく、記録用カウンタCMをリセットさせるステップS63に戻る。かかる動作を、CPU21からの初期設定の指示がない限り、録音・再生制御部23は繰り返すことになる。
【0134】一方、フローチャートには示していないが、音声操作装置のCPU21上で動作する音声命令変換部21aにおいては、複数面の録音記録領域24aに録音されている音声情報に関する音声命令の照合動作として、前述の録音動作とは逆に、最新の録音内容が録音されている録音記録領域24aの面にある音声情報から、順次、古い録音内容に遡って、音声命令照合動作を行なわしめ、最新(直前)の録音内容に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合には、過去の録音内容との音声命令照合動作を行なわしめる。
【0135】従って、複数の音声情報の録音記録領域24aに録音されている過去の音声命令まで照合の対象としているので、直前に入力・録音(記録)されている音声情報の中に、登録されている音声命令(ボイスコマンド)に該当する音声情報がなかった場合には、過去に入力されていた音声情報に遡って、更に音声命令の照合動作を繰り返すことが可能であり、音声情報の再入力を行なわなくても、必要とする音声命令を実行させることができる可能性が高く、音声命令の認識時間を短縮させることができると共に、音声命令の確実な実行を可能とすることができる。
【0136】次に、本発明にかかる音声操作装置の音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例として、請求項4,14に記載の発明による作用効果となる、周辺雑音の影響を受けることが少ない起動時において、発声されている音声情報に含まれる音声命令を用いることによる音声命令の認識時間の短縮と、所望の音声命令の確実な実行、及び、音声操作装置の消費電力の軽減を実現させている手順を、図8に示すフローチャートを用いて説明する。ここに、図8は、本発明にかかる音声操作装置のCPU21上で動作する音声命令(ボイスコマンド)の判定動作における別の実施例の流れを説明するためのフローチャートであり、音声命令照合動作の開始時に入力中の音声情報に基づいて、音声命令照合動作を実施させる例を示している。
【0137】即ち、本実施例においては、キースイッチSW12乃至14を操作して、データエリア22bに、録音・再生制御部23の動作モードが、常時録音動作ではなく、音声操作装置が起動された時など、音声情報の録音が必要として、CPU21内の音声命令変換部21aが開始指示した場合にのみ、録音・再生制御部23が、録音動作を開始させ、該開始指示時点で入力中の状態にある音声情報を録音記録領域24aに録音させる動作がなされる。また、音声命令照合動作は、古い録音音声情報ではなく、現在、入力中の状態にあって、新たに録音記録領域24aに録音された音声情報に基づいて、行なわれることになる。
【0138】即ち、本実施例を示す図8においては、音声情報の録音動作の基本的な動作の流れは、前記図3に示すフローチャートの場合と同様であるが、図3に示すフローチャートの場合と異なり、音声命令の照合動作の開始を指示するものとして、照合動作指示部21cにおいて指定されている起動キースイッチSW12aが押されない限り、録音・再生制御部23の音声情報の録音動作自体も休止状態とし、起動キースイッチSW12aが押されたら、直ちに、録音待機状態に移行して、音声情報の録音を可能とする状態に録音・再生制御部23を設定すると同時に、入力されてきた音声情報が録音された場合に、直ちに、あらかじめ登録されている音声命令(ボイスコマンド)との照合動作を行なわしめるものである。かかる動作により、音声情報の録音動作自体も、必要時のみに限定させて動作させることができ、消費電力を極限まで節約させることが可能になる。
【0139】図8に示すように、音声操作装置のCPU21上で動作する音声命令変換部21aにおいては、まず、音声命令の照合動作の起動を指示する起動キースイッチSW12aが押されない限り(S71のNO)、ステップS71のチェック動作を繰り返す。従って、図3のフローチャートの場合と異なり、録音・再生制御部23における音声情報の録音動作を伴わないので、消費電力を極限まで低減させることができる【0140】ここで、起動キースイッチSW12aが押された場合(S71のYES)、音声命令変換部21aは、録音・再生制御部23を起動させて、マイクロフォン15から入力されてくる音声情報を識別して、録音させる録音動作を行なわしめる状態に設定すると同時に、音声入力検出部21bにおいて、音声情報の入力の有無をチェックさせる。更に、音声命令変換部21aは、音声命令を含む音声情報の入力を待っている旨の「コマンド待機中」の表示を、データエリア22b及び液晶表示部11に設定して、音声命令の入力を促す状態に移行させる(S72)。即ち、起動キースイッチSW12aの押下直後に、他の処理に先立って、音声命令の入力を待ち受けるコマンド待機状態に移行させているので、他の処理は後回しにして、「コマンド待機中」の表示を先に出力させて、ユーザからの音声命令の即入力を促している。
【0141】一方、起動キースイッチSW12aの押下直後においても、マイクロフォン15から何ら音声情報の入力がなく、ある定められた時間(本実施例においては、5秒)、無音状態が継続している場合には、音声命令の入力を待ち受ける状態、即ち、「コマンド待機中」の状態から抜け出させるために、かかる無音状態の継続時間を計数するための起動時無音時間計数カウンタKDをリセットして、初期状態に戻す(S73)。
【0142】なお、起動キースイッチSW12aが押下された時点では、CPU21も既に通常の動作状態にあるので、起動時における無音時間を計数させるために、リアルタイムクロックRTC27を使用しても良いが、ここでは、変数即ち起動時無音時間計数カウンタKDを用いて、擬似的に起動キースイッチSW12aの押下直後の無音時間を計数する場合の動作について、説明している。
【0143】次に、マイクロフォン15から録音・再生制御部23への音声情報の入力があるか否かを、音声入力検出部21bを介して、チェックして(S74)、音声情報の入力がなければ(S74のNO)、起動時無音時間計数カウンタKDを1だけ加算して(S75)、該起動時無音時間計数カウンタKDが、5秒を示すためにあらかじめ定められた値、本実施例においては、50(本実施例においては、前記ステップS74乃至S76に示す音声入力の有無の判定処理を繰り返す動作に約100ミリ秒を必要とする場合を示しており、したがって、変数KDが50の値に達した時に、5秒の時間を計数することになる。)を超えない限り(S76のNO)、未だ起動キースイッチSW12aを押下してから5秒に達していないので、ステップS74に戻り、入力されてくる音声情報の有無の判定動作に戻る。なお、起動時におけるマイクロフォン15からの音声情報の入力の有無を判定する無音時間の長さは、通常の状態においては、音声命令を含む音声情報が50%程度入力されることが可能な経過時間と同等程度の長さとすることが望ましい。
【0144】一方、起動時無音時間計数カウンタKDが5秒を示すあらかじめ定められた値50を計数する前に、音声情報の入力が、マイクロフォン15から録音・再生制御部23にあったことを、音声入力検出部21bを介して、音声命令変換部21aが検出した場合(S74のYES)、あるいは、起動時無音時間計数カウンタKDが5秒を示すあらかじめ定められた値50を超過して計数されている場合(S76のYES)、録音・再生制御部23に対して、入力されてくる音声情報を録音すべきかを識別させる音声録音識別動作に移行させ、更に、録音すべきと識別された音声情報を録音記録領域24aに録音させる(S77)。
【0145】なお、音声録音識別動作においては、前述の図5に示す如く、マイクロフォン15より入力された音声情報について、たとえば、1秒以上の空白(無音)部分が継続しているか、あるいは、30秒以上の音声情報の入力が継続している場合にのみ、かかる状態を検出した時点で、録音動作を停止させ、かかる状態に該当しない音声情報はすべて録音対象とする例を示している。
【0146】ここで、起動時無音時間計数カウンタKDが5秒を示すあらかじめ定められた値50を超過して計数されている場合(S76のYES)、5秒を超す無音時間が継続されているとして、音声操作装置の起動時(即ち、起動キースイッチSW12aの押下時)には、ユーザに音声命令を入力する意思がなかったものと判定され、音声情報の入力の有無の判定処理を繰り返す動作、即ち、音声情報入力の録音待機状態を抜け出す。しかしながら、かかる場合においても、最後の望みをかけて、更に追加して1秒の間、音声情報の入力を待ち合わせさせるために、音声情報入力の録音待機状態をもう1回のみ通過させるべく、音声情報の入力がなされている場合と同様に、録音・再生制御部23を音声録音識別処理に移行させている。
【0147】ステップS77において、録音記録領域24aに録音された音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか否かを判別するための音声命令照合動作には、多くの時間を要するので、図3に示す場合と同様に、あらかじめ、ここで、先にデータエリア22bと液晶表示部11に設定していた「コマンド待機中」の表示を「コマンド照合中」の表示に変更して設定し直しておく(S78)。録音されている音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか照合するために、録音記録領域24aに録音されている録音音声情報の中から、逐次、音声情報をバッファエリア22eに取り出して、比較部21g内にある音声命令照合部21g1において比較・照合させる(S79)。
【0148】あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S80のYES)、入力された音声命令に該当するコマンド処理を実行させるための動作環境を整えさせる設定を行なう起動処理を実行させる(S81)。次いで、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させた後(S82)、入力された音声命令に該当する登録済み音声命令(ボイスコマンド)に割り当てられたコマンド処理を実行させる(S83)。
【0149】一方、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合(S80のNO)、登録されているすべての音声命令(ボイスコマンド)に関する動作環境を整えさせるための通常の起動処理を実行させる(S84)。次いで、録音された音声情報の中に、該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを、液晶表示部11に表示させた後(S85)、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させる(S86)。その後、音声命令の入力や、キースイッチSW、キーボード/マウスなどの操作入力などを待ち合わせる待機画面を表示させ(S87)、待機中の状態に遷移する。
【0150】従って、音声操作装置が周辺雑音の影響を受けることが少ない起動キースイッチSW12a押下直後に発声されている音声情報を用いて、音声命令照合動作を行なわしめるので、該音声情報に含まれている音声命令を正しく認識させる可能性を高めることができ、音声操作装置の起動時における音声命令の認識時間(即ち、音声命令を含む音声情報の入力時間と、登録されている音声命令との照合時間との合計時間)を更に短縮させることができ、また、指示された音声命令を正しく認識できるので、音声命令の確実な実行を可能としている。更に、録音・再生制御部23においても、常時、音声情報の録音動作をさせる常時録音動作を行なわしめないので、消費電力を更に軽減させることもできる。
【0151】次に、本発明にかかる音声操作装置の音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例として、請求項8,18に記載の発明による作用効果となる、音声命令の入力から実行に至るまでの動作時間の更なる短縮を実現させている手順を、図9に示すフローチャートを用いて説明する。ここに、図9は、本発明にかかる音声操作装置のCPU21上で動作する音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例の流れを説明するためのフローチャートであり、マルチタスク実行環境を実現させることができる程、高性能のCPUを有する情報処理装置によって、音声操作装置が構成されている場合に適用されるものである。
【0152】本実施例においては、あらかじめ登録されているすべての音声命令(ボイスコマンド)に該当するコマンド処理の動作環境を整えるための設定を行なう通常の起動処理動作と、マイクロフォン15から入力されてきた音声情報に含まれる音声命令の照合動作とを併行させて、マルチタスクとして、実行させることにより、音声操作装置の起動時における音声命令の入力から実行に至るまでの動作時間を更に短縮させている。
【0153】即ち、本実施例においても、音声情報の録音動作の基本的な動作の流れは、前記図3に示すフローチャートの場合と同様であるが、図3に示すフローチャートの場合と異なり、音声命令の照合動作の開始を指示するものとして、照合動作指示部21cにおいて指定されている起動キースイッチSW12aが押された場合に、即、音声命令の照合動作を開始させると同時に、マルチタスクで、音声操作装置に登録されているすべての音声命令(ボイスコマンド)に関するコマンド処理を動作可能とする動作環境を設定するための通常の起動処理も併行させて実行させんとするものである。
【0154】図9において、まず、前述の図3の実施例に示す場合と同様に、キースイッチSW12乃至14の操作により、常時録音動作が指示されている場合、音声命令変換部21aは、データエリア22bに、録音・再生制御部23の動作モードが常時録音動作である旨を設定すると同時に、録音・再生制御部23に対して、常時、音声情報の録音動作を繰り返させる常時録音動作を指示する(S91)。従って、常時、音声情報の録音動作を、あらかじめ定められた時間(たとえば、30秒)を超えない範囲で、録音記録領域22aに上書き録音を繰り返させる録音・再生制御部23の常時録音動作により、録音記録領域22aには、入力されてくる音声情報が逐次録音されている。
【0155】次に、音声情報の照合動作の起動を指示する起動キースイッチSW12aが押されたら(S92のYES)、音声命令照合動作に移行させると共に、マルチタスク形式で、音声操作装置のすべての音声命令(ボイスコマンド)に関わるコマンド動作環境を設定するための通常の起動処理動作も併行して起動させる。一方、起動キースイッチSW12aが押されていなければ(S92のNO)、ステップS91に戻り、単に、常時録音動作が繰り返される。
【0156】起動キースイッチSW12aが押されていた場合(S92のYES)、 ステップS91において、録音された音声情報に含まれている音声命令(ボイスコマンド)を判別するための音声命令照合動作に、多くの時間を要するので、前述したように、あらかじめ、ここで、「コマンド照合中」の表示をデータエリア22b及び液晶表示部11に設定し(S93)、録音されている音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか照合させるために、録音記録領域24aに録音されている録音音声情報を、比較部21g内の音声命令照合部21g1に、逐次渡して、登録されている音声(ボイスコマンド)データとの照合をさせる動作を開始させる(S94)。
【0157】一方、マルチタスク形式で、前述の音声命令照合動作(ステップS93以降の動作)と併行して、すべての音声命令に関するコマンド実行環境を整える処理を行うための通常の起動処理も同時に実行させる(S106)。その後、入力された音声命令に該当するコマンド処理の実行や、新たな音声情報の入力やキースイッチSW、キーボード/マウスなどの操作を待ち合わせている旨の待機画面を表示させ(S107)、待機中の状態に遷移する。
【0158】ステップS94において、あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S95のYES)、入力された音声命令に該当するコマンド処理を実行させるための動作環境は、既に、ステップS106に示す起動処理において整えられているので、直ちに、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させた後(S96)、入力された音声命令に該当する登録済み音声命令(ボイスコマンド)に割り当てられたコマンド処理を実行させる(S97)。
【0159】一方、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合(S95のNO)、録音・再生制御部23の動作状態をモニタしている音声入力検出部21bを介して、現在もマイクロフォン15から音声情報の入力がなされているか判定する(S98)。
【0160】もし、現在は、何ら音声情報の入力がない無音状態になっていると判定された場合(S98のNO)、録音された音声情報に、該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを液晶表示部11に表示させた後(S104)、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させる(S105)。その後、新たな音声情報の入力やキースイッチSW、キーボード/マウスなどの操作を待ち合わせている旨の待機画面を表示させるために、ステップS107に移行させて、待機中の状態に遷移する。
【0161】また、現在も、音声入力検出部21bを介して、音声情報の入力がなされている状態になっていると判定された場合(S98のYES)、入力されてくる音声情報の入力が完了するまでの間、「コマンド照合中」の表示を「コマンド待機中」の表示に変更して設定させて(S99)、音声入力検出部21bを用いて、音声情報の入力が完了するまで待ち合わせる(S100のNO)。
【0162】音声情報の入力が完了し、録音記録領域24aへの録音が終了したことを、音声入力検出部21bを介して、検出すると(S100のYES)、「コマンド待機中」の表示を「コマンド照合中」の表示に再度変更して設定させて(S101)、録音記録領域24aに新たに録音された音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか照合するために、録音記録領域24aに新たに録音(記録)された録音音声情報を、比較部21g内の音声命令照合部21g1に、逐次渡して、登録されている音声(ボイスコマンド)データとの照合をさせる(S102)。
【0163】あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、新たに録音(記録)された音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S103のYES)、入力された音声命令に該当するコマンド処理を実行させるために、ステップS96の動作に移行させる。
【0164】一方、新たに録音(記録)された音声情報の中に、登録されている音声命令(ボイスコマンド)に一致する音声情報が含まれていない場合(S103のNO)、録音された音声情報の中には、該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを液晶表示部11に表示させるために、ステップS104の動作に移行させる。
【0165】以上に説明したごとく、音声操作装置が、マルチタスク実行環境を実現することができる高性能のCPUを有する情報処理装置によって構成されているような場合においては、該音声操作装置の起動時において、マルチタスクで、音声命令の照合動作と音声命令(ボイスコマンド)の実行環境の設定動作とを併行して実行させることが可能になり、音声操作装置の起動時における音声命令に該当するコマンド処理の実行に至るまでの時間を更に短縮させることができる。
【0166】最後に、本発明にかかる音声操作装置の音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例を、図10に示すフローチャートを用いて説明する。本実施例においては、請求項2,12に記載の発明による作用効果となるものとして、音声操作装置の起動時において、起動直前に録音されている音声命令と、起動時に入力中の音声命令とを、兼用させることにより、より確実に音声命令(ボイスコマンド)を実行させることを可能とする手順を示している。
【0167】ここに、図10は、本発明にかかる音声操作装置のCPU21上で動作する音声命令(ボイスコマンド)の判定動作におけるさらに別の実施例の流れを説明するためのフローチャートであり、音声命令照合動作の開始直前に入力されるか、あるいは、周辺雑音の影響が少ない起動時に入力されるかのいずれかの音声情報に基づいて、音声命令照合動作を行なわしめる場合を示している。
【0168】本実施例においても、音声情報の録音動作の基本的な動作の流れは、前記図3に示すフローチャートの場合と同様であるが、図3に示すフローチャートの場合と異なり、音声命令の照合動作の開始を指示するものとして、照合動作指示部21cにより指定されている起動キースイッチSW12aが押される前に、録音された音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていなかった場合に、起動キースイッチSW12aの押下時に入力中の音声情報をも音声命令照合動作に利用せんとするものである。
【0169】図10において、まず、前述の図3の実施例に示す場合と同様に、キースイッチSW12乃至14の操作により、常時録音動作が指示されている場合、音声命令変換部21aは、データエリア22bに、録音・再生制御部23の動作モードが常時録音動作である旨を設定すると同時に、録音・再生制御部23に対して、常時、音声情報の録音動作を繰り返させる常時録音動作を指示する(S111)。従って、常時、音声情報の録音動作を、あらかじめ定められた時間(たとえば、30秒)を超えない範囲で、録音記録領域22aに上書き録音を繰り返させる録音・再生制御部23の常時録音動作により、録音記録領域22aには、入力されてくる音声情報が逐次録音されている。
【0170】次に、音声命令の照合動作の開始を指示する起動キースイッチSW12aが押されたら(S112のYES)、音声命令照合処理に移行させるが、一方、起動キースイッチSW12aが押されていなければ(S112のNO)、ステップS111に戻り、常時録音動作を繰り返す。
【0171】起動キースイッチSW12aが押されていた場合(S112のYES)、ステップS111において、起動キースイッチSW12aが押される直前に録音されていた音声情報の中に含まれている音声命令(ボイスコマンド)を判別するための音声命令照合処理に、多くの時間を要するので、前述したように、あらかじめ、ここで、「コマンド照合中」の表示をデータエリア22b及び液晶表示部11に設定し(S113)、録音されている音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか調べるために、比較部21g内の音声命令照合部21g1において比較・照合させる(S114)。
【0172】ステップS114において、あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S115のYES)、入力された音声命令に該当するコマンド処理を実行させるための動作環境を整えさせる起動処理を実行させる(S116)。次いで、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させた後(S117)、入力された音声命令に該当する登録済み音声命令(ボイスコマンド)に割り当てられたコマンド処理を実行させる(S118)。
【0173】一方、録音されている音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合(S115のNO)、前述の図9の場合と同様に、音声入力検出部21bを介して、現在もマイクロフォン15から音声情報の入力がなされているか判定する(S119)。
【0174】もし、現在は、何ら音声情報の入力がない無音状態になっていると判定された場合(S119のNO)、あらかじめ登録されているすべての音声命令(ボイスコマンド)に関するコマンド処理が実行できる動作環境を整えさせる通常の起動処理を実行させる(S125)。次いで、録音された音声情報の中に、該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを液晶表示部11に表示させた後(S126)、先にデータエリア22b及び液晶表示部11に設定していた「コマンド照合中」の表示を解除させる(S127)。その後、新たな音声情報の入力やキースイッチSW、キーボード/マウスなどの操作を待ち合わせている旨の待機画面を表示させ(S128)、待機中の状態に遷移する。
【0175】また、起動キースイッチSW12a押下直後の現時点において、音声情報の入力がなされている状態になっていると判定された場合(S119のYES)、入力されてくる音声情報が完了するまでの間、「コマンド照合中」の表示を「コマンド待機中」の表示に変更して設定させて(S120)、入力されてくる音声情報が録音・再生制御部23により、録音記録領域24aに録音されるのを待ち合わせる(S121のNO)。
【0176】音声信号の入力が完了し、録音記録領域24aへの録音が終了したことを、音声入力検出部21bを介して、検出すると(S121のYES)、「コマンド待機中」の表示を「コマンド照合中」の表示に再度変更して設定させて(S122)、録音記録領域24aに新たに録音された音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれているか照合するために、比較部21g内の音声命令照合部21g1において比較・照合させる(S123)。
【0177】あらかじめ登録されている音声命令(ボイスコマンド)との照合結果、新たに録音された音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれている場合(S124のYES)、入力された音声命令に該当するコマンド処理を実行させるための動作環境を整えさせる起動処理を実行させるために、ステップS116の動作に移行させる。
【0178】一方、新たに録音された音声情報の中に、登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合(S124のNO)、録音された音声情報の中に、該当する音声命令(ボイスコマンド)が存在していなかった旨を示すアラートを液晶表示部11に表示させると共に、通常の起動処理を行なわしめるために、ステップS125の動作に移行させる。
【0179】以上に説明したごとく、音声命令照合動作の起動(即ち開始)直前に入力されて録音されている音声命令と、起動中に入力されてきている音声命令とを、共に、起動時の音声命令として認識するので、音声命令のより確実な実行を可能としている。
【0180】なお、前述の本発明にかかる音声操作装置の各実施例においては、図3乃至図10に示すごとく、起動時において、起動直前または起動中に録音された音声情報の中に、あらかじめ登録されている音声命令(ボイスコマンド)と一致する音声情報が含まれていない場合、その旨のアラートを表示して、新たな音声情報の入力やキースイッチSW、キーボード/マウスなどの何らかの操作を待ち合わせている旨の待機中の状態に遷移させているが、ユーザが意図している音声命令(ボイスコマンド)の再入力を積極的に促す「コマンド待機中」の音声命令待機状態に自動的に移行させて、ユーザの音声命令の入力までの手間を軽減させることももちろん可能である。
【0181】かかる動作を行わしめることにより、周辺雑音の影響を受ける可能性も若干残っている起動直前の音声情報の録音時における雑音の混入や、周辺雑音を受けることが少ない起動時に入力されてくる音声情報の録音不良の発生等に伴って、音声命令(ボイスコマンド)の照合動作が正常に動作せずに、音声命令として認識できなかった場合であっても、音声命令の再入力を促す音声命令待機状態に、即座に、自動的に移行させることにより、ユーザが所望する操作を迅速に実現させることが可能になると共に、音声命令(ボイスコマンド)の確実な実行が可能となる。
【0182】
【発明の効果】本発明を用いれば、音声情報の入力待機状態(即ち、常時録音動作状態)でありながら、音声命令の照合動作に関わる回路部(たとえば、CPU、メモリ、あるいは、表示装置など)をほとんど稼動させる必要がないため、音声情報の入力待機をしていながらも、音声操作装置の電力消費を抑えることができる。
【0183】起動後、直ちに音声情報の入力・照合待機状態とする従来のごとき音声操作装置にあっては、まだ音声情報の入力もない状態での照合動作に関わる回路部までも動作させてしまっているので、無駄な電力消費が生じてしまい、たとえば、携帯型などの電池駆動の音声操作装置では、電源容量が限られているので、使用可能時間が短くなってしまい、実使用には耐えられず、商品性自体を無くしてしまっていた。しかしながら、本発明によれば、常時音声入力待機状態(常時録音動作状態)にありながらも、入力された音声情報に含まれる音声命令の照合動作を特定の起動キースイッチSWの押下動作を行なうまで、実行させないことにより、電力消費を抑えることができるので、無駄な消費電力の発生を抑制でき、十分に実用に供することが可能になり、ユーザとメーカの双方に貢献することができる。
【0184】また、従来の技術の例にあるように、音声命令の入力を可能とする状態に遷移したことを液晶表示部の表示で確認してから、音声情報の入力を開始する場合に比して、格段に消費電力を抑える事も可能になる。特に、液晶表示部は、大型,高精細,多色表示が一般化しているため、消費電力の面では、非常に大きなウェイトを占めるようになってきており、液晶表示部の点灯の有無は、消費電力に大きな影響を及ぼす。
【0185】また、同じく、従来の電池駆動の音声操作装置において、常時起動させないようにする場合は、使用要求の発生の都度、まず、音声操作装置全体を起動させない限り、音声情報の入力もできない状態としていた。しかしながら、音声操作装置の高度化・高容量化が進むにつれて、音声操作装置の起動に必要とする時間も長くなる一途をたどっており、起動時間を短縮させると共に、該起動時間の間自体も、いかに無駄にしないかが、使用性向上のために重要である。本発明においては、音声命令を含む音声情報を録音しながら、音声操作装置の音声命令照合動作の起動動作をさせたり、あるいは、起動直前に音声命令(ボイスコマンド)の候補として録音された音声情報を使用することにより、従来のようなまず起動させてから次の作業を開始させるという無駄な動作を削減させ、効率良く音声命令の照合動作を実行させることができる。
【0186】而して、ユーザは、音声を媒体とする命令を使用する都度、音声操作装置の起動動作と、入力される音声命令の認識動作(即ち、音声命令を含む音声情報の入力と、入力された音声情報に関する音声命令との照合動作)のために、無駄に長い時間を費やされることから解放される。
【0187】また、前記音声命令照合動作を行なっている音声操作装置のCPUからなる情報処理装置とは、全く別個独立して、自律動作している録音・再生制御部において常時録音動作が行なわれている。従って、たとえば、CPUからなる情報処理装置によって処理されることとなる音声操作装置のキースイッチ押下やキーボード/マウスなどの手作業による各種の操作を行ないながら、同時に、音声命令を含む音声情報の入力も行なうことが可能となるので、自然な操作性を確保することもできる。
【0188】また、常時録音動作を行なわせる事が可能であり、従来の音声操作装置のごとく、音声命令を含む音声情報の入力が可能な状態になっているかを表示装置の表示を目視によって確認する必要もなく、現在作業中の動作を中断させることもないので、現在の作業と併行して、音声命令の入力も可能となり、無駄がない自然な操作性を確保させている。
【0189】更に、AC電源などを使用して電源容量に余裕がある家電製品においても、環境問題に対する意識が強くなってきている昨今では、音声操作装置が未使用時の待機状態における消費電力も重視されて、無駄に電力を必要とする家電製品は売れなくなってきている。従って、前述の消費電力の問題は、もはや、電源容量が小さい携帯用の音声操作装置だけの問題ではなくなってきている。本発明は、かかるエコロジー指向に訴求することができ、ユーザ及びメーカの双方にとって好ましい製品を提供することができる。
【0190】加えて、扱い方を理解していない子供を抱えている家庭において使用されることが多い家電製品等では、子供の声に反応して誤動作してしまう危険も孕んでいるために、常に音声命令を受け付けているわけにはいかないという側面もある。本発明においては、特定の音声情報(照合動作起動用音声命令)、あるいは、音声操作以外の特定の操作(たとえば、特定のキースイッチSWの押下)があるまで、一切音声情報に含まれる音声命令(ボイスコマンド)を無効にしているので、ユーザが必要としていない時には、全く音声操作装置を反応させないようにすることが可能であり、前述のごとき音声操作装置の誤動作の防止が可能な安全性の高い音声操作装置を提供することができる。
【0191】登録されているすべての音声命令(ボイスコマンド)に関わるコマンド処理を実行可能とする起動処理を行なわしめる前に、入力された所望の音声命令を判定することができるので、実行不要な音声命令に関するコマンド処理の動作環境を設定させる起動処理についてまで行なわしめる必要がなく、起動時における音声命令に関するコマンド処理の実行に至るまでの時間を更に短縮させることができる。
【0192】周辺雑音の影響を受ける可能性も若干残っている起動直前の音声情報の録音時における雑音の混入、あるいは、周辺雑音を受けることが少ない起動時に入力されてくる音声情報の録音不良の発声等に伴って、音声命令(ボイスコマンド)の照合動作が正常に動作せずに、音声命令として認識できなかった場合であっても、音声命令の再入力を促す音声命令待機状態に、即座に、自動的に移行させることにより、ユーザが所望する操作を迅速に実現させることが可能になると共に、音声命令(ボイスコマンド)の確実な実行が可能となる。
【0193】以上の他にも、携帯時の常時録音動作であっても、音声命令照合動作の起動直前の音声情報のみならず、周辺雑音の影響を受けることが少ない起動時に入力中の音声情報に関しても、音声命令の照合動作を行なわしめることも可能であり、より確実に命令を実行できる工夫も施している。
【出願人】 【識別番号】000005049
【氏名又は名称】シャープ株式会社
【出願日】 平成12年12月14日(2000.12.14)
【代理人】 【識別番号】100079843
【弁理士】
【氏名又は名称】高野 明近 (外2名)
【公開番号】 特開2002−182690(P2002−182690A)
【公開日】 平成14年6月26日(2002.6.26)
【出願番号】 特願2000−379887(P2000−379887)