Transmission apparatus and transmission method, a receiving apparatus and a receiving method, a program and a recording medium as well as the transmission and reception system,专利检索-··矢量量化专利检索查询-专利查询网 (2024)

【0001】
【発明の属する技術分野】
本発明は、送信装置および送信方法、受信装置および受信方法、プログラムおよび記録媒体、並びに送受信システムに関し、特に、例えば、過去から蓄積してきたデータ(情報)を用いて、より高品質のデータを得ることができるようにする送信装置および送信方法、受信装置および受信方法、プログラムおよび記録媒体、並びに送受信システムに関する。
【0002】
【従来の技術】
最近の情報通信技術の発展に伴い、例えば、携帯して使用されるPDA(Personal Digital Assistance)も、通信機能を有するものが一般的になってきている。
【0003】
【発明が解決しようとする課題】
ところで、PDAでは、その携帯性から、無線による通信が行われることが多く、無線での通信のデータレートは、例えば、64kbps(kilo bit per second)等程度で、それほど高速なものではない。 このため、あるPDAから、他のPDAに対して、画像データを送信する場合には、そのデータ量を少なくしたもの、即ち、画質の劣化したものが送信される。
【0004】
従って、受信側のPDAでは、画質の良い画像を得ることが困難であった。
【0005】
また、無線通信では、パケット等の送信データの一部が欠落しやすく、この場合、受信側のPDAでは、画像の画質がさらに劣化することになる。
【0006】
本発明は、このような状況に鑑みてなされたものであり、品質の良いデータを得ることができるようにするものである。
【0007】
【課題を解決するための手段】
本発明の送信装置は、第1のデータを送信するデータ送信手段と、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップを抽出するクラスタップ抽出手段と、第2の注目データを、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、クラス分類手段により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報を生成する高品質化情報生成手段と、データ送信手段が送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントを検出する検出手段と、所定のイベントが検出された場合に、高品質化情報を送信する高品質化情報送信手段とを備えることを特徴とする。
【0008】
本発明の送信方法は、第1のデータを送信するデータ送信ステップと、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップを抽出するクラスタップ抽出ステップと、第2の注目データを、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、クラス分類ステップの処理により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報を生成する高品質化情報生成ステップと、データ送信ステップの処理により送信された第1のデータを受信して記憶するとともに、送信された高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントを検出する検出ステップと、所定のイベントが検出された場合に、高品質化情報を送信する高品質化情報送信ステップとを備えることを特徴とする。
【0009】
本発明の第1のプログラムは、第1のデータを送信するデータ送信ステップと、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップを抽出するクラスタップ抽出ステップと、第2の注目データを、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、クラス分類ステップの処理により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報を生成する高品質化情報生成ステップと、データ送信ステップの処理により送信された第1のデータを受信して記憶するとともに、送信された高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントを検出する検出ステップと、所定のイベントが検出された場合に、高品質化情報を送信する高品質化情報送信ステップとを備えることを特徴とする。
【0010】
本発明の第1の記録媒体は、第1のデータを送信するデータ送信ステップと、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップを抽出するクラスタップ抽出ステップと、第2の注目データを、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、クラス分類ステップの処理により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報を生成する高品質化情報生成ステップと、データ送信ステップの処理により送信された第1のデータを受信して記憶するとともに、送信された高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントを検出する検出ステップと、所定のイベントが検出された場合に、高品質化情報を送信する高品質化情報送信ステップとを備えるプログラムが記録されていることを特徴とする。
【0011】
本発明の受信装置は、複数回送信されてくる同一の第1のデータを受信するデータ受信手段と、第1のデータを記憶するデータ記憶手段と、データ記憶手段に記憶された第1のデータと、データ受信手段が受信した第1のデータとを、第1のデータがより高品質になるように重み付け加算し、その加算値を、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶させる加算手段と、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかを判定する品質判定手段と、品質判定手段により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号を送信するリクエスト信号送信手段と、高品質化情報の要求に応じて送信されてくる高品質化情報を受信する高品質化情報受信手段と、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数を、クラスコードごとに記憶するタップ係数記憶手段と、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップを抽出する予測タップ抽出手段と、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値を求める予測手段とを備えることを特徴とする。
【0012】
本発明の受信方法は、複数回送信されてくる同一の第1のデータを受信するデータ受信ステップと、第1のデータをデータ記憶手段に記憶するデータ記憶ステップと、データ記憶手段に記憶された第1のデータと、データ受信ステップの処理により受信された第1のデータとを、第1のデータがより高品質になるように重み付け加算し、その加算値を、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶させる加算ステップと、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上であるかどうかを判定する品質判定ステップと、品質判定ステップの処理により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号を送信するリクエスト信号送信ステップと、高品質化情報の要求に応じて送信されてくる高品質化情報を受信する高品質化情報受信ステップと、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数を、クラスコードごとにタップ係数記憶手段に記憶するタップ係数記憶ステップと、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップを抽出する予測タップ抽出ステップと、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値を求める予測ステップとを備えることを特徴とする。
【0013】
本発明の第2のプログラムは、複数回送信されてくる同一の第1のデータを受信するデータ受信ステップと、第1のデータをデータ記憶手段に記憶するデータ記憶ステップと、データ記憶手段に記憶された第1のデータと、データ受信ステップの処理により受信された第1のデータとを、第1のデータがより高品質になるように重み付け加算し、その加算値を、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶させる加算ステップと、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかを判定する品質判定ステップと、品質判定ステップの処理により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号を送信するリクエスト信号送信ステップと、高品質化情報の要求に応じて送信されてくる高品質化情報を受信する高品質化情報受信ステップと、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数を、クラスコードごとにタップ係数記憶手段に記憶するタップ係数記憶ステップと、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップを抽出する予測タップ抽出ステップと、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値を求める予測ステップとを備えることを特徴とする。
【0014】
本発明の第2の記録媒体は、複数回送信されてくる同一の第1のデータを受信するデータ受信ステップと、第1のデータをデータ記憶手段に記憶するデータ記憶ステップと、データ記憶手段に記憶された第1のデータと、データ受信ステップの処理により受信された第1のデータとを、第1のデータがより高品質になるように重み付け加算し、その加算値を、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶させる加算ステップと、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかを判定する品質判定ステップと、品質判定ステップの処理により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号を送信するリクエスト信号送信ステップと、高品質化情報の要求に応じて送信されてくる高品質化情報を受信する高品質化情報受信ステップと、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数を、クラスコードごとにタップ係数記憶手段に記憶するタップ係数記憶ステップと、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップを抽出する予測タップ抽出ステップと、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値を求める予測ステップとを備えるプログラムが記録されていることを特徴とする。
【0015】
本発明の送受信システムは、 送信装置が、第1のデータを送信するデータ送信手段と、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップを抽出するクラスタップ抽出手段と、第2の注目データを、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、クラス分類手段により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報を生成する高品質化情報生成手段と、データ送信手段が送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントを検出する検出手段と、所定のイベントが検出された場合に、高品質化情報を送信する高品質化情報送信手段とを有し、 受信装置が、複数回送信されてくる同一の第1のデータを受信するデータ受信手段と、第1のデータを記憶するデータ記憶手段と、データ記憶手段に記憶された第1のデータと、データ受信手段が受信した第1のデータとを、第1のデータがより高品質になるように重み付け加算し、その加算値を、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶させる加算手段と、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかを判定する品質判定手段と、品質判定手段により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号を送信するリクエスト信号送信手段と、高品質化情報の要求に応じて送信されてくる高品質化情報を受信する高品質化情報受信手段と、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数を、クラスコードごとに記憶するタップ係数記憶手段と、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップを抽出する予測タップ抽出手段と、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値を求める予測手段とを有することを特徴とする。
【0021】
本発明の送信装置および送信方法、並びに第1のプログラムにおいては、第1のデータが送信され、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップが抽出され、第2の注目データが、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類され、クラス分類手段により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報が生成される。 そして、送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントが検出されると、高品質化情報が送信される。
【0022】
本発明の受信装置および受信方法、並びに第2のプログラムにおいては、複数回送信されてくる同一の第1のデータが受信され、第1のデータがデータ記憶手段に記憶され、データ記憶手段に記憶された第1のデータと、データ受信手段が受信した第1のデータとが、第1のデータがより高品質になるように重み付け加算され、その加算値が、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶される。 さらに、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかが判定され、第1のデータの品質の判定により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号が送信される。 そして、高品質化情報の要求に応じて送信されてくる高品質化情報が受信され、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数が、クラスコードごとにタップ係数記憶手段に記憶され、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップが抽出され、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値が求められる。
【0023】
本発明の第1の送受信システムにおいては、同一の第1のデータが複数回送信される。 また、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第2のデータであるクラスタップが抽出され、第2の注目データが、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類され、分類されるクラスを表すクラスコードを少なくとも含む高品質化情報が生成される。 さらに、送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントが検出されると、高品質化情報が送信される。 一方、複数回送信されてくる同一の第1のデータが受信され、第1のデータがデータ記憶手段に記憶され、データ記憶手段に記憶された第1のデータと、データ受信手段が受信した第1のデータとが、第1のデータがより高品質になるように重み付け加算され、その加算値が、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶される。 さらに、データ記憶手段に記憶された新たな第1のデータの相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかが判定され、第1のデータの品質の判定により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号が送信される。 そして、高品質化情報の要求に応じて送信されてくる高品質化情報が受信され、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数が、クラスコードごとにタップ係数記憶手段に記憶され、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップが抽出され、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値が求められる。
【0026】
【発明の実施の形態】
図1乃至図4は、本発明を適用したPDAの一実施の形態の外観構成例を示している。
【0027】
図1に示すように、PDAは、腕時計型のものとされており、時計バンド1に、メインブロック2を設ける形で構成されている。 ユーザは、腕時計をするのと同様に、時計バンド1を、左腕または右腕の手首部分に装着することで、PDAを容易に携帯することができる。
【0028】
メインブロック2は、腕時計でいえば、時計の本体部分に相当するもので、本体11と、その本体の一端に回動可能に取り付けられた蓋部20とから構成されている。
【0029】
蓋部20は、閉じた状態において上面に露出するように設けられたLCD(Liquid Crystal Display)3を有しており、図1の実施の形態においては、そのLDC3に、長針と短針からなる時計が表示されている。
【0030】
また、PDAの時計バンド1には、図1または図4に示すように、メインブロック2の上側と下側に、サイドパネル4と5がそれぞれ設けられている。 そして、サイドパネル4には、LCD4 1が、上面方向に露出する形で設けられており、サイドパネル5にも、LCD5 1が、上面方向に露出する形で設けられている。
【0031】
なお、LCD3は、透明なタッチパネル3Aと一体的に構成されており、LCD3に表示されたボタン等に対する操作は、このタッチパネル3Aによって検出されるようになっている。 同様に、LCD4 1は、タッチパネル4A 1と一体的に構成されており、LCD5 1は、タッチパネル5A 1と一体的に構成されている。
【0032】
PDAは、電話機能その他の、後述するような各種の機能を有しており、蓋部20のLCD3等は、各機能を提供する機能モードにより、必要に応じて、その表示を変化させる。 機能モードが、例えば、時計モードの場合は、図1に示したように、LCD3では、時計表示が行われるが、機能モードが、例えば、電話モードとされると、LCD3の表示は、図2に示すように、ダイヤル(電話番号を入力)するのに操作されるボタンの表示に変化する。 なお、このボタンに対する操作は、上述したように、LCD3と一体的に構成されたタッチパネル3Aによって検出される。
【0033】
なお、機能モードの切り替えは、ユーザの操作にしたがって行われ、あるいは、PDAが所定のイベントに基づいて行うようになっている。
【0034】
図2に示すように、本体11の下側の側面には、ジョグダイヤル6、イヤフォンマイクジャック7、コネクタ8、およびマイク9が設けられている。 なお、図1等においては、図が煩雑になるのを避けるため、ジョグダイヤル6等の図示を省略してある。
【0035】
ジョグダイヤル6は、左右に回転操作することができるようになっており、例えば、機能モードが電話モードの場合に、LCD3等に表示される電話番号等のリスト表示から、電話をかけようとする相手の電話番号を選択するとき等に操作される。 また、ジョグダイヤル6は、本体11の内部方向に押圧操作することもできるようになっており、このジョグダイヤル6の押圧操作によって、選択が確定される。 即ち、例えば、ユーザが、LCD3等に表示された電話番号等のリスト表示から、電話をかけようとする相手の電話番号を、ジョグダイヤル6を回転操作することにより選択し、さらに、ジョグダイヤル6を押圧操作すると、その電話番号の選択が確定され、その電話番号への発呼が行われる。
【0036】
なお、ジョグダイヤル6は、本体11の内部から外側方向に付勢されており、従って、ユーザが、ジョグダイヤル6を本体11の内部方向に力を加えると、ジョグダイヤル6は、本体11の内部方向に移動するが、ユーザが力を加えるのを止めると、ジョグダイヤル6は、付勢力によって、元の位置に戻るようになっている。
【0037】
イヤフォンマイクジャック7には、例えば、イヤフォンとマイク(マイクロフォン)とを一体的に構成した、いわゆるヘッドセット(図示せず)を、本体11に接続するときに、そのヘッドセットに設けられたジャックが挿入され、これにより、本体11とヘッドセットとが電気的に接続される。
【0038】
コネクタ部8は、後述するベース基地コンピュータ102(図22)などとの間で、データ通信を行うとき等に、そのベース基地コンピュータ102のコネクタ部337(図26)と嵌合し、これにより、本体11(PDA)と、ベース基地コンピュータ102とが電気的に接続される。
【0039】
マイク9は、ユーザの音声を取り込み、電気信号としての音声信号に変換する。 このマイク9では、PDAの機能モードが、例えば電話モードとされた場合に、音声通話において、相手に送信されるユーザの音声が取り込まれる。
【0040】
蓋部20が閉じられた状態における上面の上部には、スピーカ10が設けられている。 このスピーカ10からは、例えば、機能モードが電話モードとされた場合に、相手から送信されてきた音声が出力される。
【0041】
また、本体11の左側の側面には、ホールドスイッチ61および電源スイッチ62が設けられている。 なお、図1等においては、図が煩雑になるのを避けるため、ホールドスイッチ61および電源スイッチ62の図示を省略してある。
【0042】
ホールドスイッチ61は、ジョグダイヤル6やLCD3等に表示されるボタンの操作を有効/無効とするときに操作される。 ホールドスイッチ61が、ジョグダイヤル6やLCD3等に表示されるボタンの操作を無効とするように操作された場合、PDAをバック等に入れて持ち歩くとき等に、PDAが、そのバックに入れられた他の物とぶつかることによって、誤操作が行われることを防止することができる。
【0043】
電源スイッチ62は、PDAの電源をオン/オフするときに操作される。
【0044】
本体11の右端の上部と下部には、ヒンジ部13が設けられており、蓋部20は、このヒンジ部13を回動中心として回動することができるようになっている。 蓋部20は、本体11のヒンジ部13を回動中心として、図3に示すように、その上面が、本体11の上面または底面とほぼ平の状態となる位置まで回動することができ、これにより、蓋部20は、開いた状態となる。
【0045】
図3に示すように、本体11の上面には、閉じた状態の蓋部20と対向する形で、LCD12が設けられており、このLCD12は、蓋部20が閉じた状態のときは収納状態となっているが、蓋部20が開いた状態となることによって、上面に露出する。 なお、LCD12も、透明なタッチパネル12Aと一体的に構成されており、LCD12に表示されたボタン等に対する操作は、このタッチパネル12Aによって検出されるようになっている。
【0046】
蓋部20は、メインパネル14と、2つのサブパネル15および16とを有している。
【0047】
メインパネル14の上側の左端および右端にはヒンジ部17が、また、その下側の左端および右端にはヒンジ部18が、それぞれ設けられている。 そして、サブパネル15は、ヒンジ部17を回動中心として回動可能に取り付けられており、サブパネル16は、ヒンジ部18を回動中心として回動可能に取り付けられている。
【0048】
なお、上下方向を縦方向、左右方向を横方向というものとすると、サブパネル15と16の横方向の長さは、メインパネル14の横方向の長さより若干短いものとなっている。 また、サブパネル15と16の縦方向の長さは、メインパネル14の縦方向の長さの1/2弱程度になっている。
【0049】
サブパネル15は、ヒンジ部17を回動中心として、また、サブパネル16は、ヒンジ部18を回動中心として、いずれも、メインパネル14の上面または裏面とほぼ水平の状態となる位置まで回動することができ、これにより、サブパネル15,16は、図4に示すように開いた状態となる。
【0050】
図4に示したように、サブパネル15,16が開いた状態において、メインパネル14の上面、即ち、蓋部20が閉じた状態となっているときの、蓋部20の裏面には、LCD21が設けられている。 なお、メインパネル14のLCD21が設けられた面の反対側の面には、LCD3(図1)が設けられている。 従って、蓋部20が閉じた状態のときには、LCD3が露出状態(上側を向いた状態)になるとともに、LCD14が収納状態(下側を向いた状態)となり、蓋部20が開いた状態のときには、LCD3が収納状態となるとともに、LCD21が、上面方向に露出した状態となる。
【0051】
サブパネル15には、開いた状態となったときの上面に、LCD15が設けられており、サブパネル16にも、開いた状態となったときの上面に、LCD16が設けられている。 従って、サブパネル15のLCD22は、サブパネル15が開いた状態となることによって露出状態となり、サブパネル15が閉じた状態とされると、メインパネル14のLCD21と対向する形で収納状態となる。 サブパネル16のLCD23も同様に、サブパネル16が開いた状態となることによって露出状態となり、サブパネル16が閉じた状態となることによって、メインパネル14のLCD21と対向する形で収納状態となる。
【0052】
なお、メインパネル14のLCD21は、透明なタッチパネル21Aと一体的に構成されており、メインパネル14に表示されたボタン等に対する操作は、タッチパネル21Aによって検出される。 同様に、サブパネル15のLCD22も、タッチパネル22Aと、サブパネル16のLCD23も、タッチパネル23Aと、それぞれ一体的に構成されている。
【0053】
以上のように、メインブロック2において、蓋部20が閉じているときには、1つのLCD3だけが露出状態となる。 従って、この場合、時計バンド1に設けられているサイドパネル4のLCD4 1と、サイドパネル5のLCD5 1をあわせれば、PDAでは、図1に示したように、3つのLCD3,4 1 ,5 1に情報を表示して、ユーザへの提示を行うことができる。
【0054】
一方、蓋部20を開き、さらに、蓋部20のサブパネル15および16を開いたときには、LCD12,21,22,23の4つのLCDが露出状態となる。 従って、この場合、時計バンド1に設けられているサイドパネル4のLCD4 1と、サイドパネル5のLCD5 1をあわせれば、PDAでは、図4に示したように、6つのLCD4 1 ,5 1 ,12,21,22,23に情報を表示して、ユーザへの提示を行うことができる。
【0055】
ところで、以上のように構成されるメインブロック2においては、本体11に内蔵される電気回路から、蓋部20のメインパネル14が有するLCD3と21の制御(タッチパネル3Aと21Aの制御も含む)、並びに蓋部20のサブパネル15が有するLCD22の制御(タッチパネル22Aの制御も含む)、およびサブパネル16が有するLCD23の制御(タッチパネル23Aの制御も含む)が行われるようになっている。 従って、本体11から、蓋部20のメインパネル14、さらには、サブパネル15および16に、配線を行う必要がある。
【0056】
そこで、図5を参照して、本体11から、メインパネル14、並びにサブパネル15および16への配線について説明する。
【0057】
図5は、図4において点線で囲んである部分の拡大図を示している。 なお、図5において、メインブロック2の内部は、点線で示してある。
【0058】
ヒンジ部13は、軸31と軸受け部33とから構成されている。 軸31は、メインパネル14の一辺に固定されており、その端部が、軸受け部33に設けられた穴に挿入されている。 即ち、軸受け部33には、軸31の直径よりもやや大きい直径の穴が設けられており、その穴に、軸31の端部が挿入されている。 従って、軸31は、軸受け部33において回転自在に支持されており、これにより、軸31に固定されているメインパネル14は、軸31を回動中心として回動可能になっている。
【0059】
ヒンジ部17も、軸31と同様に構成される軸32と、軸受け部33と同様に構成される軸受け部34とから構成されており、軸32は、サブパネル15の一辺に固定されている。 従って、軸32は、軸受け部34において回転自在に支持され、これにより、軸32に固定されているサブパネル15は、軸32を回動中心として回動可能になっている。
【0060】
ヒンジ部13を構成する軸受け部33の内部の一部は空洞になっており、本体11の隅の部分に固定されている。 本体11の軸受け部33が固定されている部分には、通し穴40があけられており、本体11が内蔵する電気回路としての回路ブロック43から延びる配線としてのフレキ(フレキシブルケーブル)146および147は、通し穴40を通って、軸受け部33の内部に到達している。
【0061】
また、軸受け部33に挿入されている軸31の端部の一部には、通し穴35が設けられており、さらに、軸31のメインパネル14と固定されている部分の一部には、通し穴36が設けられている。 そして、軸31の内部は空洞になっており、軸受け部33の内部に到達しているフレキ146および147は、通し穴35、軸31の内部、および通し穴36を通って、メインパネル14の内部に到達している。
【0062】
メインパネル14の内部では、そのメインパネル14が内蔵する電気回路としての回路ブロック42に、フレキ147が接続されている。
【0063】
ヒンジ部17を構成する軸受け部34の内部も、軸受け部33と同様に、その一部が空洞になっており、メインパネル14の隅の部分に固定されている。 メインパネル14の軸受け部34が固定されている部分には、通し穴39があけられており、メインパネル14内部に到達したフレキ146は、通し穴39を通って、軸受け部34の内部に到達している。
【0064】
軸受け部34に挿入されている軸32には、軸31と同様に、その端部の一部に、通し穴37が設けられており、さらに、サブパネル15と固定されている部分の一部に、通し穴38が設けられている。 そして、軸32の内部は空洞になっており、軸受け部34の内部に到達しているフレキ146は、通し穴37、軸32の内部、および通し穴39を通って、サブパネル15の内部に到達している。
【0065】
サブパネル15の内部では、そのサブパネル15が内蔵する電気回路としての回路ブロック41に、フレキ146が接続されている。
【0066】
以上のようにして、本体11が内蔵する回路ブロック43と、メインパネル14が内蔵する回路ブロック42、またはサブパネル15が内蔵する回路ブロック41とが、それぞれ電気的に接続されている。
【0067】
なお、本体11とサブパネル16との間も、本体11とサブパネル15との間と同様にして、電気的に接続されている。
【0068】
次に、ヒンジ部13において、軸31を、軸受け部33の穴に、単に挿入しただけの場合には、ユーザが蓋部20を回動しようとして、ある程度の力を加えたときに、軸31が、軸受け部33の穴から、容易に抜けてしまうおそれがある。
【0069】
そこで、ヒンジ部13は、図6に示すように構成されており、これにより、軸31が、軸受け部33の穴から、容易に抜けてしまうことを防止することができるようになっている。 なお、図6においては、通し穴35および36の図示を省略してある。
【0070】
即ち、軸31の端部(軸受け部33の穴に挿入される部分)には、図6(A)の斜視図に示すように、軸31の表面に、略U字型に切り込みを入れ、残りの部分を振動可能に形成した係止部51が設けられている。 従って、係止部51は、その一部分が、軸31と接続されており、軸31の内部方向に力が加えられることにより、その内部側に押し込められるが、力を加えることを停止すると、自らの弾性力によって元の状態に戻るようになっている。
【0071】
さらに、係止部51には、軸31と接続している一端と反対側の一端に、略三形状の断面を有する凸部が形成されている。
【0072】
なお、軸31には、係止部51と180度反対側の位置にも、係止部51と同様の係止部が設けられている。
【0073】
一方、軸受け部33の穴の内部の一部には、図6(B)の断面図に示すように、軸31の係止部51に形成された凸部の高さよりも浅い深さの溝52が、その穴の内周に亘って設けられいる。
【0074】
軸31が、軸受け部33の穴に挿入されると、溝52のない部分では、係止部51が、軸受け部33の穴の内壁に接触することで、軸31の内部方向に押し込められる。 そして、その後、係止部51が、溝52に到達すると、軸31の内部に押し込められた係止部51が、その弾性力によって、元の状態に戻ろうとして、係止部51に設けられた凸部が、溝52に嵌った状態となり、軸31が、軸受け部33の穴から容易に抜けない状態となる。
【0075】
ここで、溝52は、そこに係止部51の凸部が嵌ったときに、その凸部を、軸31の内部方向に、多少押し込めるような深さに形成されている。 従って、係止部51に設けられた凸部が、溝52に嵌った状態では、係止部51は、軸31の内部側に多少押し込められた状態となる。
【0076】
従って、重力等の影響により、蓋部20が回動しようとして軸31に回転トルクが加えられた場合、軸31の係止部51に設けられた凸部と、溝52の内壁との間に、その回動を阻止する摩擦力が発生する。
【0077】
これにより、蓋部20が、本体11に対して任意の角度(0度乃至180度)に開かれた場合、その蓋部20の状態が、上述の摩擦力によって維持される。 但し、この摩擦力は、蓋部20の自重により発生する回転トルクと同程度のものであり、ユーザによる蓋部20の回動動作を妨げるものではない。
【0078】
なお、ヒンジ部17を構成する軸32および軸受け部34も、図6に示したヒンジ部13における場合と同様に構成されている。 また、ヒンジ部18も、図6のヒンジ部13と同様に構成されている。
【0079】
次に、図7乃至図10は、メインブロック2の他の構成例を示す外観図である。 なお、図中、図1乃至図4に示した場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0080】
ここで、図7は、メインブロック2の斜視図を示している。 また、図8(A)は、メインブロック2の正面(上面)図を、図8(B)は、メインブロック2の上側の側面図を、図8(C)は、メインブロック2の下側の側面図を、図8(D)は、メインブロック2の左側の側面図を、図8(E)は、メインブロック2の右側の側面図を、それぞれ示している。 さらに、図9は、メインブロック2の蓋部20を開いた状態の斜視図を示しており、図10は、さらに、蓋部20のサブパネル15と16を開いた状態の斜視図を示している。
【0081】
図8(B)に示すように、メインブロック2における本体11の上側の側面には、無線通信部63、アンテナ64、およびCCD(Charge Coupled Device)カメラ65が設けられている。
【0082】
無線通信部63は、例えば、赤外線等による無線通信を行う場合に、赤外線を発光し、また、赤外線を受光する。
【0083】
アンテナ64は、例えば、電波による無線通信を行う場合に、電波を放射し、また、電波を受信する。 なお、アンテナ64では、電話による音声通話を行うための電波の送受信の他、例えば、ブルートゥース(Bluetooth(商標))その他の規格に準じた無線通信のための電波の送受信も行うことができるようになっている。
【0084】
CCDカメラ65は、そこに入射する光を受光して光電変換することで、その光に対応する画像信号を出力する。 即ち、CCDカメラ65は画像の撮像を行う。
【0085】
なお、無線通信部63、アンテナ64、およびCCDカメラ65は、図2に示したメインブロック2にも設けられているが、その図示は省略してある。
【0086】
図7乃至図10に示したメインブロック2と、図1乃至図4に示したメインブロック2とは同様の機能を有する。
【0087】
但し、図7乃至図10に示したメインブロック2は、そのヒンジ機構が、図1乃至図4に示したメインブロック2における場合と異なっている。
【0088】
即ち、図7乃至図10に示したメインブロック2においては、蓋部20は、メインブロック2の右側の側面に設けられたヒンジ部71(図8(A)、図8(E)、図9、図10)を回動中心として回動するようになっている。 また、サブパネル15は、メインパネル14の上部に設けられたヒンジ部72(図8(B)、図9、図10)を回動中心として回動し、サブパネル16は、メインパネル14の下部に設けられたヒンジ部73(図7、図8(C)、図9、図10)を回動中心として回動するようになっている。
【0089】
図11は、ヒンジ部71の分解図を示している。
【0090】
ヒンジ部71は、図11に示すように、本体11に固定されるヒンジ金具81、蓋部20に固定されるヒンジ金具83、両者に回転自在に結合される軸82から構成される。
【0091】
図12に示すように、ヒンジ金具81,83は、バネ用鋼板により形成され、その端部は、折り曲げられて(カーリングされて)筒状に形成されている。 ヒンジ金具81とヒンジ金具83の穴径は、同一径となっている。 軸82は、所定の長さをもつステンレス製の円柱であり、その軸径は、ヒンジ金具81,83の穴径よりも、若干大きく形成されている。 軸82は、その両端がヒンジ金具81とヒンジ金具83にそれぞれ圧入される。
【0092】
なお、上述したように、軸82の軸径は、ヒンジ金具81,83の穴径よりも大きいので、軸82が圧入された場合、ヒンジ金具81,83の穴径は広げられ(弾性変形し)、ヒンジ金具81,83は、軸82を弾性的に、回転自在に支持する状態となる。
【0093】
この状態において、軸82は、ヒンジ金具81,83によって、完全には固定されておらず、重力等の影響により、蓋部20が回動しようとして軸82に回転トルクが加えられた場合、軸82とヒンジ金具81,83それぞれとの間に、その回動を阻止する摩擦力が発生する。
【0094】
したがって、蓋部20は、本体11に対して任意の角度(0度乃至180度)に開かれた場合、その蓋部20の状態が、上述の摩擦力によって維持される。 但し、この摩擦力は、蓋部20の自重により発生する回転トルクと同程度のものであり、ユーザによる蓋部20の回動動作を妨げるものではない。
【0095】
なお、ヒンジ部72および73も、図11および図12に示したヒンジ部71と同様に構成されている。
【0096】
次に、図13乃至図15を参照して、メインブロック2に、ヒンジ部71乃至73を採用した場合の、本体11から、メインパネル14、並びにサブパネル15および16への配線について説明する。
【0097】
図が煩雑になるのを避けるため、図7乃至図10には図示していないが、メインブロック2には、図13に示すように、本体11と蓋部20とを結合するヒンジ部71を覆うヒンジカバー91が設けられている。
【0098】
また、蓋部20にも、図13に示すように、メインパネル14とサブパネル16とを結合するヒンジ部73を覆うヒンジカバー92が設けられている。
【0099】
なお、図示していないが、蓋部20には、さらに、メインパネル14とサブパネル15とを結合するヒンジ部72を覆うヒンジカバーも設けられている。
【0100】
図14は、メインブロック2を、図13において矢印Aで示す下側の側面の方向から見た場合の断面図を示している。
【0101】
本体11の内部には、各種の電気回路(電子回路)が形成された回路基板111が設けられており、この回路基板111は、本体11の上面に設けられたLCD12(タッチパネル12Aを含む)と、フレキ112を介して電気的に接続されている。
【0102】
また、回路基板111には、フレキ113が接続されており、このフレキ113は、本体11のヒンジ部71が固定されている側面に設けられた穴114を通って、一旦、外部に出た後、蓋部20のメインパネル14におけるヒンジ部71が固定されている側面に設けられた穴115を通って、メインパネル14の内部に到達している。 そして、メインパネル14の内部では、フレキ113が、その上面に設けられたLCD3(タブレット3Aを含む)と、その裏面に設けられたLCD21(タブレット21Aを含む)に接続されている。 これにより、メインパネル14のLCD3と21は、回路基板111と電気的に接続されている。
【0103】
ヒンジ部71を覆うヒンジカバー91は、穴114と115との間で外部に露出しているフレキ113を保護するような形で設けられており、これにより、フレキ113が、傷ついたりすること等を防止するようになっている。
【0104】
図15は、メインブロック2を、図13において矢印Bで示す右側の側面の方向から見た場合の断面図を示している。
【0105】
メインパネル14の内部に到達しているフレキ113(の一部)は、メインパネル14のヒンジ部73が固定されている側面に設けられた穴122を通って、一旦、外部に出ており、さらに、サブパネル16のヒンジ部73が固定されている側面に設けられた穴123を通って、サブパネル16の内部に到達している。 そして、サブパネル16の内部では、フレキ113が、サブパネル16に設けられたLCD23(タッチパネル23Aを含む)に接続されている。 これにより、サブパネル16のLCD23は、回路基板111と電気的に接続されている。
【0106】
ヒンジ部73を覆うヒンジカバー92は、穴122と123との間で外部に露出しているフレキ113を保護するような形で設けられており、これにより、フレキ113が、傷ついたりすること等を防止するようになっている。
【0107】
なお、フレキ113は、サブパネル15の内部にも、サブパネル16における場合と同様にして到達しており、これにより、サブパネル15に設けられたLCD22(タッチパネル22Aを含む)は、回路基板111と電気的に接続されている。
【0108】
次に、以上の実施の形態においては、PDAの時計バンド1の、メインブロック2の上側と下側に、それぞれ1つずくのLCD4 1と5 1を設けるようにしたが、時計バンド1には、さらに多くのLCDを設けることができる。
【0109】
そこで、図16および図17は、時計バンド1に、より多くのLCDを設けたPDAの外観構成例を示している。
【0110】
図16および図17の実施の形態では、時計バンド1の、メインブロック2の上側に、4つのLCD4 1 ,4 2 ,4 3 ,4 4が設けられており、メインブロック2の下側にも、4つのLCD5 1 ,5 2 ,5 3 ,5 4が設けられている。
【0111】
なお、図17(A)に示すように、時計バンド1の2つの端部それぞれには、留め具1Aと1Bがそれぞれ設けられている。 時計バンド1をユーザの腕に巻き、留め具1Aと1Bが結合することにより、時計バンド1は、輪状になって、図16に示すように、ユーザの腕に装着された状態を維持する。
【0112】
図17(A)は、図16に示したように、時計バンド1がユーザの腕に装着された状態から、時計バンド1をはずし、蓋部20を閉じたまま、平面においた状態を示している。
【0113】
この場合、メインブロック2の蓋部20に設けられたLCD3の他、時計バンド1に設けられたLCD4 1乃至4 4 、およびLCD5 1乃至5 4の、合計で、9個のLCDが上部に露出した状態となる。
【0114】
従って、この場合、この9個のLCD3,4 1乃至4 4 、および5 1乃至5 4によって、ユーザに、情報の提示を行うことができる。
【0115】
なお、LCD4 2 ,4 3 ,4 4 ,5 2 ,5 3 ,5 4も、上述したLCD4 1や5 1と同様に、透明なタッチパネル4A 2 ,4A 3 ,4A 4 ,5A 2 ,5A 3 ,5A 4それぞれと一体的に構成されており、LCD4 2 ,4 3 ,4 4 ,5 2 ,5 3 ,5 4にボタンが表示され、そのボタンをユーザが操作した場合には、そのボタンに対する操作は、タッチパネル4A 2 ,4A 3 ,4A 4 ,5A 2 ,5A 3 ,5A 4によって、それぞれ検出される。
【0116】
図17(B)は、図17(A)に示した状態から、蓋部20を開き、さらに、サイドパネル15および16を開いた状態を示している。
【0117】
この場合、メインブロック2においては、LCD3に代わって、LCD12,21,22,23が上部に露出する。
【0118】
従って、この場合、時計バンド1に設けられたLCD4 1乃至4 4 、およびLCD5 1乃至5 4 、並びにメインブロック2に設けられたLCD12、およびLCD21乃至23の合計12個のLCDによって、ユーザに、情報の提示を行うことができる。
【0119】
次に、図18乃至図21は、メインブロック2のさらに他の構成例を示している。
【0120】
図18の実施の形態においては、蓋部20が閉じた状態において、図18(A)に示すように、本体11の上に、メインパネル14が位置し、メインパネル14の上に、サブパネル15および16が位置する形となるように、メインブロック2が構成されている。
【0121】
即ち、例えば、図2や図7の実施の形態においては、蓋部20が閉じた状態において、本体11の上に、サブパネル15および16が位置し、そのサブパネル15および16の上に、メインパネル14が位置するようになっていたが、図18の実施の形態では、メインパネル14の位置と、サブパネル15および16の位置とが入れ替わっている。 このため、図18では、蓋部20が閉じた状態において、サブパネル15のLCD22と、サブパネル16のLCD23とが、上部に露出した状態となるようになっており、このLCD22および23が、例えば、図7に示したメインブロック2において、蓋部20が閉じた状態となっているときに上部に露出するLCD3を兼用するようになっている。
【0122】
さらに、図18の実施の形態では、本体11と蓋部20(のメインパネル14)とが、図18(A)に示すように、アーム部131とピン部131Aおよび131Bとからなる、いわゆるリンク構造によって結合されている。
【0123】
また、蓋部20におけるメインパネル14とサブパネル15とが、アーム部132とピン部132Aおよび132Bとからなるリンク構造によって結合されており、メインパネル14とサブパネル16とが、アーム部133とピン部133Aおよび133Bとからなるリンク構造によって結合されている。
【0124】
なお、図18において、メインブロック2の上側の側面には、アーム部131とピン部131Aおよび131Bとからなるリンク構造と同様のリンク構造が設けられている。 また、メインブロック2の左側の側面には、アーム部132とピン部132Aおよび132Bとからなるリンク構造と同様のリンク構造と、アーム部133とピン部133Aおよび133Bとからなるリンク構造と同様のリンク構造が設けられている。
【0125】
アーム部131の両端には、それぞれピン部131Aおよび131Bが回転可能なように設けられている。 そして、ピン部131Aは、蓋部20のメインパネル14における下側の側面の左下隅に挿入され、ピン部131Bは、本体11の下側の側面の中央下部に挿入されている。
【0126】
アーム部132の両端には、それぞれピン部132Aおよび132Bが回転可能なように設けられている。 そして、ピン部132Aは、メインパネル14の右側の側面の右上隅に挿入され、ピン部132Bは、サブパネル15の右側の側面の中央上部に挿入されている。
【0127】
アーム部133の両端には、それぞれピン部133Aおよび133Bが回転可能なように設けられている。 そして、ピン部133Aは、メインパネル14の右側の側面の左上隅に挿入され、ピン部133Bは、サブパネル16の右側の側面の中央上部に挿入されている。
【0128】
従って、蓋部20を、右方向にスライドさせるように移動させると、アーム部131は、ピン部131Aを回動中心として回動するとともに、ピン部131Bを回動中心として回動し、これにより、蓋部20は、図18(B)に示すように、本体11の右側の側面に隣接する位置に移動して、本体11の上面に設けられたLCD12が露出状態となる。
【0129】
さらに、サブパネル15を、上方向(奥行き方向)にスライドさせるように移動させると、アーム部132は、ピン部132Aを回動中心として回動するとともに、ピン部132Bを回動中心として回動し、サブパネル15は、図18(C)に示すように、メインパネルの上側の側面に隣接する位置に移動する。
【0130】
また、サブパネル16を、下方向(手前方向)にスライドさせるように移動させると、アーム部133は、ピン部133Aを回動中心として回動するとともに、ピン部133Bを回動中心として回動し、サブパネル16は、図18(C)に示すように、メインパネルの下側の側面に隣接する位置に移動する。
【0131】
以上により、メインパネル14の上面に設けられたLCD21が見える状態となる。
【0132】
なお、図18の実施の形態におけるメインブロック2では、図18(A)に示した状態から、先に、サブパネル15および16をスライドさせ、その後、メインパネル14、並びにサブパネル15および16の全体をスライドさせ、図18(C)に示した状態とすることも可能である。
【0133】
次に、図19を参照して、図18に示したようなリンク構造を採用した場合の配線について説明する。
【0134】
即ち、図19は、図18におけるメインパネル14の、ピン131Aが挿入される部分の拡大図を示している。
【0135】
メインパネル14には、ピン部131Aが挿入される穴144が設けられており、この穴144の径は、ピン部131Aの径よりも若干大きいものとされている。
【0136】
一方、ピン部131Aには、穴144に挿入される方の端部に、例えば、ゴムの等の弾性体からなる係止部143が設けられており、この係止部143の部分の径は、穴144の径よりも若干大きいものとされている。
【0137】
従って、ピン部131Aを、穴144に挿入しようとすると、その穴144に、係止部143が引っ掛かるが、係止部143は弾性体であるため、大きな力によって、ピン部131Aを、穴144に押し込めることによって、係止部143としての弾性体が変形して、穴144を通過する。 係止部143は、穴144を通過して、メインパネル14の内部に到達すると、その弾性力によって元の状態に戻り、これにより、ピン部131Aは、穴144から、容易に抜けない状態となる。
【0138】
また、アーム131の内部、およびピン部131Aの内部は、空洞になっており、本体11から延びる配線であるフレキ145は、アーム131の内部、およびピン部131Aの内部を通って、メインパネル14に到達する。
【0139】
なお、図18に示した他のリンク構造も、図19で説明したのと同様に構成されており、これにより、本体11から、メインパネル14、さらには、サブパネル15および16への配線が可能となっている。
【0140】
次に、図20の実施の形態においては、本体11、並びに蓋部20を構成するメインパネル14、サブパネル15および16の位置関係は、図18の実施の形態における場合と同様になっている。 従って、蓋部20が閉じた状態では、図20(A)に示すように、サブパネル15のLCD22、およびサブパネル16のLCD23は、上部に露出した状態となっている。
【0141】
但し、図20の実施の形態では、本体11とメインパネル14との結合構造、メインパネル14とサブパネル15との結合構造、およびメインパネル14とサブパネル16との結合構造として、リンク構造ではなく、図2や図7の実施の形態と同様に、ヒンジ構造が採用されている。
【0142】
従って、蓋部20が開かれると、図20(B)に示すように、蓋部20のメインパネル14に設けられたLCD21は上部に露出するが、蓋部20が閉じた状態において上面に露出しているサブパネル15のLCD22とサブパネル16のLCD23は、蓋部20が開かれることにより、図20(B)に示すように、下側を向いた状態となる。
【0143】
そして、さらに、サブパネル15および16を開くと、図20(C)に示すように、サブパネル15のLCD22とサブパネル16のLCD23は、上部に露出した状態になる。
【0144】
次に、図21の実施の形態においては、メインブロック2は、基本的には、図2や図7における場合と同様に構成されている。 但し、図2や図7の実施の形態においては、サブパネル15と16は、その縦方向の長さが、メインパネル14の縦方向の長さの1/2弱程度になっていたが、図21の実施の形態では、サブパネル15と16の縦方向の長さが、メインパネル14の縦方向の長さと同程度(若干短い程度)となっている。 従って、図21の実施の形態では、サブパネル15および16は、メインパネル14とほぼ同じ大きさとされている。
【0145】
図21のメインブロック2では、図21(A)に示す蓋部20が閉じた状態から、蓋部20を開くと、図21(B)に示すように、本体11に設けられたLCD12が露出し、さらに、サブパネル15および16を開くと、図21(C)に示すように、メインパネル14のLCD21、サブパネル15のLCD22、およびサブパネル16のLCD23が露出する。
【0146】
上述したように、図21の実施の形態では、サブパネル15および16は、メインパネル14とほぼ同じ大きさとされているため、サブパネル15のLCD21とサブパネル16のLCD23も、メインパネル14のLCD21とほぼ同じ大きさのものとなっている。
【0147】
従って、図21の実施の形態では、図2や図7等の実施の形態に比較して、LCD22および23に、より多くの表示、あるいは、より大きな表示を行うことが可能となる。
【0148】
なお、上述の実施の形態においては、蓋部20に、サブパネル15および16を設けるようにしたが、サブパネル15および16は、本体11に設けることも可能である。
【0149】
また、上述の場合には、蓋部20に2つのサブパネル15および16を設ける要にしたが、サブパネルは1つだけ設けるようにすることが可能である。
【0150】
さらに、サブパネルは、上側または下側に開くのではなく、右側等に開くように設けることが可能である。 また、蓋部20には、上側に開くサブパネル15、下側に開くサブパネル16の他、右側に開くサブパネルを設けることも可能である。
【0151】
次に、図22は、図1乃至図21で説明したPDAを利用したPDAシステムの一実施の形態の構成例を示している。
【0152】
PDA101は、図1乃至図21で説明したPDAで、各種のデータ処理を行う他、公衆網104を介して、他のPDA103や、インターネット105、その他各種の通信端末106との間で通信を行うことができるようになっている。
【0153】
なお、各種の通信端末106としては、電話機(携帯電話機等を含む)や、ファクシミリ、コンピュータ等がある。
【0154】
さらに、PDA101は、ベース基地コンピュータ102との間で、各種のデータをやりとりするデータ通信を行うことができるようになっている。
【0155】
ここで、PDA101とベース基地コンピュータ102との間でやりとりされるデータとしては、例えば、画像データ(動画および静止画を含む)、音声データ(オーディオデータ)、メールアドレスや電話番号等の個人情報、プログラムその他のバイナリファイルやテキストファイル等の各種のファイル、公衆網104を介して、インターネット105や、PDA101と同様に構成される他のPDA103からダウンロードして蓄積した蓄積情報、その他各種の情報処理装置との間で送受信した送受信データ等がある。
【0156】
ベース基地コンピュータ102は、例えば、デスクトップ型またはノート型のコンピュータをベースに構成されており、PDA101のいわばベース基地となるようになっている。 即ち、PDA101は、携帯に便利なように小型に構成されるため、より大型に構成することができるデスクトップ型またはノート型のコンピュータよりも性能が劣ったものとなっている。 そこで、ベース基地コンピュータ102では、PDA101が有するデータを取得(受信)して処理し、その処理結果を、PDA101に提供(送信)したり、また、ベース基地コンピュータ102で、インターネット105等から取得したデータを、PDA101に提供すること等ができるようになっている。
【0157】
なお、ベース基地コンピュータ102は、PDA101のベース基地となり得る点を除けば、基本的な構成は、一般的なデスクトップ型またはノート型等のコンピュータと同様であり、従って、公衆網104を介して、インターネット105と接続したり、各種のプログラムの実行等を行うことが可能である。
【0158】
次に、図23は、PDA101のハードウェア構成例を示している。
【0159】
CPU(Central Processing Unit)202は、バス201に接続されており、そのバス201に接続されている各ブロックの制御等を行う。 さらに、CPU202は、バス226を介して、ROM(Read Only Memory)203、およびRAM(Random Access Memory)204と接続されており、ROM203に記憶されているプログラムや、RAM204にロードされたプログラムを実行することで、上述の制御を含む各種の処理を行う。
【0160】
ROM203は、IPL(Initial Program Loading)のプログラム等の、起動に必要なプログラムを記憶している。 RAM204は、バス226を介して、CPU202から転送されてくるプログラムやデータをロードし、また、CPU202の動作上必要なデータ等を一時記憶する。
【0161】
タッチパネルドライバ205 1 ,205 2 ,205 3 ,205 4 ,205 5 ,205 6 ,205 7は、タッチパネル3A,4A 1 ,5A 1 ,12A,21A,22A,23Aをそれぞれドライブすることにより、タッチパネル3A,4A 1 ,5A 1 ,12A,21A,22A,23A上のタッチされた位置等を検出し、バス201を介して、CPU202に供給する。 なお、図23においては、タッチパネルドライバ205 1乃至205 7を、まとめて、タッチパネルドライバ205と表してある。
【0162】
LCDドライバ206 1 ,206 2 ,206 3 ,206 4 ,206 5 ,206 6 ,206 7は、バス201を介して供給される信号にしたがい、LCD3,4 1 ,5 1 ,12,21,22,23をそれぞれドライブすることにより、LCD3,4 1 ,5 1 ,12,21,22,23それぞれに、所定の画像を表示させる。 なお、図23においては、LCDドライバ206 1乃至206 7を、まとめて、LCDドライバ206と表してある。
【0163】
アンプ207は、CCDカメラ65が出力する画像信号を増幅し、A/D(Analog/Digital)変換器210に供給する。 アンプ208は、D/A(Digital/Analog)変換器212が出力する音声信号を増幅し、スピーカ10またはイヤフォンマイクジャック7に出力する。 アンプ209は、マイク9またはイヤフォンマイクジャック7から入力される音声信号を増幅し、A/D変換器211に供給する。
【0164】
A/D変換器210は、アンプ207から供給されるアナログの画像信号をA/D変換し、ディジタルの画像データとして、MPEG(Moving Picture Experts Group)エンコーダ/デコーダ213に供給する。 A/D変換器211は、アンプ209から供給されるアナログの音声信号をA/D変換し、ディジタルの音声データとして、ATRAC(Adaptive TRansform Acoustic Coding)エンコーダ/デコーダ214に供給する。 D/A変換器212は、ATRACエンコーダ/デコーダ214から供給されるディジタルの音声データをD/A変換し、アナログの音声信号として、アンプ208に供給する。
【0165】
MPEGエンコーダ/デコーダ213は、A/D変換器210またはバス201から供給される画像データを、MPEGの規格に準拠して符号化し、その結果得られる符号化データを、バス201上に出力する。 また、MPEGエンコーダ/デコーダ213は、バス201から供給される符号化データを、MPEGの規格に準拠して復号し、その結果得られる画像データを、バス201上に出力する。
【0166】
なお、MPEGエンコーダ/デコーダ213は、必要に応じて、A/D変換器210から供給される画像データを、特に処理を施さずに、そのままバス201上に出力することもできるようになっている。
【0167】
ATRACエンコーダ/デコーダ214は、A/D変換器211またはバス201から供給される音声データを、ATRACの規格に準拠して符号化し、その結果得られる符号化データを、バス201上に出力する。 また、ATRACエンコーダ/デコーダ214は、バス201から供給される符号化データを、ATRACの規格に準拠して復号し、その結果得られる音声データを、バス201またD/A変換器212に出力する。
【0168】
なお、ATRACエンコーダ/デコーダ214は、必要に応じて、バス201からの音声データを、そのまま、D/A変換器212に出力するとともに、D/A変換器212からの音声データを、そのまま、バス201上に出力することもできるようになっている。
【0169】
HDD(Hard Disk Drive)215は、図示せぬHD(Hard Disk)を内蔵し、CPU202の制御の下、HDに記録されているデータ(プログラムを含む)を読み出して、バス201上に出力し、また、バス201から供給されるデータを、HDに書き込む。
【0170】
フラッシュメモリ216は、バス201に接続されており、PDAの電源をオフにしても記憶しておく必要のあるデータを、バス201を介して記憶する。 即ち、例えば、フラッシュメモリ216は、例えば、PDAの電源がオフされる直前の内部状態を記憶する。 これにより、PDAの電源が、再びオン状態になったときは、フラッシュメモリ216の記憶内容を参照することにより、PDAの内部状態を、その電源がオフされる直前の内部状態に戻すことができる。
【0171】
DRAM(Dynamic RAM)217は、バス201を介して供給されるデータ(例えば、符号化対象の画像データや音声データ、符号化した画像データや音声データなど)を一時記憶する。
【0172】
通信I/F(interface)218は、バス201に接続されており、無線(電波の他、赤外線等も含む)や有線による各種の通信を行うときのインタフェースとして機能する。
【0173】
即ち、通信I/F218は、アンテナ64から供給される受信信号に対して復調等の通信に必要な処理を施し、バス201に出力するとともに、バス201を介して供給されるデータに変調等の通信に必要な処理を施し、その結果得られる送信信号を、アンテナ64に供給する。
【0174】
さらに、通信I/F218は、コネクタ部8から供給されるデータを受信し、必要な処理を施して、バス201に出力するとともに、バス201を介して供給されるデータに所定の処理を施し、コネクタ部8に供給する。
【0175】
また、通信I/F218は、ドライバ219から供給されるデータを受信し、必要な処理を施して、バス201に出力するとともに、バス201を介して供給されるデータに所定の処理を施し、ドライバ219に供給する。
【0176】
ドライバ219、受光部220、および発光部221は、無線通信部63を構成しており、ドライバ219は、通信I/F219から供給されるデータに応じて、発光部221をドライブするとともに、受光部220から供給される信号からデータを抽出し、通信I/F218に供給する。 受光部220は、例えば、赤外線を受光し、その受光量に応じた電気信号を、ドライバ219に供給する。 発光部221は、ドライバ219によって駆動され、例えば、赤外線を発光する。
【0177】
バッテリ222は、PDA101を構成する各ブロックに対して、必要な電源を供給する。
【0178】
入力I/F223は、バス201に接続されており、外部からの操作入力に対するインタフェースとして機能する。 即ち、入力I/F223は、操作部224やスイッチ部225からの信号を受信し、バス201上に出力する。
【0179】
スイッチ部225は、蓋部20の開閉の状態や、サブパネル15および16の開閉の状態を検知するスイッチ群で構成され、蓋部20、並びにサブパネル15および16の開閉の状態に応じた信号を、入力I/F223に供給する。
【0180】
操作部224は、図7等に示したジョグダイヤル6や、ホールドスイッチ61、電源スイッチ62等で構成され、それらの操作に応じた操作信号を、入力I/F223に供給する。
【0181】
次に、図24は、PDA101の機能的構成例を示している。 なお、図23のPDA101のハードウエア構成と対応する部分については、適宜、同一の符号を付してある。
【0182】
RF(Radio Frequency)処理部231は、アンテナ64から供給される受信信号としてのRF信号を復調し、チャネル復号部232に供給する。 また、RF処理部231は、チャネル符号化部223から供給される信号を変調してRF信号とし、アンテナ64に供給する。
【0183】
チャネル復号部232は、RF処理部231から供給される信号をチャネル復号し、エンコード/デコード部234や制御部239に供給する。 チャネル符号化部233は、エンコード/デコード部234や制御部239から供給される信号をチャネル符号化し、RF処理部231に供給する。
【0184】
なお、RF処理部231、チャネル復号部232、およびチャネル符号化部233は、図23の通信I/F218に対応する。
【0185】
エンコード/デコード部234は、画像符号化部235、画像復号部236、音声符号化部237、および音声復号部238で構成されている。
【0186】
画像符号化部235は、制御部224の制御にしたがい、制御部224から供給される画像データを符号化し、制御部224またはチャネル符号化部233に供給する。 画像復号部236は、チャネル復号部232または制御部239から供給される画像の符号化データを復号し、制御部239または表示制御部236に供給する。 音声符号化部237は、アンプ209または制御部239から供給される音声データを符号化し、チャネル符号化部233または制御部239に供給する。 音声復号部238は、チャネル復号部232または制御部239から供給される音声の符号化データを復号し、スピーカ208または制御部239に供給する。
【0187】
なお、エンコード/デコード部234は、図23のMPEGエンコーダ/デコーダ213やATRACエンコーダ/デコーダ214に対応し、さらには、CPU202がプログラムを実行することにより実現される。
【0188】
制御部239は、図23のCPU202がプログラムを実行することにより実現され、コネクタ部8を介してのデータのやりとりや、操作部224からの操作信号に対応した処理、その他の各種の処理(PDA101を構成する各ブロックの制御を含む)を行う。
【0189】
変復調部240は、制御部239から供給されるデータを変調し、無線通信部63に供給する。 また、変復調部240は、無線通信部63から供給される信号を復調し、制御部239に供給する。 なお、変復調部240は、図23の通信I/F218に対応する。
【0190】
メモリ241は、制御部239から供給されるデータ等を記憶し、また、記憶したデータを、制御部239に供給する。 なお、本実施の形態では、メモリ241は、制御部239に接続されている他、コネクタ部8にも接続されている。 また、メモリ241は、図23のフラッシュメモリ216やDRAM217等に対応する。
【0191】
アラーム部242は、例えば、バッテリ222の残容量を監視しており、いわゆるローバッテリ状態となると、制御部239に、その旨を知らせるようになっている。 なお、アラーム部242は、例えば、図23のCPU202がプログラムを実行することにより実現される。
【0192】
開閉検出部243は、蓋部20の開閉や、サブパネル15および16の開閉を検知し、その検知結果を、制御部239に供給する。 なお、開閉検出部243は、図23のスイッチ部225に対応する。
【0193】
表示制御部244は、制御部239の制御にしたがった画像や、画像復号部236から供給される画像を、表示部245に表示させる制御を行う。 さらに、表示制御部244は、表示部245に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、制御部239に供給する。 また、表示制御部244は、制御部239からの信号を、必要に応じて、表示制御部251,252,253,254,255に供給するとともに、それらの表示制御部251乃至255それぞれからの信号を、制御部239に供給する。
【0194】
なお、表示制御部244は、図23のタッチパネルドライバ205およびLCDドライバ206に対応する。 後述する表示制御部251乃至255も同様である。
【0195】
表示部245は、表示制御部244の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部244に供給する。 なお、表示部245は、本体11に一体的に設けられたLCD11およびタッチパネル12A(図10等)に対応する。
【0196】
表示制御部251は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部256または257に表示させる制御を行うとともに、表示部256または257に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。 表示部256と257は、表示制御部251の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部251に供給する。 なお、表示部256は、メインパネル14に一体的に設けられたLCD3およびタッチパネル3A(図7等)に対応し、表示部257は、メインパネル14に一体的に設けられたLCD21およびタッチパネル21A(図10等)に対応する。
【0197】
表示制御部252は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部258に表示させる制御を行うとともに、表示部258に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。 表示部258は、表示制御部252の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部252に供給する。 なお、表示部258は、サブパネル15に一体的に設けられたLCD22およびタッチパネル22A(図10等)に対応する。
【0198】
表示制御部253は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部259に表示させる制御を行うとともに、表示部259に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。 表示部259は、表示制御部253の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部253に供給する。 なお、表示部259は、サブパネル16に一体的に設けられたLCD23およびタッチパネル23A(図10等)に対応する。
【0199】
表示制御部254は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部260に表示させる制御を行うとともに、表示部260に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。 表示部260は、表示制御部254の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部254に供給する。 なお、表示部260は、サイドパネル4に一体的に設けられたLCD4 1およびタッチパネル4A 1 (図10等)に対応する。
【0200】
表示制御部255は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部261に表示させる制御を行うとともに、表示部261に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。 表示部261は、表示制御部255の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部255に供給する。 なお、表示部261は、サイドパネル5に一体的に設けられたLCD5 1およびタッチパネル5A 1 (図10等)に対応する。
【0201】
次に、図25は、図22のベース基地コンピュータ102の外観構成例を示す斜視図である。
【0202】
図25の実施の形態において、ベース基地コンピュータ102は、略平板形状をしており、手前側は、所定のテーパ角を有するテーパ形状になっている。 そして、そのテーパ形状になっている部分には、ユーザによって操作されるキーボード301が配置されている。
【0203】
また、ベース基地コンピュータ201の上面のやや左側には、例えば、LCD等で構成される表示部302が設けられており、表示部302には、各種の情報が表示されるようになっている。
【0204】
さらに、ベース基地コンピュータ201の上面のやや右側には、PDA装着部303と無線通信部304が設けられている。
【0205】
PDA装着部303は、凹形状のスロットとなっており、そこには、PDA101のメインブロック2を装着することができるようになっている。 また、PDA装着部303の内部には、後述する図26において図示してあるコネクタ部337が設けられている。 PDA101のメインブロック2を、そのコネクタ部8(図7等)がPDA装着部303の凹部の底面に対向するように挿入して、PDA装着部303に装着すると、メインブロック2のコネクタ部8と、PDA装着部303のコネクタ部337とが電気的に接続され、これにより、PDA101(メインブロック2)と、ベース基地コンピュータ102とは、通信可能な状態となるようになっている。
【0206】
無線通信部304は、PDA101との間で、赤外線等による通信を行う際に、その赤外線等を送受信するようになっている。
【0207】
なお、その他、図25の実施の形態では、ベース基地コンピュータ102には、その右側の側面に、IEEE(Institute of Electrical and Electronics Engineers)1394の規格に準拠した通信を行う際に他の機器と接続されるIEEE1394端子305と、USB(Universal Serial Bus)の規格に準拠した通信を行う際に他の機器と接続されるUSB端子306が設けられている。 IEEE1394端子305には、IEEE1394の規格に準拠した機器としての、例えば、ビデオカメラ等が接続される。 また、USB端子306には、USBの規格に準拠した機器としての、例えば、マウス等が接続される。
【0208】
次に、図26は、ベース基地コンピュータ102のハードウエア構成例を示している。
【0209】
CPU312は、バス311に接続されており、そのバス311に接続されている各ブロックの制御等を行う。 さらに、CPU312は、バス345を介して、ROM313、RAM314、およびフラッシュメモリ315と接続されており、ROM313に記憶されているプログラムや、RAM314にロードされたプログラムを実行することで、上述の制御を含む各種の処理を行う。
【0210】
ROM313は、IPLのプログラム等の、起動に必要なプログラムを記憶している。 RAM314は、バス343を介して、CPU312から転送されてくるプログラムやデータをロードし、また、CPU312の動作上必要なデータ等を一時記憶する。 フラッシュメモリ315は、例えば、BIOS(Basic Input Output Sytem)のプログラムを記憶している。 即ち、本実施の形態では、書き換え可能なフラッシュメモリ315に、BIOSのプログラムが記憶されており、これにより、BIOSのバージョンアップ等に容易に対処することが可能となっている。
【0211】
LCD316よびLCDドライバ317は、表示部302を構成している。 LCDドライバ316は、バス311を介して供給される信号にしたがい、LCD316をドライブすることにより、LCD316に所定の画像を表示させる。
【0212】
キーボードI/F318は、キーボード301とバス311との間のインタフェースとして機能し、キーボード301の操作に対応した操作信号を、バス311に出力する。
【0213】
USBインタフェース319は、USBの規格に準拠した通信インタフェースで、バス311からデータを受信し、USB端子306から送信するとともに、USB端子306からデータを受信し、バス311上に出力する。 IEEE1394インタフェース320は、IEEE1394の規格に準拠した通信インタフェースで、バス311からデータを受信し、IEEE1394端子305から送信するとともに、IEEE1394端子305からデータを受信し、バス311上に出力する。
【0214】
PCMCIA(Personal Computer Memory Card International Association)ドライバ321は、バス311に接続されており、PCMCIAスロット322に装着されたPCカード(図示せず)を駆動する。 PCMCIAスロット322には、例えば、フラッシュメモリカードやハードディスク、SCSIカード、LANカード、モデムカード等といったPCカードの着脱が可能となっている。 なお、図25においては、PCMCIAスロット322の図示を省略してある。
【0215】
ATRACエンコーダ/デコーダ323は、A/D変換器324またはバス311から供給される音声データを、ATRACの規格に準拠して符号化し、その結果得られる符号化データを、バス311上の出力する。 また、ATRACエンコーダ/デコーダ323は、バス311から供給される符号化データを、ATRACの規格に準拠して復号し、その結果得られる音声データを、バス311またD/A変換器325に出力する。
【0216】
なお、ATRACエンコーダ/デコーダ323は、必要に応じて、バス311からの音声データを、そのまま、D/A変換器325に出力するとともに、A/D変換器324からの音声データを、そのまま、バス311上の出力することもできるようになっている。
【0217】
A/D変換器324は、アンプ326から供給されるアナログの音声信号をA/D変換し、ディジタルの音声データとして、ATRACエンコーダ/デコーダ323に供給する。 D/A変換器325は、ATRACエンコーダ/デコーダ323から供給するディジタルの音声データをD/A変換し、アナログの音声信号として、アンプ327に供給する。
【0218】
アンプ326は、マイク328またはマイクジャック330から入力される音声信号を増幅し、A/D変換器324に供給する。 アンプ327は、D/A変換器325から供給される音声信号を増幅し、スピーカ329またはイヤフォンジャック331に供給する。
【0219】
マイク328は、音声を電気信号として音声信号に変換し、アンプ326に供給する。 スピーカ329は、アンプ327からの音声信号に対応する音を出力する。 マイクジャック330には、音声を入力するためのマイク等が接続され、イヤフォンジャック331には、音声を出力するためのイヤフォン等が接続される。 なお、図25では、マイク328、スピーカ329、マイクジャック330、およびイヤフォンジャック331の図示を省略してある。
【0220】
CD-RW(Compact Disc ReWritable)ドライブ332は、図示せぬCD-RWをドライブし、バス311から供給されるデータを、CD-RWに書き込み、また、CD-RWからデータを再生して、バス311上に出力する。
【0221】
HDD333は、図示せぬHDを内蔵し、CPU312の制御の下、HDに記録されているデータ(プログラムを含む)を読み出して、バス311上に出力し、また、バス311から供給されるデータを、HDに書き込む。
【0222】
フラッシュメモリ334およびDRAM335は、バス311を介して供給されるデータを一時記憶する。
【0223】
通信I/F336は、バス311に接続されており、無線や有線による各種の通信を行うときのインタフェースとして機能する。
【0224】
即ち、通信I/F336は、アンテナ343から供給される受信信号に対して復調等の通信に必要な処理を施し、バス311に出力するとともに、バス311を介して供給されるデータに変調等の通信に必要な処理を施し、その結果得られる送信信号を、アンテナ343に供給する。
【0225】
さらに、通信I/F336は、PDA装着部303が有するコネクタ部337から供給されるデータを受信し、必要な処理を施して、バス311に出力するとともに、バス311を介して供給されるデータに所定の処理を施し、コネクタ部337に供給する。
【0226】
また、通信I/F336は、ドライバ338から供給されるデータを受信し、必要な処理を施して、バス311に出力するとともに、バス311を介して供給されるデータに所定の処理を施し、ドライバ338に供給する。
【0227】
コネクタ部337は、上述したように、図25に示したPDA装着部303としての凹部(スロット)の底面に設けられており、PDA101のコネクタ部8(図7等)が有する1以上のコネクタと接続される1以上のコネクタを有している。
【0228】
ドライバ338、受光部339、および発光部340は、無線通信部304を構成しており、ドライバ338は、通信I/F338から供給されるデータに応じて、発光部340をドライブするとともに、受光部339から供給される信号からデータを抽出し、通信I/F336に供給する。 受光部339は、例えば、赤外線を受光し、その受光量に応じた電気信号を、ドライバ338に供給する。 発光部340は、ドライバ338によって駆動され、例えば、赤外線を発光する。
【0229】
LAN(Local Area Network)ボード341には、例えば、イーサネット(登録商標)等のLANを構成するときに、LAN用のケーブルが接続され、LANボード341は、そのLAN用のケーブルとバス311との間で、データのやりとりを行う。 モデム/TA/DSU(Terminal Adapter/Digital Service Unit)342には、PSTN(Public Switched Telephone Network)回線またはISDN(Integrated Service Digital Network)回線等の電話回線が接続され、モデム/TA/DSU342は、その電話回線とバス311との間で、データのやりとりを行う。
【0230】
アンテナ343は、通信I/F336からのデータを電波で送信するとともに、そこに送信されてくる電波を受信し、通信I/F336に供給する。 これにより、アンテナ343では、例えば、ブルートゥース(Bluetooth(商標))その他の規格に準じた無線通信のための電波の送受信が行われる。 なお、図25では、アンテナ343の図示を省略してある。
【0231】
充電回路344は、例えば、PDA101が、PDA装着部303に装着されたときに、そのPDA101が有するバッテリ222(図23、図24)の充電を行う。
【0232】
次に、図27は、ベース基地コンピュータ102の機能的構成例を示している。 なお、図26のベース基地コンピュータ102のハードウエア構成と対応する部分については、適宜、同一の符号を付してある。
【0233】
制御部351は、図26のCPU312がプログラムを実行することにより実現され、各種の処理(ベース基地コンピュータ102を構成する各ブロックの制御を含む)を行う。
【0234】
即ち、制御部351は、例えば、操作部353からの操作信号に応じた処理を行う。 また、制御部351は、例えば、画像データや音声データを、音声画像符号化復号部352に供給し、その画像データや音声データを符号化させる。 さらに、制御部351は、例えば、画像や音声を符号化した符号化データを、音声画像符号化復号部352に供給し、その符号化データを、画像データや音声データに復号させる。 さらに、制御部351は、例えば、無線によって送信すべきデータを、変復調部354に供給するとともに、変復調部354から供給されるデータを受信する。 また、制御部351は、例えば、表示制御部355に、表示すべき画像データを供給する。 さらに、制御部351は、例えば、メモリ357に対して、保持しておく必要のあるデータを供給して記憶させるとともに、メモリ357から必要なデータを読み出す。 また、制御部351は、例えば、PDA装着部303が有するコネクタ部337を構成する1以上のコネクタのうちの、例えば、コネクタ337 3や337 4等、IEEE1394端子305、USB端子306を介して、必要なデータの送受信を行う。 さらに、制御部351は、例えば、HDD333を制御することにより、データを書き込むとともに、必要なデータを読み出す。 また、制御部351は、例えば、充電回路344を制御する。
【0235】
音声画像符号化復号部352は、制御部351から供給される画像データや音声データを符号化し、その結果得られる符号化データを、制御部351に供給する。 また、音声画像符号化復号部352は、制御部351から供給される符号化データを復号し、その結果得られる画像データや音声データを、制御部351に供給する。
【0236】
なお、音声画像符号化復号部352は、図26のATRACエンコーダ/デコーダ323に対応し、さらには、CPU312がプログラムを実行することにより実現される。
【0237】
変復調部354は、制御部351から供給されるデータを変調し、無線通信部304に供給する。 また、変復調部354は、無線通信部304から供給される信号を復調し、制御部351に供給する。 なお、変復調部354は、図26の通信I/F336に対応する。
【0238】
表示制御部355は、制御部351から供給される画像データを表示部356に表示させる表示制御を行う。 なお、表示制御部355は、図26のLCDドライバ317に対応する。
【0239】
表示部356は、表示制御部355による表示制御にしたがった表示を行う。 なお、表示部356は、図26のLCD316に対応する。
【0240】
メモリ357は、制御部351から供給されるデータ等を記憶し、また、記憶したデータを、制御部351に供給する。 なお、メモリ357は、図26のフラッシュメモリ334やDRAM335等に対応する。
【0241】
ここで、図27において、コネクタ337 1 ,337 2 ,337 3 ,337 4は、PDA装着部303が有するコネクタ部337を構成するコネクタで、コネクタ337 1と337 2は、充電回路344の+端子と−端子にそれぞれ接続されている。 また、コネクタ337 3および337 4は、制御部351と接続されている。
【0242】
一方、PDA101が内蔵するバッテリ222の+端子と−端子は、PDA101に設けられたコネクタ部8(図23)を構成する1以上のコネクタの中のコネクタ8 1と8 2にそれぞれ接続されている。
【0243】
PDA101が、PDA装着部303に対して装着されたとき、PDA101側のコネクタ8 1と8 2は、ベース基地コンピュータ102側のコネクタ337 1と337 2にそれぞれ電気的に接続されるようになっており、これにより、PDA101が、PDA装着部303に対して装着されると、ベース基地コンピュータ102の充電回路344は、コネクタ8 1と337 1 、およびコネクタ8 2と337 2を介して、PDA101のバッテリ222を充電する。
【0244】
次に、図28を参照して、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着された場合の、PDA101とベース基地コンピュータ102との接続について説明する。
【0245】
PDA101のコネクタ部8は、図27に示したコネクタ8 1および8 2の他、図28に示すように、コネクタ8 3と8 4も有しており、コネクタ8 3は、制御部239に、コネクタ8 4は、メモリ241に、それぞれ接続されている。
【0246】
そして、コネクタ8 3と8 4は、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着されると、そのコネクタ部337が有するコネクタ337 3と337 4にそれぞれ接続されるようになっている。
【0247】
上述したように、ベース基地コンピュータ102において、そのコネクタ部337のコネクタ337 3および337 4は、いずれも、制御部351と接続されており、従って、PDA101のコネクタ部8を構成するコネクタ8 3は、コネクタ337 3を介して、また、コネクタ8 4は、コネクタ337 4を介して、いずれも、ベース基地コンピュータ102の制御部351と接続される。
【0248】
その結果、PDA101においてコネクタ8 3に接続している制御部239は、コネクタ8 3と337 3を介して、ベース基地コンピュータ102の制御部351と電気的に接続される。 また、PDA101においてコネクタ8 4に接続しているメモリ241は、コネクタ8 4と337 4を介して、ベース基地コンピュータ102の制御部351と電気的に接続される。
【0249】
従って、PDA101の制御部239と、ベース基地コンピュータ102の制御部351とは、コネクタ8 3と337 3を介して、データのやりとりが可能な状態となる。 さらに、PDA101の制御部239は、ベース基地コンピュータ102の制御部351にリクエストを出すことで、ベース基地コンピュータ102のメモリ357に対して、データの読み書きを行うことができ、逆に、ベース基地コンピュータ102の制御部351も、PDA101の制御部239にリクエストを出すことで、PDA101のメモリ241に対して、データの読み書きを行うことができる。
【0250】
また、ベース基地コンピュータ102の制御部351は、コネクタ337 4と8 4を介して、PDA101の制御部239を介することなく、そのメモリ241に対して、直接、データの読み書きを行うことができる。
【0251】
即ち、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着された場合には、PDA101のメモリ241は、ベース基地コンピュータ102の一部として機能するようになり、これにより、ベース基地コンピュータ102の制御部351は、PDA101のメモリ241を、あたかも、自身が有するメモリ357の一部であるかのようにアクセスすることができる。
【0252】
なお、PDA101と、ベース基地コンピュータ102とが、コネクタ部8および337を介して接続された場合には、PDA101の他のブロックを、ベース基地コンピュータ102の一部として機能させることが可能である。 即ち、例えば、PDA101の制御部239を、ベース基地コンピュータ102の制御部351の一部として機能させることが可能である。
【0253】
次に、図23に示したPDA101は、他のPDA103や、通信可能な通信端末106(図22)との間で電話による音声通話を行うことができるようになっている。 即ち、PDA101は、機能モードが、電話による音声通話を行う電話モードとされると、図29のフローチャートに示す通話処理および発呼処理を行う。
【0254】
そこで、まず最初に、図29(A)のフローチャートを参照して、通話処理について説明する。
【0255】
通話処理では、ステップS1において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0256】
ここで、通信モードには、図示せぬ基地局等との間で、音声通話用の通話チャネルを使って音声を送受信することが可能な通話チャネルモード、データ送受信用のデータチャネルを使ってデータを送受信することが可能なデータチャネルモード、パイロット信号その他の制御用のデータを、制御用の制御チャネルを介してやりとりするだけで、他のチャネルによる送受信を行わない制御チャネルモード(いわゆる待ち受け状態となっているモード)などがあり、ステップS1では、通話モードが制御チャネルモードとされる。
【0257】
その後、例えば、制御チャネルを介して、着呼があったことを知らせる制御データが制御チャネルを介して送信されてきたり、あるいは、発呼を要求する操作が行われたことを表す操作信号が操作部224等から供給されるなどの何らかのイベントが生じると、ステップS2に進み、通信I/F218は、着呼があったかどうかを判定する。
【0258】
即ち、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、ステップS2では、その制御チャネルのデータに基づき、着呼があったかどうかを判定する。
【0259】
ステップS2において、着呼があったと判定された場合、通信I/F218は、その旨のメッセージを、バス201を介して、CPU202に供給する。 CPU202は、着呼があった旨のメッセージを受信すると、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、スピーカ10を制御し、着信音を出力させ、ステップS3に進む。
【0260】
ステップS3では、通信I/F218は、通信モードを、制御チャネルモードから、音声を送受信する通話チャネルを使用する通話チャネルモードに切り替え、ステップS4に進む。 ステップS4では、CPU202は、ユーザが、オフフック状態とするように、操作部224等を操作したかどうかを判定し、しなかったと判定した場合、ステップS1に戻る。
【0261】
また、ステップS4において、操作部224等がオフフック状態とするように操作されたと判定された場合、ステップS5に進み、通信I/F218は、着信してきた相手との通信リンクを確立し、音声通話のための音声データの送受信を行う。
【0262】
これにより、マイク9に入力された音声は、アンプ209、A/D変換器211、ATRACエンコーダ/デコーダ214、バス201、および通信I/F218を介して、アンテナ64から、電波として送信される。 また、電波として送信されてくる音声は、アンテナ64で受信され、通信I/F218、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、スピーカ10から出力される。
【0263】
その後、ステップS6に進み、CPU202は、通話を終了するかどうか、即ち、PDA101のユーザが、操作部224をオンフック状態とするように操作したか、あるいは、通話相手がオンフック状態となったかを判定し、通話を終了しないと判定した場合、ステップS5に戻る。
【0264】
また、ステップS6において、通話を終了すると判定された場合、通信I/F218は、着信してきた相手との通信リンクを切断し、ステップS1に戻る。
【0265】
一方、ステップS2において、着呼がなかったと判定された場合、ステップS7に進み、通信I/F218は、発呼を要求するイベント(以下、適宜、発呼イベントという)が生じたかどうかを判定する。
【0266】
ここで、発呼イベントの発生については、図29(B)のフローチャートを参照して後述する。
【0267】
ステップS7において、発呼イベントがなかったと判定された場合、ステップS1に戻り、以下、同様の処理が繰り返される。
【0268】
また、ステップS7において、発呼イベントがあったと判定された場合、ステップS8に進み、通信I/F218は、通信モードを制御チャネルモードから通話チャネルモードに切り替え、発呼イベントとともに供給される、電話をかける相手の電話番号を、アンテナ64から送信する。
【0269】
その後、その電話番号に対応する通信相手がオフフック状態となると、通信I/F218は、その通信相手との通信リンクを確立し、ステップS9に進む。 ステップS9では、通信I/F218は、ステップS5における場合と同様に、音声通話のための音声データの送受信を行う。
【0270】
その後、ステップS10に進み、CPU202は、ステップS6における場合と同様に、通話を終了するかどうかを判定し、通話を終了しないと判定した場合、ステップS9に戻る。
【0271】
また、ステップS10において、通話を終了すると判定された場合、通信I/F218は、通信相手との通信リンクを切断し、ステップS1に戻る。
【0272】
次に、図29(B)のフローチャートを参照して、発呼処理について説明する。
【0273】
PDA101(図23)のHDD215(あるいは、フラッシュメモリ216)は、ユーザがあらかじめ登録した電話番号と、その電話番号に対応する相手の名前等とが対応付けられた電話番号リストを記憶しており、電話モードにおいて、例えば、ユーザが、その電話番号リストを表示するように、操作部224を操作することによって、発呼処理が開始される。
【0274】
即ち、発呼処理では、まず最初に、ステップS21において、CPU202は、バス201を介して、HDD215に記憶された電話番号リストを読み出し、バス201を介して、LCDドライバ206に供給して、ステップS22に進む。
【0275】
ステップS22では、LCDドライバ206は、CPU202からの電話番号リストを、LCD3,4 1 ,5 1 ,12,21,22、または23に表示させる。
【0276】
ここで、以下、適宜、LCD3,4 1 ,5 1 ,12,21,22、または23を、LCD3等という。
【0277】
その後、ユーザが、LCD3等に表示された電話番号リストの中から、ある電話番号を選択すると、ステップS23に進み、CPU202は、そのユーザが選択した電話番号を、発呼する電話番号として認識する。
【0278】
ここで、LCD3等においては、電話番号リストが、カーソルとともに表示されるようになっている。 このカーソルは、電話番号リスト上のある電話番号を指定するもので、操作部224(図23)としてのジョグダイヤル6(図7等)が回転操作されると、その指定する電話番号を変えるように移動するようになっている。 さらに、カーソルが指定する電話番号については、ジョグダイヤル6が押圧操作されると、その電話番号の選択が確定されるようになっている。
【0279】
従って、ユーザが、ジョグダイヤル6を回転操作し、カーソルを、電話をかけたい相手の電話番号の位置に移動し、さらに、ジョグダイヤル6を押圧すると、ステップS23では、その電話番号(カーソルが指定している電話番号)が認識される。
【0280】
なお、電話番号リストに、多数の電話番号が登録されている場合には、そのすべての電話番号を、LCD3に、一度に表示することが困難であるが、この場合には、表示しきれない電話番号については、ジョグダイヤル6を回転操作することにより、電話番号リストがスクロールされて表示されるようになっている。
【0281】
また、電話番号の選択は、ジョグダイヤル6を操作する他、LCD3等に表示された電話番号リストの電話番号を、直接タッチすることによっても選択することができるようになっている。 即ち、LCD3等に表示された電話番号リストの電話番号を、ユーザがタッチした場合、そのタッチの位置が、タッチパネル3A等およびタッチパネルドライバ205で検出され、その位置に表示されている電話番号が、ユーザが選択した電話番号として認識される。
【0282】
CPU202は、ステップS23において、ユーザが選択した電話番号を認識すると、ステップS24に進み、その電話番号を発呼イベント(発呼イベントを表すメッセージ)に対応付け、通信I/F218に供給し、発呼処理を終了する。
【0283】
図29(A)のフローチャートで説明したように、通信I/F218は、この発呼イベントが発生したことを、ステップS7で検出し、その発呼イベントに対応付けられている電話番号への発呼を行う。
【0284】
なお、ここでは、電話番号リストから、ユーザが選択した電話番号への発呼を行うようにしたが、発呼する電話番号は、ユーザが、直接入力することも可能である。
【0285】
即ち、LCD3等には、上述の図2に示したように、あるいは、後述する図36に示すように、電話番号を入力するためのダイヤルボタンを表示させ、そのダイヤルボタンに対する操作を、タッチパネル3A,4A 1 ,5A 1 ,12A,21A,22A、または23A(以下、適宜、タッチパネル3A等という)とタッチパネルドライバ205によって検出し、その検出したダイヤルボタンの操作に対応する電話番号への発呼を行うようにすることが可能である。
【0286】
次に、図23に示したPDA101は、他のPDA103や、通信可能な通信端末106(図22)、その他公衆網104上やインターネット105上のコンピュータ等との間で電子メールの送受信を行うことができるようになっている。 即ち、PDA101は、機能モードが、電子メールの送受信を行う電子メールモードとされると、図30のフローチャートに示すメール送受信処理およびメール送信イベント処理を行う。
【0287】
そこで、まず最初に、図30(A)のフローチャートを参照して、メール送受信処理について説明する。
【0288】
メール送受信処理では、ステップS31において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0289】
その後、何らかのイベントが生じると、ステップS32に進み、通信I/F218は、そのイベントが、電子メールの送信または受信に関するイベント(以下、適宜、メール送受信イベントという)であるかどうかを判定する。
【0290】
ここで、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、例えば、電子メールが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてくると、メール受信イベントを発生する。 また、CPU202は、電子メールの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されると、メール送信イベントを発生する。 なお、メール送信イベントとメール受信イベントを、まとめて、メール送受信イベントというものとする。
【0291】
ステップS32において、発生したイベントが、メール送受信イベントでないと判定された場合、ステップS31に戻る。
【0292】
また、ステップS32において、発生したイベントが、メール送受信イベントであると判定された場合、ステップS33に進み、通信I/F218は、通信モードを、制御チャネルモードから、データを送受信するデータチャネルを使用するデータチャネルモードに切り替え、ステップS34に進む。 ステップS34では、通信I/F218は、図示せぬ基地局等(のメールサーバ)との通信リンクを確立し、電子メールのデータの送受信を行う。
【0293】
これにより、例えば、メール送受信イベントが、電子メールが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてきたことを表すもの(メール受信イベント)である場合には、通信I/F218は、基地局(のメールサーバ)に対して、電子メールを要求し、その要求に応じて、基地局から送信されてくる電子メールのデータを、アンテナ64を介して受信する。
【0294】
また、例えば、メール送受信イベントが、電子メールの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されたことを表すもの(メール送信イベント)である場合には、通信I/F218は、バス201を介して供給される電子メールのデータを、アンテナ64を介して、基地局(のメールサーバ)に送信する。
【0295】
その後、ステップS35に進み、CPU202は、電子メールのデータの送受信を終了したかどうか、即ち、基地局(のメールサーバ)に記憶されている自身宛の電子メールのデータをすべて受信したか、あるいは、送信が要求された電子メールのデータをすべて送信したかどうかを判定する。
【0296】
ステップS35において、電子メールのデータの送受信が終了していないと判定された場合、ステップS34に戻り、まだ送受信が行われていない電子メールのデータの送受信が続行される。
【0297】
また、ステップS35において、電子メールのデータの送受信が終了したと判定された場合、ステップS31に戻り、以下、同様の処理を繰り返す。
【0298】
次に、図30(B)のフローチャートを参照して、メール送信イベント処理について説明する。
【0299】
PDA101(図23)のHDD215(あるいは、フラッシュメモリ216)は、上述の電話番号リストの他、ユーザがあらかじめ登録した電子メールアドレスと、その電子メールアドレスに対応する相手の名前等とが対応付けられたメールアドレスリストを記憶しており、電子メールモードにおいて、例えば、ユーザが、そのメールアドレスリストを表示するように、操作部224等を操作することによって、メール送信イベント処理が開始される。
【0300】
即ち、メール送信イベント処理では、まず最初に、ステップS41において、CPU202は、バス201を介して、HDD215に記憶されたメールアドレスリストを読み出し、バス201を介して、LCDドライバ206に供給して、ステップS42に進む。
【0301】
ステップS42では、LCDドライバ206は、CPU202からのメールアドレスリストを、LCD3等に表示させる。
【0302】
その後、ユーザが、LCD3等に表示されたメールアドレスリストの中から、ある電子メールアドレスを選択すると、ステップS43に進み、CPU202は、そのユーザが選択した電子メールアドレスを、電子メールの宛先として認識する。
【0303】
ここで、LCD3等におけるメールアドレスリストの表示、またはそのメールアドレスリストからの電子メールアドレスの選択は、図29で説明した電話番号リストを表示する場合、または電話番号を選択する場合とそれぞれ同様に行われるようになっている。 また、電子メールアドレスも、図29で説明した電話番号と同様に、ユーザが、直接入力することが可能である。
【0304】
なお、メールアドレスリストと電話番号リストとは、1つのリスト、即ち、ユーザの氏名等に、その電子メールアドレスと電話番号を対応付けたリストに一体化することが可能である。
【0305】
ステップS43において電子メールの宛先としての電子メールアドレスが認識されると、CPU202は、電子メールの本文となるテキストの入力を待って、ステップS44に進み、バス201を介して、LCDドライバ206を制御することにより、その入力されたテキストを、LCD3等に表示させる。
【0306】
ここで、電子メールの本文となるテキストの入力は、例えば、ユーザが、操作部224としてのジョグダイヤル6(図7等)の回転操作と押圧操作を行うことによって行われる。 即ち、ジョグダイヤル6が回転操作されると、CPU202は、LDCドライバ206を制御することにより、その回転操作に対応して、LCD3等に、入力の対象となる文字をカーソルとともに表示させる。 さらに、CPU202は、カーソルが、ある文字を指定している場合において、ジョグダイヤル6が押圧操作されると、その文字を、テキスト入力として確定する。
【0307】
また、電子メールの本文となるテキストの入力は、例えば、後述するように、ユーザが、LCD3等に表示されたボタン等を操作することによって行うこともできる。 即ち、この場合、CPU202は、LCDドライバ206を制御することにより、LCD3等に、文字を入力するためのボタンを表示させる。 そして、LCD3等に表示されたボタンを、ユーザがタッチすると、タッチパネル3A等およびタッチパネルドライバ205によって、ユーザがタッチしたボタンが検出され、そのボタンに対応する文字が、テキスト入力として確定される。
【0308】
なお、電子メールについては、いわゆるカーボンコピー先となる電子メールアドレスの指定や、電子メールに添付するファイルの指定なども行うことができるようになっており、そのような指定が行われた場合には、ステップS44では、LCD3等において、その指定を反映した表示が行われる。
【0309】
また、電子メールについては、テキストを入力するのと同様にして、既に入力されたテキストを編集することも可能であり、操作部224等が、そのような編集を行うように操作された場合には、ステップS44では、LCD3等において、その編集内容を反映した表示が行われる。
【0310】
その後、ステップS45に進み、CPU202は、電子メールの本文となるテキストの入力を終了したように、ユーザが操作部224等を操作したかどうかを判定し、そのような操作が行われていないと判定した場合、ステップS44に戻る。
【0311】
また、ステップS45において、電子メールの本文となるテキストの入力を終了したように、ユーザが操作部224等を操作したと判定された場合、ステップS46に進み、CPU202は、本文の入力が終了した電子メールの送信を指示するように、ユーザが操作部224等を操作したかどうかを判定する。
【0312】
ステップS46において、電子メールの送信が指示されていないと判定された場合、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS41に戻る。
【0313】
なお、この場合、電子メールは、例えば、HDD215に記憶され、その後、任意のタイミング、またはユーザから指示があったときに送信される。
【0314】
一方、ステップS46において、電子メールの送信が指示されたと判定された場合、即ち、操作部224等からCPU202に対して、電子メールの送信を要求する操作信号が供給された場合、ステップS47に進み、CPU202は、メール送信イベントを、バス201を介して、通信I/F218に供給し、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS41に戻る。
【0315】
図30(A)のフローチャートで説明したように、通信I/F218は、このメール送信イベントが発生したことを、ステップS32で検出し、電子メールの送信を行う。
【0316】
ここで、ステップS45において、電子メールの本文となるテキストの入力が終了したと判定されると、CPU202は、その電子メールに、その差出人として、PDA101のユーザの電子メールアドレスを含めるようになっている。 なお、PDA101のユーザの電子メールアドレスは、そのユーザが、操作部224等を操作することによって、HDD215に記憶されているものとする。
【0317】
次に、図23に示したPDA101は、バイナリデータ等のデータの送受信を行うことができるようになっている。 ここで、PDA101は、データの送受信を、基地局を介して行うこともできるし、基地局を介さずに、他のPDA103や通信可能な通信端末106(図22)との間で、直接行うことができるようにもなっている。 PDA101は、機能モードが、各種のデータの送受信を、他のPDA103や通信可能な通信端末106との間で行うデータモードとされると、図31のフローチャートに示すデータ送受信処理およびデータ送信イベント処理を行う。
【0318】
そこで、まず最初に、図31(A)のフローチャートを参照して、データ送受信処理について説明する。
【0319】
データ送受信処理では、ステップS51において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0320】
その後、何らかのイベントが生じると、ステップS52に進み、通信I/F218は、そのイベントが、データの送信または受信に関するイベント(以下、適宜、データ送受信イベントという)であるかどうかを判定する。
【0321】
ここで、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、例えば、データが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてくると、データ受信イベントを発生する。 また、CPU202は、データの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されると、データ送信イベントを発生する。 なお、データ送信イベントとデータ受信イベントを、まとめて、データ送受信イベントというものとする。
【0322】
ステップS52において、発生したイベントが、データ送受信イベントでないと判定された場合、ステップS51に戻る。
【0323】
また、ステップS52において、発生したイベントが、データ送受信イベントであると判定された場合、ステップS53に進み、通信I/F218は、通信モードを、制御チャネルモードからデータチャネルを使用するデータチャネルモードに切り替え、ステップS54に進む。 ステップS54では、通信I/F218は、他のPDA103等との間で、データの送受信を行う。
【0324】
これにより、例えば、データ送受信イベントが、データが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてきたことを表すもの(データ受信イベント)である場合には、通信I/F218は、他のPDA103等からデータチャネルを介して送信されてくるデータを、アンテナ64を介して受信する。
【0325】
また、例えば、メール送受信イベントが、データの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されたことを表すもの(データ送信イベント)である場合には、通信I/F218は、バス201を介して供給されるデータを、アンテナ64を介して、他のPDA103等に送信する。
【0326】
なお、ここでは、PDA101と他のPDA103等との間のデータの送受信を、アンテナ64を介して電波により行うようにしたが、PDA101と他のPDA103等との間のデータの送受信は、その他、例えば、無線通信部63を介することにより、赤外線によって行うことも可能である。 また、PDA101とPDA103等との通信は、上述のように、電波や赤外線(その他電磁波等)により非接触で行う他、コネクタ部8(図23)を介して、有線により(接触した状態で)行うことも可能である。
【0327】
ステップS54において、データを受信した場合には、ステップS55,S56に順次進み、データを送信した場合には、ステップS55およびS56をスキップして、ステップS57に進む。
【0328】
ステップS55では、CPU202は、通信I/F218が受信したデータのデータ種別を判別する。 即ち、本実施の形態では、データには、そのデータが、画像データや、音声データ、プログラム等のうちのどのデータ種別のものであるかや、そのデータが符号化されている場合には、どのような符号化方式で符号化されているのかといった情報を表すデータ識別子が付加されており、ステップS55では、CPU202は、通信I/F218が受信したデータに付加されているデータ識別子を参照することで、そのデータ種別を判別する。
【0329】
そして、ステップS56に進み、CPU202は、通信I/F218が受信したデータを、バス201を介して、HDD215に転送し、そのデータ種別に応じて記憶させて、ステップS57に進む。
【0330】
即ち、本実施の形態では、データは、その種別ごとに、例えば、別々のディレクトリまたはフォルダに分けて記憶される。
【0331】
なお、本実施の形態では、データは、ファイルとして記憶される。
【0332】
また、ここでは、受信したデータを、HDD215に記憶させるようにしたが、データは、その他、フラッシュメモリ216やDRAM217に記憶させることも可能である。
【0333】
さらに、受信したデータが、例えば、符号化されていない画像データや音声データである場合には、その画像データや音声データは符号化して、HDD215に記憶させることが可能である。 ここで、画像データの符号化は、MPEGエンコーダ/デコーダ213で行うことができる。 また、音声データの符号化は、ATRACエンコーダ/デコーダ214で行うことができる。 さらに、画像データや音声データの符号化は、CPU202がプログラムを実行することにより、その他の符号化方式で行うことも可能である。
【0334】
ステップS57では、CPU202は、データの送受信を終了したかどうか、即ち、他のPDA103から送信されてくるデータのすべてを受信したか、あるいは、送信が要求されたデータのすべてを送信したかどうかを判定する。
【0335】
ステップS57において、データの送受信が終了していないと判定された場合、ステップS54に戻り、まだ送受信が行われていないデータの送受信が続行される。
【0336】
また、ステップS57において、データの送受信が終了したと判定された場合、ステップS51に戻り、以下、同様の処理を繰り返す。
【0337】
次に、図31(B)のフローチャートを参照して、データ送信イベント処理について説明する。
【0338】
データモードにおいて、例えば、ユーザが、そのメールアドレスリストを表示するように、操作部224等を操作することによって、データ送信イベント処理が開始される。
【0339】
即ち、データ送信イベント処理では、ステップS61乃至S63において、図30(B)のステップS41乃至S43における場合とそれぞれ同様の処理が行われ、これにより、CPU202は、データの送信先としての電子メールアドレスを認識する。
【0340】
なお、ここでは、データの送信先を表す情報として、電子メールアドレスを採用することとしたが、その送信先を、例えば、IP(Internet Protocol)アドレスや、MAC(Media Access Control)アドレス、ユーザID(Identification)等で特定することができる場合は、そのような情報を、データの送信先を表す情報として採用することが可能である。
【0341】
その後、ステップS64に進み、CPU202は、データリストを構成し、バス201を介して、LCDドライバ206に供給することにより、そのデータリストを、LCD3等に表示させる。
【0342】
即ち、CPU202は、HDD215にアクセスし、例えば、そこに記憶されている画像データや、音声データ、プログラム等のファイルのファイル名を取得する。 さらに、CPU202は、そのファイル名をリスト形式にしたデータリストを構成し、このデータリストを、LCD3等に表示させる。
【0343】
データリストが、LCD3等に表示された後は、ステップS65に進み、CPU202は、そのデータリストの中から、いずれかのデータ(ここでは、ファイル名)が、ユーザによって選択されたかどうかを判定する。
【0344】
即ち、データリストについては、上述した、電話番号リストから電話番号を選択する場合や、メールアドレスリストから電子メールアドレスを選択する場合と同様にして、ユーザが操作部224としてのジョグダイヤル6(図7等)を操作すること等によって、そのデータリストから、データ(ファイル名)を選択することができるようになっており、ステップS65では、そのようにして、ユーザが、データリストの中から、いずれかのデータを選択したかどうかが判定される。
【0345】
ステップS65において、データが選択されていないと判定された場合、ステップS64に戻り、以下、同様の処理を繰り返す。
【0346】
また、ステップS65において、データが選択されたと判定された場合、ステップS66に進み、CPU202は、ステップS65で選択されたと判定されたデータ(以下、適宜、選択データという)の送信を指示するように、ユーザが操作部224等を操作したかどうかを判定する。
【0347】
ステップS66において、選択データの送信が指示されていないと判定された場合、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS61に戻る。
【0348】
また、ステップS66において、選択データの送信が指示されたと判定された場合、即ち、操作部224等からCPU202に対して、選択データの送信を要求する操作信号が供給された場合、ステップS67に進み、CPU202は、データ送信イベントを、バス201を介して、通信I/F218に供給し、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS61に戻る。
【0349】
図31(A)のフローチャートで説明したように、通信I/F218は、このデータ送信イベントが発生したことを、ステップS52で検出し、選択データの送信を行う。
【0350】
なお、選択データの送信は、図31(B)のステップS63で認識された電子メールアドレスを宛先として行われる。
【0351】
次に、図23に示したPDA101は、HDD215に記憶(記録)された画像データや音声データを再生することができるようになっている。 即ち、PDA101は、機能モードが、画像データまたは音声データの再生を行うデータ再生モードとされると、図32のフローチャートに示すデータ再生処理を行う。
【0352】
なお、HDD215には、CCDカメラ65(図23)で撮像された画像データを、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるエンコーダで符号化したものを記録しておくことができる。 さらに、HDD215には、イヤフォンマイクジャック7やマイク9から入力された音声データを、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるエンコーダで符号化したものを記録しておくことができる。 また、HDD215には、図31(A)で説明したデータ送受信処理によって受信される画像データや音声データを符号化したものを記録しておくことができる。
【0353】
図32のデータ再生処理では、このようにしてHDD215に記録されているデータの再生が行われる。
【0354】
即ち、データ再生モードでは、ステップS71において、CPU202は、データリストの表示を要求するように、ユーザが、操作部224等を操作したかどうかを判定し、そのような操作がされていないと判定した場合、ステップS71に戻る。
【0355】
また、ステップS71において、データリストの表示を要求するように、ユーザが、操作部224等を操作したと判定された場合、ステップS72に進み、CPU202は、データリストを構成し、バス201を介して、LCDドライバ206に供給することにより、そのデータリストを、LCD3等に表示させる。
【0356】
即ち、CPU202は、HDD215にアクセスし、そこに記憶されている画像データと音声データのファイルのファイル名を取得する。 さらに、CPU202は、そのファイル名をリスト形式にしたデータリストを構成し、このデータリストを、LCD3等に表示させる。
【0357】
データリストが、LCD3等に表示された後は、ステップS73に進み、CPU202は、そのデータリストの中から、いずれかのデータ(ここでは、ファイル名)が、ユーザによって選択されたかどうかを、図31(B)のステップS65における場合と同様にして判定する。
【0358】
ステップS73において、データが選択されていないと判定された場合、ステップS72に戻り、以下、同様の処理を繰り返す。
【0359】
また、ステップS73において、データが選択されたと判定された場合、CPU202は、さらに、その選択されたデータが画像データまたは音声データ(オーディオデータ)のうちのいずれであるかを判定し、選択されたデータが、画像データである場合には、ステップS74に進み、音声データである場合には、ステップS78に進む。
【0360】
ステップS74では、CPU202は、ステップS73で選択されたと判定された画像データ(のファイル)を、HDD215から読み出し、ステップS75に進む。 ステップS75では、CPU202は、HDD215から読み出した画像データを復号する処理を行う。
【0361】
即ち、HDD215に記憶されている画像データは、上述したように符号化されており、ステップS75では、その符号化されている画像データが復号される。
【0362】
ここで、画像データの復号は、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0363】
ステップS75において画像データが復号されると、ステップS76に進み、CPU202は、その画像データを、バス201を介して、LCDドライバ206に供給し、LCD3等に表示させる。
【0364】
その後、ステップS77に進み、CPU202は、ステップS73で選択されたと判定された画像データすべての再生を終了したかどうかを判定し、まだ終了していないと判定した場合、ステップS74に戻って、以下、同様の処理を繰り返す。 即ち、これにより、画像データの再生が続行される。
【0365】
また、ステップS77において、ステップS73で選択されたと判定された画像データすべての再生が終了したと判定された場合、ステップS71に戻り、以下、同様の処理が繰り返される。
【0366】
一方、ステップS78では、CPU202は、ステップS73で選択されたと判定された音声データ(のファイル)を、HDD215から読み出し、ステップS79に進む。 ステップS79では、CPU202は、HDD215から読み出した音声データを復号する処理を行う。
【0367】
即ち、HDD215に記憶されている音声データは、上述したように符号化されており、ステップS79では、その符号化されている音声データが復号される。
【0368】
ここで、音声データの復号は、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0369】
ステップS79において音声データが復号されると、ステップS80に進み、CPU202は、その音声データを、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、イヤフォンマイクジャック7またはスピーカ10に供給して出力させる。
【0370】
その後、ステップS81に進み、CPU202は、ステップS73で選択されたと判定された音声データすべての再生を終了したかどうかを判定し、まだ終了していないと判定した場合、ステップS78に戻って、以下、同様の処理を繰り返す。 即ち、これにより、音声データの再生が続行される。
【0371】
また、ステップS81において、ステップS73で選択されたと判定された音声データすべての再生が終了したと判定された場合、ステップS71に戻り、以下、同様の処理が繰り返される。
【0372】
なお、ここでは、HDD215に記憶された画像データまたは音声データの再生を行うようにしたが、その他、HDD215に、インターネット105(図22)上の図示せぬサーバ等からダウンロードしてインストールしたプログラムが記録されている場合には、ステップS72において、そのプログラムのファイル名も含むデータリストを表示し、ユーザによって、プログラムが選択されたときには、そのプログラムを、CPU202に実行させることが可能である。
【0373】
また、ステップS73で選択されたと判定されたデータが、画像データと音声データの両方を含む場合には、ステップS74乃至S77およびステップS78乃至S81の処理は、並列して行われる。
【0374】
次に、図23に示したPDA101は、例えば、インターネット105(図22)上の図示せぬサーバ等から、いわゆるプッシュ型配信等によって、公衆網104を介して送信されてくる画像データや音声データ等のストリーミング再生を行うことができるようになっている。 即ち、PDA101は、機能モードが、ストリーミング再生を行うストリーミング再生モードとされると、図33のフローチャートに示すストリーミング再生処理を行う。
【0375】
ストリーミング再生処理では、ステップS91において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0376】
その後、制御チャネルによって、何らかのデータを送信する旨の制御データが送信されてくると、その制御データが、アンテナ64を介して、通信I/F218で受信され、ステップS92に進み、通信I/F218は、その制御データに基づき、ストリーミング再生用のデータ(以下、適宜、ストリーミングデータという)が送信されてくるのかどうかを判定する。
【0377】
ステップS92において、ストリーミングデータが送信されてくるのではないと判定された場合、ステップS91に戻り、以下、同様の処理を繰り返す。
【0378】
また、ステップS92において、ストリーミングデータが送信されてくると判定された場合、ステップS93に進み、通信I/F218は、通信モードを、制御チャネルモードからデータチャネルモードに切り替え、ステップS94に進む。 ステップS94では、通信I/F218は、データチャネルによって送信されてくるストリーミングデータの受信を開始する。
【0379】
通信I/F218で受信されたストリーミングデータは、バス201を介して、DRAM217に供給されて一時記憶される。
【0380】
CPU202は、DRAM217においてストリーミングデータの記憶が開始されると、ステップS95に進み、CPU202は、DRAM217に記憶されたストリーミングデータのデータ種別を判別する。 即ち、図31(A)のデータ送受信処理で説明した場合と同様に、ストリーミングデータには、そのストリーミングデータの種別等を表すデータ識別子が付加されており、ステップS95では、CPU202は、DRAM217に記憶されたストリーミングデータのデータ識別子を参照することで、そのデータ種別を判別する。
【0381】
そして、ステップS96に進み、CPU202は、DRAM217に記憶されたストリーミングデータが、画像データまたは音声データ(オーディオデータ)のうちのいずれであるかを、ステップS95で判別したデータ種別に基づいて判定する。
【0382】
ステップS96において、DRAM217に記憶されたストリーミングデータが、画像データであると判定された場合、ステップS97に進み、CPU202は、DRAM217に記憶された画像データを読み出し、その画像データを復号する処理を行う。
【0383】
即ち、ストリーミングデータは、例えば、MPEGその他の符号化方式で符号化されており、ステップS95では、その符号化されている画像データが復号される。
【0384】
ここで、画像データの復号は、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0385】
ステップS97において画像データが復号されると、ステップS98に進み、CPU202は、その画像データを、バス201を介して、LCDドライバ206に供給し、LCD3等に表示させる。
【0386】
その後、ステップS99に進み、CPU202は、DRAM217に記憶されたストリーミングデータ(ここでは、画像データ)のすべての再生が終了したかどうかを判定し、まだ、終了していないと判定した場合、ステップS97に戻り、以下、DRAM217に記憶されたストリーミングデータの復号、表示(再生)が続行される。
【0387】
また、ステップS99において、DRAM217に記憶されたストリーミングデータのすべての再生が終了したと判定された場合、ステップS91に戻り、以下、同様の処理が繰り返される。
【0388】
一方、ステップS96において、ストリーミングデータが音声データであると判定された場合、ステップS100に進み、CPU202は、DRAM217に記憶された音声データを読み出し、その音声データを復号する処理を行う。
【0389】
即ち、ストリーミングデータは、例えば、ATRACその他の符号化方式で符号化されており、ステップS100では、その符号化されている音声データが復号される。
【0390】
ここで、音声データの復号は、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0391】
ステップS100において音声データが復号されると、ステップS101に進み、CPU202は、その音声データを、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、イヤフォンマイクジャック7またはスピーカ10に供給して出力させる。
【0392】
その後、ステップS102に進み、CPU202は、DRAM217に記憶されたストリーミングデータ(ここでは、音声データ)のすべての再生が終了したかどうかを判定し、まだ、終了していないと判定した場合、ステップS100に戻り、DRAM217に記憶されたストリーミングデータの復号、出力(再生)が続行される。
【0393】
また、ステップS102において、DRAM217に記憶されたストリーミングデータのすべての再生が終了したと判定された場合、ステップS91に戻り、以下、同様の処理が繰り返される。
【0394】
なお、ストリーミングデータが、画像データと音声データの両方を含む場合には、ステップS97乃至S99およびステップS100乃至S102の処理は、並列して行われる。
【0395】
次に、図23のPDA101は、図26のベース基地コンピュータ102との間で、各種のデータ(ファイル)のやりとりを行うことが可能となっている。
【0396】
そこで、図34および図35を参照して、PDA101とベース基地コンピュータ102との間でのファイルのやりとりの手順について説明する。
【0397】
なお、PDA101(図23)とベース基地コンピュータ102(図26)との間でのファイルのやりとりは、アンテナ64および343を介することによる電波での通信、コネクタ部8および337を介することによる有線での通信、並びに無線通信部63および304を介することによる赤外線での通信のうちのいずれによっても可能となっている。 但し、ここでは、例えば、アンテナ64および343を介することによる電波での通信が行われることにより、PDA101とベース基地コンピュータ102との間で、ファイルのやりとりが行われるものとする。
【0398】
まず、図34を参照して、PDA101からベース基地コンピュータ102にファイルが送信される場合の手順について説明する。
【0399】
ベース基地コンピュータ102(図26)のCPU312(図27の制御部351に対応する)は、ユーザが、キーボード301(図27の操作部353に対応する)等を操作することによって、PDA101から受信するファイルを指定するのを待って(A1)、その指定されたファイルを、PDA101から受信すべきファイルとして選択する(A2)。 このとき、PDA101(図23)のCPU202(図24の制御部239に対応)は、制御チャネルモードで待機している(B1)。
【0400】
なお、図34の実施の形態では、例えば、ベース基地コンピュータ102は、PDA101と通信することにより、既に、PDA101のHDD215が記憶しているファイルのファイル名の一覧を取得しているものとし、ユーザは、そのファイル名の一覧から、ファイルの指定(A1)を行うものとする。
【0401】
ベース基地コンピュータ102のCPU312は、PDA101から受信すべきファイルを選択した後、通信I/F336を制御することにより、アンテナ343を介し、PDA101に対して、その選択したファイルの受信を要求する受信要求信号を、その選択したファイルを識別する、例えば、ファイル名とともに送信する(A3)。
【0402】
ベース基地コンピュータ102からの受信要求信号は、PDA101において、アンテナ64を介して、通信I/F218で受信され(B2)、CPU202に供給される。
【0403】
PDA101のCPU202は、受信要求信号を受信すると、通信I/F218を制御することにより、ベース基地コンピュータ102に対して、認証処理を要求し、これにより、PDA101のCPU202と、ベース基地コンピュータ102のCPU312との間では、互いに正当な機器であるかどうかを確認する認証処理が行われる(A4,B3)。
【0404】
PDA101のCPU202と、ベース基地コンピュータ102のCPU312において、認証が成功すると、PDA101のCPU202は、通信I/F218を制御することにより、ファイルの受信を許可することを表す受信許可信号を、ベース基地コンピュータ102に送信する(B4)。
【0405】
なお、認証が失敗した場合には、以降の処理は行われず、従って、PDA101からベース基地コンピュータ102へのファイルの送信は行われない。
【0406】
PDA101から送信された受信許可信号は、ベース基地コンピュータ102において、アンテナ343を介して、通信I/F336で受信され(A5)、バス311を介して、CPU312に供給される。 これにより、CPU312は、PDA101からファイルが送信されてくることを認識する。
【0407】
その後、PDA101のCPU202は、ベース基地コンピュータ102から受信要求信号とともに送信されてきたファイル名のファイルを、例えば、HDD215から読み出し、バス201を介して、通信I/F218に供給することで、そのファイルを、アンテナ64を介して、ベース基地コンピュータ102に送信させる(B5)。
【0408】
ベース基地コンピュータ102では、PDA101から送信されてくるファイルが、アンテナ343を介して、通信I/F336で受信される(A6)。 通信I/F336は、受信したファイルを、バス311を介して、DRAM335に転送して一時記憶させ、CPU312は、このようにしてDRAM335に記憶されたファイルのファイル識別信号に基づき、そのファイルが、例えば、画像データ、音声データ、プログラム、テキストデータ等のうちのいずれのファイル種別のものであるかを判別する(A7)。
【0409】
即ち、ファイルには、そのファイル種別を表すファイル識別信号が付加されており、そのファイル識別信号を参照することにより、ファイル種別が判別される。
【0410】
そして、CPU312は、DRAM335に記憶されたファイルを、バス311を介して、HDD333に転送し、そのファイル種別に応じて記憶させる(A8)。
【0411】
即ち、本実施の形態では、ベース基地コンピュータ102は、ファイルを、そのファイル種別ごとに異なるディレクトリまたはフォルダに分けて、HDD333に記憶させるようになっている。
【0412】
次に、図35を参照して、ベース基地コンピュータ102からPDA101にファイルが送信される場合の手順について説明する。
【0413】
ベース基地コンピュータ102(図26)のCPU312(図27の制御部351に対応する)は、ユーザが、キーボード301(図27の操作部353に対応する)等を操作することによって、HDD333に記憶されたファイルの中から、PDA101に送信するファイルを指定するのを待って(A11)、その指定されたファイルを、PDA101に送信すべきファイルとして選択する(A12)。 このとき、PDA101(図23)のCPU202(図24の制御部239に対応)は、制御チャネルモードで待機している(B11)。
【0414】
ベース基地コンピュータ102のCPU312は、PDA101に送信すべきファイルを選択した後、通信I/F336を制御することにより、アンテナ343を介し、PDA101に対して、その選択したファイルの送信を要求する送信要求信号を、その選択したファイルを識別する、例えば、ファイル名とともに送信する(A13)。
【0415】
ベース基地コンピュータ102からの送信要求信号は、PDA101において、アンテナ64を介して、通信I/F218で受信され(B12)、CPU202に供給される。
【0416】
PDA101のCPU202は、送信要求信号を受信すると、通信I/F218を制御することにより、ベース基地コンピュータ102に対して、認証処理を要求し、これにより、PDA101のCPU202と、ベース基地コンピュータ102のCPU312との間では、互いに正当な機器であるかどうかを確認する認証処理が行われる(A14,B13)。
【0417】
PDA101のCPU202と、ベース基地コンピュータ102のCPU312において、認証が成功すると、PDA101のCPU202は、通信I/F218を制御することにより、ファイルの送信を許可することを表す送信許可信号を、ベース基地コンピュータ102に送信する(B14)。
【0418】
なお、認証が失敗した場合には、図34における場合と同様に、以降の処理は行われず、従って、ベース基地コンピュータ102からPDA101へのファイルの送信は行われない。
【0419】
PDA101から送信された送信許可信号は、ベース基地コンピュータ102において、アンテナ343を介して、通信I/F336で受信され(A15)、バス311を介して、CPU312に供給される。 これにより、CPU312は、PDA101からファイルの送信が許可されたことを認識する。
【0420】
その後、ベース基地コンピュータ102は、PDA101に対して送信要求信号とともに送信したファイル名のファイルを、例えば、HDD333から読み出し、バス311を介して、通信I/F336に供給することで、そのファイルを、アンテナ343を介して、PDA101に送信させる(A16)。
【0421】
PDA101では、ベース基地コンピュータ102から送信されてくるファイルが、アンテナ64を介して、通信I/F218で受信される(B15)。 通信I/F218は、受信したファイルを、バス201を介して、DRAM217に転送して一時記憶させ、CPU202は、このようにしてDRAM217に記憶されたファイルのファイル識別信号に基づき、そのファイルが、例えば、画像データ、音声データ、プログラム、テキストデータ等のうちのいずれのファイル種別のものであるかを判別する(B16)。
【0422】
即ち、図34で説明したように、ファイルには、そのファイル種別を表すファイル識別信号が付加されており、そのファイル識別信号を参照することにより、ファイル種別が判別される。
【0423】
そして、CPU202は、DRAM217に記憶されたファイルを、バス201を介して、フラッシュメモリ216に転送し、そのファイル種別に応じて記憶させる(B17)。
【0424】
なお、PDA101においては、ファイルを、フラッシュメモリ216に記憶させるのではなく、HDD215に記憶させることも可能である。
【0425】
次に、PDA101における情報の表示方法について説明する。
【0426】
PDA101においては、例えば、図10に示したように、蓋部20を開き、さらに、サブパネル15と16を開くと、ほぼ同一平面上に、6つのLCD4 1 ,5 1 ,12,21,22,23が隣り合って配置される。
【0427】
そこで、PDA101には、例えば、図36に示すように、6つのLCD4 1 ,5 1 ,12,21乃至23を、1つの画面とみなして、その1つの画面に、1つの情報を表示することができる。
【0428】
即ち、図36は、PDA101の機能モードが電話モードとされた場合の、6つのLCD4 1 ,5 1 ,12,21乃至23の表示例を示している。
【0429】
図36の実施の形態においては、6つのLCD4 1 ,5 1 ,12,21乃至23を1つの画面として、その1画面に、PDA101を電話機として機能させるためのボタン群が表示されている。
【0430】
具体的には、図36では、LCD4 1には、オフフック状態とするためのオフフックボタンの全体が表示されており、LCD5 1には、電話番号を入力するダイヤルボタンのうち、数字「7」を入力するボタンの全体、数字「8」を入力するボタンの一部、記号「*」を入力するボタンの全体、および数字「0」を入力するボタンの一部が表示されている。 さらに、LCD12には、数字「1」を入力するボタンの全体、数字「2」を入力するボタンの一部、数字「4」を入力するボタンの全体、および数字「5」を入力するボタンの一部が表示されており、LCD21には、数字「2」を入力するボタンの残りの部分、数字「3」を入力するボタンの全体、数字「5」を入力するボタンの残りの部分、および数字「6」を入力するボタンの全体が表示されている。 また、LCD22には、オンフック状態とするためのオンフックボタンの全体が表示されており、LCD23には、数字「8」を入力するボタンの残りの部分、数字「9」を入力するボタンの全体、数字「0」を入力するボタンの残りの部分、および記号「#」を入力するボタンの全体が表示されている。
【0431】
なお、ダイヤルボタンのうち、数字を入力するボタンは、電子メールの本文等を記述するときに用いられるひらがなやアルファベット等を入力することもできるようになっている。
【0432】
LCD4 1 ,5 1 ,12,21,22,23に表示されたボタンが操作された場合、上述したように、そのボタンの操作は、LCD4 1 ,5 1 ,12,21,22,23それぞれと一体的に構成されているタッチパネル4A 1 ,5A 1 ,12A,21A,22A,23Aで検出される。
【0433】
従って、あるLCDに、その全体が表示されているボタンに対する操作は、そのLCDと一体的に構成されたタッチパネルで検出されるが、複数のLCDに亘って表示されているボタンに対する操作は、その複数のLCDそれぞれと一体的に構成されている複数のタッチパネルのいずれでも検出される。
【0434】
即ち、図36において、例えば、数字「1」を入力するボタンは、その全体がLCD12に表示されているから、そのボタンに対する操作は、LCD12と一体的に構成されているタッチパネル12Aで検出される。 また、例えば、数字「2」を入力するボタンは、LCD12と21に亘って表示されているから、そのボタンに対する操作は、その操作位置によって、LCD12と一体的に構成されているタッチパネル12A、またはLCD21と一体的に構成されているタッチパネル21Aのいずれかで検出される。
【0435】
従って、ユーザは、LCD12に表示されている数字「2」を入力するボタンをタッチすることによっても、また、LCD21に表示されている数字「2」を入力するボタンの表示部分をタッチすることによっても、数字「2」の入力を行うことができる。
【0436】
以上のように、6つのLCD4 1 ,5 1 ,12,21乃至23に、それらを1つの画面として、1つの情報を表示する場合には、1つのLCDに表示する場合に比較して、情報を大きく表示することができ、操作性を向上させることができる。
【0437】
ここで、上述のように複数のLCDに、それらを1つの画面として、その1画面に情報を表示することを、以下、適宜、マルチスクリーン表示という。
【0438】
次に、6つのLCD4 1 ,5 1 ,12,21乃至23には、上述のように、それらの全体を1つの画面として、情報を表示する他、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示することも可能である。
【0439】
即ち、図37は、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれを1画面として、各画面ごとに、1つの情報を表示した表示例を示している。 なお、図37の実施の形態では(後述する図38および図39においても同様)、LCDを模式的に描いてある。
【0440】
図37(A)の実施の形態においては、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれに、メニューの各項目が表示されている。 即ち、LCD4 1には、項目「ニュース」が、LCD5 1には、項目「音楽」が、LCD12には、項目「天気予報」が、LCD21には、項目「メール」が、LCD22には、項目「映画」が、LCD23には、項目「電話」が、それぞれ表示されている。
【0441】
図37(A)に示した状態において、ユーザが、例えば、項目「映画」が表示されたLCD22をタッチすると、そのタッチが、LCD22と一体的に構成されているタッチパネル22Aによって検出され、例えば、図37(B)に示すように、項目「映画」にリンクされている複数の情報それぞれが、やはり、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれに表示される。
【0442】
即ち、図37(B)の実施の形態においては、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれごとに、映画のタイトル#1乃至#6それぞれが表示されている。
【0443】
図37(B)に示した状態において、ユーザが、例えば、映画のタイトル#1が表示されたLCD4 1をタッチすると、そのタッチが、LCD4 1と一体的に構成されているタッチパネル4A 1によって検出され、例えば、図37(C)に示すように、映画のタイトル#1にリンクされている複数の情報それぞれが、やはり、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれに表示される。
【0444】
即ち、図37(C)の実施の形態では、LCD4 1には、「スタート」の文字が表されたボタン(以下、適宜、「スタート」ボタンという)が表示されている。 また、LCD5 1 ,12,21乃至23それぞれには、タイトル#1の映画の監督、脚本家、主演俳優、助演俳優、インタビューの様子といった、その映画に関連する複数の画像それぞれが表示されている。
【0445】
図37(C)に示した状態において、ユーザが、例えば、「スタート」ボタンが表示されたLCD4 1をタッチすると、PDA101では、例えば、タイトル#1の映画の画像データの再生が開始され、その再生画像が、例えば、6つのLCD4 1 ,5 1 ,12,21乃至23を1画面として、マルチスクリーン表示される。
【0446】
また、図37(C)に示した状態において、ユーザが、例えば、映画の監督の画像が表示されたLCDをタッチすると、PDA101では、その監督の経歴や他の作品などの、その監督を紹介する情報の再生が開始され、例えば、6つのLCD4 1 ,5 1 ,12,21乃至23を1画面として、マルチスクリーン表示される。
【0447】
以上のように、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示する場合には、各情報が、その情報ごとに異なるLCDに表示されることから、ユーザは、複数の情報から1つの情報を選択するときに、その情報が表示されているLCDを選択するような間隔で、情報の選択を行うことができる。
【0448】
即ち、マルチスクリーン表示の場合には、図36に示したように、ボタンが、2つのLCDに亘って表示されることがあり、この場合、その2つのLCDのボタンが表示された部分のいずれをタッチしても、そのボタンの操作が可能である。 しかしながら、このように、1つのボタンが2つのLCDに亘って表示されている場合には、いわば、1つのボタンが、2つのLCDに対応していることになるから、ボタンとLCDの対応関係が一対一でないため、ユーザが操作を戸惑うことがあり得る。
【0449】
一方、図37に示したように、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示する場合には、1つの情報と1つのLCDとの対応関係が一対一となっているため、1つのLCDに表示されている情報を、他のLCDに表示されている情報と区別しやすく、従って、ユーザは、所望の情報の選択操作を容易かつ正確に行うことができる。
【0450】
さらに、1つのLCDに1つの情報を表示する場合には、複数の情報を1つのLCDに表示する場合に比較して、情報を大きく表示することができ、従って、ユーザにとって分かりやすい情報表示を行うことが可能となる。
【0451】
なお、1つのLCDの画面を、複数領域に区切り、各領域に1つの情報を表示する場合には、見かけ上、図37に示した場合と同様の表示を行うことができる。 しかしながら、1つのLCDを複数領域に区切ることによって、図37における場合と同じ大きさで情報を表示するには、その1つのLCDとして大型のものを採用する必要があり、装置全体が大型化する。 さらに、1つのLCDを複数領域に区切って、各領域にボタンを表示する場合には、ユーザが、2つの領域の境界部分にタッチしたときに、その2つの領域のうちのいずれに表示されたボタンが操作されたのかの判断が困難となる。
【0452】
これに対して、図37の実施の形態のように、回動可能な複数のLCDごとに、1つの情報を表示する場合には、上述のような装置の大型化や、ユーザの操作の判断が困難となることを防止することができる。
【0453】
ここで、上述のように、複数のLCDの1つ1つに、1つの情報を表示することを、以下、適宜、ディレクトリ表示という。
【0454】
なお、6つのLCD4 1 ,5 1 ,12,21乃至23において、マルチスクリーン表示またはディレクトリ表示のいずれで、情報の表示を行うかは、ユーザが選択することができるようになっており、さらに、マルチスクリーン表示とディレクトリ表示との切り替えも可能になっている。
【0455】
即ち、図38は、図37に示したディレクトリ表示を切り替えて、マルチスクリーン表示とした表示例を示している。
【0456】
なお、図38(A)は、図37(A)のディレクトリ表示を、図38(B)は、図37(B)のディレクトリ表示を、図38(C)は、図37(C)のディレクトリ表示を、それぞれマルチスクリーン表示としたものである。
【0457】
次に、ディレクトリ表示は、例えば、図16および図17の実施の形態に示したように、時計バンド1に、多数のLCD4 1 ,4 2 ,4 3 ,4 4 、並びにLCD5 1 ,5 2 ,5 3 ,5 4を設けた場合にも行うことが可能である。
【0458】
図39は、12個のLCD4 1乃至4 4 ,5 1乃至5 4 ,12,21乃至23によるディレクトリ表示の表示例を示している。
【0459】
即ち、図39は、電子メールの本文等を入力する場合の表示例を示しており、図39(A)の実施の形態では、LCD12には、既に入力された文字列「きの」が表示されている。 そして、LCD4 4には、あ行を表す文字「あ」が、LCD4 3には、か行を表す文字「か」が、LCD4 2には、さ行を表す文字「さ」が、LCD4 1には、た行を表す文字「た」が、LCD22には、な行を表す文字「な」が、LCD21には、は行を表す文字「は」が、LCD23には、ま行を表す文字「ま」が、LCD5 1には、や行を表す文字「や」が、LCD5 2には、ら行を表す文字「ら」が、LCD5 3には、わ行を表す文字「わ」が、LCD5 4には、文字「ん」が、それぞれ表示されている。
【0460】
ユーザは、例えば、あ行の文字を入力しようとする場合、あ行を表す文字「あ」が表示されているLCD4 4をタッチする。 この場合、LCD4 4と一体的に構成されているタッチパネル4A 4 (図17)において、LCD4 4へのタッチが検出され、CPU202(図23)は、その検出結果に基づき、LCD4 1乃至4 4 ,5 1乃至5 4 ,12,21乃至23の表示を、図39(B)に示すように変化させる。
【0461】
即ち、LCD12の表示は、図39(A)の状態のまま変化しないが、他のLCD4 1乃至4 4 ,5 1乃至5 4 ,21乃至23それぞれの表示は、あ行の文字を入力するため等の表示に変化する。
【0462】
具体的には、LCD4 4には、濁音を表す「てんてん」が、LCD4 3には、半濁音を表す「まる」が、LCD4 2には、長音を表す「ー」が、LCD4 1には、ア行の文字「あ」が、LCD22には、あ行の文字「い」が、LCD21には、あ行の文字「う」が、LCD23には、あ行の文字「え」が、LCD5 1には、あ行の文字「お」が、LCD5 2には、読点を入力するための「読点」が、LCD5 3には、句点を入力するための「句点」が、LCD5 4には、図39(A)の状態に戻ることを表す「戻る」が、それぞれ表示されている。
【0463】
ユーザは、例えば、文字「う」を入力しようとする場合、文字「う」が表示されているLCD21をタッチする。 この場合、LCD21と一体的に構成されているタッチパネル21Aにおいて、そのタッチが検出され、その検出結果に基づき、CPU202(図23)は、LCD4 1乃至4 4 ,5 1乃至5 4 ,12,21乃至23の表示を、図39(C)に示すように変化させる。
【0464】
図39(C)においては、図39(B)における場合に比較して、LCD12の表示だけが変化しており、LCD12には、既に表示されていた文字列「きの」に、図39(B)の状態でタッチされたLCD21に表示されていた文字「う」を加えた文字列「きのう」が表示されている。
【0465】
但し、LCD12において、新たに表示された文字「う」は、既に表示されていた文字列「きの」とは区別する形で表示されており、まだ、その入力が未確定状態になっている。 なお、図39(C)では、入力が確定している文字列「きの」は実線で、入力が未確定の文字「う」は点線で、それぞれ図示してある。
【0466】
ユーザは、入力が未確定の文字「う」の入力を確定する場合、図39(C)の状態において、文字列「きのう」が表示されているLCD12をタッチする。 このタッチは、LCD12Aと一体的に構成されているタッチパネル12Aで検出され、これにより、文字「う」の入力が確定される。 即ち、この場合、LCD12においては、文字「う」は、LCD12に既に表示されていた文字列「きの」と同一の表示状態とされる。
【0467】
なお、LCD12には、上述のように、確定ボタンとしての機能をもたせるとともに、仮名漢字変換を指示する機能をもたせることが可能であり、この場合、LCD12に対する操作位置によって、LCD12に表示された文字の仮名漢字変換や、入力の確定を行うようにすることが可能である。
【0468】
次に、例えば、図7乃至図15で説明したPDAは、LCD3,4 1 ,5 1 ,12,21乃至23の7個のLCDを有しているが、電源スイッチ62(図7等)がオン状態とされている場合に、その7個のLCD3,4 1 ,5 1 ,12,21乃至23のすべてをオン状態としておくのは、バッテリ222(図23)の電力消費の観点から好ましくない。
【0469】
即ち、7個のLCD3,4 1 ,5 1 ,12,21乃至23のうち、特に、LCD3,12,21乃至23の5つのLCDについては、常に露出状態(ユーザが、その表示を見ることができる状態)になっているわけではないため、常時オン状態にしておくのは、無駄な電力を消費することになる。
【0470】
そこで、PDA101(図23)では、蓋部20の状態、並びにサブパネル115および16の状態を、スイッチ部225で検出し、その検出結果に基づいて、CPU202が、LCD3,12,21乃至23のオン/オフ制御を行うようになっている。
【0471】
なお、常に露出しているLCD4 1および5 1 (図16および図17の実施の形態では、4 1乃至4 4 ,5 1乃至5 4 )については、例えば、ユーザが、そのオン/オフを手動で切り替えるようにすることもできるし、蓋部20とサブパネル15および16のすべてが開いている状態の場合のみオン状態とし、それ以外の場合は、オフ状態とするようにすること等も可能である。 また、LCD4 1および5 1は、例えば、LCD3と連動してオン/オフするようにすることも可能である。
【0472】
次に、図40のフローチャートを参照して、蓋部20の状態とサブパネル115および16の状態に基づいてCPU202が行うLCD3,12,21乃至23のオン/オフ制御の処理について説明する。
【0473】
まず最初に、ステップS111において、CPU202は、操作部224(図23)を構成する電源スイッチ62(図7)がオン状態またはオフ状態のいずれの状態であるかを判定する。
【0474】
ステップS111において、電源スイッチ62がオフ状態であると判定された場合、ステップS112に進み、CPU202は、LCDドライバ206(図23)を制御して、LCD3,12,21乃至23のうちのオン状態になっているものすべてをオフ状態にさせ(例えば、LCDを構成するバックライトを消灯し)、ステップS111に戻る。
【0475】
ここで、CPU202は、LCDのオン/オフに連動して、タッチパネルドライバ205も制御し、対応するタッチパネル(オン/オフさせたLCDと一体的に構成されているタッチパネル)もオン/オフさせる(電源の供給を開始/停止させる)ようになっている。
【0476】
一方、ステップS111において、電源スイッチ62がオン状態であると判定された場合、ステップS113に進み、CPU202は、LCD3がオン状態になっていないときには、LCDドライバ206を制御することにより、LCD3をオン状態にし(例えば、LCDを構成するバックライトを点灯し)、ステップS114に進む。
【0477】
ステップS114では、CPU202が、スイッチ部225による蓋部20(図7)の開閉の状態の検出結果に基づいて、蓋部20が開いているかどうかを判定する。 ステップS114において、蓋部20が開いていないと判定された場合、即ち、蓋部20が閉じており、LCD3だけが露出状態にあり、LCD12および21乃至23が収納状態(上側を向いていない状態)にある場合、ステップS115に進み、CPU202は、LCDドライバ206を制御することにより、LCD3がオフ状態になっているときはオン状態にし、さらに、LCD12および21乃至23のうちオン状態になっているものをオフ状態にして、ステップS111に戻る。
【0478】
また、ステップS114において、蓋部20が開いていると判定された場合、即ち、LCD3が収納状態(ユーザが見ることができない状態)となっており、LCD12(図9)が露出状態(上側を向いている状態)となっている場合、ステップS116に進み、CPU202は、LCDドライバ206を制御することにより、LCD3がオン状態になっているときはオフ状態にし、さらに、LCD12がオフ状態になっているときはオン状態にして、ステップS117に進む。
【0479】
ステップS117では、CPU202が、スイッチ部225によるサブパネル15(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル15が開いているかどうかを判定する。 ステップS117において、サブパネル15が開いていると判定された場合、即ち、サブパネル15が開いており、そこに設けられたLCD22(図10)が露出状態にある場合、ステップS118に進み、CPU202は、LCDドライバ206を制御することにより、LCD22がオフ状態になっているときはオン状態にして、ステップS120に進む。
【0480】
また、ステップS117において、サブパネル15が閉じていると判定された場合、即ち、サイドパネル15が閉じており、そこに設けられたLCD22が収納状態となっており、さらに、閉じた状態のサイドパネル15によって、メインパネル14に設けられたLCD21(図10)の一部(上半分)が隠された状態になっている場合、ステップS119に進み、CPU202は、LCDドライバ206を制御することにより、LCD21と22のうちのオン状態となっているものをオフ状態にして、ステップS120に進む。
【0481】
ステップS120では、CPU202が、スイッチ部225によるサブパネル16(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル16が開いているかどうかを判定する。 ステップS120において、サブパネル16が閉じていると判定された場合、即ち、サイドパネル16が閉じており、そこに設けられたLCD23が収納状態となっており、さらに、閉じた状態のサイドパネル16によって、メインパネル14に設けられたLCD21(図10)の一部(下半分)が隠された状態になっている場合、ステップS121に進み、CPU202は、LCDドライバ206を制御することにより、LCD21と23のうちのオン状態となっているものをオフ状態にして、ステップS111に戻る。
【0482】
また、ステップS120において、サブパネル16が開いていると判定された場合、即ち、サブパネル16が開いており、そこに設けられたLCD23(図10)が露出状態にある場合、ステップS122に進み、CPU202は、LCDドライバ206を制御することにより、LCD23がオフ状態になっているときはオン状態にして、ステップS123に進む。
【0483】
ステップS123では、CPU202が、スイッチ部225によるサブパネル15および16(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル15と16の両方が開いているかどうかを判定する。 ステップS123において、サブパネル15および16の両方、またはいずれか一方が閉じていると判定された場合、即ち、サイドパネル15と16のうちの少なくとも一方が閉じており、閉じた状態のサイドパネル15または16によって、メインパネル14に設けられたLCD21(図10)の少なくとも一部(上半分または下半分)が隠された状態になっている場合、ステップS124に進み、CPU202は、LCDドライバ206を制御することにより、LCD21がオン状態となっているときには、そのLCD21をオフ状態にして、ステップS111に戻る。
【0484】
また、ステップS123において、サブパネル15と16の両方が開いていると判定された場合、即ち、サブパネル15および16が開いており、サブパネル15と16それぞれに設けられたLCD22と23(図10)がそれぞれ露出状態にあり、さらに、メインパネル14に設けられたLCD21も露出状態にある場合、ステップS125に進み、CPU202は、LCDドライバ206を制御することにより、LCD21乃至23のうちのオフ状態になっているものをオン状態にして、ステップS111に戻る。
【0485】
次に、PDA101においては、図37で説明したように、複数である6つのLCD4 1 ,5 1 ,12,21乃至23それぞれごとに1つの情報を表示し、その6つのLCD4 1 ,5 1 ,12,21乃至23それぞれに表示された情報のうちのいずれかが選択された場合には、その選択された情報にリンクされている複数の情報それぞれを、6つのLCD4 1 ,5 1 ,12,21乃至23それぞれに表示させることを繰り返すことができる。
【0486】
従って、PDA101においては、ある一連の情報が、階層構造に構造化されている場合、上位階層の複数の情報を表示し、そのうちのいずれかの情報を、ユーザが選択したときには、その情報にリンクされている(対応付けられている)下位階層の情報を表示することを順次繰り返すことができ、この場合、ユーザは、比較的容易に所望の情報に辿り着く(所望の情報を検索する)ことができる。
【0487】
そこで、図41のフローチャートを参照して、そのような階層構造に構造化された情報の表示を制御する階層表示制御処理について説明する。
【0488】
例えば、ユーザが操作部224等(図23)を操作することにより、情報の表示を要求すると、その情報の表示の要求(以下、適宜、表示要求という)は、入力I/F223およびバス201を介して、CPU202に供給される。 CPU202は、表示要求を受信すると、バス201を介して、HDD215にアクセスし、ステップS131において、表示要求によって要求されている情報を検索する。
【0489】
なお、ここでは、HDD215から情報を検索するようにしたが、情報は、その他、例えば、通信I/F218を介して、外部の装置(例えば、ベース基地コンピュータ102や、他のPDA103、インターネット105上の図示せぬサーバ、通信端末106等)と通信を行い、その外部の装置が有する記憶媒体(記録媒体)から検索するようにすることも可能である。
【0490】
CPU202は、HDD215から、表示要求によって要求されている情報を検索すると、ステップS132に進み、その情報が、階層構造を有するものであるかどうかを判定する。 ステップS132において、HDD215から検索された情報が、階層構造を有するものではないと判定された場合、ステップS133乃至S136をスキップして、ステップS137に進む。 ステップS137ではCPU202は、HDD215から検索した情報を、LCDドライバ206に供給し、LCD4 1 ,5 1 ,12,21乃至23に、HDD215から検索した情報を、例えば、図36で説明したマルチスクリーン表示させて、処理を終了する。
【0491】
一方、ステップS132において、HDD215から検索された情報が、階層構造を有するものであると判定された場合、ステップS133に進み、CPU202は、HDD215から検索した情報のうちの最上位階層の複数の情報を、LCDドライバ206に供給し、これにより、LCD4 1 ,5 1 ,12,21乃至23に、最上位階層の複数の情報を、図37で説明したように、ディレクトリ表示させ、ステップS134に進む。
【0492】
ステップS134では、CPU202は、ユーザが、LCD4 1 ,5 1 ,12,21乃至23のうちのいずれかをタッチすることにより、LCD4 1 ,5 1 ,12,21乃至23に表示されたいずれかの情報を選択したかどうかを判定する。
【0493】
なお、LCD4 1 ,5 1 ,12,21乃至23のうちのいずれかにタッチしたかどうかは、CPU202が、タッチパネルドライバ205の出力を監視することにより判定される。
【0494】
ステップS134において、LCD4 1 ,5 1 ,12,21乃至23に表示されたいずれの情報も選択されていないと判定された場合、ステップS134に戻る。
【0495】
また、ステップS134において、LCD4 1 ,5 1 ,12,21乃至23に表示されたいずれかの情報が選択されたと判定された場合、ステップS135に進み、CPU202は、その選択された情報の階層にリンクされている下位階層が存在するかどうかを判定する。
【0496】
ステップS135において、選択された情報の階層にリンクされている下位階層が存在すると判定された場合、ステップS136に進み、CPU202は、その下位階層の複数の情報を、LCDドライバ206に供給し、これにより、LCD4 1 ,5 1 ,12,21乃至23に、その下位階層の複数の情報をディレクトリ表示させ、ステップS134に戻り、以下、同様の処理を繰り返す。
【0497】
ここで、このステップS134乃至S136の処理が繰り返されることにより、LCD4 1 ,5 1 ,12,21乃至23には、順次、より下位階層の情報が表示されていく。
【0498】
一方、ステップS135において、ユーザが選択した情報の階層にリンクされている下位階層が存在しないと判定された場合、ステップS137に進み、CPU202は、LCDドライバ206を制御することにより、LCD4 1 ,5 1 ,12,21乃至23に、ユーザが選択した情報の内容をマルチスクリーン表示させ、処理を終了する。
【0499】
次に、図42は、階層構造に構造化された情報のフォーマットを示している。
【0500】
即ち、図42(A)は、最上位階層の情報を示しており、図42(B)は、その1つ下位の階層(2番目の階層)の情報を、図42(C)は、さらにその1つ下位の階層(3番目の階層)の情報を、それぞれ示している。
【0501】
各階層の情報は、階層情報、リンク情報、および表示情報で構成されている。
【0502】
階層情報は、情報の階層数を表す。 図42の実施の形態では、階層情報は、最上位階層の階層情報を0として、下位の階層になるほど、その値が1ずつ増加するようになっている。
【0503】
リンク情報は、情報にリンクされているリンク先の情報を表す。
【0504】
表示情報は、LCD4 1 ,5 1 ,12,21乃至23に表示される画像データである。
【0505】
従って、例えば、いま、図42(A)の最上位階層の情報Info#0の表示情報に、メニュー画面の画像データが配置されている場合において、ユーザが、メニュー画面の表示を要求したときには、例えば、図37(A)に示したようなメニュー画面が、LCD4 1 ,5 1 ,12,21乃至23に表示される。
【0506】
さらに、ユーザが、図37(A)において項目「映画」が表示されたLCD22をタッチすることにより選択すると、図42(A)の最上位階層の情報Info#0のリンク情報において、項目「映画」にリンクされている図42(B)における2番目の階層の情報Info#1に配置されている表示情報が、LCD4 1 ,5 1 ,12,21乃至23に表示される。 即ち、項目「映画」のリンク先の情報Info#1には、映画のタイトル情報(例えば、タイトルの画像データ)が、表示情報として配置されており、このタイトル情報が、LCD4 1 ,5 1 ,12,21乃至23に表示される。 これにより、図37(B)に示したように、映画のタイトル#1乃至#6がディレクトリ表示される。
【0507】
そして、ユーザが、図37(B)の状態において、例えば、映画のタイトル#1が表示されたLCD4 1をタッチすることにより選択すると、図42(B)の2番目の階層の情報Info#1のリンク情報において、映画のタイトル#1にリンクされている図42(C)における3番目の階層の情報Info#2に配置されている表示情報が、LCD4 1 ,5 1 ,12,21乃至23に表示される。 即ち、映画のタイトル#1のリンク先の情報Info#2には、映画の紹介情報(例えば、監督や主演俳優等の静止画の画像データ)が、表示情報として配置されており、この紹介情報が、LCD4 1 ,5 1 ,12,21乃至23に表示される。 これにより、図37(C)に示したように、映画の監督や主演俳優等の画像がディレクトリ表示される。
【0508】
3番目の階層の情報Info#2において、そのリンク情報には、その紹介情報としての画像に表示されている監督や主演男優等のビデオクリップその他のデータがリンクされており、これにより、例えば、ユーザが、映画の監督が表示されているLCDをタッチすると、LCD4 1 ,5 1 ,12,21乃至23には、その監督のビデオクリップを再生した画像がマルチスクリーン表示される。
【0509】
以上のように、情報を階層構造に構成しておくことで、情報の検索を容易化することが可能となる。
【0510】
なお、階層構造に構成する情報としては、画像データやテキストデータ、さらには、音声データを採用することが可能である。 なお、階層構造とする情報として音声データを採用する場合には、音声データそれ自体は、LCD4 1 ,5 1 ,12,21乃至23で表示することができないため、LCD4 1 ,5 1 ,12,21乃至23には、音声データに対応するテキスト(例えば、その音声データが楽曲のデータである場合には、その曲名など)等が表示される。 但し、音声については、LCD4 1 ,5 1 ,12,21乃至23それぞれにスピーカを設け、その各スピーカから音声を出力するようにすることで、音声を、ディレクトリ表示に相当する方法で出力することが可能である。
【0511】
次に、図43は、PDA101と他のPDA103とが通信する様子を示している。 同図に示すように、PDA101は、1つのPDA103と通信することもできるし、PDA103に他のPDAを加えた複数のPDAと通信することもできる。 他のPDA103も同様である。
【0512】
PDA101や103は、このように、他の1以上のPDAと通信を行うことにより受信したデータに基づき、より品質の良いデータを得ることが可能となっている。
【0513】
即ち、図44は、PDA101と103との間で、データの送受信が行われる場合のPDA101と103の機能的構成例を示している。 ここで、図44に示したPDA101の機能的構成は、例えば、CPU202(図23)がプログラムを実行することで実現される。 PDA103の機能的構成も同様である。
【0514】
図44の実施の形態では、PDA101から103に対してデータが送信されるものとしてあり、従って、PDA101がデータを送信する送信装置として機能し、PDA103がそのデータを受信する受信装置として機能する。
【0515】
送信装置としてのPDA101は、送信処理部401から構成され、送信処理部401は、受信装置としてのPDA103に送信するデータとしての、例えば、画像データに対して所定の送信処理を施し、受信装置としてのPDA103に送信する。
【0516】
受信装置としてのPDA103は、送信装置としてのPDA101から送信されてくるデータを受信し、所定の受信処理を施し、画像データを得て出力する。
【0517】
なお、ここでは、PDA101から103に対してデータが送信されるものとしたが、PDA103から101に対してデータを送信することも可能であり、この場合、PDA103がデータを送信する送信装置として機能し、PDA101がそのデータを受信する受信装置として機能する。
【0518】
従って、PDA101および103は、送信装置として機能する場合もあるし、受信装置として機能する場合もあるので、いずれも、送信処理部401と受信処理部402の両方を有するが、図44においては、PDA101については、受信処理部402の図示を省略してあり、PDA103については、送信処理部401の図示を量略してある。 そこで、以下では、特に断らない限り、PDA101を送信装置とするとともに、PDA103を受信装置として、説明を行う。
【0519】
図45は、図44の送信処理部401の第1の構成例を示している。
【0520】
図45の実施の形態では、送信処理部401は、符号化部411とイベント検出部412から構成されている。 そして、符号化部411には、PDA103に送信する画像データが供給されるようになっており、イベント検出部412には、後述するリクエスト信号が供給されるようになっている。
【0521】
ここで、符号化部411に供給される画像データは、例えば、PDA101(図23)のCCDカメラ65で撮像されたものや、HDD215に記憶されているものである。 さらに、ここでは、符号化部411に供給される画像データは、画質の良い高解像度の画像(以下、適宜、HD(High definition)画像という)であるとする。
【0522】
また、イベント検出部412に供給されるリクエスト信号は、受信装置としてのPDA103から送信されてくるもので、通信I/F218(図23)で受信されて、イベント検出部412に供給されるようになっている。
【0523】
符号化部411は、そこに供給されるHD画像データについて符号化等を行い、受信装置としてのPDA103に送信すべき送信データを得て出力する。 この送信データは、通信I/F218(図23)を介して、受信装置としてのPDA103に送信される。
【0524】
イベント検出部412は、リクエスト信号を受信すると、そのリクエスト信号の受信をイベントとして検出し、イベントが発生したことを表すメッセージ(以下、適宜、イベントメッセージという)を、符号化部411に供給する。
【0525】
ここで、符号化部411は、図45に示すように、データ圧縮部421、送信制御部422、クラスタップ抽出部423、クラス分類部424、クラスコードデータベース425から構成される。
【0526】
符号化部411に供給されるHD画像データは、データ圧縮部421およびクラスタップ抽出部423に供給されるようになっており、データ圧縮部421は、そこに供給されるHD画像データを、例えば、その空間方向の画素数を間引く等して圧縮し、標準解像度または低解像度の画像(以下、適宜、SD(Standard Definition)画像という)データに変換する。 SD画像データは、データ圧縮部421から送信制御部422に供給される。
【0527】
ここで、PDA101と103との間の通信が無線で行われるものとすると、その伝送帯域として、それほど広い帯域を確保することができないことがある。 そのため、狭帯域であっても、高速なデータ伝送を行うことができるように、データ圧縮部421において、データ量の多いHD画像データを、データ量の少ないSD画像に変換(データ圧縮)するようになっている。
【0528】
送信制御部422には、データ圧縮部421からSD画像データが供給される他、クラスコードデータベース425からクラスコードが供給されるようになっている。 さらに、送信制御部422は、イベント検出部412からイベントメッセージも供給されるようになっている。 そして、送信制御部422は、基本的には、データ圧縮部421からのSD画像データを送信データとして選択して出力するが、イベント検出部412からイベントメッセージを受信すると、クラスコードデータベース425からのクラスコードを送信データとして選択して出力する。
【0529】
クラスタップ抽出部423は、そこに供給されるHD画像データの各画素(以下、適宜、HD画素という)を、順次、注目画素として、その注目画素をクラス分類するのに用いるHD画素を抽出し、クラスタップとして出力する。
【0530】
即ち、クラスタップ抽出部423は、注目画素を複数のうちのいずれかにクラスタリング(クラス分け)するのに用いるHD画素として、注目画素から空間的または時間的に近い幾つかのHD画素(例えば、注目画素を中心とする、水平方向×垂直方向の画素数が3×3のHD画素)を、そこに供給されるHD画像データから抽出し、クラスタップとして出力する。 クラスタップ抽出部423が出力するクラスタップは、クラス分類部424に供給される。
【0531】
クラス分類部424は、クラスタップ抽出部423から供給される注目画素についてのクラスタップに基づいて、注目画素をクラス分類し、そのクラス分類の結果得られる、注目画素が属するクラスを表すクラスコードを出力する。
【0532】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【0533】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、KビットADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【0534】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。 即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2 Kで除算(量子化)される。 そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。 従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が1ビットとされる(2値化される)。 そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【0535】
なお、クラス分類では、例えば、クラスタップを構成する画素のレベル分布(画素値分布)のパターンを、そのままクラスコードとして出力することも可能であるが、この場合、クラスタップが、N個の画素で構成され、各画素に、Kビットが割り当てられているとすると、クラス分類によって得られるクラスコードの場合の数は、(2 NK通りとなり、画素のビット数Kに指数的に比例した膨大な数となる。
【0536】
従って、クラス分類は、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮する手法を利用するのが好ましい。
【0537】
クラスコードデータベース425は、クラス分類部424が出力するクラスコードを記憶する。
【0538】
ここで、クラス分類部424では、HD画像データの各HD画素を注目画素としてクラス分類が行われるから、クラスコードは、HD画素ごとに得られる。 従って、クラスコードデータベース425には、HD画像データの各HD画素のクラスコードを画素値とする画像データが記憶されると考えることができ、このクラスコードで構成される画像を、以下、適宜、クラスコード画像という。
【0539】
以上のように構成される送信処理部401では、HD画像データから得られたSD画像データを送信する画像データ送信処理、そのHD画像データからクラスコード画像を生成するクラスコード生成処理、およびクラスコードデータベース425に記憶されたクラスコード画像を送信するクラスコード送信処理が行われるようになっている。
【0540】
そこで、図46のフローチャートを参照して、図45の送信処理部401で行われる画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理について説明する。
【0541】
まず、図46(A)のフローチャートを参照して、図45の送信処理部401が行う画像データ送信処理について説明する。
【0542】
画像データ送信処理は、例えば、操作部224(図23)が、ユーザによって、画像データの送信を要求するように操作が行われると開始される。
【0543】
即ち、送信すべきHD画像データは、例えば、1フレーム単位で、符号化部411に供給されるようになっており、画像データ送信処理では、まず最初に、ステップS201において、符号化部411のデータ圧縮部421が、そのHD画像データを、SD画像データに変換することにより圧縮し、そのSD画像データを、送信制御部422に供給する。
【0544】
なお、ここでいう1フレームは、動画の一画面と考えることもできるし、静止画の1画面と考えることもできる。
【0545】
送信制御部422は、ステップS202において、データ圧縮部421からのSD画像データを選択し、送信データとして出力する。 この送信データは、通信I/F218(図23)に供給され、例えば、アンテナ64から送信される。
【0546】
なお、ステップS202において、SD画像データを送信した後、次のSD画像データを送信するまでの間に余裕があるときには、同一フレームのSD画像データが繰り返し送信される。 従って、ステップS202では、同一フレームのSD画像データが、1回以上送信される。
【0547】
その後、ステップS203に進み、データ圧縮部421は、次のフレーム(次に処理すべきフレーム)のHD画像データがあるかどうかを判定し、あると判定した場合、ステップS201に戻って、以下、同様の処理を繰り返す。
【0548】
また、ステップS203において、次のフレームのHD画像データがないと判定された場合、画像データ送信処理を終了する。
【0549】
なお、上述の場合には、ステップS202において、同一フレームのSD画像データが、複数回続けて送信されることがあるが、同一のSD画像データの送信(再送)は、後で行うことも可能である。 即ち、SD画像データの再送は、一連のSD画像データの送信が終了した後に、その一連のSD画像データを再び送信することで行うことが可能である。
【0550】
次に、図46(B)のフローチャートを参照して図45の送信処理部401が行うクラスコード生成処理について説明する。
【0551】
クラスコード生成処理は、例えば、図46(A)に示した画像データ送信処理が開始されると開始される。
【0552】
即ち、クラスタップ抽出部423には、データ圧縮部421に供給されるのと同一のHD画像データが、例えば、1フレーム単位で供給されるようになっており、クラスタップ抽出部423は、まず最初に、ステップS211において、そこに供給された1フレームのHD画像データを構成する各HD画素を注目画素として、各注目画素についてクラスタップを抽出する。 このクラスタップは、クラス分類部424に供給される。
【0553】
クラス分類部424は、クラスタップ抽出部423から、1フレームの各HD画素を注目画素とするクラスタップを受信すると、ステップS212において、各HD画素のクラスコードを、そのHD画素についてのクラスタップに基づいてクラス分類を行うことにより取得し、クラスコードデータベース425に供給する。
【0554】
クラスコードデータベース425は、ステップS213において、クラス分類部424から供給される1フレームのHD画像データを構成するHD画素それぞれについてのクラスコードからなる画像、即ち、クラスコード画像を記憶し、ステップS214に進む。
【0555】
ステップS214では、クラスタップ抽出部423が、次のフレームのHD画像データがあるかどうかを判定し、あると判定した場合、ステップS211に戻って、以下、同様の処理を繰り返す。
【0556】
また、ステップS214において、次のフレームのHD画像データがないと判定された場合、クラスコード生成処理を終了する。
【0557】
次に、図46(C)のフローチャートを参照して、図45の送信処理部401が行うクラスコード送信処理について説明する。
【0558】
クラスコード送信処理では、まず最初に、ステップS221において、送信制御部422が、所定のイベントが発生したかどうかを判定する。
【0559】
即ち、ここでは、例えば、受信装置としてのPDA103からリクエスト信号が送信されてきたことが、所定のイベントとして採用されており、ステップS221では、イベント検出部412がリクエスト信号を受信することにより、PDA103からリクエスト信号が送信されてきたというイベントが発生したことを表すイベントメッセージを、送信制御部422に供給したかどうかによって、所定のイベントが発生したかどうかが判定される。
【0560】
ステップS221において、所定のイベントが発生していないと判定された場合、ステップS221に戻り、所定のイベントが発生するまで待つ。
【0561】
そして、ステップS221において、所定のイベントが発生したと判定された場合、ステップS222に進み、送信制御部422は、クラスコード画像が、クラスコードデータベース425に記憶されているかどうかを判定する。
【0562】
ステップS222において、クラスコード画像が記憶されていないと判定された場合、ステップS221に戻り、以下、同様の処理が繰り返される。
【0563】
また、ステップS222において、クラスコード画像が記憶されていると判定された場合、ステップS223に進み、送信制御部422は、クラスコードデータベース425に記憶されたクラスコードを読み出し、送信データとして選択する。 この送信データは、送信制御部422から通信I/F218(図23)に供給され、アンテナ64から送信される。
【0564】
送信制御部422は、ステップS223において、その処理の開始時に、クラスコードデータベース425に記憶されていたすべてのクラスコード画像の送信が終了すると、クラスコードデータベース425から、その送信が終了したクラスコード画像を削除し、ステップS222に戻る。 そして、上述したように、ステップS222において、送信制御部422は、クラスコードデータベース425に、クラスコード画像が記憶されているかどうかを判定する。
【0565】
即ち、前回のステップS223の処理の開始時から、今回のステップS222の処理の開始時までの間に、クラス分類部424において得られた新たなクラスコード画像が、クラスコードデータベース425に記憶されている場合があるので、送信制御部422は、そのような新たなクラスコード画像が、クラスコードデータベース425に記憶されているかどうかを判定する。 そして、その判定結果に基づき、以下、同様の処理が繰り返される。
【0566】
従って、クラスコード送信処理では、所定のイベントが発生すると、クラスコードデータベース425に記憶されるクラスコード画像がなくなるまで、クラスコード画像の送信が行われる。
【0567】
次に、図47は、図44の受信処理部402の第1の構成例を示している。
【0568】
図47の実施の形態では、受信処理部402は、復号部431、画質判定部432、およびリクエスト信号送信部433で構成されている。
【0569】
復号部431は、そこに供給される受信データを復号等し、SD画像データまたはHD画像データを得る。
【0570】
即ち、PDA103では、PDA101の送信処理部401から、図45および図46で説明したようにして送信されてくる送信データが、そのアンテナ64(図23)を介して、通信I/F218で受信され、その結果得られる受信データが、受信処理部402に供給される。
【0571】
受信処理部402では、通信I/F218からの受信データが、復号部431に供給され、復号部431は、この受信データを処理することにより、SD画像データまたはHD画像データを得る。
【0572】
画質判定部432は、復号部431で得られたSD画像データの画質を判定し、その判定結果をリクエスト信号送信部433に供給する。
【0573】
リクエスト信号送信部433は、画質判定部432によるSD画像データの画質の判定結果に基づき、クラスコード画像を要求するリクエスト信号を生成して出力する。 このリクエスト信号は、通信I/F218(図23)に供給され、アンテナ64を介して、送信装置としてのPDA101に送信される。
【0574】
ここで、復号部431は、図47に示すように、受信制御部441、受信バッファ442、登録部443、ストレージ444、選択部445、クラスコードデータベース446、および適応処理部447から構成されている。
【0575】
受信制御部441は、受信データを受信し、その受信データがSD画像データである場合には、受信バッファ442に供給し、受信データがクラスコード画像である場合には、クラスコードデータベース446に供給する。
【0576】
受信バッファ442は、受信制御部441から供給されるSD画像データを一時記憶する。 登録部443は、受信バッファ442に記憶されたSD画像データの各フレームを、ストレージ444に記憶(登録)させる制御を行う。 ストレージ444は、登録部443の制御にしたがい、SD画像データを記憶する。 このSD画像データは、ストレージ444から読み出され、選択部445に供給される。
【0577】
選択部445は、ストレージ444から供給されるSD画像データを選択し、LCDドライバ206(図23)に供給して、LCD3等に表示させる。 但し、選択部445は、適応処理部447から、後述するようにしてHD画像データが出力される場合には、そのHD画像データを選択し、LCDドライバ206(図23)に供給して、LCD3等に表示させる。
【0578】
クラスコードデータベース446は、受信制御部441から供給されるクラスコード画像を記憶する。
【0579】
適応処理部447は、クラスコードデータベース446に記憶されたクラスコード画像を構成する高品質化情報である各クラスコードを用いて、ストレージ444に記憶されたSD画像データに適応処理を施し、これにより、そのSD画像データの画質を向上させたHD画像データを得て、選択部445に供給する。
【0580】
ここで、適応処理では、SD画像を構成する画素(以下、適宜、SD画素という)と、所定のタップ係数との線形結合により、そのSD画像の空間解像度等を向上させたHD画像の画素の予測値を求めることで、そのSD画像の解像度を高くした画像が得られる。
【0581】
具体的には、例えば、いま、あるHD画像を教師データとするとともに、そのHD画像の解像度を劣化させたSD画像を生徒データとして、HD画像を構成する画素(以下、適宜、HD画素という)の画素値yの予測値E[y]を、幾つかのSD画素(SD画像を構成する画素)の画素値x 1 ,x 2 ,・・・の集合と、所定のタップ係数w 1 ,w 2 ,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。 この場合、予測値E[y]は、次式で表すことができる。
【0582】

【0583】


式(1)を一般化するために、タップ係数w

jの集合でなる行列W、生徒データx

ijの集合でなる行列X、および予測値E[y

j ]の集合でなる行列Y'を、


【数1】


で定義すると、次のような観測方程式が成立する。


【0584】


ここで、行列Xの成分x

ijは、i件目の生徒データの集合(i件目の教師データy

iの予測に用いる生徒データの集合)の中のj番目の生徒データを意味し、行列Wの成分w

jは、生徒データの集合の中のj番目の生徒データとの積が演算されるタップ係数を表す。 また、y

iは、i件目の教師データを表し、従って、E[y

i ]は、i件目の教師データの予測値を表す。 なお、式(1)の左辺におけるyは、行列Yの成分y

iのサフィックスiを省略したものであり、また、式(1)の右辺におけるx

1 ,x

2 ,・・・も、行列Xの成分x

ijのサフィックスiを省略したものである。


【0585】


式(2)の観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。 この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Y、およびHD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、


【数2】


で定義すると、式(2)から、次のような残差方程式が成立する。


【0586】


【0587】


この場合、HD画素の画素値yに近い予測値E[y]を求めるためのタップ係数w

jは、自乗誤差【数3】


を最小にすることで求めることができる。


【0588】


従って、上述の自乗誤差をタップ係数w

jで微分したものが0になる場合、即ち、次式を満たすタップ係数w

jが、HD画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。


【0589】


【数4】


・・・(4)


【0590】


そこで、まず、式(3)を、タップ係数w

jで微分することにより、次式が成立する。


【0591】


【数5】


・・・(5)


【0592】


式(4)および(5)より、式(6)が得られる。


【0593】


【数6】


・・・(6)


【0594】


さらに、式(3)の残差方程式における生徒データx

ij 、タップ係数w

j 、教師データy

i 、および残差e

iの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。


【0595】


【数7】


・・・(7)


【0596】


なお、式(7)に示した正規方程式は、行列(共分散行列)Aおよびベクトルvを、


【数8】


で定義するとともに、ベクトルWを、数1で示したように定義すると、式


で表すことができる。


【0597】


式(7)における各正規方程式は、生徒データx

ijおよび教師データy

iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数w

jの数Jと同じ数だけたてることができ、従って、式(8)を、ベクトルWについて解くことで(但し、式(8)を解くには、式(8)における行列Aが正則である必要がある)、最適なタップ係数w

jを求めることができる。 なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることが可能である。


【0598】


以上のように、生徒データと教師データを用いて、生徒データおよびタップ係数から教師データを求めるのに統計的な誤差(ここでは、例えば、自乗誤差)を最小にするタップ係数w

jを求める学習をしておき、さらに、そのタップ係数w

jを用い、式(1)により、教師データyに近い予測値E[y]を求めるのが適応処理である。


【0599】


なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、単なる補間とは異なる。 即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数wが、教師データyを用いての、いわば学習により求められるため、HD画像に含まれる成分を再現することができる。 このことから、適応処理は、いわば画像の創造(解像度創造)作用がある処理ということができる。


【0600】


なお、ここでは、線形一次予測(式(1))による適応処理について説明したが、適応処理では、2次以上の高次の予測演算を用いることも可能である。


【0601】


図48は、以上のような適応処理を行う、図47の適応処理部447の構成例を示している。


【0602】


バッファ451には、ストレージ444に記憶されたSD画像データが、例えば、1フレーム単位で供給されるようになっており、バッファ451は、そのSD画像データを一時記憶する。


【0603】


予測タップ抽出部452は、バッファ451に記憶されたSD画像データのフレームのうち、まだ処理していない最も古い(時間的に最も過去のフレーム)フレームを注目フレームとし、さらに、その注目フレームのSD画像データの画質を向上させたHD画像データを構成するHD画素を、順次、注目画素として、その注目画素の画素値を予測するのに用いるSD画素を、バッファ451に記憶されたSD画像データから抽出し、後段の積和演算部453で用いる予測タップとして出力する。


【0604】


即ち、予測タップ抽出部452は、注目画素の位置に対応するSD画像データの位置から空間的または時間的に近い位置にある幾つかのSD画素(例えば、水平方向×垂直方向の画素数が5×5のSD画素)を、予測タップとして抽出して出力する。


【0605】


積和演算部453は、予測タップ抽出部452が出力する注目画素についての予測タップと、後述する係数メモリ455から供給される注目画素のクラスのタップ係数とを用いて、式(1)の線形一次予測演算を行い、これにより、注目画素の画素値(HD画素の画素値の予測値)を求めて出力する。


【0606】


クラスコード読み出し部454は、クラスコードデータベース446(図47)に記憶されたクラスコード画像のうち、注目フレームのHD画像データから生成されたものを、注目クラスコード画像として読み出す。 さらに、クラスコード読み出し部454は、注目クラスコード画像の

高品質化情報であるクラスコードのうち、注目画素に対応するものを、係数メモリ455に対して、アドレスとして与える。


【0607】


ここで、図45の送信処理部401で生成されるクラスコード画像には、そのクラスコード画像に対応するHD画像のフレームを識別するフレーム識別情報が付加されるようになっており、クラスコード読み出し部454は、注目フレームに対応するクラスコード画像(注目フレームのHD画像データから生成されたクラスコード画像)を、そのフレーム識別情報に基づいて認識する。


【0608】


係数メモリ455は、学習用のHD画像データを教師データとするとともに、学習用のSD画像データを生徒データとして、HD画像データのHD画素がクラス分類され得るクラス(以下、適宜、HDクラスという)ごとに、式(8)に示した正規方程式をたてて解くことにより求められたHDクラスごとのタップ係数を記憶している。 即ち、係数メモリ455は、各HDクラスに対応するアドレスに、そのHDクラスのタップ係数が記憶されている。 そして、係数メモリ455は、クラスコード読み出し部454から供給される注目画素のクラスに対応するアドレスから、そのクラスのタップ係数を読み出し、積和演算部453に供給する。


【0609】


なお、クラスごとのタップ係数を求める学習を行う方法については、後述する。


【0610】


次に、図47の受信処理部402では、PDA101から送信されてくる画像データを処理する画像データ受信処理、PDA101にリクエスト信号を送信するリクエスト信号送信処理、および画像データの画質を向上させる適応処理が行われるようになっている。


【0611】


そこで、図49のフローチャートを参照して、図47の受信処理部402で行われる画像データ受信処理、リクエスト信号送信処理、および適応処理について説明する。


【0612】


まず最初に、図49(A)のフローチャートを参照して、画像データ受信処理について説明する。


【0613】


PDA101から送信されてくる送信データは、アンテナ64(図23)で受信され、通信I/F218を介して、受信データとして、受信制御部441に供給される。


【0614】


受信制御部441は、受信データがクラスコード画像である場合、そのクラスコード画像を、クラスコードデータベース446に供給して記憶させる。


【0615】


また、受信制御部441は、受信データがSD画像データである場合、そのSD画像データを受信バッファ442に供給して記憶させる。


【0616】


受信バッファ442におけるSD画像データの記憶が開始されると、画像データ受信処理が開始され、まず最初に、ステップS231において、登録部443は、受信バッファ442に記憶されたSD画像データのうち、最も古い(最も時間的に過去の)フレームを、注目フレームとして、その注目フレームのSD画像データを読み出し、その読み出したSD画像データを、受信バッファ442から削除する。 さらに、ステップS231において、登録部443は、受信バッファ442から読み出た注目フレームのSD画像データと同一のフレームのSD画像データが、ストレージ444に既に記憶されているかどうかを判定する。


【0617】


ここで、図45の送信処理部401では、送信制御部422において、送信データとして出力されるSD画像データの各フレームに、そのフレームを識別する識別情報が付加されるようになっており、登録部443は、そのフレーム識別情報を参照することで、受信バッファ442から読み出したSD画像データと同一フレームのSD画像データが、ストレージ444に記憶されているかどうかを判定する。


【0618】


なお、このように、受信処理部402において、同一フレームのSD画像データが複数存在しうるのは、図46(A)のフローチャートで説明したように、図45の送信処理部401が同一フレームのSD画像データを送信することがあるからである。


【0619】


ステップS231において、注目フレームと同一フレームのSD画像データが、ストレージ444に記憶されていないと判定された場合、ステップS232に進み、登録部443は、注目フレームのSD画像データを、ストレージ444に書き込み、ステップS236に進む。


【0620】


一方、ステップS231において、注目フレームと同一フレームのSD画像データが、ストレージ444に記憶されていると判定された場合、ステップS233に進み、登録部443は、ストレージ444に記憶されているSD画像データのうち、注目フレームと同一フレームのSD画像データを読み出し、ステップS234に進む。


【0621】


ステップS234では、登録部443は、注目フレームのSD画像データと、ステップS234で読み出した、注目フレームと同一フレームのSD画像データとを重み付け加算し、その重み付け加算値を画素値とする新たな注目フレームのSD画像データを生成する。


【0622】


即ち、登録部443は、注目フレームのSD画像データと、ストレージ444から読み出した、注目フレームと同一フレームのSD画像データとを位置あわせした上で、同一位置にある画素値どうしを重み付け加算し、その位置における新たな画素値を求める。


【0623】


ここで、ステップS234における重み付け加算においては、その重み付け加算に用いる重みを、例えば、ストレージ444から読み出したSD画像データの重み付け加算回数に基づいて決定することができる。


【0624】


即ち、ストレージ444に、注目フレームと同一のフレームのSD画像データが記憶されている場合、登録部443において、その注目フレームのSD画像データと、ストレージ444に記憶されているSD画像データとが重み付け加算され、その重み付け加算値を画素値とするSD画像データが、注目フレームのSD画像データとして、新たに、ストレージ444に上書きする形で記憶される。


【0625】


そこで、ストレージ444に記憶された、注目フレームと同一フレームのSD画像データが、Nフレーム分のSD画像データの重み付け加算値である場合には、ステップS234では、注目フレームのSD画像データの重みを1とするとともに、ストレージ444に記憶された注目フレームと同一フレームのSD画像データの重みをNとして、その2つのSD画像データの重み付け加算を行うようにすることができる。


【0626】


なお、重みの付け方は、上述の方法に限定されるものではない。


【0627】


登録部443は、注目フレームについて、受信バッファ442から読み出したSD画像データと、ストレージ444から読み出したSD画像データとの重み付け加算値としての新たなSD画像データを得ると、ステップS235に進み、その注目フレームの新たなSD画像データを、ストレージ444に供給し、そこに記憶されていた注目フレームと同一フレームのSD画像データに上書きする形で記憶させる。


【0628】


そして、ステップS236に進み、登録部443は、受信バッファ442に、まだ、SD画像データが記憶されているかどうかを判定し、記憶されていると判定した場合、ステップS231に戻り、次のフレーム(次に処理すべきフレーム)を新たに注目フレームとして、以下、同様の処理を繰り返す。


【0629】


一方、ステップS236において、受信バッファ442に、SD画像データが記憶されていないと判定された場合、処理を終了する。


【0630】


以上のように、画像データ受信処理では、同一フレームのSD画像データが重み付け加算されるため、画質を向上させたSD画像データを得ることが可能となる。


【0631】


即ち、PDA101から103に対して、SD画像データが送信される場合には、その送信中に、SD画像データにノイズが重畳したり、また、一部のデータが欠落したりすることがあり、このようなノイズの重畳やデータの欠落等は、SD画像データの画質を大きく劣化させる。 そこで、登録部443は、上述のように、同一フレームのSD画像データどうしの重み付け加算を行うことで、その画質の劣化を改善する(画質が劣化した画像を基準とすれば、画質を向上させる)ようになっている。


【0632】


次に、図49(B)のフローチャートを参照して、リクエスト信号送信処理について説明する。


【0633】


リクエスト信号送信処理は、例えば、任意のタイミングで開始され、まず最初に、ステップS241において、画質判定部432が、ストレージ444に記憶されている各フレームのSD画像データを読み出し、各フレームのSD画像データの自己相関を演算する。


【0634】


そして、ステップS242に進み、ステップS241で計算した自己相関に基づいて、各フレームのSD画像データの画質を評価し、ステップS243に進む。


【0635】


ステップS243では、画質判定部432は、ステップS242での画質の評価結果に基づき、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっているかどうかを判定する。 ステップS243において、ストレージ444に記憶された各フレームのSD画像データが、あまり画質の良いものとなっていないと判定された場合、ステップS244をスキップして、処理を終了する。


【0636】


また、ステップS243において、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっていると判定された場合、ステップS244に進み、画質判定部432は、リクエスト信号送信部433にリクエスト信号を出力させ、処理を終了する。


【0637】


このリクエスト信号は、上述したように、PDA101に送信され、リクエスト信号を受信したPDA101の送信処理部401(図45)では、上述したように、そのリクエスト信号をイベントとして、クラスコード画像が送信される。 そして、PDA101から送信されてくるクラスコード画像は、上述したようにに、受信制御部441を介して、クラスコードデータベース446に供給されて記憶される。


【0638】


ここで、ステップS242では、例えば、SD画像データの自己相関が所定の閾値以上(より大)であるかどうかや、SD画像データの自己相関が所定の閾値以上であり、かつその所定の閾値以上の自己相関が、図49(A)の画像データ受信処理においてSD画像データの重み付け加算を行う前後で、ほとんど変化しないかどうか等を、SD画像の画質の評価基準として採用することができる。


【0639】


また、ステップS243では、上述の評価基準を満たす場合、即ち、SD画像データの自己相関が所定の閾値以上である場合や、SD画像データの自己相関が所定の閾値以上であり、かつその所定の閾値以上の自己相関が、図49(A)の画像データ受信処理においてSD画像データの重み付け加算を行う前後で、ほとんど変化しない場合に、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっていると判定するようにすることができる。


【0640】


なお、ここでは、SD画像データの画質を評価する評価値として、そのSD画像データの自己相関を用いることとしたが、他の評価値を用いることも可能である。


【0641】


即ち、SD画像データの画質を評価する評価値としては、その他、例えば、ストレージ444に記憶されたSD画像データの、図49(A)の画像データ受信処理で重み付け加算がされる前後のものどうしの相互相関などを採用することも可能である。 この場合、画質判定部432では、重み付け加算前のSD画像データと、重み付け加算後のSD画像データとが必要となるが、重み付け加算前のSD画像データは、ストレージ444から読み出すことで取得し、重み付け加算後のSD画像データは、登録部443に要求することで取得する。


【0642】


なお、SD画像データの画質を評価する評価値として、上述のような相互相関を使用する場合も、例えば、SD画像データの自己相関を使用する場合と同様に、SD画像データの相互相関が所定の閾値以上であるかどうか等を、SD画像データの画質の評価基準として採用することが可能である。


【0643】


次に、図49(C)のフローチャートを参照して、適応処理について説明する。


【0644】


適応処理は、例えば、クラスコードデータベース446にクラスコード画像が記憶されると開始される。


【0645】


即ち、クラスコードデータベース446に、クラスコード画像が記憶されると、適応処理部447(図48)は、ストレージ444に記憶されたSD画像データを、順次読み出し、バッファ451に記憶させる。


【0646】


そして、予測タップ抽出部452は、バッファ451に記憶されたSD画像データのフレームのうち、まだ処理していない最も古い(時間的に最も過去のフレーム)フレームを注目フレームとする。 さらに、予測タップ抽出部452は、ステップS251において、注目フレームのSD画像データの画質を向上させたHD画像データ(このHD画像データは、実際には存在しないが、存在するものと仮定される)を構成するHD画素の、まだ予測値を求めていないものの1つを、注目画素として、その注目画素の画素値を予測するのに用いるSD画素を、バッファ451に記憶されたSD画像データから抽出し、予測タップとして出力する。


【0647】


その後、ステップS252に進み、クラスコード読み出し部454は、クラスコードデータベース446(図47)に記憶されたクラスコード画像のうち、注目フレームのHD画像データから生成されたものを、注目クラスコード画像とし、その注目クラスコード画像の

高品質化情報であるクラスコードのうち、注目画素に対応するものを読み出して、係数メモリ455に対して、アドレスとして与える。


【0648】


なお、クラスコード読み出し部454は、クラスコードデータベース446から読み出したクラスコードについては、例えば、その読み出し後、クラスコードデータベース446から削除する。


【0649】


係数メモリ455は、アドレスとしてのクラスコードを受信すると、ステップS253に進み、そのクラスコードに対応するクラスの予測タップを読み出し、積和演算部453に供給して、ステップS254に進む。


【0650】


ステップS254では、積和演算部453が、予測タップ抽出部452が出力する注目画素についての予測タップと、係数メモリ455から供給される注目画素のクラスのタップ係数とを用いて、式(1)の線形一次予測演算を行い、これにより、注目画素の画素値(HD画素の画素値の予測値)を求めて出力し、ステップS255に進む。


【0651】


ステップS255では、クラスコード読み出し部454が、クラスコードデータベース446に、クラスコードが、まだ記憶されているかどうかを判定し、まだ記憶されていると判定された場合、ステップS251に戻り、クラスコードデータベース446に記憶されているクラスコードのうちのいずれかに対応するHD画素を、新たに注目画素として、以下、同様の処理が繰り返される。


【0652】


また、ステップS255において、クラスコードデータベース446にクラスコードが記憶されていないと判定された場合、処理を終了する。


【0653】


以上のように、受信処理部402では、送信処理部401から送信されてくるSD画像データが蓄積され、重み付け加算により画質が改善されていく。


【0654】


さらに、SD画像データの画質が、ある程度改善されると、リクエスト信号が、送信処理部401に送信され、これにより、送信処理部401から送信されてくるクラスコード画像が、クラスコードデータベース446に記憶される。 そして、そのクラスコード画像を用いて、SD画像データがHD画像データに変換される。


【0655】


従って、受信処理部402では、SD画像データの画質が、ある程度改善されると、そのことがトリガとなって、クラスコード画像が要求され、そのクラスコード画像に基づき、SD画像データの画質をさらに改善したHD画像データが得られることになる。 即ち、SD画像データの画質の改善がトリガとなって、そのSD画像データが、より画質の良いHD画像データに変換される。


【0656】


従って、ユーザからすれば、画像の画質が、突然改善されることになる。


【0657】


なお、ここでは、SD画像データの画質(S/N(Signal/Noise)等)を、重み付け加算により改善し、SD画像データの画質が、ある程度良好になってから、そのSD画像データをHD画像データに変換するようにしたが、そのようなSD画像データの画質の改善を行わずに、HD画像データへの変換を行うことも可能である。


【0658】


但し、SD画像からHD画像への変換処理としての適応処理を行う適応処理部447(図48)で用いられる係数メモリ455に記憶されたタップ係数は、一般に、学習用のHD画像データを教師データとするとともに、そのHD画像データの解像度を単に劣化させたSD画像データを生徒データとして用いて、式(8)の正規方程式をたてて求められるものであるため、即ち、生徒データとしてのSD画像データは、データの欠落が生じたものや、ノイズが重畳されたものではないため、そのようなデータが欠落していたり、ノイズが重畳された画質が大きく劣化したSD画像データを対象に適応処理を行うと、十分に画質を改善したHD画像データを得ることが困難なことがある。


【0659】


このため、適応処理は、上述したように、画質が改善されたSD画像データ、即ち、ここでは、過去に受信したSD画像データを重み付け加算しながら蓄積したものを用いて行うのが望ましい。


【0660】


また、上述の場合には、画質判定部432において、SD画像データの自己相関や相互相関に基づいて、ストレージ444に記憶されたSD画像データの画質を判定するようにしが、SD画像の画質の判定は、ユーザに行ってもらうようにすることも可能である。


【0661】


即ち、LCD3等(図23)に、ストレージ444に記憶されたSD画像データを表示し、ユーザに、そのSD画像データの画質が良くなったと感じたときに、操作部224等(図23)を、画質が良くなったことを表すように操作してもらうようにすることができる。 この場合、操作部224は、そのような操作がされたことを表す操作信号(以下、適宜、画質向上操作信号という)を、リクエスト信号送信部433に出力する。 そして、リクエスト信号送信部433は、図47において点線で示すように、画質向上操作信号を受信すると、リクエスト信号を送信する。


【0662】


この場合も、送信処理部401(図45)から受信処理部402に対しては、クラスコード画像が送信されてくるので、受信処理部402では、やはり、SD画像データの画質をより向上させたHD画像データを得ることができる。 即ち、この場合、外部入力としてのユーザの操作をトリガとして、SD画像がHD画像に変換されることになる。


【0663】


なお、その他、リクエスト信号送信部433では、例えば、受信装置としてのPDA103が、データの送受信を行ってない待ち受け状態にあるかどうかを判定し、待ち受け状態にあるときに、リクエスト信号を送信するようにすることが可能である。 この場合、送信処理部401から受信処理部402に対しては、PDA103(受信処理部402)が待ち受け状態にあるときに、クラスコードが送信されることになる。


【0664】


また、図45の送信処理部401では、イベント検出部412において、リクエスト信号を検出する他、送信装置としてのPDA101が、データの送受信を行っていない待ち受け状態にあるかどうかを判定し、待ち受け状態にあるときに、イベントメッセージを出力するようにすることが可能である。 この場合、送信処理部401から受信処理部402に対しては、PDA101(送信処理部401)が待ち受け状態にあるときに、クラスコードが送信されることになる。


【0665】


その他、送信処理部401から受信処理部402に対するクラスコードの送信は、送信装置としてのPDA101と、受信装置としてのPDA103のいずれもが待ち受け状態であることを、所定のイベントとして行うようにすることも可能である。


【0666】


次に、図50は、図44の送信処理部401の第2の構成例を示している。 なお、図中、図45における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 即ち、図50の送信処理部401は、ストレージ413、学習部414、タップ係数バッファ415、およびストレージ416が新たに設けられている他は、基本的に、図45における場合と同様に構成されている。


【0667】


ストレージ413には、符号化部411に供給されるのと同一のHD画像データが供給されるようになっており、ストレージ413は、そのHD画像データを一時記憶する。


【0668】


学習部414は、ストレージ413に新たに記憶されたHD画像データを、学習用の画像データとして、上述した式(8)の正規方程式をたてて解く学習を行うことにより、適応処理に用いられるタップ係数を取得する。 このタップ係数は、タップ係数バッファ415に供給される。


【0669】


タップ係数バッファ415は、学習部414が出力するタップ係数を一時記憶する。 なお、タップ係数バッファ415に記憶されたタップ係数は、例えば、送信制御部422において、クラスコードバッファ425に記憶されたクラスコードが送信されるのと同じタイミングで、そのクラスコードとともに送信される。


【0670】


ストレージ416は、学習部414がタップ係数の学習を行うにあたって、その学習の途中で得られる情報を一時記憶する。


【0671】


次に、図51は、図50の学習部414の構成例を示している。


【0672】


教師データメモリ461は、例えば、ストレージ413に新たに記憶されたHD画像データを、教師データとして記憶する。


【0673】


データ圧縮部462は、図50のデータ圧縮部421と同様にして、HD画像データを圧縮し、SD画像データを生成して出力する。


【0674】


生徒データメモリ463は、データ圧縮部462が出力するSD画像データを、生徒データとして記憶する。


【0675】


予測タップ抽出部464は、教師データメモリ461に記憶された教師データとしてのHD画像データを構成するHD画素を、順次、注目画素として、その注目画素について、図48の予測タップ抽出部452(後述する図54の予測タップ抽出部452)が構成するのと同一の予測タップを、生徒データメモリ463に記憶された生徒データとしてのSD画像データを構成するSD画素から生成し、足し込み部467に供給する。


【0676】


クラスタップ抽出部465は、注目画素について、図50のクラスタップ抽出部423が構成するのと同一のクラスタップを、教師データメモリ461に記憶された教師データとしてのHD画像データを構成するHD画素から構成し、クラス分類部466に出力する。


【0677】


クラス分類部466は、クラスタップ抽出部465から供給される注目画素についてのクラスタップに基づいて、図50のクラス分類部424における場合と同様にして、注目画素をクラス分類し、そのクラスを表すクラスコードを、足し込み部467に出力する。


【0678】


足し込み部467は、教師データメモリ461から、注目画素となっている教師データ(HD画素)を読み出し、予測タップ生成部464からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、ストレージ416(図50)の記憶内容を用いながら、クラス分類部466から供給されるクラスごとに行う。


【0679】


即ち、足し込み部467は、まず、クラス分類部466から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)を用い、式(8)の行列Aにおける各コンポーネントとなっている、生徒データどうしの乗算(x

in

im )と、サメーション(Σ)に相当する演算を行う。


【0680】


さらに、足し込み部467は、やはり、クラス分類部466から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)および注目画素(教師データ)を用い、式(8)のベクトルvにおける各コンポーネントとなっている、生徒データと教師データの乗算(x

in

i )と、サメーション(Σ)に相当する演算を行う。


【0681】


一方、ストレージ416は、足し込み部467において前回の学習までに求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを、クラスごとに記憶している。


【0682】


足し込み部467は、新たな学習用の画像データを用いて学習を行う場合、ストレージ416に記憶された、前回までの学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントに対して、新たな学習用の画像データから得られる教師データおよび生徒データを用いて計算される、対応するコンポーネントx

in

imまたはx

in

iをそれぞれ足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、各クラスについて、式(8)に示した新たな正規方程式をたてる。


【0683】


従って、足し込み部467では、新たな学習用の画像データだけではなく、過去の学習に用いられた画像データにも基づいて、式(8)の正規方程式がたてられる。 即ち、ストレージ416は、過去の学習において得られた行列Aおよびベクトルvのコンポーネントを蓄積しており、足し込み部467では、その蓄積された行列Aおよびベクトルvのコンポーネントをも用いて、式(8)の正規方程式がたてられる。


【0684】


なお、例えば、学習部414で、初めて学習が行われる場合おいては、ストレージ416には、前回の学習までに求められた行列Aとベクトルvのコンポーネントは記憶されていないため、式(8)の正規方程式は、いまある学習用の画像データだけを用いてたてられることになる。


【0685】


この場合、学習用の画像データのサンプル数が十分でないこと等に起因して、

高品質化情報であるタップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得る。


【0686】


そこで、ストレージ416には、あらかじめ用意された多数のHD画像データを学習用のデータとして学習を行うことにより得られた、クラスごとの行列Aのコンポーネントと、ベクトルvのコンポーネントを、初期値として記憶させておくようにすることができる。 この場合、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることを防止することができる。


【0687】


足し込み部467は、新たな学習用の画像データから得られた行列Aおよびベクトルvのコンポーネントと、ストレージ416に記憶された行列Aおよびベクトルvのコンポーネントと用いて、新たに、クラスごとの行列Aおよびベクトルvのコンポーネントを求めると、それらのコンポーネントを、ストレージ416に供給し、上書きする形で記憶させる。


【0688】


さらに、足し込み部467は、新たに求めたクラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部468に供給する。


【0689】


タップ係数決定部468は、足し込み部467から供給されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数を求め、このクラスごとのタップ係数を、タップ係数バッファ415(図50)に供給して、上書きする形で記憶させる。


【0690】


なお、図51の学習部414では、クラスタップ抽出部465において、図50のクラスタップ抽出部423と同様に、HD画像データを構成するHD画素からクラスタップが生成され、さらに、クラス分類部466において、そのHD画素から構成されるクラスタップに基づいて、クラス分類が行われるから、タップ係数決定部468で得られるクラスごとのタップ係数は、HDクラスごとのタップ係数である。


【0691】


以上のように構成される送信処理部401では、図46で説明した画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理の他、HDクラスごとのタップ係数を求める学習処理、およびそのHDクラスごとのタップ係数を送信するタップ係数送信処理が行われるようになっている。


【0692】


そこで、図52のフローチャートを参照して、図50の送信処理部401で行われる学習処理およびタップ係数送信処理について説明する。


【0693】


まず、図52(A)のフローチャートを参照して、図50の送信処理部401が行う学習処理について説明する。


【0694】


学習処理は、所定のタイミングで、学習部414(図51)において開始される。


【0695】


即ち、学習部414は、例えば、周期的に、あるいは、ストレージ413(図50)に、所定数フレーム以上の新たなHD画像データが記憶されると、学習処理を開始する。


【0696】


学習処理が開始されると、まず最初に、前回の学習から今回の学習までの間に、ストレージ413(図50)に新たに記憶されたHD画像データが、新たな学習用の画像データとして読み出され、教師データメモリ461に供給され、教師データとして記憶される。


【0697】


そして、ステップS261において、足し込み部467が、ストレージ416から、式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、ステップS262に進む。


【0698】


ステップS262では、データ圧縮部462が、教師データメモリ461に記憶された教師データを読み出し、SD画像データに変換する。 このSD画像データは、生徒データメモリ463に供給され、生徒データとして記憶される。


【0699】


そして、ステップS263に進み、予測タップ抽出部461が、教師データメモリ416に記憶された教師データとしてのHD画素のうち、まだ注目画素としていないもののうちの1つを注目画素として、その注目画素について、生徒データメモリ463から生徒データとしての幾つかのSD画素を読み出すことにより、予測タップを生成する。


【0700】


さらに、ステップS263では、クラスタップ抽出部465が、注目画素について、教師データメモリ461から教師データとしての幾つかのHD画素を読み出すことにより、クラスタップを生成する。


【0701】


予測タップ抽出部464で生成された予測タップは、足し込み部467に供給され、クラスタップ抽出部465で生成されたクラスタップは、クラス分類部466に供給される。


【0702】


その後、ステップS264に進み、クラス分類部466が、クラスタップ抽出部465から供給されるクラスタップに基づき、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み部467に供給する。


【0703】


そして、ステップS265に進み、足し込み部467は、教師データメモリ461から注目画素を読み出し、その注目画素と、予測タップ抽出部464からの予測タップを用いて、行列Aとベクトルvのコンポーネントを計算する。 さらに、足し込み部467は、ステップS261でストレージ416(図50)から読み出した行列Aとベクトルvのコンポーネントのうち、クラス分類部466からのクラスコードに対応するものに対して、注目画素と予測タップから求められた行列Aとベクトルvのコンポーネントを足し込み、ステップS266に進む。


【0704】


ステップS266では、予測タップ抽出部464が、教師データメモリ461に、まだ、注目画素としていない教師データが存在するかどうかを判定し、存在すると判定した場合、ステップS263に戻り、まだ、注目画素とされていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。


【0705】


また、ステップS266において、教師データメモリ461に、注目画素としていない教師データが存在しないと判定された場合、足し込み部467は、それまでに得られているクラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部468に供給し、ステップS267に進む。


【0706】


ステップS267では、足し込み部467は、タップ係数決定部468に供給したクラスごとの行列Aおよびベクトルvのコンポーネントを、ストレージ416にも供給し、上書きする形で記憶させ、ステップS268に進む。


【0707】


ステップS268では、タップ係数決定部468は、足し込み部467から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求める。 さらに、ステップS268では、タップ係数決定部468は、各クラスごとのタップ係数を、タップ係数バッファ415に供給して上書きする形で記憶させ、学習処理を終了する。


【0708】


次に、図52(B)のフローチャートを参照して、図50の送信処理部401が行うタップ係数送信処理について説明する。


【0709】


タップ係数送信処理では、まず最初に、ステップS271において、送信制御部401が、図46(C)のステップS221における場合と同様にして、所定のイベントが発生したかどうかを判定し、所定のイベントが発生していないと判定した場合、ステップS271に戻り、所定のイベントが発生するまで待つ。


【0710】


そして、ステップS271において、所定のイベントが発生したと判定された場合、ステップS272に進み、送信制御部422は、クラス(HDクラス)ごとのタップ係数が、タップ係数バッファ415に記憶されているかどうかを判定する。


【0711】


ステップS272において、HDクラスごとのタップ係数が記憶されていないと判定された場合、ステップS271に戻り、以下、同様の処理が繰り返される。


【0712】


また、ステップS272において、HDクラスごとのタップ係数が記憶されていると判定された場合、ステップS273に進み、送信制御部422は、タップ係数バッファ415に記憶されたクラスコードを読み出し、送信データとして選択する。 この送信データは、送信制御部422から通信I/F218(図23)に供給され、アンテナ64から送信される。


【0713】


送信制御部422は、ステップS223において、タップ係数バッファ415に記憶されていたすべてのHDクラスごとのタップ係数の送信が終了すると、ステップS271に戻り、以下、同様の処理を繰り返す。


【0714】


次に、図53は、図44の受信処理部402の第2の構成例を示している。 即ち、図53は、送信処理部401が図50に示したように構成される場合の受信処理部402の構成例を示している。


【0715】


なお、図中、図47における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 即ち、図53の受信処理部402は、適応処理部447に代えて適応処理部448が設けられている他は、基本的に、図47における場合と同様に構成されている。


【0716】


但し、図53の実施の形態においては、図50の送信処理部401から、SD画像データおよびHDクラスを表す

高品質化情報であるクラスコードの他、HDクラスごとの

高品質化情報であるタップ係数が送信されてくる場合があり、HDクラスごとのタップ係数が送信されてきた場合には、受信制御部441は、そのHDクラスごとのタップ係数を、適応処理部448に供給するようになっている。


【0717】


適応処理部448は、受信制御部441から供給されるタップ係数を用いて、図48の適応処理部447における場合と同様の処理(適応処理)を行い、これにより、HD画像データを生成する(予測する)ようになっている。


【0718】


即ち、図54は、図53の適応処理部448の構成例を示している。 なお、図中、図48の適応処理部447における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 即ち、図54の適応処理部448は、登録部456が新たに設けられている他は、図48の適応処理部447と同様に構成されている。


【0719】


登録部456は、受信制御部441(図53)から供給されるHDクラスごとのタップ係数を受信し、係数メモリ455に上書きする形で記憶させる。


【0720】


従って、図48の実施の形態では、固定の、HDクラスごとのタップ係数を用いて適応処理が行われるようになっていたが、図54の実施の形態では、図50の送信処理部401から、新たなHDクラスごとの

高品質化情報であるタップ係数が送信されてくると、その新たなHDクラスごとのタップ係数によって、係数メモリ455の記憶内容が更新され、その新たなHDクラスごとのタップ係数を用いて適応処理が行われる。


【0721】


図50の送信処理部401では、上述したように、新たなHD画像データを、新たな学習用の画像データとして、タップ係数が更新されるから、そのタップ係数は、SD画像を、より、HD画像に近い画像に変換するものとなっていく。 従って、図53の受信処理部402では、そのようなタップ係数を用いて、適応処理が行われるので、より画質の良いHD画像を得ることが可能となる。


【0722】


なお、図45および図50のデータ圧縮部421、並びに図51のデータ圧縮部462では、HD画像データの空間方向の画素数を間引く等することによって、SD画像データを生成するようにしたが、その他、SD画像データは、例えば、HD画像データの時間方向の画素数を間引く等して生成することも可能である。


【0723】


次に、図55は、図44の送信処理部401の第3の構成例を示している。


【0724】


図55の実施の形態では、送信処理部401において、画像データがベクトル量子化されることにより符号化されて送信されるようになっている。


【0725】


即ち、ベクトル化部501には、CCDカメラ65(図23)で撮像された画像データや、HDD215に記憶された画像データが供給される。 ベクトル化部501は、そこに供給される画像データをベクトル化する。 即ち、ベクトル化部501は、例えば、そこに供給される各フレームの画像データを、水平方向×垂直方向の画素数が、例えば、3×3画素のブロックにブロック化し、そのブロックの9画素(3×3画素)の画素値を所定の順番で並べたものを、ベクトルのコンポーネントとするベクトル(以下、適宜、画像ベクトルという)を生成する。 ベクトル化部501において得られた画像ベクトルは、ベクトル量子化部502および差分演算部504に供給される。


【0726】


ベクトル量子化部502は、コードブック記憶部509に記憶されたコードブックを参照し、ベクトル化部501から供給される画像ベクトルをベクトル量子化する。


【0727】


即ち、ベクトル量子化部502は、コードブック記憶部509に記憶されたコードブックに登録されているすべてのコードベクトルと、ベクトル化部501からの画像ベクトルとの距離を計算し、その距離を最小にするコードベクトルに対応するコードを、ベクトル量子化結果として出力する。 ベクトル量子化部502が出力するコードは、ローカルデコード部503、エントロピー符号化部505、および更新部506に供給される。


【0728】


ローカルデコード部503は、ベクトル量子化部502から供給されるコードを、コードブック記憶部509に記憶されたコードブック(ベクトル量子化部502がベクトル量子化に用いたのと同一のコードブック)を用いてベクトル逆量子化する。 即ち、ローカルデコード部503は、コードブック記憶部509に記憶されたコードブックにおいて、ベクトル量子化部502が出力するコードに対応するコードベクトルを、ベクトル逆量子化結果として出力する。 このベクトル逆量子化結果としてのコードベクトルは、ローカルデコード部503から差分演算部504に供給される。


【0729】


差分演算部504は、ベクトル化部501から供給される画像ベクトルと、ローカルデコード部503から供給される、その画像ベクトルをベクトル量子化し、さらにベクトル逆量子化して得られるコードベクトルとの差分を計算し、その結果得られるベクトル(以下、適宜、差分ベクトルという)を、エントロピー符号化部505および更新部506に供給する。


【0730】


エントロピー符号化部505は、ベクトル量子化部502から供給される、画像ベクトルのベクトル量子化結果としてのコードと、差分演算部504から供給される、その画像ベクトルについて得られた差分ベクトルとをエントロピー符号化し、送信データとして出力する。 この送信データは、通信I/F218(図23)を介して、受信処理部402(受信装置としてのPDA103)に送信される。


【0731】


なお、差分ベクトルは、上述のように、エントロピー符号化部505においてエントロピー符号化されるため、差分ベクトルが0となる頻度が高い場合には、送信データ量のデータ量を低減することができる。 即ち、ベクトル量子化部502が、コードブック記憶部509に記憶されたコードブックを用いて行うベクトル量子化(符号化)による量子化誤差が0となる頻度が高い場合には、送信データのデータ量を低減することができる。 このことは、同一画質の画像を得るための送信データのデータ量が少なくなることを意味するから、見方を変えて、送信データのデータ量が一定であると仮定すれば、上述のデータ量の低減する分だけ、画質を向上させることができることと等価である。


【0732】


更新部506は、ベクトル量子化部502から供給されるコードと、差分演算部504から供給される差分ベクトルとに基づいて、コードブックデータベース507に記憶されたコードブックを更新する。 なお、更新部506には、選択部508から、コードブック記憶部509に記憶されているコードブック、即ち、現在のベクトル量子化に用いられているコードブックを特定する情報(後述するコードブック番号)が供給されるようになっており、更新部506は、そのコードブック番号に基づいて、更新対象のコードブックを特定する。


【0733】


コードブックデータベース507は、画像ベクトルをベクトル量子化するのに用いられる1以上のコードブックを記憶している。


【0734】


なお、コードブックデータベース507は、コードブックの初期値として、例えば、あらかじめ用意された学習用の多量の画像データを用い、LBG(Linde Buzo Gray)アルゴリズム等によって求められたコードブックを記憶しており、更新部506は、その初期値のコードブックを、後述するように、適宜更新していく。


【0735】


また、コードブックデータベース507は、1以上のコードブックを記憶するが、その記憶方法としては、例えば、最初に、初期値のコードブックを1以上記憶しておくようにしても良いし、また、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーするようにしても良い。


【0736】


選択部508には、選択情報が供給されるようになっており、選択部508は、その選択情報にしたがい、コードブックデータベース507に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択する。 そして、選択部508は、その選択したコードブックを、コードブックデータベース507から読み出し、コードブック記憶部509に供給して上書きする形で記憶させる。


【0737】


ここで、選択情報としては、例えば、ユーザ入力や、通信相手の情報、ベクトル化部501に供給されるのと同一の画像データ等を採用することができる。 ユーザ入力は、ユーザが操作部224(図23)等を操作することにより与えられる。 また、通信相手の情報は、送信装置としてのPDA101が、受信装置としてのPDA103と通信を開始するときに、受信装置としてのPDA103から送信されることにより、アンテナ64および通信I/F218(図23)を介して与えられる。 さらに、ベクトル化部501に供給されるのと同一の画像データは、CCDカメラ65やHDD215(図23)から与えられる。


【0738】


選択部508は、ユーザ入力が、選択情報として与えられる場合、そのユーザ入力にしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル量子化部502では、ユーザが指示したコードブックを用いて、画像データのベクトル量子化が行われることになる。


【0739】


また、選択部508は、通信相手の情報が、選択情報として与えられる場合、その通信相手の情報にしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル量子化部502では、通信相手によって異なる(一人の通信相手ごとに異なる、あるいは、複数のユーザをグループとし、グループごとに異なる)コードブックを用いて、画像データのベクトル量子化が行われることになる。


【0740】


さらに、選択部508は、画像データが、選択情報として与えられる場合、その画像データにしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル量子化部502では、画像データの特性(例えば、画像データの絵柄を表すアクティビティや、明るさ、動きなど)ごとに異なるコードブックを用いて、その画像データのベクトル量子化が行われることになる。


【0741】


なお、選択部508は、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択し、コードブック記憶部509に記憶させるとき、即ち、ベクトル量子化部502でベクトル量子化に用いられるコードブックを変更するとき、その変更後のコードブック(コードブックデータベース507から選択したコードブック)を特定するコードブック番号を、更新部506に供給する。


【0742】


以上のように構成される送信処理部401では、画像データをベクトル量子化して送信する画像データ送信処理、そのベクトル量子化に用いるコードブックを選択するコードブック選択処理、およびコードブックデータベース507の記憶内容を更新する更新処理が行われる。


【0743】


そこで、まず、図56のフローチャートを参照して、図55の送信処理部401が行う画像データ送信処理とコードブック選択処理について説明する。


【0744】


まず最初に、図56(A)のフローチャートを参照して、画像データ送信処理について説明する。


【0745】


画像データ送信処理では、送信すべき画像データが、例えば、1フレーム単位で、ベクトル化部501に供給され、ベクトル化部501は、その画像データを受信する。


【0746】


そして、ステップS301において、ベクトル化部501は、そこに供給される1フレームの画像データをベクトル化する。 即ち、ベクトル化部501は、1フレームの画像データを、例えば、3×3画素のブロックにブロック化し、そのブロックの9画素(3×3画素)の画素値を所定の順番で並べたものをコンポーネントとする画像ベクトルを生成する。 ベクトル化部501において、1フレームの画像データについて得られた画像ベクトルは、ベクトル量子化部502および差分演算部504に供給される。


【0747】


なお、以下説明するステップS302乃至S305の処理は、1フレームの画像データについて得られた画像ベクトルそれぞれについて行われる。


【0748】


ベクトル量子化部502は、ベクトル化部501から画像ベクトルを受信すると、ステップS302において、その画像ベクトルを、コードブック記憶部509に記憶されたコードブックを用いてベクトル量子化し、その結果得られるコードを、ローカルデコード部503、エントロピー符号化部505、および更新部506に供給して、ステップS303に進む。


【0749】


ステップS303では、ローカルデコード部503が、ベクトル量子化部502から供給されるコードを、コードブック記憶部509に記憶されたコードブックを用いてベクトル逆量子化し、その結果得られるコードベクトルを、差分演算部504に供給して、ステップS304に進む。


【0750】


ステップS304では、差分演算部504が、ベクトル化部501から供給される画像ベクトルと、ローカルデコード部503から供給されるコードベクトルとの差分を計算し、その結果得られる差分ベクトルを、エントロピー符号化部505および更新部506に供給して、ステップS305に進む。


【0751】


ステップS305では、エントロピー符号化部505が、ベクトル量子化部502から供給される、画像ベクトルのベクトル量子化結果としてのコードと、差分演算部504から供給される、その画像ベクトルについて得られた差分ベクトルとをエントロピー符号化し、送信データとして出力する。 この送信データは、通信I/F218(図23)を介して、受信処理部402(受信装置としてのPDA103)に送信される。


【0752】


その後、ステップS306に進み、ベクトル化部501は、次のフレームの画像データがあるかどうかを判定し、あると判定した場合、ステップS301に戻り、以下、同様の処理が繰り返される。


【0753】


また、ステップS306において、次のフレームの画像データがないと判定された場合、処理を終了する。


【0754】


次に、図56(B)のフローチャートを参照して、コードブック選択処理について説明する。


【0755】


なお、コードブック選択処理は、例えば、画像データ送信処理(図56(A))が開始される直前に開始される。


【0756】


コードブック選択処理では、まず最初に、ステップS311において、選択部508が、コードブックデータベース507に記憶された1以上のコードブックの中から、デフォルトのコードブックを選択し、コードブック記憶部509に供給して記憶させる。


【0757】


ここで、デフォルトのコードブックとしては、例えば、上述した初期値のコードブックを採用することができる。


【0758】


その後、ステップS312に進み、選択部508は、選択情報が供給されたかどうかを判定し、供給されていないと判定した場合、ステップS313をスキップして、ステップS314に進む。


【0759】


また、ステップS312において、選択情報が供給されたと判定された場合、ステップS313に進み、選択部508は、その選択情報にしたがい、コードブックデータベース507に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択し、コードブック記憶部509に供給して記憶させる。


【0760】


そして、ステップS314に進み、選択部508は、今回のコードブック選択処理を開始した直後に開始された画像データ送信処理(図56(A))による画像データの送信が終了したかどうかを判定し、終了していないと判定した場合、ステップS312に戻り、以下、同様の処理を繰り返す。


【0761】


従って、この場合、画像データ送信処理による画像データの送信が行われている間に、選択部508に対して、新たな選択情報が供給されると、コードブック記憶部509に記憶されるコードブック、即ち、ベクトル量子化部502におけるベクトル量子化で用いられるコードブックが、その新たな選択情報に基づいて変更され得る。


【0762】


一方、ステップS314において、画像データの送信が終了したと判定された場合、処理を終了する。


【0763】


なお、図56(B)の実施の形態では、上述したように、画像データ送信処理による画像データの送信が行われている間に、選択部508に対して、新たな選択情報が供給された場合に、ベクトル量子化で用いられるコードブックが、その新たな選択情報に基づいて、随時変更され得るようにしたが、画像データ送信処理による画像データの送信が行われている間のコードブックの変更は、1回だけに制限することが可能である。 即ち、コードブックの変更は、デフォルトのコードブックから、最初に供給された選択情報に基づくコードブックへの変更のみに制限することが可能である。


【0764】


次に、図55の送信処理部401において行われる、コードブックデータベース507の記憶内容を更新する更新処理について説明するが、その前に、コードブックデータベース507に記憶されているコードブックと、更新部506の構成について説明する。


【0765】


図57は、図55のコードブックデータベース507に記憶されているコードブックの例を示している。


【0766】


コードブックには、コードブック番号およびコードブックバージョンが付されている。


【0767】


コードブック番号は、そのコードブックを特定するユニークな番号であり、従って、コードブック番号によれば、コードブックが一意に特定される。 コードブックバージョンは、そのコードブックのバージョンを表す情報であり、例えば、そのコードブックが更新された年月日および時刻と更新回数等で表される。


【0768】


図57の実施の形態において、コードブックは、一般のコードブックと同様に、コードnとコードベクトルV

n (=(a

n ,b

n ,・・・))とが対応付けられて構成されている。 なお、図57の実施の形態では、コード(コードベクトル)の数は、n+1個とされており、コードとして、0からNまでの整数値が用いられている。


【0769】


さらに、図57の実施の形態のコードブックにおいては、各コード#nに、コードベクトルV

nの他、前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n (=(a'

n ,b'

n ,・・・))、および前回の更新時から現在までの頻度B

nも対応付けられている。


【0770】


ここで、前回の更新時までの頻度A

nとは、前回のコードブックの更新時までのベクトル量子化において、コード#nが、ベクトル量子化結果として出力された頻度を表す。


【0771】


また、差分ベクトルの加算値Σ△

nは、前回のコードブックの更新が行われた直後からいままでのベクトル量子化において、コード#nのベクトル量子化結果が得られたときの差分ベクトル△

nの総和を表す。


【0772】


さらに、前回の更新時から現在までの頻度B

nは、前回のコードブックの更新が行われた直後からいままでのベクトル量子化において、コード#nが、ベクトル量子化結果として出力された頻度を表す。


【0773】


なお、前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nは、そのコードブックを用いて行われたベクトル量子化についてのものであり、他のコードブックを用いて行われたベクトル量子化についての前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nは、その、他のコードブックに登録される。


【0774】


また、初期値のコードブックについては、前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nは、例えば、すべて0とされている。


【0775】


次に、図58は、図55の更新部506の構成例を示している。


【0776】


更新部506は、図58に示すように、データ更新部521とコードブック更新部522とから構成される。


【0777】


データ更新部521には、選択部508から、コードブック記憶部509に記憶されているコードブック、即ち、ベクトル量子化部502で使用されているコードブックを特定する情報としてのコードブック番号が供給されるようになっている。 さらに、データ更新部521には、ベクトル量子化部502が出力する画像ベクトルのベクトル量子化結果としてのコードも供給されるようになっている。 また、データ更新部521には、差分演算部504が出力する、ベクトル量子化部502でベクトル量子化が行われた画像ベクトルについて求められた差分ベクトルも供給されるようになっている。


【0778】


そして、データ更新部521は、コードブックデータベース507に記憶された1以上のコードブックの中から、いまベクトル量子化に用いられているコードブックを、選択部508(図55)から供給されるコードブック番号によって特定する。 さらに、データ更新部521は、その特定したコードブックを、注目コードブックとして、その注目コードブックの差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nを、ベクトル量子化部502からのコードと、差分演算部504からの差分ベクトルによって更新する。


【0779】


コードブック更新部522は、コードブックデータベース507に記憶された1以上のコードブックそれぞれを、各コードブックに記憶されている前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nに基づいて更新し、その更新後のコードブックを、コードブックデータベース507に上書きする形で記憶させる。


【0780】


以上のように構成される更新部506で行われる更新処理は、コードブックデータベース507に記憶された差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nを更新するデータ更新処理と、コードブックのコードベクトルを、そのコードブックに登録されている前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nに基づいて更新するコードブック更新処理とからなる。


【0781】


そこで、図59のフローチャートを参照して、データ更新処理とコードブック更新処理について説明する。


【0782】


まず最初に、図59(A)のフローチャートを参照して、データ更新処理について説明する。


【0783】


データ更新処理では、まず最初に、ステップS321において、データ更新部521が、選択部508(図55)からコードブック番号を受信したかどうかを判定する。


【0784】


ステップS321において、選択部508からコードブック番号を受信したと判定された場合、即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックが変更された場合、ステップS322に進み、データ更新部521は、コードブックデータベース507に記憶された1以上のコードブックのうち、選択部508から供給されるコードブック番号によって特定されるコードブックを、注目コードブックとして、ステップS323に進む。


【0785】


また、ステップS321において、選択部508からコードブック番号を受信していないと判定された場合、即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックが変更されず、従って、いままでのベクトル量子化で用いられていたものが、そのまま注目コードブックとされる場合、ステップS322をスキップして、ステップS323に進む。


【0786】


ステップS323では、データ更新部521は、ベクトル量子化部502(図55)から、画像ベクトルのベクトル量子化結果としてのコードが供給されるとともに、差分演算部504から、その画像ベクトルについて求められた差分ベクトルが供給されたかどうか判定する。


【0787】


ステップS323において、コードおよび差分ベクトルが供給されていないと判定された場合、ステップS321に戻り、以下、同様の処理を繰り返す。


【0788】


また、ステップS323において、コードおよび差分ベクトルが供給されたと判定された場合、ステップS324に進み、データ更新部521は、コードブックデータベース507の注目コードブックに登録された差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nを更新する。


【0789】


即ち、データ更新部521は、注目コードブックの、ベクトル量子化部502から供給されたコード#nのエントリを、注目エントリとして、その注目エントリにおける前回の更新時から現在までの頻度B

nを1だけインクリメントする。 さらに、データ更新部521は、注目エントリにおける差分ベクトルの加算値Σ△

nに、差分演算部504から供給された差分ベクトルを加算し、その加算値を、新たな差分ベクトルの加算値Σ△

nとして、注目コードブックの注目エントリに上書きする。


【0790】


そして、ステップS321に戻り、以下、同様の処理が繰り返される。


【0791】


次に、図59(B)のフローチャートを参照して、コードブック更新処理について説明する。


【0792】


コードブック更新処理は、定期または不定期に、任意のタイミングで開始される。


【0793】


なお、コードブック更新処理において、現に更新の対象となっている注目コードブックについては、その内容の整合性を保つため、図59(A)のデータ更新処理の対象から除外される(いわゆる排他制御される)ようになっている。


【0794】


コードブック更新処理では、まず最初に、ステップS331において、コードブック更新部522が、コードブック番号を表す変数iを、例えば、1に初期化し、ステップS332に進む。 ステップS332では、コードブック更新部522は、コードブックデータベース507に記憶された1以上のコードブックのうち、i番目のコードブックを、注目コードブックとして、ステップS333に進む。 ステップS333では、コードブック更新部522が、注目コードブックにおけるコードを表す変数nを、例えば、0に初期化し、ステップS334に進む。


【0795】


ステップS334では、コードブック更新部522が、注目コードブックのコード#nのエントリを注目エントリとして、例えば、その注目エントリの前回の更新時までの頻度A

nおよび前回の更新時から現在までの頻度B

nを重みとして用い、注目エントリのコードベクトルV

nと、差分ベクトルの加算値Σ△

nとを重み付け加算することにより、注目エントリのコードベクトルV

nを更新する。


【0796】


即ち、コードブック更新部522は、例えば、次式にしたがって、注目エントリのコードベクトルV

nを更新する。


【0797】


n =V

n +B

n ×Σ△

n /(A

n +B

n


【0798】


そして、コードブック更新部522は、ステップS335に進み、注目エントリにおける前回の更新時までの頻度A

n 、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nを更新する。


【0799】


即ち、コードブック更新部522は、前回の更新時までの頻度A

nと、前回の更新時から現在までの頻度B

nとを加算し、その加算値を、新たな前回の更新時までの頻度A

nとする。 さらに、コードブック更新部522は、差分ベクトルの加算値Σ△

n 、および前回の更新時から現在までの頻度B

nを、いずれも0に初期化し、ステップS336に進む。


【0800】


ステップS336では、コードブック更新部522は、注目コードブックにおけるコードを表す変数nが、その最大値であるNに等しいかどうかを判定する。 ステップS336において、変数nがNに等しくないと判定された場合、ステップS337に進み、コードブック更新部522は、変数nを1だけインクリメントする。 そして、ステップS334に戻り、以下、同様の処理が繰り返される。


【0801】


また、ステップS336において、変数nがNに等しいと判定された場合、即ち、注目コードブックのすべてのエントリを更新した場合、ステップS338に進み、変数iが、コードブックデータベース507に記憶されたコードブックの数を表すIに等しいかどうかを判定する。


【0802】


ステップS338において、変数iがIに等しくないと判定された場合、ステップS339に進み、コードブック更新部522は、変数iを1だけインクリメントする。 そして、ステップS332に戻り、以下、同様の処理を繰り返す。


【0803】


一方、ステップS338において、変数iがIに等しいと判定された場合、即ち、コードブックデータベース507に記憶されたすべてのコードブックの更新が終了した場合、処理を終了する。


【0804】


なお、上述したように、コードブックデータベース507においては、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーすることが可能であるが、この場合は、そのコピー元となるコードブックを更新してしまうと、その後に、初期値のコードブックのコピーを生成することができなくなる。 そこで、コピー元となるコードブックは、図59に示したデータ更新処理およびコードブック更新処理の対象外とされる。


【0805】


コードブックデータベース507に記憶されたコードブックは、上述のように、そのコードブックを用いて行われたベクトル量子化結果としてのコードと、そのコードに対応する差分ベクトル(そのコードが得られた画像ベクトルについて求められた差分ベクトル)とに基づいて更新されていくので、画質の向上を図ることが可能となる。


【0806】


即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックは、上述したように、例えば、通信相手によって選択される。 この場合、ベクトル量子化に用いられるコードブックは、通信相手ごとに異なり、従って、あるコードブックに注目すれば、その注目コードブックは、特定の通信相手に送信される画像データから得られるコードと差分ベクトルによって更新されることになる。


【0807】


その結果、注目コードブックは、特定の通信相手に送信することの多い画像の特性(例えば、周波数特性等)に応じて、差分ベクトルが0となる頻度が高くなるように更新されていくことになり、送信データのデータ量が低減されることになる。 そして、この送信データのデータ量の低減により、上述したように、画質を向上させることができる。


【0808】


また、ベクトル量子化部502でのベクトル量子化に用いられるコードブックは、上述したように、例えば、そのベクトル量子化される画像データの絵柄を表すアクティビティによって選択される。 この場合、ベクトル量子化に用いられるコードブックは、画像データの絵柄ごとに異なり、従って、あるコードブックに注目すれば、その注目コードブックは、特定の絵柄の画像データから得られるコードと差分ベクトルによって更新されることになる。


【0809】


その結果、注目コードブックは、特定の絵柄の画像について、差分ベクトルが0となる頻度が高くなるように更新されていくことになり、送信データのデータ量が低減されることになる。 そして、この送信データのデータ量の低減により、上述したように、画質を向上させることができる。


【0810】


次に、図60は、図44の受信処理部402の第3の構成例を示している。 即ち、図60は、送信処理部401が図55に示したように構成される場合の受信処理部402の構成例を示している。


【0811】


図55のエントロピー符号化部505が出力する送信データは、受信装置としてのPDA103のアンテナ64(図23)で受信され、通信I/F218を介して、エントロピー復号部531と、エラー検出部540に供給されるようになっている。


【0812】


エントロピー復号部531は、そこに供給される受信データを、コードと差分ベクトルにエントロピー復号し、コードを、ベクトル逆量子化部532および更新部539に供給するとともに、差分ベクトルを、加算部533および更新部539に供給する。


【0813】


ベクトル逆量子化部532は、エントロピー復号部531から供給されるコードを、コードブック記憶部538に記憶されたコードブックを用いてベクトル逆量子化する。 即ち、ベクトル逆量子化部532は、コードブック記憶部538に記憶されたコードブックにおけるコードベクトルのうち、エントロピー復号部531からのコードに対応するものを、ベクトル逆量子化結果として出力する。 ベクトル逆量子化部532が出力するベクトル逆量子化結果としてのコードベクトルは、加算部533に供給される。


【0814】


加算部533は、エントロピー復号部531から供給される差分ベクトルと、ベクトル逆量子化部432から供給されるコードベクトルとを加算し、これにより、元の画像ベクトルを復号する。 この画像ベクトルは、エラー訂正部534に供給される。


【0815】


エラー訂正部534は、エラー検出部540から、画像ベクトルの符号化データとしてのコードや差分ベクトルについて、欠落等のエラーがある旨のエラーメッセージを受信すると、そのエラーを、コードブック記憶部538に記憶されたコードブックを参照して訂正する。 そして、エラー訂正部534は、エラー訂正後の画像ベクトルを、スカラ化部535に供給する。


【0816】


スカラ化部535は、画像ベクトルの各コンポーネントを、画像の画素値として、元の位置に配置し、元の1フレームの画像データを構成するスカラ化を行い、その結果得られる画像データを出力する。


【0817】


コードブックデータベース536は、画像ベクトルをベクトル量子化して得られるコードをベクトル逆量子化するのに用いられる1以上のコードブックを記憶している。 なお、コードブックデータベース536に記憶されたコードブックも、例えば、図57に示したのと同一フォーマットとされている。


【0818】


選択部537には、選択情報が供給されるようになっており、選択部537は、その選択情報にしたがい、コードブックデータベース536に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択する。 そして、選択部537は、その選択したコードブックを、コードブックデータベース536から読み出し、コードブック記憶部538に供給して上書きする形で記憶させる。


【0819】


ここで、選択情報としては、例えば、ユーザ入力や、通信相手の情報、エントロピー復号部531が出力するコードと差分ベクトルから復号された画像データ等を採用することができる。 ユーザ入力は、ユーザが操作部224(図23)等を操作することにより与えられる。 また、通信相手の情報は、受信装置としてのPDA103が、送信装置としてのPDA101と通信を開始するときに、送信装置としてのPDA101から送信されることにより、アンテナ64および通信I/F218(図23)を介して与えられる。 さらに、エントロピー復号部531が出力するコードと差分ベクトルから復号された画像データは、スカラ化部535からから与えられる。


【0820】


選択部537は、ユーザ入力が、選択情報として与えられる場合、そのユーザ入力にしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル逆量子化部532では、ユーザが指示したコードブックを用いて、ベクトル逆量子化が行われることになる。


【0821】


また、選択部537は、通信相手の情報が、選択情報として与えられる場合、その通信相手の情報にしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル逆量子化部532では、通信相手によって異なるコードブックを用いて、ベクトル逆量子化が行われることになる。


【0822】


さらに、選択部537は、画像データが、選択情報として与えられる場合、その画像データにしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。 従って、この場合、ベクトル逆量子化部532では、復号される画像データの特性ごとに異なるコードブックを用いて、ベクトル逆量子化が行われることになる。


【0823】


なお、選択部537は、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択し、コードブック記憶部538に記憶させるとき、即ち、ベクトル逆量子化部532でベクトル量子化に用いられるコードブックを変更するとき、その変更後のコードブック(コードブックデータベース536から選択したコードブック)を特定するコードブック番号を、更新部539に供給する。


【0824】


更新部539は、図58の更新部539と同様に構成され、エントロピー復号部531から供給されるコードと差分ベクトルとに基づいて、コードブックデータベース536に記憶されたコードブックを更新する。 なお、上述したように、更新部539には、選択部537から、コードブック記憶部538に記憶されているコードブック、即ち、現在のベクトル逆量子化に用いられているコードブックを特定する情報としてのコードブック番号が供給されるようになっており、更新部539は、そのコードブック番号に基づいて、更新対象のコードブックを特定する。


【0825】


なお、コードブックデータベース536も、図55のコードブックデータベース507と同様に、コードブックの初期値として、例えば、あらかじめ用意された学習用の多量の画像データを用い、LBGアルゴリズム等によって求められたコードブックを記憶しており、更新部539は、その初期値のコードブックを順次更新していく。


【0826】


また、コードブックデータベース536における、1以上のコードブックを記憶する記憶方法としては、図55のコードブックデータベース507における場合と同様に、最初に、初期値のコードブックを1以上記憶しておくようにしても良いし、また、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーするようにしても良い。


【0827】


エラー検出部540は、受信データに生じているデータの欠落等のエラーを有無を検出し、エラーを検出した場合には、その旨のエラーメッセージを、エラー訂正部534に出力する。


【0828】


なお、例えば、図55のエントロピー符号化部505は、送信データに、エラー検出用の符号(エラー検出符号)を付加するようになっており、エラー検出部540は、そのエラー検出符号に基づいて、エラーの有無を検出する。


【0829】


以上のように構成される受信処理部402では、受信データを受信して画像データに復号する画像データ受信処理、ベクトル逆量子化部532でのベクトル逆量子化に用いられるコードブックを選択するコードブック選択処理、およびコードブックデータベース536の記憶内容を更新する更新処理が行われる。


【0830】


但し、更新処理(データ更新処理とコードブック更新処理)は、更新部539において、エントロピー復号部531から供給されるコードおよび差分ベクトルを用いて、図59のフローチャートで説明した場合と同様に行われるため、その説明は省略する。


【0831】


そこで、図61のフローチャートを参照して、図60の受信処理部402が行う画像データ受信処理およびコードブック選択処理について説明する。


【0832】


まず最初に、図61(A)のフローチャートを参照して、画像データ受信処理について説明する。


【0833】


画像データ受信処理は、受信データが、エントロピー復号部531およびエラー検出部540に供給されると開始される。


【0834】


即ち、画像データ受信処理では、まず最初に、ステップS351において、エントロピー復号部531が、受信データをエントロピー復号し、その結果得られるコードと差分ベクトルを出力する。 コードは、ベクトル逆量子化部532および更新部539に供給され、差分ベクトルは、加算部533および更新部539に供給される。


【0835】


ここで、更新部539では、このようにして、エントロピー復号部531から供給されるコードと差分ベクトルに基づいて、図59で説明したように、コードブックデータベース536のコードブックが更新される。


【0836】


従って、図55の送信処理部401と、図60の受信処理部402において、例えば、通信相手ごとに異なるコードブックが、ベクトル量子化とベクトル逆量子化それぞれに用いるコードブックとして選択されるとすると、あるユーザAのPDA101から、他のユーザBのPDA103に対して、画像データが送信される場合には、ユーザAのPDA101における送信処理部401では、ユーザBに対応するコードブックが、ベクトル量子化に用いられるとともに、ユーザBのPDA103における受信処理部402では、ユーザAに対応するコードブックが、ベクトル逆量子化に用いられることになる。


【0837】


その結果、送信処理部401(図55)の更新部506と、受信処理部402(図60)の更新部539とでは、ユーザAとBとの間で通信が行われるたびに、コードブックが、同じように更新される。 即ち、ユーザAとBとの間では(他のユーザどうしの間でも同様)、基本的には、同一のコードブックを用いて、ベクトル量子化とベクトル逆量子化とがそれぞれ行われ、さらに、そのベクトル量子化で用いられるコードブックと、ベクトル逆量子化で用いられるコードブックとは、同一に更新されていく。


【0838】


そして、コードブックの更新は、図59で説明したように、データ量を低減するように、または画質を向上させるように行われるから、図60の受信処理部402では、画質の向上した画像データの復号を精度良く行うことができる。


【0839】


エントロピー復号部531において、例えば、1フレーム分の画像データについてのエントロピー復号が終了すると、ステップS352に進み、ベクトル量子化部532は、エントロピー復号部531から供給される1フレーム分のコードを、コードブック記憶部538に記憶されたコードブックを用いて、ベクトル逆量子化し、1フレーム分のコードそれぞれについて、コードベクトルを得る。 このコードベクトルは、加算部533に供給される。


【0840】


加算部533は、ステップS353において、ベクトル逆量子化部532から供給される1フレーム分のコードベクトルそれぞれに、エントロピー復号部531から供給される1フレーム分の差分ベクトルの対応するものを加算することで、1フレーム分の画像ベクトルを復号する。 加算部533において得られた1フレーム分の画像ベクトルは、順次、エラー訂正部534に供給される。


【0841】


エラー訂正部534は、ステップS354において、加算部533から供給される画像ベクトルに対して、後述するようなエラー訂正処理を施し、スカラ化部535に供給する。


【0842】


スカラ化部535は、ステップS355において、エラー訂正部534から供給される1フレーム分の画像ベクトルを、上述したようにスカラ化し、その結果得られる1フレームの画像データを出力して、ステップS356に進む。


【0843】


ステップS356では、エントロピー復号部531が、次のフレームの受信データが送信されてきたかどうかを判定し、送信されてきたと判定された場合、ステップS351に戻り、その次のフレームの受信データを対象に、以下、同様の処理が繰り返される。


【0844】


また、ステップS356において、次のフレームの受信データが送信されてきていないと判定された場合、処理を終了する。


【0845】


次に、図61(B)のフローチャートを参照して、コードブック選択処理について説明する。


【0846】


なお、コードブック選択処理は、例えば、画像データ受信処理(図61(A))が開始される直前に開始される。


【0847】


コードブック選択処理では、まず最初に、ステップS361において、選択部537が、コードブックデータベース536に記憶された1以上のコードブックの中から、デフォルトのコードブックを選択し、コードブック記憶部538に供給して記憶させる。


【0848】


ここで、デフォルトのコードブックとしては、例えば、上述した初期値のコードブックを採用することができる。


【0849】


その後、ステップS362に進み、選択部537は、選択情報が供給されたかどうかを判定し、供給されていないと判定した場合、ステップS363をスキップして、ステップS364に進む。


【0850】


また、ステップS362において、選択情報が供給されたと判定された場合、ステップS363に進み、選択部537は、その選択情報にしたがい、コードブックデータベース536に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択し、コードブック記憶部538に供給して記憶させる。


【0851】


そして、ステップS364に進み、選択部537は、今回のコードブック選択処理を開始した直後に開始された画像データ受信処理(図61(A))による画像データの受信が終了したかどうかを判定し、終了していないと判定した場合、ステップS362に戻り、以下、同様の処理を繰り返す。


【0852】


従って、この場合、画像データ受信処理による画像データの受信が行われている間に、選択部537に対して、新たな選択情報が供給されると、コードブック記憶部538に記憶されるコードブック、即ち、ベクトル逆量子化部532におけるベクトル逆量子化で用いられるコードブックが、その新たな選択情報に基づいて変更され得る。


【0853】


一方、ステップS364において、画像データの受信が終了したと判定された場合、処理を終了する。


【0854】


なお、図61(B)の実施の形態では、上述したように、画像データ受信処理による画像データの送信が行われている間に、選択部537に対して、新たな選択情報が供給された場合に、ベクトル逆量子化で用いられるコードブックが、その新たな選択情報に基づいて、随時変更され得るようにしたが、画像データ受信処理による画像データの受信が行われている間のコードブックの変更は、1回だけに制限することが可能である。 即ち、コードブックの変更は、デフォルトのコードブックから、最初に供給された選択情報に基づくコードブックへの変更のみに制限することが可能である。


【0855】


次に、図62は、図60のエラー訂正部534の構成例を示している。


【0856】


加算部533が出力する画像ベクトルは、書き込み部550に供給されるようになっており、書き込み部550は、その画像ベクトルを、メモリ551に供給して書き込む。 メモリ551は、書き込み部550から供給される画像ベクトルを記憶する。


【0857】


ここで、メモリ551は、例えば、少なくとも1フレーム分の画像ベクトルを記憶することのできる記憶容量を有している。


【0858】


また、画像ベクトルは、上述したように、例えば、3×3画素のブロックにおける9画素の画素値をコンポーネントとしたベクトルであるが、書き込み部550は、画像ベクトルを、その画像ベクトルとしてのブロックに対応するメモリ551のアドレスに書き込むようになっている。


【0859】


読み出し部552は、メモリ551に、例えば、1フレーム分の画像ベクトルが記憶されると、その1フレーム分の画像ベクトルを、メモリ551から読み出し、スカラ化部535(図60)に供給する。


【0860】


また、読み出し部552には、エラー検出部540(図60)からエラーメッセージが供給されるようになっており、読み出し部552は、そのエラーメッセージに基づき、部分ベクトル推定部553を制御する。


【0861】


即ち、エラー検出部540が出力するエラーメッセージには、エラーが生じている画像ベクトルとしてのブロックの位置を表す情報が含まれており、読み出し部552は、そのエラーが生じている画像ベクトル(以下、適宜、エラーベクトルという)について、後述する部分ベクトルを推定するように、部分ベクトル推定部553を制御する。


【0862】


部分ベクトル推定部553は、読み出し部552の制御にしたがい、エラーベクトルについて、例えば、図63に示すように、その一部のコンポーネントからなる部分ベクトルを推定する。


【0863】


即ち、いまの場合、画像ベクトルは、図63(A)に示すように、3×3画素からなるブロックを構成する9画素の画素値をコンポーネントとするベクトルであるから、画像ベクトル(画像ベクトルから得られたコードや差分ベクトル)が欠落等しているということは、図63(B)に示すように、その画像ベクトルとしてのブロックの3×3画素を復号することができなことになる。


【0864】


そこで、部分ベクトル推定部553では、図63(C)に示すように、エラーベクトルとしてのブロック(以下、適宜、エラーブロックという)の、他のブロックの画素と隣接する8画素を、その隣接する画素により補完する。


【0865】


即ち、図63(C)では、エラーブロックの3×3画素のうち、中心の画素p

9を除く8画素p

1乃至p

8が、それぞれに隣接する他のブロックの画素によって補完されている。 なお、中心の画素p

9を除く8画素p

1乃至p

8のうち、他のブロックの1画素にのみ隣接するp

2 ,p

4 ,p

6 ,p

8には、例えば、それぞれに隣接する他のブロックの画素の画素値がコピーされる。 また、他のブロックの2画素に隣接する画素p

1 ,p

3 ,p

5 ,p

7には、例えば、それぞれに隣接する他のブロックの2つの画素の平均値、またはいずれか一方の値がコピーされる。


【0866】


部分ベクトル推定部553は、以上のように、エラーベクトルについて、ブロックの中心の画素p

9に対応するコンポーネントがないベクトル、即ち、本来ならば9画素の画素値をコンポーネントとするベクトルについて、ブロックの中心の画素p

9に対応するコンポーネントがない部分ベクトルを生成する。 そして、部分ベクトル推定部553は、その部分ベクトルを、エラーベクトルに対応する真の画像ベクトルの一部(部分ベクトル)の推定値として出力する。


【0867】


図62に戻り、部分ベクトル推定部553が出力する部分ベクトルは、画像ベクトル推定部554に供給される。


【0868】


画像ベクトル推定部554は、部分ベクトル推定部553からの部分ベクトルと、コードブック記憶部538に記憶されているコードブックとから、エラーベクトルに対応する真の画像ベクトルを推定することによりエラー訂正を行い、その推定した画像ベクトル(以下、適宜、推定ベクトルという)を、メモリ551の対応するアドレスに記憶させる。


【0869】


次に、図64のフローチャートを参照して、図62のエラー訂正部534が、図61(A)のステップS354において行うエラー訂正処理について説明する。


【0870】


エラー訂正処理では、まず最初に、ステップS371において、書き込み部550が、画像ベクトルが、加算部533(図60)から供給されたかどうかを判定する。 ステップS371において、画像ベクトルが供給されたと判定された場合、ステップS372に進み、書き込み部550は、その画像ベクトルを、メモリ551に供給して記憶させ、ステップS375に進む。


【0871】


また、ステップS371において、画像ベクトルが供給されていないと判定された場合、ステップS373に進み、読み出し部552は、エラー検出部540からエラーメッセージが供給されたかどうかを判定する。


【0872】


ステップS373において、エラーメッセージが供給されていないと判定された場合、ステップS374をスキップして、ステップS375に進む。


【0873】


また、ステップS373において、エラーメッセージが供給されたと判定された場合、ステップS374に進み、読み出し部552は、そのエラーメッセージに基づき、エラーが生じているブロック(画像ベクトル)の位置(以下、適宜、エラー位置という)を認識し、その内蔵するメモリ(図示せず)に一時記憶する。


【0874】


そして、ステップS375に進み、読み出し部552は、1フレーム分の画像ベクトル(エラーベクトルを含む)が、メモリ551に記憶されたかどうかを判定する。


【0875】


ステップS375において、1フレーム分の画像ベクトルがメモリ551に記憶されていないと判定された場合、ステップS371に戻り、以下、同様の処理を繰り返す。


【0876】


また、ステップS375において、1フレーム分の画像ベクトルがメモリ551に記憶されたと判定された場合、ステップS376に進み、読み出し部552は、その内蔵するメモリに、エラー位置が記憶されているかどうかを判定する。


【0877】


ステップS376において、エラー位置が記憶されていると判定された場合、ステップS377に進み、読み出し部552は、その内蔵するメモリに記憶されている1以上のエラー位置のうちの1つを注目エラー位置とし、その注目エラー位置におけるエラーベクトルついて、部分ベクトルを推定するように、部分ベクトル推定部553を制御する。 これにより、ステップS377では、部分ベクトル推定部553が、図63で説明したように、部分ベクトルを推定し、画像ベクトル推定部554に出力する。


【0878】


画像ベクトル推定部554は、ステップS378において、部分ベクトル推定部553からの部分ベクトルと、コードブック記憶部538(図60)に記憶されているコードブックとから、エラーベクトルに対応する真の画像ベクトルを推定するエラー訂正を行い、ステップS379に進み、そのエラー訂正により得られる推定ベクトルを、メモリ551の注目エラー位置に対応するアドレスに記憶させる。


【0879】


即ち、画像ベクトル推定部554は、部分ベクトルの各コンポーネント(ここでは、図63で説明したように、8つのコンポーネントそれぞれ)に対応するコンポーネントが、部分ベクトルの各コンポーネントに最も近似するコードベクトルを、コードブック記憶部538に記憶されているコードブックから抽出し、そのコードベクトルを、推定ベクトルとする。


【0880】


具体的には、画像ベクトル推定部554は、例えば、部分ベクトルの各コンポーネントと、コードブックのコードベクトルの対応するコンポーネントとの差分の自乗和を計算し、その自乗和を最小にするコードベクトルを検出する。 そして、画像ベクトル推定部554は、そのコードベクトルを、注目エラー位置の画像ベクトルの推定ベクトルとし、メモリ551に書き込む。


【0881】


その後、読み出し部552は、注目エラー位置を、その内蔵するメモリから消去して、ステップS376に戻り、以下、エラー位置が、その内蔵するメモリに記憶されていない状態となるまで、ステップS376乃至S379の処理を繰り返す。


【0882】


一方、ステップS376において、エラー位置が記憶されていないと判定された場合、即ち、メモリ551に、1フレーム分の画像ベクトルがエラーのない状態(エラーの訂正がされた状態)で記憶された場合、ステップS380に進み、読み出し部551は、メモリ551から、その1フレーム分の画像ベクトルを読み出し、スカラ化部535(図60)に供給して、エラー訂正処理を終了する。


【0883】


なお、図55乃至図64で説明したようなコードブックを用いて符号化/復号を行って、データを送受信する通信は、PDA101と他のPDA103との間だけではなく、ベース基地コンピュータ102(図22)と、PDA103や、他の図示せぬベース基地コンピュータとの間で行うことも可能である。


【0884】


ところで、あるユーザAが、PDA101とベース基地コンピュータ102を所有し、他のユーザBが、PDA103を所有する場合には、ユーザAが、ユーザBのPDA103とデータのやりとりを、PDA101を用いて行うときもあれば、ベース基地コンピュータ102を用いて行うときもある。


【0885】


このように、PDA101またはベース基地コンピュータ102それぞれと、ユーザBのPDA103との間でデータのやりとりをすると、PDA101とベース基地コンピュータ102の両方に、ユーザBとの通信用のコードブックが生成される。


【0886】


しかしながら、PDA101と103との間でやりとりされるデータと、ベース基地コンピュータ102とPDA103との間でやりとりされるデータとは、同一であるとは限らず、むしろ異なるデータであることが多いため、PDA101とベース基地コンピュータ102とでは、ユーザBとの通信用のコードブックとして、異なるコードブックが生成される。


【0887】


そこで、図65に示すように、PDA101におけるコードブックと、ベース基地コンピュータ102におけるコードブックとは、統合して同一のコードブックとすることができるようになっている。


【0888】


即ち、いま、図65に示すように、PDA101が、図55に示した送信処理部401と、図50に示した受信処理部402とを有し、ベース基地コンピュータ102が、図55の送信処理部401と同一構成の送信処理部401'と、図50の受信処理部402と同一構成の受信処理部402'とを有するとした場合には、PDA101とベース基地コンピュータ102とが、上述したようにして通信を行うことで、それぞれが有するコードブックがやりとりされる。 これにより、PDA101の送信処理部401とベース基地コンピュータ102の送信処理部401'とにおける対応するコードブックが、同一のコードブックに統合される。 さらに、PDA101の受信処理部402とベース基地コンピュータ102の受信処理部402'とにおける対応するコードブックも、同一のコードブックに統合される。


【0889】


なお、2つのコードブックの統合方法としては、例えば、一方のコードブックのコードベクトルを、統合後のコードブックのコードベクトルとして採用する方法や、2つのコードブックのコードベクトルの平均値(平均ベクトル)を、統合後のコードブックのコードベクトルとして採用する方法その他がある。


【0890】


なお、図45乃至図65の実施の形態においては、画像の画質を向上させる場合について説明したが、図45乃至図65の実施の形態は、その他、例えば、音声の音質を向上させる場合にも適用可能である。


【0891】


次に、PDA101においては、他の1以上のPDAから、データを高品質化する高品質化データを取得し、その高品質化データと、既に有している高品質化データとに基づいて、新たな高品質化データを生成し、その新たな高品質化データによって、既に有している高品質化データを更新することができる。 さらに、PDA101において、その更新後の高品質化データ(新たな高品質化データ)に基づき、データを処理し、より高品質なデータを求めることができる。


【0892】


図66は、そのようなPDA101の機能的構成例を示している。 なお、ここでは、高品質化の対象とするデータを、音声データとして、以下、説明を行う。 但し、高品質化の対象とするデータは、音声データ以外の、例えば画像データとすることも可能である。


【0893】


また、図66においては、図23のハードウエア構成と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。


【0894】


音声復号部600は、例えば、HDD215(図23)に記憶された、符号化されている音声データを復号し、復号音声データを、音質向上部601に供給する。


【0895】


音質向上部601は、学習部602から供給される高品質化データと、復号音声データとに基づき、その復号音声データの音質を向上させた音質向上データを求め、D/A変換器212に供給する。


【0896】


学習部602は、アンプ209から供給される音声データに基づき、学習を行うことで、高品質化データを求める。 さらに、学習部602は、他の1以上のPDAから送信されてくる、後述する学習情報を受信し、必要に応じて、その学習情報にも基づいて学習を行うことで、新たな高品質化データを求める。 そして、学習部602は、新たに求めた高品質化データを、音質向上部601に供給する。


【0897】


また、学習部602には、操作部224(図23)から操作信号が供給されるようになっている。 学習部602は、操作部224からの操作信号が、他のPDAに対して、学習情報を要求する操作を表すものである場合、学習情報を要求するリクエスト信号を生成して出力する。 このリクエスト信号は、通信I/F218(図23)を介して、例えば、アンテナ64から送信される。


【0898】


さらに、学習部602には、他のPDAからのリクエスト信号が供給されるようになっている。 即ち、他のPDAがリクエスト信号を送信すると、そのリクエスト信号は、アンテナ64(図23)で受信され、通信I/F218を介して、学習部602に供給される。 学習部602は、他のPDAからのリクエスト信号を受信すると、自身が有している学習情報を、通信I/F218およびアンテナ64を介して、リクエスト信号を送信してきた他のPDAに送信する。


【0899】


次に、図67は、図66の音質向上部601の構成例を示している。


【0900】


図67の実施の形態においては、音質向上部601は、例えば、上述した適応処理によって、音声復号部600からの復号音声データの音質を向上させるようになっており、従って、ここでは、高品質化データとして、タップ係数が用いられるようになっている。


【0901】


即ち、音声復号部600が出力する復号音声データは、バッファ611に供給されるようになっており、バッファ611は、そこに供給される復号音声データを一時記憶する。


【0902】


予測タップ抽出部612は、復号音声データの音質を向上させた音質向上データを、順次、注目データとして、その注目データの予測値を、式(1)の線形一次予測演算により求めるのに用いる予測タップを、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを抽出することによって構成(生成)し、積和演算部616に供給する。


【0903】


なお、予測タップ抽出部612は、後述する図69の予測タップ抽出部624が構成するのと同一の予測タップを構成する。


【0904】


クラスタップ抽出部613は、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを抽出することによって、注目データについて、クラスタップを構成(生成)し、クラス分類部614に供給する。


【0905】


なお、クラスタップ抽出部613は、後述する図69のクラスタップ抽出部625と同一のクラスタップを構成する。


【0906】


クラス分類部614は、クラスタップ抽出部613からのクラスタップを用いてクラス分類を行い、その結果得られるクラスコードを、係数メモリ615に供給する。


【0907】


なお、クラス分類部614は、後述する図69のクラス分類部626と同一のクラス分類を行う。


【0908】


係数メモリ615は、学習部602から供給される高品質化データとしてのクラスごとのタップ係数を、そのクラスに対応するアドレスに記憶する。 さらに、係数メモリ615は、クラス分類部614から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部616に供給する。


【0909】


積和演算部616は、予測タップ抽出部612が出力する予測タップと、係数メモリ615が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式(1)に示した線形予測演算を行う。 これにより、積和演算部616は、注目データとしての音質向上データ(の予測値)を求め、D/A変換器212(図66)に供給する。


【0910】


次に、図68のフローチャートを参照して、図67の音質向上部601の処理(音質向上処理)について説明する。


【0911】


バッファ611は、音声復号部600(図66)が出力する復号音声データを、順次記憶していく。


【0912】


そして、まず最初に、ステップS401において、予測タップ抽出部612が、復号音声データの音質を向上させた音質向上データのうち、例えば、時系列順で、まだ注目データとしていない最も過去の音声サンプルを、注目データとし、その注目データについて、バッファ611から復号音声データのうちの幾つかの音声サンプルを読み出すことにより、予測タップを構成して、積和演算部616に供給する。


【0913】


さらに、ステップS401では、クラスタップ抽出部613が、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを読み出すことにより、注目データについて、クラスタップを構成し、クラス分類部614に供給する。


【0914】


クラス分類部614は、クラスタップ抽出部613からクラスタップを受信すると、ステップS402に進み、そのクラスタップを用いてクラス分類を行い、その結果得られるクラスコードを、係数メモリ615に供給して、ステップS403に進む。


【0915】


ステップS403では、係数メモリ615は、クラス分類部614からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、積和演算部616に供給して、ステップS404に進む。


【0916】


ステップS404では、積和演算部616は、係数メモリ615が出力するタップ係数を取得し、そのタップ係数と、予測タップ抽出部612からの予測タップとを用いて、式(1)に示した積和演算を行い、音質向上データ(の予測値)を得る。


【0917】


以上のようにして得られた音質向上データは、積和演算部616から、D/A変換器212(図66)およびアンプ208を介して、スピーカ10等に供給され、これにより、スピーカ10等からは、高音質の音声が出力される。


【0918】


ステップS404の処理後は、ステップS405に進み、まだ、注目データとして処理すべき音質向上データがあるかどうかが判定され、あると判定された場合、ステップS401に戻り、以下、同様の処理が繰り返される。 また、ステップS405において、注目データとして処理すべき音質向上データがないと判定された場合、処理を終了する。


【0919】


次に、図69は、図66の学習部602の構成例を示している。


【0920】


教師データメモリ621には、アンプ209(図66)が出力する音声データが、学習用のデータとして供給されるようになっており、教師データメモリ621は、その音声データを、学習の教師となる教師データとして一時記憶する。


【0921】


生徒データ生成部622は、教師データメモリ621に記憶された教師データとしての音声データから、学習の生徒となる生徒データを生成する。


【0922】


即ち、生徒データ生成部622は、音声符号化部622Eと音声復号部622Dとから構成されている。 音声符号化部622Eは、音声復号部600(図66)における復号方式に対応する符号化方式によって音声データを符号化するもので、そのような符号化方式によって、教師データメモリ621に記憶された教師データを符号化し、符号化音声データを出力する。 音声復号部622Dは、音声復号部600と同様に構成されており、音声符号化部622Eが出力する符号化音声データを復号し、その結果得られる復号音声データを、生徒データとして出力する。


【0923】


なお、ここでは、教師データを、符号化音声データに符号化し、さらに、その符号化音声データを復号することによって、生徒データを生成するようにしたが、その他、生徒データは、例えば、教師データとしての音声データを、ローパスフィルタによってフィルタリングすること等で、その音質を劣化させることによって生成すること等が可能である。


【0924】


生徒データメモリ623は、生徒データ生成部622の音声復号部622Dが出力する生徒データを一時記憶する。


【0925】


予測タップ抽出部624は、教師データメモリ621に記憶された教師データの音声サンプルを、順次、注目データとし、さらに、その注目データを予測するのに用いる生徒データとしての幾つかの音声サンプルを、生徒データメモリ623に記憶された生徒データから抽出することにより、予測タップ(注目データの予測値を求めるためのタップ)を生成する。 この予測タップは、予測タップ抽出部624から足し込み部627に供給される。


【0926】


クラスタップ抽出部625は、注目データをクラス分けするクラス分類に用いる生徒データとしての幾つかの音声サンプルを、生徒データメモリ623に記憶された生徒データから抽出することにより、クラスタップ(クラス分類に用いるタップ)を生成する。 このクラスタップは、クラスタップ抽出部625からクラス分類部626に供給される。


【0927】


ここで、予測タップやクラスタップを構成する音声サンプルとしては、例えば、注目データとなっている教師データの音声サンプルに対応する生徒データの音声サンプルに対して時間的に近い位置にある複数の生徒データとしての音声サンプルを用いることができる。


【0928】


また、予測タップとクラスタップを構成する音声サンプルとしては、同一の音声サンプルを用いることもできるし、異なる音声サンプルを用いることも可能である。


【0929】


クラス分類部626は、クラスタップ抽出部625からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、足し込み部627に出力する。


【0930】


なお、クラス分類部626におけるクラス分類の方法としては、例えば、上述した場合と同様に、ADRC等を採用することができる。


【0931】


足し込み部627は、教師データメモリ621から、注目データとなっている教師データの音声サンプルを読み出し、予測タップ抽出部624からの予測タップを構成する生徒データ、および注目データとしての教師データを対象とした足し込みを、コンポーネントデータベース630の記憶内容を必要に応じて用いながら、クラス分類部626から供給されるクラスごとに行う。


【0932】


即ち、足し込み部627は、基本的には、クラス分類部626から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)を用い、式(8)の行列Aにおける各コンポーネントとなっている、生徒データどうしの乗算(x

in

im )と、サメーション(Σ)に相当する演算を行う。


【0933】


さらに、足し込み部627は、やはり、クラス分類部626から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)および注目データ(教師データ)を用い、式(8)のベクトルvにおける各コンポーネントとなっている、生徒データと教師データの乗算(x

in

i )と、サメーション(Σ)に相当する演算を行う。


【0934】


一方、コンポーネントデータベース630は、足し込み部627において前回の学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを、クラスごとに記憶する。


【0935】


足し込み部627は、新たに入力された音声データを用いて学習を行う場合、コンポーネントデータベース630に記憶された、前回の学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントに対して、新たに入力された音声データから得られる教師データおよび生徒データを用いて計算される、対応するコンポーネントx

in

imまたはx

in

iを足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、新たな行列Aとベクトルvのコンポーネントを求め、各クラスについて、式(8)に示した正規方程式をたてる。


【0936】


従って、足し込み部627では、新たに入力された音声データだけではなく、過去の学習に用いられた音声データにも基づいて、式(8)の正規方程式がたてられる。


【0937】


足し込み部627は、上述のようにして、新たに入力された音声データから得られた行列Aおよびベクトルvのコンポーネントと、コンポーネントデータベース630に記憶された行列Aおよびベクトルvのコンポーネントと用いて、新たに、クラスごとの行列Aおよびベクトルvのコンポーネントを求めると、それらのコンポーネントを、コンポーネントデータベース630に供給し、上書きする形で記憶させる。


【0938】


また、足し込み部627は、音声データが新たに入力されていない場合であっても、必要に応じて、コンポーネントデータベース630に記憶された各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントを用いて、各クラスについて、式(8)に示した正規方程式をたてる。


【0939】


即ち、コンポーネントデータベース630に記憶された式(8)における各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントは、足し込み部627において、新たに入力された音声データを用いて学習が行われることにより、上述したように、その学習の途中で得られる新たな各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントによって更新される(上書きされる)他、後述する統合部631により更新されるようにもなっている。


【0940】


このように、コンポーネントデータベース630に記憶された式(8)における各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントが、統合部631によって更新された場合には、足し込み部627は、コンポーネントデータベース630に記憶された、更新後の各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントを用いて、各クラスについて、式(8)に示した正規方程式をたてるようになっている。


【0941】


足し込み部627は、上述のようにして、クラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を新たにたてると、そのクラスごとの正規方程式を、タップ係数決定部628に供給する。


【0942】


タップ係数決定部628は、足し込み部627から供給されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数を求め、このクラスごとのタップ係数を、高品質化データとして、タップ係数メモリ629に供給し、各クラスに対応するアドレスに、上書きする形で記憶させる。


【0943】


タップ係数メモリ629に記憶された高品質化データとしてのクラスごとのタップ係数は、音質向上部601(図66)に供給されるようになっている。


【0944】


コンポーネントデータベース630は、上述したように、クラスごとの式(8)における行列Aおよびベクトルvのコンポーネントを記憶する。


【0945】


統合部631は、他のPDAから送信されてくる、学習情報としての、クラスごとの式(8)における行列Aおよびベクトルvのコンポーネントを、アンテナ64(図23)および通信I/F218を介して受信する。 そして、統合部631は、受信した各クラスの行列Aおよびベクトルvのコンポーネントと、コンポーネントデータベース630に記憶された各クラスの行列Aおよびベクトルvのコンポーネントと用いて、新たな各クラスの行列Aおよびベクトルvのコンポーネントを求める。


【0946】


即ち、統合部631は、他のPDAから各クラスの行列Aおよびベクトルvのコンポーネントを受信すると、コンポーネントデータベース630に記憶されている各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その各クラスの行列Aまたはベクトルvのコンポーネントに対して、対応するクラスの、他のPDAから受信した行列Aまたはベクトルvのコンポーネントをそれぞれ足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、各クラスについて、新たな行列Aのコンポーネントと、ベクトルvのコンポーネントを求める。


【0947】


そして、統合部631は、各クラスについて求めた新たな行列Aおよびベクトルvのコンポーネントを、コンポーネントデータベース630に上書きする形で記憶させることにより、そのコンポーネントデータベース630に記憶されている各クラスの行列Aおよびベクトルvのコンポーネントを更新する。


【0948】


学習情報送信部632は、イベント検出部633からの要求に応じて、コンポーネントデータベース630から各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、通信I/F218(図23)およびアンテナ64を介して、学習情報として送信する。


【0949】


ここで、上述の統合部631では、他のPDAにおける学習情報送信部632から送信されてくる学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが受信される。


【0950】


イベント検出部633は、他のPDAから、学習情報の送信を要求するリクエスト信号が送信されてくると、そのリクエスト信号が送信されてきたことを、所定のイベントして検出する。 即ち、他のPDAから送信されてくるリクエスト信号は、アンテナ64(図23)を介して、通信I/F218で受信され、イベント検出部633に供給される。 イベント検出部633は、このようにして供給されるリクエスト信号を検出すると、所定のイベントが発生したとして、コンポーネントデータベース630に記憶されている学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを送信するように、学習情報送信部632を制御する。


【0951】


リクエスト信号送信部634には、操作部224(図23)等から操作信号が供給されるようになっており、リクエスト信号送信部634は、学習情報を要求するように、操作部224の操作が行われたことを表す操作信号を受信すると、その操作信号の受信を、所定のイベントとして、学習情報を要求するリクエスト信号を、通信I/F218(図23)およびアンテナ64を介して送信する。


【0952】


ここで、このようにして送信されるリクエスト信号を受信した1以上の他のPDAでは、そのリクエスト信号の受信(検出)により所定のイベントが発生したとして、自身が有する学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントの送信が行われる。 そして、このようにして他の1以上のPDAから送信されてくる学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが、統合部631において受信されることになる。


【0953】


以上のように構成される学習部602では、新たに入力された音声データを用いて、クラスごとのタップ係数を求める学習処理、コンポーネントデータベース630に記憶された学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを送信する学習情報送信処理、および他のPDAから送信されてきた学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントによって、コンポーネントデータベース630に記憶された学習情報を更新するコンポーネントデータ統合処理が行われるようになっている。


【0954】


そこで、図70のフローチャートを参照して、図69の学習部602が行う学習処理、学習情報送信処理、およびコンポーネントデータ統合処理について説明する。


【0955】


まず、図70(A)のフローチャートを参照して、学習処理について説明する。


【0956】


学習処理は、例えば、教師データメモリ621に、所定のデータ量以上の新たな音声データが記憶されると開始される。


【0957】


即ち、教師データメモリ621に、新たな音声データが、所定のデータ量以上記憶されると、ステップS411において、足し込み部627が、コンポーネントデータベース630に記憶されている各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、ステップS412に進む。


【0958】


ステップS412では、生徒データ生成部622が、教師データメモリ621に記憶された音声データを教師データとして、その教師データを読み出し、その教師データから生徒データを生成する。 そして、生徒データ生成部622は、得られた生徒データを、生徒データメモリ623に供給して記憶させ、ステップS413に進む。


【0959】


ステップS413では、予測タップ抽出部624は、教師データメモリ621に記憶された教師データとしての音声サンプルのうち、まだ注目データとしていないものの1つを注目データとして、その注目データについて、生徒データメモリ623に記憶された生徒データとしての音声サンプルの幾つかを読み出すことにより、予測タップを生成して、足し込み部627に供給する。


【0960】


さらに、ステップS413では、クラスタップ抽出部625が、予測タップ抽出部624における場合と同様にして、注目データについて、クラスタップを生成し、クラス分類部626に供給する。


【0961】


ステップS413の処理後は、ステップS414に進み、クラス分類部626が、クラスタップ抽出部625からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、足し込み部627に供給する。


【0962】


そして、ステップS415に進み、足し込み部627は、教師データメモリ621から注目データを読み出し、その注目データと、予測タップ抽出部624からの予測タップを用いて、行列Aとベクトルvのコンポーネントを計算する。 さらに、足し込み部627は、コンポーネントデータベース630から読み出した行列Aとベクトルvのコンポーネントのうち、クラス分類部626からのクラスコードに対応するものに対して、注目データと予測タップから求められた行列Aとベクトルvのコンポーネントを足し込み、これにより、新たな行列Aとベクトルvのコンポーネントを求めて、ステップS416に進む。


【0963】


ステップS416では、予測タップ抽出部624が、教師データメモリ621に、まだ、注目データとしていない教師データが存在するかどうかを判定し、存在すると判定した場合、ステップS413に戻り、まだ、注目データとされていない教師データを、新たに注目データとして、以下、同様の処理が繰り返される。


【0964】


また、ステップS416において、教師データメモリ621に、注目データとしていない教師データが存在しないと判定された場合、ステップS417に進み、足し込み部627は、ステップS413乃至S416の処理を繰り返すことにより得られた新たな各クラスの行列Aとベクトルvのコンポーネントを、コンポーネントデータベース310に上書きする形で記憶させる。 さらに、足し込み部627は、新たな各クラスの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部628に供給し、ステップS418に進む。


【0965】


ステップS418では、タップ係数決定部628は、足し込み部627から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求める。 さらに、ステップS418では、タップ係数決定部628は、各クラスごとのタップ係数を、タップ係数メモリ629に供給し、上書きする形で記憶させ、処理を終了する。


【0966】


次に、図70(B)のフローチャートを参照して、学習情報送信処理について説明する。


【0967】


学習情報送信処理では、まず最初に、ステップS431において、イベント検出部633が、所定のイベントが発生したかどうかを判定し、発生していないと判定した場合、ステップS431に戻る。


【0968】


また、ステップS431において、所定のイベントが発生したと判定された場合、即ち、イベント検出部633が、他のPDAから送信されてきたリクエスト信号を受信した場合、イベント検出部633は、学習情報を送信するように、学習情報送信部632を制御し、ステップS432に進む。


【0969】


ステップS432では、学習情報送信部632は、イベント検出部633の制御にしたがい、コンポーネントデータベース630から、学習情報としての各クラスの行列Aとベクトルvのコンポーネントを読み出し、ステップS433に進む。


【0970】


ステップS433では、学習情報送信部632は、コンポーネントデータベース630から読み出した学習情報としての各クラスの行列Aとベクトルvのコンポーネントを、イベント検出部633が受信したリクエスト信号を送信してきた他のPDAに送信する。 そして、ステップS431に戻り、以下、同様の処理が繰り返される。


【0971】


次に、図70(C)のフローチャートを参照して、コンポーネントデータ統合処理について説明する。


【0972】


コンポーネントデータ統合処理では、まず最初に、ステップS441において、リクエスト信号送信部634が、学習情報を要求する旨の操作信号の受信を、所定のイベントとして、そのような所定のイベントが発生したかどうかを判定し、発生していないと判定した場合、ステップS441に戻る。


【0973】


また、ステップS441において、所定のイベントが発生したと判定された場合、即ち、ユーザによって、学習情報を要求するように、操作部224(図23)が操作され、その旨を表す操作信号を、リクエスト信号送信部634が受信した場合、ステップS442に進み、リクエスト信号送信部634は、任意の1以上のPDA宛に、学習情報を要求するリクエスト信号を送信する(例えば、ブロードキャストする)。


【0974】


そして、ステップS443に進み、統合部631は、ステップS442で送信されたリクエスト信号に応じて、他のPDAから学習情報が送信されてきたかどうかを判定する。


【0975】


ステップS443において、学習情報が送信されてきたと判定された場合、ステップS444に進み、統合部631は、その学習情報を受信し、その内蔵するメモリ(図示せず)に一時記憶して、ステップS445に進む。


【0976】


また、ステップS443において、学習情報が送信されてきていないと判定された場合、ステップS445に進み、統合部631は、リクエスト信号送信部634が、ステップS442でリクエスト信号を送信してから所定時間が経過したかどうかを判定する。


【0977】


ステップS445において、リクエスト信号を送信してから、まだ、所定時間が経過していないと判定された場合、ステップS443に戻り、以下、同様の処理が繰り返される。


【0978】


また、ステップS445において、リクエスト信号を送信してから所定時間が経過したと判定された場合、ステップS446に進み、統合部631は、ステップS444において記憶した学習情報としての各クラスの行列Aとベクトルvのコンポーネントと、コンポーネントデータベース630に記憶されている各クラスの行列Aとベクトルvのコンポーネントとを、クラスごとに加算し、新たな各クラスの行列Aとベクトルvのコンポーネントを求める。 さらに、ステップS446において、統合部631は、新たな各クラスの行列Aとベクトルvのコンポーネントを、コンポーネントデータベース630に上書きすることで、その更新を行い、ステップS447に進む。


【0979】


ステップS447では、足し込み部627が、コンポーネントデータベース630から、新たな各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、そのコンポーネントで構成される式(8)の正規方程式をたてて、タップ係数決定部628に供給する。 さらに、ステップS447では、タップ係数決定部628が、足し込み部627から供給された各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求め、タップ係数メモリ629に供給して、上書きする形で記憶させる。 そして、ステップS441に戻り、以下、同様の処理が繰り返される。


【0980】


以上のように、学習部602では、新たに入力された音声データの他、過去の学習に用いられた音声データに基づく学習処理が行われるので、ユーザが発話を行うほど、学習が進行したタップ係数が求められることになる。 従って、音質向上部601において、そのようなタップ係数を用いて、復号音声データを処理することにより、より音質の向上した音声データ(音質向上データ)を得ることが可能となる。


【0981】


さらに、学習部602では、1以上の他のPDAから収集した学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントにより、コンポーネントデータベース630に記憶された各クラスの行列Aおよびベクトルvのコンポーネントが更新されていく。 そして、そのような更新された各クラスの行列Aおよびベクトルvのコンポーネントからたてられた式(8)の正規方程式を解くことで、タップ係数が求められる。 従って、音質向上部601において、そのようなタップ係数を用いて、復号音声データを処理することにより、やはり、より音質の向上した音声データを得ることが可能となる。


【0982】


さらに、学習部602では、上述したように、1以上の他のPDAから、学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが収集されるため、音質の向上した音声データを得るためのタップ係数を、迅速に得ることができる。


【0983】


即ち、式(8)の正規方程式を、ユーザから入力された音声データだけを用いてたてる場合には、入力された音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、上述のように、1以上の他のPDAから、学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを収集する場合には、各クラスについて、式(8)の正規方程式をたてるための行列Aとベクトルvのコンポーネントを、迅速に得ることができ、その結果、音質の向上した音声データを得るためのタップ係数を、迅速に得ることができる。


【0984】


また、複数のPDAどうしの間で、上述したように、それぞれが有する学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントをやりとりすることで、その複数のPDAでは、同一音質で、かつ高音質の音声データを得ることができるようになる。


【0985】


なお、図69および図70の実施の形態では、リクエスト信号送信部634において、操作信号を受信した場合に、リクエスト信号を送信するようにしたが、リクエスト信号は、その他、例えば、定期的または不定期に、任意のタイミングで送信するようにすることが可能である。


【0986】


また、図66のPDA101においては、学習の途中で得られる各クラスの行列Aおよびベクトルvのコンポーネントを学習情報として、1以上の他のPDAとの間でやりとりするようにしたが、その他、例えば、タップ係数自体を学習情報としてやりとりすることも可能である。


【0987】


PDA101において、1以上の他のPDAとの間で、タップ係数をやりとりする場合には、タップ係数の更新は、例えば、自身が有しているタップ係数と、他のPDAから受信したタップ係数との重み付け加算等によって行うことが可能である。


【0988】


なお、この場合の重みとしては、タップ係数を求めるのに用いられた音声サンプル数を用いることができる。


【0989】


即ち、タップ係数を求めるためには、音声データから得られる教師データy

iおよび生徒データx

inを用いて計算される、行列Aのコンポーネントとなるx

in

imと、ベクトルvのコンポーネントとなるx

in

iを足し込んでいく必要があるが、その足し込み回数(これは、教師データとなった音声サンプル数に等しい)を、重みとして用いることが可能である。


【0990】


この場合、例えば、PDA101が有しているタップ係数を、w

a ={w

a1 ,w

a2 ,w

a3 ,・・・}と、そのタップ係数を求めるのに用いられた音声サンプル数を、αと、他のPDAから受信したタップ係数を、w

b ={w

b1 ,w

b2 ,w

b3 ,・・・}と、そのタップ係数を求めるのに用いられた音声サンプル数を、βと、それぞれするとき、新たなタップ係数は、式(αw

a +βw

b )/(α+β)で求められることになる。


【0991】


さらに、PDA101において、1以上の他のPDAとの間で、タップ係数をやりとりする場合には、タップ係数の更新は、例えば、自身がタップ係数を有していないクラスのタップ係数を、他のPDAから受信したタップ係数によって補完することにより行うことが可能である。


【0992】


即ち、PDA101において、式(8)の正規方程式を、そのユーザから入力された音声データだけを用いてたてる場合には、入力された音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、他のユーザのPDAにおいては、そのクラスについて十分な数の正規方程式が得られていることがあり得る。


【0993】


そこで、PDA101では、他のPDAとの間でタップ係数をやりとりすることで、自身だけでは得られなかったクラスのタップ係数を、他のPDAで得られたものによって補完するようにすることが可能である。


【0994】


以上、本発明をPDAに適用した場合について説明したが、本発明は、PDA以外の情報処理装置等にも適用可能である。


【0995】


なお、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。


【0996】


一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、PDA101やベース基地コンピュータ102にインストールされる。


【0997】


プログラムは、コンピュータに内蔵されている記録媒体としてのHDD215(図23)やHDD333(図26)に予め記録しておくことができる。


【0998】


あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。 このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。


【0999】


なお、プログラムは、上述したようなリムーバブル記録媒体からPDA101やベース基地コンピュータ102にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、PDA101やベース基地コンピュータ102に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、PDA101やベース基地コンピュータ102に有線で転送し、PDA101やベース基地コンピュータ102では、そのようにして転送されてくるプログラムを、通信部108で受信してインストールすることができる。


【1000】


ここで、本明細書において、PDA101のCPU202(図23)や、ベース基地コンピュータ102のCPU312(図26)に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。


【1001】


また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。 さらに、プログラムは、遠方のコンピュータ等に転送されて実行されるものであっても良い。


【1002】


【発明の効果】


本発明の送信装置および送信方法、並びに第1のプログラムによれば、第1のデータが送信され、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の

第2のデータであるクラスタップが抽出され、第2の注目データが、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類され、クラス分類手段により分類されるクラスを表すクラスコードを少なくとも含む高品質化情報が生成される。 そして、送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの

相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントが検出されると、高品質化情報が送信される。 従って、その高品質化情報を受信した受信側では、品質の良いデータを得ることが可能となる。


【1003】


本発明の第1の受信装置および第1の受信方法、並びに第2のプログラムによれば、複数回送信されてくる同一の第1のデータが受信される一方、データ記憶手段に記憶された第1のデータと、データ受信手段が受信された第1のデータとが、第1のデータがより高品質になるように重み付け加算され、その加算値が、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶される。 さらに、データ記憶手段に記憶された新たな第1のデータの

相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかが判定され、第1のデータの品質の判定により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号が送信される。 そして、高品質化情報の要求に応じて送信されてくる高品質化情報が受信され、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数が、クラスコードごとにタップ係数記憶手段に記憶され、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップが抽出され、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値が求められる。 従って、品質の良いデータを得ることが可能となる。


【1004】


本発明の第1の送受信システムによれば、同一の第1のデータが複数回送信される。 また、生成対象である第2のデータの注目位置に対応するデータである第2の注目データのクラス分類に用いられ、第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の

第2のデータであるクラスタップが抽出され、第2の注目データが、クラスタップから算出される所定の特徴量に対応する、複数のクラスのうちのいずれかのクラスにクラス分類され、分類されるクラスを表すクラスコードを少なくとも含む高品質化情報が生成され、送信した第1のデータを受信して記憶するとともに、送信した高品質化情報を受信する受信装置が、受信装置に記憶されている第1のデータの

相関値またはユーザ操作による外部からの入力に基づいて決定される第1のデータの品質が所定の品質以上である場合に発する、高品質化情報を要求する信号が送信されてきたことを表す所定のイベントが検出されると、高品質化情報が送信される。 一方、複数回送信されてくる同一の第1のデータが受信され、第1のデータがデータ記憶手段に記憶され、データ記憶手段に記憶された第1のデータと、データ受信手段が受信した第1のデータとが、第1のデータがより高品質になるように重み付け加算され、その加算値が、新たな第1のデータとして、データ記憶手段に記憶されている第1のデータに代えて記憶される。 さらに、データ記憶手段に記憶された新たな第1のデータの

相関値またはユーザ操作による外部からの入力に基づいて決定される新たな第1のデータの品質が所定の品質以上であるかどうかが判定され、第1のデータの品質の判定により、新たな第1のデータの品質が所定の品質以上であると判定された場合、第2のデータを複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスを表すクラスコードを少なくとも含む高品質化情報を要求するリクエスト信号が送信される。 そして、高品質化情報の要求に応じて送信されてくる高品質化情報が受信され、第2のデータを予測する予測演算式に用いられ、予測演算式の係数である所定のタップ係数が、クラスコードごとにタップ係数記憶手段に記憶され、第2のデータを予測する予測演算に用いられ、生成対象である第2のデータの注目位置に対応するデータである第2の注目データに対応する位置の空間的近傍または第2の注目データの時間的近傍にある複数の第1のデータである予測タップが抽出され、予測タップと、第2の注目データのクラスを表すクラスコードに対応するタップ係数とを用いて予測演算を行うことにより、第2の注目データの予測値が求められる。 従って、品質の良いデータを得ることが可能となる。


【図面の簡単な説明】


【図1】本発明を適用したPDA101の第1実施の形態の外観構成例を示す斜視図である。


【図2】PDA101のメインブロック2の第1の外観構成例を示す斜視図である。


【図3】蓋部20を開いた状態のメインブロック2の外観構成例を示す斜視図である。


【図4】蓋部20、並びにサブパネル15および16を開いた状態のPDA101の外観構成例を示す斜視図である。


【図5】PDA101における配線の状態を示す斜視図である。


【図6】ヒンジ部13の構成例を示す斜視図である。


【図7】PDA101のメインブロック2の第2の外観構成例を示す斜視図である。


【図8】メインブロック2の第2の外観構成例を示す上面図と側面図である。


【図9】蓋部20を開いた状態のメインブロック2の外観構成例を示す斜視図である。


【図10】蓋部20、並びにサブパネル15および16を開いた状態のPDA101の外観構成例を示す斜視図である。


【図11】ヒンジ部71を分解した状態を示す斜視図である。


【図12】ヒンジ部71を分解した状態のより詳細を示す斜視図である。


【図13】PDA101のメインブロック2の第3の外観構成例を示す斜視図である。


【図14】メインブロック2における配線の状態を示す断面図である。


【図15】メインブロック2における配線の状態を示す断面図である。


【図16】本発明を適用したPDA101の第2実施の形態の外観構成例を示す斜視図である。


【図17】PDA101の第2実施の形態の構成例を示す平面図である。


【図18】PDA101のメインブロック2の第4の外観構成例を示す斜視図である。


【図19】メインブロック2における配線の状態を説明するための斜視図である。


【図20】PDA101のメインブロック2の第5の外観構成例を示す斜視図である。


【図21】PDA101のメインブロック2の第6の外観構成例を示す斜視図である。


【図22】PDA101を用いたPDAシステムの一実施の形態の構成例を示す図である。


【図23】PDA101のハードウエア構成例を示すブロック図である。


【図24】PDA101の第1の機能的構成例を示すブロック図である。


【図25】ベース基地コンピュータ102の外観構成例を示す斜視図である。


【図26】ベース基地コンピュータ102のハードウエア構成例を示すブロック図である。


【図27】ベース基地コンピュータ102の機能的構成例を示すブロック図である。


【図28】PDA101とベース基地コンピュータ102とが接続された状態を示すブロック図である。


【図29】PDA101が行う通話処理と発呼処理を説明するフローチャートである。


【図30】PDA101が行うメール送受信処理およびメール送信イベント処理を説明するフローチャートである。


【図31】PDA101が行うデータ送受信処理およびデータ送信イベント処理を説明するフローチャートである。


【図32】PDA101が行うデータ再生処理を説明するフローチャートである。


【図33】PDA101が行うストリーミング再生処理を説明するフローチャートである。


【図34】PDA101からベース基地コンピュータ102に対してファイルが送信される場合の通信手順を説明する図である。


【図35】ベース基地コンピュータ102からPDA101に対してファイルが送信される場合の通信手順を説明するフローチャートである。


【図36】LCD4

1 ,5

1 ,12,21乃至23における画面の表示例を示す図である。


【図37】LCD4

1 ,5

1 ,12,21乃至23における画面の表示例を示す図である。


【図38】LCD4

1 ,5

1 ,12,21乃至23における画面の表示例を示す図である。


【図39】LCD4

1乃至4

4 ,5

1乃至5

4 ,12,21乃至23における画面の表示例を示す図である。


【図40】LCD3,12,21乃至23のオン/オフ制御の処理を説明するフローチャートである。


【図41】階層表示制御処理を説明するフローチャートである。


【図42】階層構造に構造化された情報のフォーマットを示す図である。


【図43】PDA101が、他のPDA103との間で通信を行っている状態を示す図である。


【図44】PDA101の第2の機能的構成例を示すブロック図である。


【図45】送信処理部401の第1の構成例を示すブロック図である。


【図46】送信処理部401が行う画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理を説明するフローチャートである。


【図47】受信処理部402の第1の構成例を示すブロック図である。


【図48】適応処理部447の構成例を示すブロック図である。


【図49】受信処理部402が行う画像データ受信処理、リクエスト信号送信処理、および適応処理を説明するフローチャートである。


【図50】送信処理部401の第2の構成例を示すブロック図である。


【図51】学習部414の構成例を示すブロック図である。


【図52】送信処理部401が行う学習処理およびタップ係数送信処理を説明するフローチャートである。


【図53】受信処理部402の第2の構成例を示すブロック図である。


【図54】適応処理部448の構成例を示すブロック図である。


【図55】送信処理部401の第3の構成例を示すブロック図である。


【図56】送信処理部401が行う画像データ送信処理およびコードブック選択処理を説明するフローチャートである。


【図57】コードブックのフォーマットを示す図である。


【図58】更新部506(539)の構成例を示すブロック図である。


【図59】更新部506が行うデータ更新処理およびコードブック更新処理を説明するフローチャートである。


【図60】受信処理部402の第3の構成例を示すブロック図である。


【図61】受信処理部402が行う画像データ受信処理、およびコードブック選択処理を説明するフローチャートである。


【図62】エラー訂正部534の構成例を示すブロック図である。


【図63】部分ベクトル推定部553の処理を説明するための図である。


【図64】エラー訂正処理を説明するフローチャートである。


【図65】PDA101とべーす基地コンピュータ102との間で行われるコードブックの統合を説明するための図である。


【図66】PDA101の第3の機能的構成例を示すブロック図である。


【図67】音質向上部601の構成例を示すブロック図である。


【図68】音質向上処理を説明するフローチャートである。


【図69】学習部602の構成例を示すブロック図である。


【図70】学習部602で行われる学習処理、学習情報送信処理、およびコンポーネントデータ統合処理を説明するフローチャートである。


【符号の説明】


1 時計バンド, 2 メインブロック, 3 LCD, 3A タッチパネル, 4 サイドパネル, 4

1乃至4

4 LCD, 4A

1乃至4A

4タッチパネル, 5 サイドパネル, 5

1乃至5

4 LCD, 5A

1乃至5A

4タッチパネル, 6 ジョグダイヤル, 7 イヤフォンマイクジャック, 8 コネクタ部, 8

1乃至8

4コネクタ, 9 マイク, 10 スピーカ, 11 本体, 12 LCD, 12A タッチパネル, 13 ヒンジ部, 14 メインパネル, 15,16 サブパネル, 17,18 ヒンジ部, 20 蓋部, 21 LCD, 21A タッチパネル, 22 LCD, 22A タッチパネル, 23 LCD, 23A タッチパネル, 31,32 軸,33,34 軸受け部, 35乃至40 通し穴, 41乃至43 回路ブロック, 51 係止部, 52 溝, 61 ホールドスイッチ, 62 電源スイッチ, 63 無線通信部, 64 アンテナ, 65 CCDカメラ, 71乃至73 ヒンジ部, 81 ヒンジ金具, 82 軸, 83 ヒンジ金具, 91,92 ヒンジカバー, 101 PDA, 102 ベース基地コンピュータ, 103 PDA, 104 公衆網, 105 インターネット, 111 回路基板, 112,113 フレキ, 114,115 穴, 131 アーム部, 131A,131B ピン部, 132 アーム部, 132A,132B ピン部, 133 アーム部, 133A,133B ピン部, 143 係止部, 144 穴, 145乃至147 フレキ, 201バス, 202 CPU, 203 ROM, 204 RAM, 205(205

1乃至205

7 ) タッチパネルドライバ, 206(206

1乃至206

7 ) LCDドライバ, 207乃至209 アンプ, 210,211 A/D変換器, 212 D/A変換器, 213 MPEGエンコーダ/デコーダ,214 ATRACエンコーダ/デコーダ, 215 HDD, 216 フラッシュメモリ, 217 DRAM, 218 通信I/F, 219 ドライバ, 220 受光部, 221 発光部, 222 バッテリ, 223 入力I/F, 224 操作部, 225 スイッチ部, 226 バス, 231 RF処理部, 232 チャネル復号部, 233 チャネル符号化部,234 エンコード/デコード部, 235 画像符号化部, 236 画像復号部, 237 音声符号化部, 238 音声復号部, 239 制御部,240 変復調部, 241 メモリ, 242 アラーム部, 243 開閉検出部, 244 表示制御部, 245 表示部, 251乃至255 表示制御部, 256乃至261 表示部, 301 キーボード, 302 表示部, 303 PDA装着部, 304 無線通信部, 305 IEEE1394端子, 306 USB端子, 311 バス, 312 CPU, 313 ROM, 314 RAM, 315 フラッシュメモリ, 316 LCD , 317 LCDドライバ, 318 キーボードI/F, 319 USBインタフェース, 320 IEEE1394インタフェース, 321 PCMCIAAドライバ,322 PCMCIAスロット, 323 ATRACエンコーダ/デコーダ, 324 A/D変換器, 325 D/A変換器, 326,327 アンプ, 328 マイク, 329 スピーカ, 330 マイクジャック, 331 イヤフォンジャック, 332 CD-RWドライブ, 333 HDD, 334フラッシュメモリ, 335 DRAM, 336 通信I/F, 337 コネクタ部, 337

1乃至337

4コネクタ, 338 ドライバ, 339受光部, 340 発光部, 341 LANボード, 342 モデム/TA/DSU, 343 バス, 344 充電回路, 345 バス, 351制御部, 352 音声画像符号化復号部, 353 操作部, 354 変復調部, 355 表示制御部, 356 表示部, 357 メモリ, 401,401' 送信処理部, 402,402' 受信処理部, 411 符号化部, 412 イベント検出部, 413 ストレージ, 414 学習部,415 タップ係数バッファ, 416 ストレージ, 421 データ圧縮部, 422 送信制御部, 423 クラスタップ抽出部, 424 クラス分類部, 425 クラスコードデータベース, 431 復号部, 432 画質判定部, 433 リクエスト信号送信部, 441 受信制御部, 442 受信バッファ, 443 登録部, 444 ストレージ, 445 選択部, 446 クラスコードデータベース, 447,448 適応処理部, 451 バッファ, 452 予測タップ抽出部, 453 積和演算部, 454 クラスコード読み出し部, 455 係数メモリ, 456 登録部, 461 教師データメモリ, 462 データ圧縮部, 463 生徒データメモリ, 464 予測タップ抽出部, 465 クラスタップ抽出部, 466クラス分類部, 467 足し込み部, 468 タップ係数決定部, 501 ベクトル化部, 502 ベクトル量子化部, 503 ローカルデコード部, 504 差分演算部, 505 エントロピー符号化部, 506 更新部, 507 コードブックデータベース, 508 選択部, 509 コードブック記憶部, 521 データ更新部, 522 コードブック更新部, 531 エントロピー復号部, 532 ベクトル逆量子化部, 533 加算部, 534 エラー訂正部, 535 スカラ化部, 536 コードブックデータベース, 537 選択部, 538 コードブック記憶部, 539 更新部, 540 エラー検出部, 550 書き込み部, 551 メモリ,552 読み出し部, 553 部分ベクトル推定部, 554 画像ベクトル推定部, 600 音声復号部, 601 音質向上部, 602 学習部,611 バッファ, 612 予測タップ抽出部, 613 クラスタップ抽出部, 614 クラス分類部, 615 係数メモリ, 616 積和演算部, 621 教師データメモリ, 622 生徒データ生成部, 622D 音声復号部, 622E 音声符号化部, 623 生徒データメモリ, 624予測タップ抽出部, 625 クラスタップ抽出部, 626 クラス分類部, 627 足し込み部, 628 タップ係数決定部, 629 タップ係数メモリ, 630 コンポーネントデータベース, 631 統合部, 632学習情報送信部, 633 イベント検出部, 634 リクエスト信号送信部

Transmission apparatus and transmission method, a receiving apparatus and a receiving method, a program and a recording medium as well as the transmission and reception system,专利检索-··矢量量化专利检索查询-专利查询网 (2024)
Top Articles
Latest Posts
Article information

Author: Errol Quitzon

Last Updated:

Views: 6467

Rating: 4.9 / 5 (59 voted)

Reviews: 90% of readers found this page helpful

Author information

Name: Errol Quitzon

Birthday: 1993-04-02

Address: 70604 Haley Lane, Port Weldonside, TN 99233-0942

Phone: +9665282866296

Job: Product Retail Agent

Hobby: Computer programming, Horseback riding, Hooping, Dance, Ice skating, Backpacking, Rafting

Introduction: My name is Errol Quitzon, I am a fair, cute, fancy, clean, attractive, sparkling, kind person who loves writing and wants to share my knowledge and understanding with you.