トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 プロセッサシステム
【発明者】 【氏名】上原 敬太郎

【氏名】明石 英也

【氏名】對馬 雄次
【要約】 【課題】Ｉ／Ｏバスから発行された主記憶ライトトランザクションに対して、先行トランザクションの完了を待たずに後続のトランザクションを発行することによってバススループットを向上させる。

【解決手段】要求側のＩ／Ｏユニットは、Ｉ／Ｏバスから発行されたトランザクションを連続して発行する。応答側のノードコントローラあるいは相互結合網上の中継ユニットは、同一Ｉ／Ｏバスから発行されたトランザクションの順序を保証するために、先行するトランザクションがリトライあるいは応答保留となったことを記録するＩ／Ｏフラグレジスタを有する。これにより応答側のノードコントローラあるいは中継ユニットは、先行するトランザクションがリトライあるいは応答保留となった場合に、後続のトランザクションをリトライあるいは応答を保留させることで完了順序を保証する。
【特許請求の範囲】
【請求項１】１つ以上のプロセッサをプロセッサバスを介して接続するノードコントローラと、Ｉ／Ｏバスを有する１つ以上のＩ／Ｏユニットと、１つ以上の主記憶とを相互結合網で接続するプロセッサシステムにおいて、前記Ｉ／Ｏユニットは、任意の前記主記憶あるいは任意の前記プロセッサに対するトランザクションを、先行するトランザクションの完了前に連続して発行する機能を有し、前記ノードコントローラは、要求されたトランザクションに対して任意の順序で応答を返す機能を有し、前記ノードコントローラは、前記同一Ｉ／Ｏバスから発行された先行トランザクションが前記主記憶あるいは前記プロセッサによってリトライあるいは応答を保留された場合に、前記Ｉ／Ｏユニットに対して後続のトランザクションの応答を保留、あるいはリトライを要求し再発行させることで、トランザクションの完了順序を保証することを特徴とするプロセッサシステム。
【請求項２】請求項１記載のプロセッサシステムにおいて、前記ノードコントローラはリトライ制御レジスタと応答保留制御レジスタを有し、前記リトライ制御レジスタは前記Ｉ／Ｏバスから発行された先行するトランザクションがリトライとなったことを記録する前記Ｉ／Ｏバスの本数に対応するリトライビットを有し、前記応答保留制御レジスタは前記Ｉ／Ｏバスから発行された先行するトランザクションの応答が保留されたことを記録する前記Ｉ／Ｏバスの本数に対応する保留ビットを有することを特徴とするプロセッサシステム。
【請求項３】１つ以上のプロセッサをプロセッサバスを介して接続するノードコントローラと、Ｉ／Ｏバスを有する１つ以上のＩ／Ｏユニットと、１つ以上の主記憶と相互結合網で接続するプロセッサシステムにおいて、前記各Ｉ／Ｏユニットは、任意の前記主記憶あるいは任意の前記プロセッサ対するトランザクションを、先行するトランザクションの完了前に連続して発行する機能を有し、前記同一Ｉ／Ｏバスから発行された先行トランザクションが前記主記憶あるいは前記プロセッサによってリトライされた場合に、前記相互結合網を含む任意の中継点（以下中継ユニット）において、前記Ｉ／Ｏユニットに対して後続のトランザクションのリトライを要求し再発行させることで、トランザクションの完了順序を保証することを特徴とするプロセッサシステム。
【請求項４】請求項３記載のプロセッサシステムにおいて、前記中継ユニットはリトライ制御レジスタを有し、前記リトライ制御レジスタは前記Ｉ／Ｏバスから発行された先行するトランザクションがリトライとなったことを記録する前記Ｉ／Ｏバスの本数に対応したリトライビットを有することを特徴とするプロセッサシステム。
【請求項５】請求項４記載のプロセッサシステムにおいて、前記中継ユニットは応答保留制御レジスタを有し、前記応答保留制御レジスタは前記Ｉ／Ｏバスから発行されたトランザクションの応答が保留されたことを記録する前記Ｉ／Ｏバスの本数に対応した保留ビットを有することを特徴とするプロセッサシステム。
【請求項６】請求項２、４及び５のいずれかに記載のプロセッサシステムにおいて、前記ノードコントローラまたは前記中継ユニットは、前記Ｉ／Ｏユニットからのライトトランザクションをリトライする際に対応する前記リトライ制御レジスタ内の対応するリトライビットをセットする機能と、前記リトライビットがセットされると後続のトランザクションもリトライさせる機能を有し、前記Ｉ／Ｏユニットは前記Ｉ／Ｏバスが発行したトランザクションを順番に格納するトランザクション発行キューを有し、前記トランザクション発行キューは前記トランザクションがリトライされたものであるかを判別するためのトランザクション属性フィールドを有し、前記Ｉ／Ｏユニットは前記トランザクション発行キュー内のトランザクションを連続発行する機能と、リトライされたトランザクションを再発行する機能を有することを特徴とするプロセッサシステム。
【請求項７】請求項６記載のプロセッサシステムにおいて、前記Ｉ／Ｏユニットはトランザクションを連続発行または再発行する際に前記トランザクションキュー内の先頭トランザクションと後続トランザクションを判別するために先頭トランザクションに対してヘッダフラグを付与する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記先頭トランザクションを受け取ると、前記リトライ制御レジスタ内の前記Ｉ／Ｏバスに対応するリトライビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項８】請求項６記載のプロセッサシステムにおいて、前記Ｉ／Ｏユニットは前記トランザクション発行キュー内のリトライとなったトランザクションを再発行する際に、前回トランザクションを発行した時と同じ識別子を付与する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記リトライ制御レジスタ内に前記Ｉ／Ｏバスの本数に対応したリトライビットに加えトランザクション識別子記録部を持ち、前記Ｉ／Ｏユニットからのライトトランザクションをリトライする際に対応するリトライビットをセットすると同時に前記トランザクション識別子記録部にリトライとなったライトトランザクションの識別子を記録する機能を有し、前記Ｉ／Ｏユニットから再発行されたライトトランザクションを受け付けた際前記リトライ制御レジスタ内の対応するトランザクション識別子記録部を参照し、該ライトトランザクションの識別子と一致した場合には対応するリトライビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項９】請求項６記載のプロセッサシステムにおいて、前記Ｉ／Ｏユニットはトランザクションをリトライして再発行した回数を示すリトライカウンタを内部に持ち、前記Ｉ／Ｏユニットはトランザクション発行キュー内のトランザクションを連続発行する際に、前記リトライカウンタの値をトランザクションに付与して発行する機能を有し、トランザクションを再発行する際には前記リトライカウンタの値をインクリメントする機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記リトライ制御レジスタ内に前記Ｉ／Ｏバスの本数に応じたリトライビットに加え前記トランザクションのリトライカウンタを記録するリトライカウンタ記録部を有し、前記Ｉ／Ｏユニットから発行されたライトトランザクションをリトライする際に対応するリトライビットをセットすると共に、リトライカウンタ記録部に当該ライトトランザクションのリトライカウンタを記録する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記Ｉ／Ｏユニットから発行されたトランザクションを受け付けた際、前記Ｉ／Ｏフラグレジスタ内の対応するリトライカウンタ記録部を参照し、該トランザクションのリトライカウンタと異なっていた場合には対応するリトライビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項１０】請求項２、５、６、７、８及び９のいずれか記載のプロセッサシステムにおいて、前記ノードコントローラは、受け取ったトランザクションに対して即時に応答できない場合この応答を一時保留する機能を有し、応答を一時保留した前記トランザクションより後に到着したトランザクションの応答を先に返す機能を有することを特徴とするプロセッサシステム。
【請求項１１】請求項１０記載のプロセッサシステムにおいて、答が一時保留された場合に前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットをセットする機能を有することを特徴とするプロセッサシステム。
【請求項１２】請求項１１記載のプロセッサシステムにおいて、前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットがセットされている時に、前記同一Ｉ／Ｏバスから発行された後続のトランザクションをリトライする機能を有し、保留されていたトランザクションの応答を返す際に前記保留ビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項１３】請求項１１記載のプロセッサシステムにおいて、記Ｉ／Ｏバスに対応する保留ビットがセットされている時に、後続のトランザクションの応答を保留する機能を有し、前記リトライ制御レジスタ内の前記Ｉ／Ｏバスに対応するリトライビットをクリアする時に、前記保留ビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項１４】請求項１１記載のプロセッサシステムにおいて、前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットの代わりに保留カウンタを有し、前記Ｉ／Ｏユニットから発行されたトランザクションの応答を保留する際に、前記保留カウンタの値をインクリメントする機能を有し、前記Ｉ／Ｏユニットから発行された後続トランザクションを受け付けた際、対応する前記保留カウンタの値が1以上の時には当該トランザクションの応答を保留する機能を有し、応答が保留されたトランザクションの応答を返す際に前記保留カウンタの値をデクリメントする機能を有することを特徴とするプロセッサシステム。
【請求項１５】請求項１３記載のプロセッサシステムにおいて、前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内に前記Ｉ／Ｏバスの本数に対応した保留ビットに加え前記Ｉ／Ｏバスの本数に対応した保留識別子記録部を前記応答保留制御レジスタ内に持ち、前記Ｉ／Ｏユニットから発行されたトランザクションの応答が保留された際に当該トランザクションの識別子を対応する保留識別子記録部に記録する機能を有し、応答を保留していたトランザクションの応答を返す際に、前記応答保留制御レジスタ内の対応する保留識別子記録部を参照し、該トランザクションの識別子と一致していた場合には対応する保留ビットをクリアする機能を有することを特徴とするプロセッサシステム。
【請求項１６】請求項１０記載のプロセッサシステムにおいて、前記ノードコントローラあるいは前記中継ユニットは、前記Ｉ／Ｏバスの本数に応じたＩ／Ｏ要求受け付けキューを持ち、前記Ｉ／Ｏユニットから発行されたトランザクションを対応する前記Ｉ／Ｏ要求受け付けキューに受け付けた順に格納する機能を有し、前記Ｉ／Ｏユニットから発行されたトランザクションの応答を返す際、当該トランザクションが対応するＩ／Ｏ要求受け付けキューの先頭エントリで無かった場合には当該トランザクションの応答を保留する機能を有することを特徴とするプロセッサシステム。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明はプロセッサシステムにおいてＩ／Ｏバス上のデバイスを要求元とするトランザクションの順序を保証した連続発行方法に関する。
【０００２】
【従来の技術】Ｉ／Ｏバスが発行するライトトランザクションをシステムで処理する方法の一種にポステッドライトがある。ポステッドライトはライトトランザクションをシステムが受け付けた直後に要求元バスで完了させ、以後の処理はシステムが責任を持って行う処理方法である。ライトトランザクションが発行されると、当該トランザクションがシステム上で完了する前にバスまたはプロセッサから後続トランザクションが発行可能になり、性能が向上する。
【０００３】しかしながらＰＣＩバス仕様レビジョン２．１などの規定ではＰＣＩバス上のデバイスを要求元にしたライトトランザクションは順序を保証しなければならないという制約がある。依存関係のあるトランザクションを連続して発行した際に、先行のトランザクションがリトライされた場合には、後続のトランザクションが先に完了するという追い越しが発生し、順序が保証されなくなる。ここでリトライとは要求先が一時的にアクセスを受け付けられない状態にある場合などに、要求元に対して改めてアクセスを実行するように要求することである。したがって、あるＰＣＩバスがライトトランザクションをシステム側に発行すると、当該ライトがリトライされずに完了が保証されるまで当該ＰＣＩバスは後続トランザクションをシステム側に発行しないことでこの制約を守っている。
【０００４】
【発明が解決しようとする課題】上記従来手法では、ＰＣＩバスから依存関係のあるトランザクションが連続して発行された場合には、先行トランザクションの完了が保証されるまで後続のトランザクションが発行できないため、性能が低下してしまうという問題点があった。
【０００５】また、多数のノードがネットワークで相互結合した高多重マルチプロセッサシステムにおいては、各ノードから発行されるスヌープトランザクションが多くなるため、プロセッサバスのスヌープスループットの増加がシステム全体の性能を低下させる要因となる。そのために各ノードコントローラでは、スヌープトランザクションをフィルタリングし、必要な場合だけスヌープトランザクションをプロセッサバス上に発行する、等といった仕組みが必要となる。しかしこのような仕組みを設けた場合、応答側のノードコントローラでは、必ずしも要求された順序で応答を返すとは限らない。そのため、同一ＰＣＩバスから発行されたトランザクション間の順序保証を行おうとする場合、先行するライトトランザクションの応答が保留された際には、リトライされる可能性を考慮に入れ、後続のトランザクションを全てリトライとする必要があった。
【０００６】また、応答側の各ノードコントローラで、システム内の全要求元に対応するビットマップを持ち、順序保証を行う方法も考えられる。この場合システム全体でのビットマップの物量は、システム内のＩ／Ｏバスの総数とノードコントローラの数の両方に比例する。このため、Ｉ／Ｏバスの本数がノード数に比例するとした場合、ビットマップの物量はノード数の二乗に比例して増えていくことになり、ノード数が多いシステムでは物量の増加が問題となる。
【０００７】
【課題を解決するための手段】本発明は、１つ以上のプロセッサをプロセッサバスを介して接続する１つノードコントローラと、Ｉ／Ｏバスを有する１つ以上のＩ／Ｏユニットと、１つ以上の主記憶とを相互結合網で接続するプロセッサシステムであって、任意の前記ノード内の前記Ｉ／Ｏバスを要求元ユニットとし、任意のノード内の前記プロセッサまたは任意の前記主記憶を要求先ユニットとするトランザクションを、前記相互結合網を介して発行する機能を有するプロセッサシステムにおいて、以下の機能を有することによって前記従来の課題を解決する。
【０００８】前記Ｉ／Ｏユニットは、任意の前記主記憶あるいは任意の前記プロセッサに対するトランザクションを、先行するトランザクションの完了前に連続して発行する機能を有し、前記ノードコントローラは、要求されたトランザクションに対して任意の順序で応答を返す機能を有し、前記ノードコントローラは、前記同一Ｉ／Ｏバスから発行された先行トランザクションが前記主記憶あるいは前記プロセッサによってリトライあるいは応答を保留された場合に、前記Ｉ／Ｏユニットに対して後続のトランザクションの応答を保留、あるいはリトライを要求し再発行させることで、トランザクションの完了順序を保証する機能を有する。
【０００９】また、前記ノードコントローラはリトライ制御レジスタと応答保留制御レジスタを有し、前記リトライ制御レジスタは前記Ｉ／Ｏバスから発行された先行するトランザクションがリトライとなったことを記録する前記Ｉ／Ｏバスの本数に対応したリトライビットを有し、前記応答保留制御レジスタは前記Ｉ／Ｏバスから発行された先行するトランザクションの応答が保留されたことを記録する前記Ｉ／Ｏバスの本数に対応した保留ビットを有する。
【００１０】前記ノードコントローラまたは前記中継ユニットは、前記Ｉ／Ｏユニットからのライトトランザクションをリトライする際に対応する前記リトライ制御レジスタ内の対応するリトライビットをセットする機能と、前記リトライビットがセットされると後続のトランザクションもリトライさせる機能を有し、前記Ｉ／Ｏユニットは前記Ｉ／Ｏバスが発行したトランザクションを順番に格納するトランザクション発行キューを有し、前記トランザクション発行キューは前記トランザクションがリトライされたものであるかを判別するためのトランザクション属性フィールドを有し、前記Ｉ／Ｏユニットは前記トランザクション発行キュー内のトランザクションを連続発行する機能と、リトライされたトランザクションを再発行する機能を有する。
【００１１】また、前記Ｉ／Ｏユニットはトランザクションを連続発行または再発行する際に前記トランザクションキュー内の先頭トランザクションと後続トランザクションを判別するために先頭トランザクションに対してヘッダフラグを付与する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記先頭トランザクションを受け取ると、前記リトライ制御レジスタをクリアする機能を有する。
【００１２】あるいは、前記Ｉ／Ｏユニットは前記トランザクション発行キュー内のリトライとなったトランザクションを再発行する際に、前回トランザクションを発行した時と同じ識別子を付与する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記リトライ制御レジスタ内に前記Ｉ／Ｏバスの本数に対応したリトライビットに加えトランザクション識別子記録部を持ち、前記Ｉ／Ｏユニットからのライトトランザクションをリトライする際に対応するリトライビットをセットすると同時に前記トランザクション識別子記録部にリトライとなったライトトランザクションの識別子を記録する機能を有し、前記Ｉ／Ｏユニットから再発行されたライトトランザクションを受け付けた際前記リトライ制御レジスタ内の対応するトランザクション識別子記録部を参照し、該ライトトランザクションの識別子と一致した場合には対応するリトライビットをクリアする機能を有する。
【００１３】あるいは、前記Ｉ／Ｏユニットはトランザクションをリトライして再発行した回数を示すリトライカウンタを内部に持ち、前記Ｉ／Ｏユニットはトランザクション発行キュー内のトランザクションを連続発行する際に、前記リトライカウンタの値をトランザクションに付与して発行する機能を有し、トランザクションを再発行する際には前記リトライカウンタの値をインクリメントする機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記リトライ制御レジスタ内に前記Ｉ／Ｏバスの本数に応じたリトライビットに加え前記トランザクションのリトライカウンタを記録するリトライカウンタ記録部を有し、前記Ｉ／Ｏユニットから発行されたライトトランザクションをリトライする際に対応するリトライビットをセットすると共に、リトライカウンタ記録部に当該ライトトランザクションのリトライカウンタを記録する機能を有し、前記ノードコントローラまたは前記中継ユニットは、前記Ｉ／Ｏユニットから発行されたトランザクションを受け付けた際、前記Ｉ／Ｏフラグレジスタ内の対応するリトライカウンタ記録部を参照し、該トランザクションのリトライカウンタと異なっていた場合には対応するリトライビットをクリアする機能を有する。
【００１４】前記ノードコントローラは、受け取ったトランザクションに対して即時に応答できない場合この応答を一時保留する機能を有し、応答を一時保留した前記トランザクションより後に到着したトランザクションの応答を先に返す機能を有する。
【００１５】前記ノードコントローラあるいは前記中継ユニットは、受け取ったトランザクションの応答が一時保留された場合に前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットをセットする機能を有する。
【００１６】前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットがセットされている時に、後続のトランザクションをリトライする機能を有し、保留されていたトランザクションの応答を返す際に前記保留ビットをクリアする機能を有する。
【００１７】前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットがセットされている時に、後続のトランザクションの応答を保留する機能を有し、前記リトライ制御レジスタ内の前記Ｉ／Ｏバスに対応するリトライビットをクリアする時に、前記保留ビットをクリアする機能を有する。
【００１８】前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内の前記Ｉ／Ｏバスに対応する保留ビットの代わりに保留カウンタを有し、前記Ｉ／Ｏユニットから発行されたトランザクションの応答を保留する際に、前記保留カウンタの値をインクリメントする機能を有し、前記Ｉ／Ｏユニットから発行された後続トランザクションを受け付けた際、対応する前記保留カウンタの値が１以上の時には当該トランザクションの応答を保留する機能を有し、応答が保留されたトランザクションの応答を返す際に前記保留カウンタの値をデクリメントする機能を有する。
【００１９】前記ノードコントローラあるいは前記中継ユニットは、前記応答保留制御レジスタ内に前記Ｉ／Ｏバスの本数に対応した保留ビットに加え前記Ｉ／Ｏバスの本数に対応した保留識別子記録部を前記応答保留制御レジスタ内に持ち、前記Ｉ／Ｏユニットから発行されたトランザクションの応答が保留された際に当該トランザクションの識別子を対応する保留識別子記録部に記録する機能を有し、応答を保留していたトランザクションの応答を返す際に、前記応答保留制御レジスタ内の対応する保留識別子記録部を参照し、該トランザクションの識別子と一致していた場合には対応する保留ビットをクリアする機能を有する。
【００２０】前記ノードコントローラあるいは前記中継ユニットは、前記Ｉ／Ｏバスの本数に応じたＩ／Ｏ要求受け付けキューを持ち、前記Ｉ／Ｏユニットから発行されたトランザクションを対応する前記Ｉ／Ｏ要求受け付けキューに受け付けた順に格納する機能を有し、前記Ｉ／Ｏユニットから発行されたトランザクションの応答を返す際、当該トランザクションが対応するＩ／Ｏ要求受け付けキューの先頭エントリで無かった場合には当該トランザクションの応答を保留する機能を有する。
【００２１】
【発明の実施の形態】〔実施の形態例１〕本発明をＩ／Ｏ発主記憶ライトに適用した場合を例にとり、第１の実施の形態を図１〜５を用いて説明する。
【００２２】図１は本発明の一実施例に関わるプロセッサシステムの構成を示す概略図である。ノードコントローラ１ａまたはＩ／Ｏユニット２ａからなるノード、および図示されていない主記憶が相互結合網３によって多重化されシステムを構成している。この図ではＩ／Ｏユニット２ａはノードコントローラ１ａと別のノードとして描かれているが、これは同じノードに存在しても良い。以下の説明はどちらの構成でも差異を生じない。
【００２３】Ｉ／Ｏユニット２ａは、１つ以上のＩ／Ｏバス２１ａとのインタフェースを持つＩ／Ｏバスインタフェース２０、Ｉ／Ｏバス２１ａから発行されたトランザクションを格納するトランザクション発行キュー２００、トランザクション発行キュー２００に格納されたトランザクションを制御する機能を持つＩ／Ｏトランザクション発行部２１０を有する。トランザクション発行キュー２００の各エントリは、トランザクションを格納するフィールド２００ａに加え、ノードコントローラによりリトライされたトランザクションかどうかを識別するためのトランザクション属性フィールド２００ｂを持つ。
【００２４】ノードコントローラ１ａは、１つ以上のプロセッサ１３がつながったプロセッサバス１２とのインタフェースを持つプロセッサバスインタフェース１１、Ｉ／Ｏユニット２ａから発行されたトランザクションを制御するＩ／Ｏトランザクション処理部１１０、およびＩ／Ｏフラグレジスタ１２０を有する。ここでＩ／Ｏフラグレジスタ１２０はリトライ制御レジスタ４００と応答保留制御レジスタ４１０の2つのレジスタから構成される。各レジスタの詳細については後述する。
【００２５】以下、Ｉ／Ｏバス上のデバイスがＩ／Ｏ発主記憶ライトトランザクションを発行した場合の概略を述べる。
【００２６】Ｉ／Ｏ発主記憶ライトは、Ｉ／Ｏバス２１ａ上のデバイスが発行し、主記憶に書き込む。この時、プロセッサ１３がキャッシュ上に当該データを持つ可能性があるため、プロセッサバスインタフェース１１を介してキャッシュ一致制御を行うトランザクションをノードコントローラ１ａに対して発行し、一致制御が終了した時点で完了させる。また、Ｉ／Ｏ発主記憶ライトは、ＰＣＩバス等に見られるように、Ｉ／Ｏバス２１ａ上の発行順序と同じ順序で完了することを保証する必要がある。この時バススループットを上げるためには、完了順序の保証を行いながら、トランザクションを連続して発行する必要がある。
【００２７】一方、応答側のプロセッサバスインタフェース１１では、プロセッサ１３のキャッシュの状態によって次の３通りの応答を行う。
【００２８】1.プロセッサ１３のキャッシュ上に当該データがない場合、主記憶ライトはすぐに実行できるため、ＯＫと応答する。
【００２９】2.主記憶ライトが実行できない場合、リトライを要求する。
【００３０】3.プロセッサ１３のキャッシュ上に当該データを持つ可能性がある場合、プロセッサバスインタフェース１１はこれを無効化する処理をプロセッサ１３に対して要求する。この場合、ＯＫかリトライかはプロセッサ１３の応答によって決定するため、プロセッサバスインタフェース１１は応答を一旦保留し、プロセッサ１３からの応答が返ってきた時点で改めて応答を行う。
【００３１】このような条件でトランザクションの発行された順序を守るために、本実施例では以下のような手順で処理を行う:(1)要求側のＩ／Ｏユニット２ａでは要求先であるプロセッサ１３を含むノードコントローラ１ａに対して、順序を保ってトランザクションを連続発行する。この時、同一のＩ／Ｏバス２１ａから発行された一連のトランザクションの先頭トランザクションには、図２に示すように、トランザクション３０に対して先頭であることを示すヘッダフラグ３１に値 ‘１’ を付加する。
【００３２】(2)トランザクションを受け取ったノードコントローラ１ａは、先行するライトトランザクションがリトライとなった場合、後続のトランザクションもリトライとする。
【００３３】(3)Ｉ／Ｏユニット２ａではリトライとなったトランザクションを順序を保って再発行する。この時、再発行された先頭トランザクションにはやはりヘッダフラグ３１に ‘１’ を付加する。
【００３４】(4)ノードコントローラ１ａで先行するライトトランザクションの応答が保留された場合、後続のトランザクションの応答を保留し、先行するトランザクションの結果によってリトライするかどうかを決定する。
【００３５】本発明は、(1)の連続発行によってトランザクションのスループットを稼ぎ、(2)と(3)のリトライと再発行によって順序保証を行う。また、(4)によって、たとえ応答が保留された場合にでも順序保証を行える。
【００３６】以下、本実施の形態例を詳しく説明する。まず、前記処理手順を実現するために、各ユニットは以下のような動作を行う。
【００３７】(要求側ユニット動作)(1)Ｉ／Ｏバス２１ａからＩ／Ｏバスユニット２ａへ発行されたトランザクションはトランザクション発行キュー２００に順次格納される。トランザクション発行キュー２００の各エントリにはトランザクション属性フィールド２００ｂがあり、未発行のトランザクションの場合には ‘０’、リトライを要求されたトランザクションの場合には ‘１’ が記述される。
【００３８】(2)Ｉ／Ｏトランザクション発行部２１０はトランザクション発行キュー２００に格納されたトランザクションを連続して発行する。この時、同一Ｉ／Ｏバス２１ａから発行された一連のトランザクションの先頭トランザクションには、図２に示すようにトランザクション３０に加え、先頭トランザクションであることを示すヘッダフラグ３１を付加する。
【００３９】(3)Ｉ／Ｏトランザクション発行部２１０は発行したトランザクションに対して応答を受け取る。ノードコントローラ１ａよりＯＫを受け取った場合、Ｉ／Ｏトランザクション発行部２１０はトランザクション発行キュー２００の中から対応するトランザクションのエントリを削除する。
【００４０】(4)ノードコントローラ１ａからトランザクションに対するリトライ要求を受け取った場合、Ｉ／Ｏトランザクション発行部２１０はトランザクション発行キュー２００の対応するエントリのトランザクション属性フィールド２００ｂを ‘１’ にセットする。リトライを要求されたトランザクションを再発行する時、その先頭トランザクションに対してヘッダフラグ３１を付加する。
【００４１】すなわち、Ｉ／Ｏトランザクション発行部２１０は、■トランザクションキュー中のトランザクションを連続発行し、■先頭トランザクションにはヘッダフラグを付加する機能を有する。
【００４２】(応答側ユニット構成)応答側ユニットの構成の詳細は以下のようになる:Ｉ／Ｏフラグレジスタ１２０は中にリトライ制御レジスタ４００と応答保留制御レジスタ４１０を持つ。それぞれのレジスタはプロセッサシステム内の全Ｉ／Ｏバス２１ａに対応したエントリを持つ。
【００４３】・リトライ制御レジスタ４００の各エントリは初期値が’０’のリトライビットを持ち、いずれのＩ／Ｏバス２１ａからのトランザクションがリトライされたかを記録する。
【００４４】・応答保留制御レジスタ４１０の各エントリは初期値が’０’の保留ビットを持ち、いずれかのＩ／Ｏバス２１ａからのトランザクションの応答が保留されているかを記録する。(リトライ制御レジスタ４００と応答保留制御レジスタ４１０の構成はこれ以外のものも考えられるが、それについては後述する。)(応答側ユニット動作)(1)Ｉ／Ｏトランザクション処理部１１０は、トランザクションを受け取った時、まずヘッダフラグ３１が付加されているかどうかを見る。ヘッダフラグ３１が付加されている場合、Ｉ／Ｏフラグレジスタ１２０内のリトライ制御レジスタ４００内の要求元ユニットに対応するリトライビットを ‘０’ にクリアする。
【００４５】(2)Ｉ／Ｏトランザクション処理部１１０は、フラグレジスタ１２０内のリトライ制御レジスタ４００と応答保留制御レジスタ４１０内の、要求元Ｉ／Ｏバス２１ａに対応する保留ビットを参照する。
【００４６】(a)リトライ制御レジスタ４００内の対応するリトライビットが ‘１’ である場合、先行トランザクションがリトライしたことを示している。リトライビットが ‘１’ である場合、Ｉ／Ｏトランザクション処理部１１０は当該トランザクションをリトライさせる。
【００４７】(b)リトライ制御レジスタ４００内の対応するリトライビットが ‘０’ で、応答保留制御レジスタ４１０内の対応する保留ビットが ‘１’ である場合、先行トランザクションが応答を保留したことを示している。この場合、先行トランザクションがリトライとなる可能性があるため、Ｉ／Ｏトランザクション処理部１１０は順序保証のために受け付けたトランザクションをリトライさせ、対応するリトライビットを ‘１’ にセットする。
【００４８】(c)リトライ制御レジスタ４００内の対応するリトライビットが ‘０’ で、応答保留制御レジスタ４１０内の対応する保留ビットが ‘０’ である場合の動作は、プロセッサバスインタフェース１１が当該トランザクションを受け付けられるかどうかで決まる。
【００４９】■プロセッサバスインタフェース１１がリトライを要求する場合、Ｉ／Ｏトランザクション処理部１１０は要求元ユニットであるＩ／Ｏユニット２に対してリトライを要求し、対応するリトライビットに ‘１’ をセットする。
【００５０】■プロセッサバスインタフェース１１が要求を受け付けられる場合、Ｉ／Ｏトランザクション処理部１１０は要求元ユニットであるＩ／Ｏユニット２ａに対してＯＫを応答する。
【００５１】■プロセッサバスインタフェース１１がすぐに応答が返せない場合、Ｉ／Ｏトランザクション処理部１１０は当該トランザクションの応答を保留する。この時、Ｉ／Ｏトランザクション処理部１１０は応答保留制御レジスタ４１０内の対応する保留ビットを ‘１’ にセットする。
【００５２】(3)応答を保留していたトランザクションに対してプロセッサバスインタフェース１１が応答を返す時、当該トランザクションを保留する際にＩ／Ｏトランザクション処理部１１０が保留ビットを ‘１’ にセットしていた場合、これを ‘０’ にクリアする。
【００５３】(a)プロセッサ１３にキャッシュ一致制御要求を出した結果トランザクションをリトライする必要があった場合、Ｉ／Ｏトランザクション処理部１１０は要求元ユニットであるＩ／Ｏユニット２ａに対してリトライを要求し、リトライ制御レジスタ４００内の対応するリトライビットに ‘１’ をセットする。
【００５４】(b)プロセッサ１３のキャッシュ一致制御が終了した場合、Ｉ／Ｏトランザクション処理部１１０は要求元ユニットであるＩ／Ｏユニット２ａに対してＯＫを応答する。
【００５５】すなわち、応答側ユニットは、■先行するトランザクションがリトライまたはリトライの可能性がある場合には、後続のトランザクションをリトライとすることで順序保証を行い、■ヘッダフラグのついたトランザクションを受け取った場合、リトライフラグをクリアし処理を再開する機能を有する。
【００５６】以下、全体の動作を詳細に示す。リトライが発生するケースと応答保留が発生するケースのそれぞれについて説明をする。
【００５７】まず一連のトランザクションＴａ〜Ｔｃの連続発行において、Ｔｂでリトライが発生した場合を例に順序を保証する方法について述べる。
【００５８】ノード１ａに対してＩ／Ｏバス２１ａ上のデバイスからトランザクションＴａ〜Ｔｃが発行される。発行されたトランザクションＴａ,Ｔｂ,Ｔｃは要求トランザクションキュー２００のトランザクションフィールド２００ａに順に格納される。トランザクション属性フィールド２００ｂには各トランザクションが初めて要求されたトランザクションであるを示す ‘０’ がセットされる。続いてＩ／Ｏトランザクション発行部２１０は相互結合網３を介して要求先のノード１ａに対してトランザクションを発行する。この時Ｉ／Ｏトランザクション発行部２１０はＴａが一連のトランザクションの先頭であるため、図２に示すようにＴａのトランザクション３０にヘッダフラグフィールド３１ を付加する。
【００５９】次に要求先ノードにおけるトランザクション受信時の振る舞いについて述べる。
【００６０】(1)要求先のノードコントローラ１ａではＩ／Ｏトランザクション処理部１１０において受信したトランザクションが順次処理される。ここでＩ／Ｏフラグレジスタ１２０内のリトライ制御レジスタ４００の対応するリトライビットを参照すると、 ‘０’ すなわち先行するトランザクションはリトライしていないことを示している。その結果Ｉ／Ｏトランザクション処理部１１０はトランザクションＴａの処理を完了させ、要求元のノード２ａに対して処理が正常に受け付けられたことを示すＯＫを返す。
【００６１】(2)Ｉ／Ｏトランザクション処理部１１０がＴｂを受信し、プロセッサバスインタフェース１１がＴｂの処理を行えない場合、Ｉ／Ｏトランザクション処理部１１０は要求元のノード２ａに対してリトライを要求する。この時リトライ制御レジスタ４００の対応するリトライビットに ‘１’ をセットする。
【００６２】(3)続いてＩ／Ｏトランザクション処理部１１０がＴｃを受信すると、リトライ制御レジスタ４００内の対応するリトライビットが ‘１’ であるので、Ｉ／Ｏトランザクション処理部１１０はＴｃに関してもリトライを要求する。
【００６３】要求元ノードのＩ／Ｏユニット２ａでは、Ｔａ に関してはノードコントローラ１ａからＯＫが返ってきたためトランザクション発行キュー２００からＴａのエントリを削除する。しかしＴｂ,Ｔｃに関してはノードコントローラ１ａからリトライ要求を受けたため、トランザクション属性フィールド２００ｂにはリトライ要求されたトランザクションであることを示す ‘１’ がセットされる。Ｉ／Ｏトランザクション発行部２１０はリトライ要求に応じてトランザクションを再送する。この時トランザクションＴｂが先頭トランザクションになるためヘッダフラグ３１を付与して再発行する。
【００６４】ノードコントローラ１ａでは、受信したＴｂにヘッダフラグが付与され、かつリトライ制御レジスタ４００内の対応するリトライビットが ‘１’ であるため、Ｔｂが再発行されたトランザクションの先頭であることを知る。その結果、Ｉ／Ｏトランザクション処理部１１０はリトライ制御レジスタ４００内の対応するリトライビットを ‘０’ にクリアし、ＴｂおよびＴｃの処理を再開する。
【００６５】以上の処理により、Ｉ／Ｏバス２１ａからのトランザクションがリトライされた場合、後続のトランザクションもリトライすることができ、トランザクションの完了順序が保証される。
【００６６】次に、応答が保留された時の動作について説明する。一連のトランザクションＴａ〜Ｔｃの連続発行において、Ｔｂの応答が保留された場合を例に順序を保証する方法について述べる。
【００６７】トランザクションＴｂを受けたＩ／Ｏトランザクション処理部１１０は、プロセッサバスインタフェース１１がＴｂに対する応答を即時に返せない場合、応答を保留する。この時、Ｉ／Ｏフラグレジスタ１２０内の応答保留制御レジスタ４１０の要求元Ｉ／Ｏバスに対応する保留ビットに ‘１’ をセットし、プロセッサバスインタフェース１１がＴｂに対する応答を返すのを待つ。
【００６８】Ｉ／Ｏトランザクション処理部１１０は応答保留制御レジスタ４１０の対応する保留ビットが ‘１’ である内に後続のトランザクションＴｃが到着した場合、Ｔｂがリトライとなる可能性があるため、順序保証のためにＴｃもリトライとする必要がある。そこでＩ／Ｏトランザクション処理部１１０はリトライ制御レジスタ４００内の対応するリトライビットをセットする。
【００６９】ここでＴｃ自身は順序保証のためにリトライとする必要があるが、プロセッサバスインタフェース１１がＴｃに対するキャッシュ一致制御を処理できる場合これを行うことはできる。Ｉ／Ｏバス２１ａ上において守らなくてはならない順序は完了の順序であるため、キャッシュ一致制御処理はどのような順番で行っても問題はない。そこでＩ／Ｏトランザクション処理部１１０はプロセッサバスインタフェース１１に対してＴｃを処理できるかどうかを尋ね、プロセッサバスインタフェース１１がＴｃに対する応答を即時に返せない場合には、Ｉ／Ｏトランザクション処理部１１０は応答を保留後リトライとする。プロセッサバスインタフェース１１がＴｃに対する応答を即時に返せる場合は、その結果がＯＫの場合でもリトライの場合でも、Ｉ／Ｏトランザクション処理部１１０は要求元のＩ／Ｏユニット２ａに対して即時にリトライを要求するプロセッサバスインタフェース１１からＴｂに対する応答が返ってきた時、Ｉ／Ｏトランザクション処理部１１０はトランザクションＴｂが最初に応答を保留したトランザクションであることを認め、応答保留制御レジスタ４１０内の対応する保留ビットを ‘０’ にクリアする。
【００７０】以上の処理により、一連のトランザクションの途中で応答が保留された場合においても、その完了順序を保証することができる。この方法を用いた場合、先行のトランザクションの応答保留中に後続のトランザクションが到着してしまうと、それ以降のトランザクションがリトライされてしまうが、後続のトランザクションの到着前にプロセッサバスインタフェース１１が応答を返してきたケースではそのままトランザクションの処理を通常通り続けることができるという特徴がある。
【００７１】以上の処理により、あるＩ／Ｏバスからのトランザクションがリトライされた場合、たとえその応答が保留された後リトライされる場合でも、後続のトランザクションをリトライすることができ、トランザクションの順序が保証される。
【００７２】なお、実施形態のプロセッサシステムではトランザクションの要求先のノードのみがキャッシュ一致処理を行っているが、キャッシュ一致処理トランザクションを全ノードがスヌープしている場合においては、要求を発行した対象の全ノードコントローラからの応答がＯＫだった場合にのみＯＫであるという制御を追加することで、任意のノードがリトライ制御を行うことが可能である。
【００７３】〔実施の形態例１の変形例１〕上記の実施例の変形例で、先行トランザクションが保留中に到着した Ｔｃ を、Ｉ／Ｏトランザクション処理部１１０がリトライとせず応答を保留させる方法も考えられる。この場合には、プロセッサバスインタフェース１１はＴｃに対する応答を即時返している場合でも、先行する応答が保留されたトランザクション（この場合Ｔｂ）の応答が返ってくるまでは、Ｉ／Ｏトランザクション処理部がＴｃの応答を保留する。そしてプロセッサバスインタフェース１１がＴｂに対してＯＫと応答した場合には、Ｉ／Ｏトランザクション処理部１１０はＴｃに対してもＯＫと応答する（Ｔｃの応答が元々リトライだった場合には、通常のリトライの動作を行う）。
【００７４】この方法を採った場合、途中で応答が保留されて応答保留中に後続トランザクションが到着した場合でも、実際にリトライが起こらない限りトランザクションを余計にリトライしてしまうことがないという特徴がある。しかし応答保留制御レジスタ４１０内の対応する保留ビットは1ビットしかないため、いくつのトランザクションが応答を保留しているかがわからない。このため、一回でもトランザクションの応答が保留され保留ビットが立ってしまうと、これを保留完了時にクリアすることはできない（上記の例では、Ｔｂが応答を返す時に、Ｔｃが既に応答を保留しているケースがある。ここでＴｂが保留ビットを ‘０’ にしてしまうと、Ｔｃが応答保留中であるにも関わらず、その後に到着したＴｄは誰も応答を保留していないという誤った認識をしてしまう）。一度セットされた保留ビットは、Ｉ／Ｏトランザクション処理部が、ヘッダフラグ３１の付加された先頭トランザクションを受けた時に、リトライ制御レジスタ４００内のリトライフラグと共にクリアする。
【００７５】〔実施の形態例１の変形例２〕前期実施例では、Ｉ／Ｏユニット２ａは、リトライを要求され再発行されたトランザクションであることをヘッダフラグを付与することによってノードコントローラ１ａに伝え、ノードコントローラ１ａではこれによってリトライ制御レジスタのクリアを行っていた。再発行されたトランザクションであることをＩ／Ｏユニット２ａがノードコントローラ１ａに伝える方法としては、トランザクション３０にヘッダフラグ３１を付加する方法の他にも考えられる。１つ目の方法は、各トランザクションに固有の識別子を割り付け、再発行時にも必ず同じ識別子を使って発行するようにする方式である。この方式では図３に示すようにヘッダフラグ３１の代わりにトランザクションの識別子 ３２を付与して発行する。ノードコントローラ１ａ内のＩ／Ｏフラグレジスタ１２０のリトライ制御レジスタ４００は、リトライとなった先頭のトランザクションの識別子 ３２を記録するリトライ識別子記録フィールドを持ち、リトライフラグが ‘０’ である時にリトライとなった最初のトランザクションの識別子 ３２を記録する。Ｉ／Ｏトランザクション発行部２１０では、リトライとなったトランザクションを再発行する際に前回発行した時と同じ識別子を付けて再発行する。Ｉ／Ｏトランザクション処理部１１０ではＩ／Ｏ発トランザクションを受け付ける際、リトライ制御レジスタ４００の対応するエントリのリトライ識別子記録フィールドの識別子と受け付けたトランザクションの識別子３２との比較を行う。両者の識別子が一致した場合は、リトライした先頭トランザクションが再発行されたとみなし、対応するリトライフラグを ‘０’ に変更する。
【００７６】〔実施の形態例１の変形例３〕上記の実施の形態例１において、ヘッダフラグに代わるもう１つの方法は、リトライ回数を示すリトライカウンタを用いる方法である。この方法では、図５に示すようにＩ／Ｏトランザクション発行部２１０は、内部にリトライ回数を示すリトライカウンタ４２０を持つ。そして図４に示すように、トランザクションフォーマット３０に、リトライカウンタを持つフィールド３３を付加する。一連のトランザクションを発行する際には、発行するトランザクション全てに同じリトライカウンタ４２０の値を付加して発行する。リトライし再発行する場合には、リトライカウンタ４２０の値を１増やし、増やした値を一連のトランザクション全てに付加して発行する。ノードコントローラ１ａでは、Ｉ／Ｏフラグレジスタ１２０のリトライ制御レジスタ４００に、リトライとなったトランザクションのリトライカウンタの値３３を記録するリトライカウンタ記録フィールドを要求元Ｉ／Ｏバス２１の本数に応じた個数持つ。トランザクションがリトライとなった場合、そのトランザクションのリトライカウンタの値３３を要求元Ｉ／Ｏバス２１に対応したリトライカウンタ記録フィールドへと記録する。Ｉ／Ｏトランザクション処理部１１０ではＩ／Ｏ発トランザクションを受け付ける際、リトライ制御レジスタ４００内の対応するリトライカウンタと受け付けたトランザクションのリトライカウンタ３３の比較を行う。リトライカウンタの値が異なる場合には、トランザクションが再発行されたとみなし、対応するリトライフラグを ‘０’に変更する。
【００７７】〔実施の形態例１の変形例４〕上記の実施例１で応答保留制御レジスタ４１０の構成に、保留ビットではなく、保留カウンタを持たせる方法も考えられる。この場合の動作は以下のようになる。
【００７８】(1)Ｔｂが応答を保留する場合、Ｉ／Ｏトランザクション処理部１１０はＩ／Ｏフラグレジスタ１２０内の対応する保留カウンタを ＋１ する。具体的には ‘１’ が記録される。
【００７９】(2)保留カウンタが１以上(この場合は ‘１’) である内に後続のトランザクションＴｃ が到着した場合、Ｉ／Ｏトランザクション処理部１１０はこのＴｃの応答を無条件で保留する。そしてＩ／Ｏフラグレジスタ１２０内の対応する保留カウンタを ＋１ する。具体的には ‘２’ が記録される。
【００８０】(3)Ｔｂ が応答を返す時にはＩ／Ｏトランザクション処理部はＩ／Ｏフラグレジスタ１２０内の対応する保留カウンタを −１ する。具体的には ‘１’ が記録される。
【００８１】(4)Ｉ／Ｏトランザクション処理部１１０はＴｂ が応答を返したことによってＴｃ も応答を返すことができることを知る。この時Ｉ／Ｏフラグレジスタ１２０内の対応する保留カウンタを −１ する。具体的には ‘０’ が記録される。
【００８２】〔実施の形態例１の変形例５〕上記の実施の形態例１で応答保留制御レジスタ４１０の構成に、保留ビットに加えて最後に応答を保留したトランザクションの識別子を記録する保留識別子記録フィールドを付加する方法も考えられる。この場合の動作は以下のようになる。
【００８３】(1)Ｔｂが応答を保留する場合、Ｉ／Ｏフラグレジスタ１２０内の対応する保留ビットをセットする。具体的には ‘１’ が記録される。それと同時に対応する保留識別子記録フィールドにＴｂのトランザクション識別子３２を記録する。
【００８４】(2)保留ビットが ‘０’ である内に後続のトランザクションＴｃが到着した場合、このＴｃは無条件で応答が保留される。そして保留識別子記録フィールドにＴｃのトランザクション識別子３２を上書きする。
【００８５】(3)Ｔｂが応答を返す時には、保留識別子記録フィールドに記録された識別子とＴｂのトランザクション識別子 ３２を比較する。この場合、保留識別子記録フィールドに記録されているのはＴｃの識別子である。Ｉ／Ｏトランザクション処理部１１０は識別子が一致しないため、何もしない。
【００８６】(4)Ｔｃが応答を返す時、やはり保留識別子記録フィールドに記録されたし機別しとＴｃの識別子を比較する。Ｉ／Ｏトランザクション処理部１１０は、今度は識別子が一致するため、保留ビットに ‘０’ を書き込みクリアする。
【００８７】〔実施の形態例２〕本発明の第２の実施例を図６を用いて説明する。
【００８８】図６は本発明の一実施例に関わるプロセッサシステムの構成を示す概略図である。ノードコントローラ１００１ａ,１００１ｂまたはＩ／Ｏユニット１００２ａ,１００２ｂからなるノード、および図示されていない主記憶が相互結合網１００３によって多重化されたシステムを構成している。この図ではＩ／Ｏユニット１００２ａ,１００２ｂはノードコントローラ１００１ａ,１００１ｂと別のノードとして描かれているが、これは同じノードに存在しても良い。以下の説明はどちらの構成でも差異を生じない。
【００８９】Ｉ／Ｏユニット１００２ａ,１００２ｂは、実施の形態例１の図１におけるＩ／Ｏユニット２ａと同一のものである。
【００９０】ノードコントローラ１００１ａ,１００１ｂ,は、１つ以上のプロセッサ１０１３がつながったプロセッサバス１０１２とのインタフェースを持つプロセッサバスインタフェース１０１１を有する。
【００９１】相互結合網１００３(または経路上の任意の中継ユニット)は、内部にＩ／Ｏユニット１００２ａ，１００２ｂから発行されたトランザクションを制御するＩ／Ｏトランザクション処理部１１１０、およびＩ／Ｏフラグレジスタ１１２０を有する。ここでＩ／Ｏフラグレジスタ１１２０はリトライ制御レジスタ１４００と応答保留制御レジスタ１４１０の2つのレジスタから構成される。各レジスタの詳細については後述する。また、各ノードコントローラ１００１ａ,１００１ｂからの応答を集計する応答集計部１５００を有する。
【００９２】以下、Ｉ／Ｏバス上のデバイスがＩ／Ｏ発主記憶ライトトランザクションを発行した場合の概略を述べる。
【００９３】Ｉ／Ｏ発主記憶ライトは、Ｉ／Ｏバス１０２１ａ上のデバイスが発行し、主記憶に書き込む。この時、プロセッサ１０１３がキャッシュ上に当該データを持つ可能性があるため、プロセッサバスインタフェース１０１１を介してキャッシュ一致制御を行うトランザクションを、システム中の全ノードコントローラ１００１ａ,１００１ｂに対して発行し、一致制御が終了した時点で完了させる。また、Ｉ／Ｏ発主記憶ライトは、ＰＣＩバス等に見られるように、Ｉ／Ｏバス１０２１ａ上の発行順序と同じ順序で完了することを保証する必要がある。この時バススループットを上げるためには、完了順序の保証を行いながら、トランザクションを連続して発行する必要がある。
【００９４】一方、応答側のプロセッサバスインタフェース１０１１では、プロセッサ１０１３のキャッシュの状態によって次の３通りの応答を行う。
【００９５】1.プロセッサ１０１３のキャッシュ上に当該データがない場合、主記憶ライトはすぐに実行できるため、ＯＫと応答する。
【００９６】2.主記憶ライトが実行できない場合、リトライを要求する。
【００９７】3.プロセッサ１０１３のキャッシュ上に当該データを持つ可能性がある場合、プロセッサバスインタフェース１０１１はこれを無効化する処理をプロセッサ１０１３に対して要求する。この場合、ＯＫかリトライかはプロセッサ１０１３の応答によって決定するため、プロセッサバスインタフェース１０１１は応答を一旦保留し、プロセッサ１０１３からの応答が返ってきた時点で改めて応答を行う。
【００９８】このような条件でトランザクションの発行された順序を守るために、本実施例では以下のような手順で処理を行う:(1)要求側のＩ／Ｏユニット１００２ａでは要求先であるプロセッサ１０１３を含む全ノードコントローラ１００１ａ,１００１ｂに対して、順序を保ってトランザクションを連続発行する。この時、同一のＩ／Ｏバス１０２１ａから発行された一連のトランザクションの先頭トランザクションには、図２に示すように、トランザクション３０に対して先頭であることを示すヘッダフラグ３１に値 ‘１’ を付加する。
【００９９】(2)相互結合網１００３は、発行されたＩ／Ｏトランザクションを目的のノードコントローラ１００１ａ,１００１ｂに対して転送する。
【０１００】(3)相互結合網１００３にある応答集計部１５００は、各ノードコントローラ１００１ａ，１００１ｂからの応答を集計し、Ｉ／Ｏトランザクション処理部１１１０へと通知する。応答集計部１５００では、あるノードコントローラ１００１ａ,１００１ｂからの応答がリトライとなった場合、結果をリトライとする。
【０１０１】(4)Ｉ／Ｏトランザクション処理部１１１０は、各要求元Ｉ／Ｏバス１０２１ａ，１０２１ｂに対応したレジスタを持つＩ／Ｏフラグレジスタを管理している。先行するライトトランザクションがリトライとなった場合、後続のトランザクションもリトライとする。Ｉ／Ｏトランザクション処理部１１１０は、最終的な結果を要求元であるＩ／Ｏユニット１００２ａへと返す。
【０１０２】(5)Ｉ／Ｏユニット１００２ａではリトライとなったトランザクションを順序を保って再発行する。この時、再発行された先頭トランザクションにはヘッダフラグ３１に ‘１’ を付加する。
【０１０３】(6)プロセッサバスインタフェース１０１１で応答が保留された場合、ノードコントローラ１００１ａ,１００１ｂは相互結合網１００３の応答集計部１５００に対して応答を保留した旨を通知する。応答集計部１５００では応答が揃ったものから順にＩ／Ｏトランザクション処理部１１１０へと結果を通知する。Ｉ／Ｏトランザクション処理部１１１０では、異なる要求元から出たトランザクションの応答順序を適宜入れ替えて要求元ユニットへと応答を返すことができる。
【０１０４】(7)同一要求元バス１０２１ａから発行された先行するライトトランザクションの応答が保留された場合、応答集計部１５００ではこれをＩ／Ｏトランザクション処理部１１１０に伝え、同一要求元バス１０２１ａから発行された後続トランザクションの応答を保留する。Ｉ／Ｏトランザクション処理部１１１０は、先行するトランザクションの結果によって後続のトランザクションをリトライするかどうかを決定する。
【０１０５】本実施例は、実施の形態例１におけるＩ／Ｏトランザクション処理部の機能を、ノードコントローラから総合結合網内へと移したものと考えることができる。ノードコントローラには順序を保証するための機能がなくても、代わりに相互結合網内で応答を操作することによって、リトライや応答保留発生時の順序保証を実現している。
【０１０６】以下、本実施の形態例を詳しく説明する。まず、前記処理手順を実現するために、各ユニットは以下のような動作を行う。
【０１０７】(要求側ユニット動作)図６に対して以下の読み替えを行うことで、実施の形態例１の図１の要求側ユニット動作と同じ動作となる:Ｉ／Ｏバス１０２１ａ → Ｉ／Ｏバス１０２１Ｉ／Ｏバスユニット１００２ → Ｉ／Ｏバスユニット２トランザクション発行キュー１２００ → トランザクション発行キュー２００トランザクション属性フィールド１２００ｂ → トランザクション属性フィールド２００ｂＩ／Ｏトランザクション発行部１２１０ → Ｉ／Ｏトランザクション発行部２１０(中継部ユニット構成)図６に対して以下の読み替えを行うことで、実施の形態例１の図１の応答側ユニット構成に、応答集計部１５００を加えた構成となる。
Ｉ／Ｏフラグレジスタ１１２０ → Ｉ／Ｏフラグレジスタ１２０リトライ制御レジスタ１４００ → リトライ制御レジスタ４００応答保留制御レジスタ１４１０ → 応答保留制御レジスタ４１０(中継部ユニット動作)実施の形態例１の応答側ユニット動作に加え、以下の応答集計処理が加わる。
【０１０８】(1)相互結合網１００３は、Ｉ／Ｏユニット１００２ａから発行されたトランザクションを全ノードコントローラ１００１ａ,１００１ｂに対して転送する。
【０１０９】(2)応答集計部１５００は、トランザクションを発行したノードコントローラ１００１ａ，１００１ｂ全てから応答が返ると、集計した結果をＩ／Ｏトランザクション処理部１１１０へと通知する。Ｉ／Ｏトランザクション処理部１１１０はＩ／Ｏフラグレジスタ１１２０を参照し、要求元ユニットであるＩ／Ｏユニット１００２ａへと最終的な応答を返す。この時の応答は以下のようになる:(a)あるノードコントローラ１００１ａからの応答が保留された場合、結果は全てのノードコントローラ１００１ａ，１００１ｂから応答が返るまで保留される。
【０１１０】(b)全てのノードコントローラ１００１ａ，１００１ｂからの応答が返り、最低１つのノードコントローラ１００１ａからの応答がリトライだった場合、あるいは同一のＩ／Ｏバス１０２１ａから発行された先行するトランザクションがリトライだった場合、または応答が保留されている場合、結果はリトライとする。
【０１１１】(c)全ノードコントローラ１００１ａ，１００１ｂからＯＫが返り、かつ同一Ｉ／Ｏバス１０２１ａから発行された先行するトランザクションがリトライでなく、応答保留中でもない場合、結果はＯＫとする。
【０１１２】(3)Ｉ／Ｏトランザクション処理部１１１０は、同一のＩ／Ｏバス１０２１ａから発行されたトランザクションがリトライ、あるいは応答保留したことを記録するＩ／Ｏフラグレジスタ１１２０を有する。その動作と機能は実施の形態例１と同一となる。
【０１１３】(4)Ｉ／Ｏトランザクション発行部１２１０は、トランザクションが再発行されたことを示すために、トランザクション３０にヘッダフラグ３１を付加し、再発行された先頭トランザクションであることをＩ／Ｏトランザクション処理部１１２０に伝える。その動作と機能も実施の形態例１に準ずる。
【０１１４】以下、全体の動作を実施の形態例１と比較しながら示す。
【０１１５】まず一連のトランザクションＴａ〜Ｔｃの連続発行において、Ｔｂでリトライが発生した場合を例に順序を保証する方法について述べる。
【０１１６】ノード１００１ａおよび１００１ｂに対してＩ／Ｏバス１０２１ａ上のデバイスからトランザクションＴａ〜Ｔｃが発行される。この時Ｉ／Ｏトランザクション発行部１２１０はＴａが一連のトランザクションの先頭であるため、図２に示すようにＴａのトランザクション３０に対応するヘッダフラグフィールド３１に‘１’ を付加する。
【０１１７】次に中継ユニットにおけるトランザクション受信時の振る舞いについて述べる。
【０１１８】(1)相互結合網１００３では、Ｉ／Ｏユニット１００２ａから受け取ったトランザクションをノードコントローラ１００１ａ,１００１ｂへと転送する。応答集計部１５００は、各トランザクションについていくつのノードコントローラ１００１ａ，１００１ｂへ転送したか(この場合は２)を覚えておく。
【０１１９】(2)ノードコントローラ１００１ａではプロセッサバスインタフェース１０１１がＴｂの処理を行えないため、相互結合網１００３に対してリトライと応答する。１００１ａ,１００１ｂからトランザクションの応答を受けた応答集計部１５００では、要求元であるＩ／Ｏユニット１００２ａに対してリトライを要求し、同時にＩ／Ｏトランザクション処理部１１１０に当該トランザクションがリトライしたことを通知する。Ｉ／Ｏトランザクション処理部１１１０はリトライ制御レジスタ１４００の対応するリトライビットに ‘１’ をセットする。
【０１２０】(3)ノードコントローラ１００１ａ,１００１ｂは、両方ともＴｃを処理することができるので相互結合網１００３に対してそれぞれＯＫを返す。応答集計部１５００ではこの結果を集計してＯＫをＩ／Ｏトランザクション処理部１１１０に伝える。Ｉ／Ｏトランザクション処理部１１１０では、発行元Ｉ／Ｏバス１０２１ａに対応するリトライ制御レジスタを参照し、これが ‘１’ であることから先行するトランザクションがリトライしたことを知る。このため、順序保証のためにＴｃに対してもリトライを要求する。
【０１２１】要求元ノードのＩ／Ｏユニット１００２ａでは、リトライとなったＴｂ,Ｔｃを再発行し、その際Ｔｂに対して先頭トランザクションであることを示すためヘッダフラグフィールド３１に ‘１’を付与する。
【０１２２】Ｉ／Ｏトランザクション処理部１１１０では、受信したＴｂにヘッダフラグが付与され、かつリトライ制御レジスタ１４００内の対応するリトライビットが ‘１’ であるため、Ｔｂが再発行されたトランザクションの先頭であることを知る。その結果、Ｉ／Ｏトランザクション処理部１１１０はリトライ制御レジスタ１４００内の対応するリトライビットを ‘０’ にクリアし、ＴｂおよびＴｃの処理を再開する。
【０１２３】以上の処理により、Ｉ／Ｏバス１０２１ａからのトランザクションがリトライされた場合、後続のトランザクションもリトライすることができ、トランザクションの完了順序が保証される。
【０１２４】次に、応答が保留された時の動作について説明する。一連のトランザクションＴａ〜Ｔｃの連続発行において、Ｔｂの応答が保留された場合を例に順序を保証する方法について述べる。
【０１２５】トランザクションＴｂを受けたノードコントローラ１００１ａは、Ｔｂに対する応答を即時に返せない場合、応答を保留することを相互結合網１００３に通知する。応答集計部１５００では、Ｔｂに対する応答が保留されたことをＩ／Ｏトランザクション処理部１１１０に通知する。Ｉ／Ｏトランザクション処理部１１１０は、Ｉ／Ｏフラグレジスタ１１２０内の応答保留制御レジスタ１４１０の要求元Ｉ／Ｏバスに対応する保留ビットに ‘１’ をセットし、ノードコントローラ１００１ａがＴｂに対する応答を返すのを待つ。
【０１２６】応答集計部１５００は、Ｔｃに対する応答がノードコントローラ１００１ａ,１００１ｂから返ってくると、これを集計してＯＫという応答をＩ／Ｏトランザクション処理部１１１０に通知する。Ｉ／Ｏトランザクション処理部１１１０は、応答保留制御レジスタ１４１０の対応する保留ビットが ‘１’ であることから、先行するトランザクションの応答がまだ保留されていることを知る。このため、順序保証のためにＴｃもリトライとする必要がある。Ｉ／Ｏトランザクション処理部１１１０はリトライ制御レジスタ１４００内の対応するリトライビットをセットする。
【０１２７】ノードコントローラ１００１ａからＴｂに対する応答が返ってきた時、応答集計部１５００はＴｂに対する応答(この場合ＯＫ)を発行元であるＩ／Ｏユニット１００２ａに対して返す。同時にＩ／Ｏトランザクション処理部１１１０へとＴｂの応答が返ってきたことを通知する。Ｉ／Ｏトランザクション処理部１１１０はトランザクションＴｂが最初に応答を保留したトランザクションであることから、応答保留制御レジスタ１４１０内の対応する保留ビットを ‘０’ にクリアする。以上の処理により、一連のトランザクションの途中で応答が保留された場合においても、その完了順序を保証することができる。
【０１２８】以上の処理により、あるＩ／Ｏバスからのトランザクションがリトライされた場合、たとえその応答が保留された後リトライされる場合でも、後続のトランザクションをリトライすることができ、トランザクションの順序が保証される。
【０１２９】〔実施の形態例２の変形例〕実施の形態例２に対しても、実施の形態例１の変形例１〜５と同じ変形例を適用することができる。
【０１３０】
【発明の効果】以上説明したように、本発明によれば、先行するトランザクションの完了を待たずに後続のトランザクションを連続して発行できるため、システム全体のスループットを向上させることができる。また、応答側で応答を保留する場合にも順序保証をした上での連続発行が可能となる。
【出願人】 【識別番号】０００００５１０８
【氏名又は名称】株式会社日立製作所
【出願日】 平成１２年９月２９日（２０００．９．２９）
【代理人】 【識別番号】１０００７５０９６
【弁理士】
【氏名又は名称】作田 康夫
【公開番号】 特開２００２−１０８８３６（Ｐ２００２−１０８８３６Ａ）
【公開日】 平成１４年４月１２日（２００２．４．１２）
【出願番号】 特願２０００−３０２８３２（Ｐ２０００−３０２８３２）