トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 計算機システム、及び記録媒体
【発明者】 【氏名】佐藤 照男
【要約】 【課題】本発明は計算機システム、及び記録媒体に関し、クラスタと共有メモリにおけるデータ転送パスの論理的な接続関係を示す構成情報の読み出し、或いは設定や変更を行う処理を改善する。

【解決手段】複数の独立して動作するクラスタ１ａ〜１ｃと、それらに共有される複数の共有メモリ３ａ〜３ｃを備え、各クラスタ及び各共有メモリには、それぞれ構成制御レジスタ７ａ〜７ｃ、８ａ〜８ｃを備えた計算機システムにおいて、構成制御レジスタに設定する構成情報の内、電源投入時に使用される初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加し、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図るようにした。
【特許請求の範囲】
【請求項１】複数の独立して動作するクラスタと、それらに共有される複数の共有メモリを備え、前記クラスタと共有メモリ間にデータ転送を行うためのデータ転送パスが装備されると共に、前記各クラスタ及び各共有メモリには、それぞれレジスタを備え、かつ、前記クラスタ及び共有メモリの初期化処理や前記レジスタの制御を行うためのサービスプロセッサを装備し、前記各サービスプロセッサ間が専用のサービスプロセッサ間通信パスを介して通信可能に接続され、前記サービスプロセッサが、前記クラスタと共有メモリにおけるデータ転送パスの論理的な接続関係を示す構成情報を決定し、その構成情報を前記レジスタに設定することで、任意のデータ転送パスの接続関係を可能とした計算機システムにおいて、前記レジスタに設定する構成情報の内、電源投入時に使用される初期情報を更新する際、一部装置の電源が切断状態にあっても、前記初期情報に時刻情報を付加し、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る初期情報同期手段を備えていることを特徴とした計算機システム。
【請求項２】電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する高速同期処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項３】データ転送パスの接続状態の変更によって、同時に初期情報の対応する部分を更新することで、常に、最新の構成情報を初期情報として保持し、次回の電源投入時には、前回の電源切断時点での構成情報のままでの運用を可能にする初期情報更新手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項４】自クラスタの共有メモリ接続処理が成功した時のみ、自クラスタと共有メモリを論理的に接続することで、クラスタ内の初期化に失敗したクラスタと共有メモリが接続されることを防ぎ、他クラスタとの初期化完了の待ち合わせを行ったり、初期化に失敗したクラスタが共有メモリと接続することのないように、初期情報を変更する必要を無くす成功時接続処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項５】電源投入された入出力装置が実際に使用可能となるまでの待ち合わせ完了後に、共有メモリの初期化完了待ちと、自クラスタとの接続処理を行うことにより、計算機群として、電源投入から使用可能になるまでに所要する時間を短縮する接続時処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項６】構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、実際にサービスプロセッサ間での通信が正常に行えたものの中から選択することにより、構成変更時におけるスケジューラサービスプロセッサの交替を不要とするスケジューラ選択手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項７】構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、共有メモリの電源制御権が遠隔操作状態にあるものがスケジューラサービスプロセッサとなるように優先させて選択することにより、保守中における頻繁な電源切断によるスケジューラの交替をなくすスケジューラ選択手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項８】構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラの交替には、その処理を開始する前にそれをクラスタに通知しておくことで、無駄なスケジューラサービスプロセッサに対する実行権の要求を省き、サービスプロセッサ間における通信のためのパスの負荷を減らす通知手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項９】ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令の処理において、処理を分割することにより、操作の完了までに許される時間を越えてしまいそうな時、それを事前に検出し処理を強制的に終了させることによって、その時間を越えてしまうことを回避し、ＯＳがシステムダウンとならないようにする命令処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項１０】構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、個々の処理を優先順位別に幾つか分類し、優先順位の高いものから動作させるスケジューラ処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項１１】構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、構成情報の変更を目的とした操作が行われようとしているかを確認することにより、構成情報の変更が行われるまでの間は構成情報の読み出しが同時に可能となることから、複数のクラスタ間での同時ＩＰＬ実行によって、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令の競合する場合に、個々の命令の実行時間が短縮され、ＯＳを起動してから実際に使用可能となるまでの時間を短縮可能にするスケジューラ処理手段を備えていることを特徴とした請求項１記載の計算機システム。
【請求項１２】複数の独立して動作するクラスタと、それらに共有される複数の共有メモリを備え、前記クラスタと共有メモリ間にデータ転送を行うためのデータ転送パスが装備されると共に、前記各クラスタ及び各共有メモリには、それぞれレジスタを備え、かつ、前記クラスタ及び共有メモリの初期化処理や前記レジスタの制御を行うためのサービスプロセッサを装備し、前記各サービスプロセッサ間が専用のサービスプロセッサ間通信パスを介して通信可能に接続され、前記サービスプロセッサが、前記クラスタと共有メモリにおけるデータ転送パスの論理的な接続関係を示す構成情報を決定し、その構成情報を前記レジスタに設定することで、任意のデータ転送パスの接続関係を可能とした計算機システムのコンピュータに、初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加させ、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る手順と、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する手順を、実行させるためのプログラムを記録したコンピュータ読み出し可能な記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、複数の独立して動作する汎用計算機（以下「クラスタ」と呼ぶ）と、それらのクラスタに共有される高速アクセス可能な共有メモリ（System Storage Unit ：以下ＳＳＵと呼ぶ）からなる汎用計算機群を有する計算機システムに利用されるものである。
【０００２】
【従来の技術】以下、図に基づいて従来例を説明する。
§１：計算機群と、該計算機群の電源投入時に使用される初期情報を変更する際の説明(1) ：計算機システムの説明・・・図１２参照図１２は従来の計算機システム構成図であり、汎用計算機と共有メモリからなる計算機群を有する計算機システムの例を示した図である。従来、図１２に示したように、複数の独立して動作する汎用計算機（以下「クラスタ」と呼ぶ）１ａ（「ＣＬ−０」とする）、１ｂ（「ＣＬ−１」とする）、１ｃ（「ＣＬ−２」とする）・・・１ｎ（「ＣＬ−ｎ」とする）と、それらのクラスタ１ａ〜１ｎに共有される高速アクセス可能な共有メモリ（System Storage Unit ：以下「ＳＳＵ」と呼ぶ）３ａ（「ＳＳＵ−０」とする）、３ｂ（「ＳＳＵ−１」とする）、３ｃ（「ＳＳＵ−２」とする）・・・３ｍ（「ＳＳＵ−ｍ」とする）からなる汎用計算機群を有する計算機システムが知られていた。
【０００３】前記計算機群においては、個々のクラスタ１ａ〜１ｎとＳＳＵ３ａ〜３ｍの間にはデータを転送するためのパス６が装備され（以下このパスのことを「データ転送パス」と呼ぶ）、個々のクラスタとＳＳＵに装備されているハードウェアレジスタ（以下「構成制御レジスタ」と呼ぶ）７ａ〜７ｎ、８ａ〜８ｍの値によって論理的な接続関係が決定される。
【０００４】汎用計算機群が動作するために、全てのデータ転送パス６が論理的に接続されている必要はなく、また顧客の業務量の変化にともなう運用形態の変化にも柔軟に対応できるようにするため、データ転送パス６の論理的な接続関係は予め自由に設定しておくことができる。この例では、クラスタ１ａ（ＣＬ−０）、１ｂ（ＣＬ−１）、１ｃ（ＣＬ−２）と、ＳＳＵ３ａ（ＳＳＵ−０）、３ｂ（ＳＳＵ−１）、３ｃ（ＳＳＵ−２）のデータ転送パス６が論理的に接続されている。
【０００５】また、前記計算機群において、個々のクラスタやＳＳＵには、前記構成制御レジスタの読み出しや書き込みを行ったり、初期化を行うためのサービスプロセッサ（Service processor:以下「ＳＶＰ」と呼ぶ）が装備されている。すなわち、クラスタＣＬ−０にはＣＬ−０ＳＶＰ２ａが接続され、クラスタＣＬ−１にはＣＬ−１ＳＶＰ２ｂが接続され、クラスタＣＬ−２にはＣＬ−２ＳＶＰ２ｃが接続され、クラスタＣＬ−ｎにはＣＬ−ｎＳＶＰ２ｎが接続されている。
【０００６】更に、共有メモリＳＳＵ−０にはＳＳＵ−０ＳＶＰ４ａが接続され、共有メモリＳＳＵ−１にはＳＳＵ−１ＳＶＰ４ｂが接続され、共有メモリＳＳＵ−２にはＳＳＵ−２ＳＶＰ４ｃが接続され、共有メモリＳＳＵ−ｍにはＳＳＵ−ｍＳＶＰ４ｍが接続されている。そして、前記ＳＶＰ間の通信を行うための専用のＳＶＰ間通信パス５が設けてある。
【０００７】また、前記ＣＬ−０ＳＶＰ２ａ〜ＣＬ−ｎＳＶＰ２ｎには、それぞれ磁気ディスク装置１０ａ〜１０ｎが接続されると共に、ＳＳＵ−０ＳＶＰ４ａ〜ＳＳＵ−ｍＳＶＰ４ｍには、それぞれ磁気ディスク装置１１ａ〜１１ｍが接続されている。
【０００８】(2) ：計算機群の電源投入時に使用される初期情報を変更する際の説明前記構成の計算機システムにおいて、前記磁気ディスク装置のディスク上にデ−タ転送パス６の論理的な接続関係をデータとして予め設定、格納しておき、電源投入時にその接続関係に関する情報を読み出し、その情報に従い構成制御レジスタに書き込む値を決定し、設定することで、任意なデータ転送パスの接続関係を可能とする。
【０００９】この場合、電源投入時における接続関係に関する情報の読み出しや構成制御レジスタへの書き込みといった一連の処理を「初期構成制御」と呼び、電源投入時に使用される、予め設定されたデータ転送パス６との接続関係に関する情報を「初期情報」と呼ぶ。
【００１０】前記初期情報は、任意のクラスタからの操作によって作成が可能であり、一回の操作で全てのＳＶＰの磁気ディスク装置に対し、データ転送パス６とは別に設けられた専用のパスを用いて書き込みが行われる。このときのデータ転送パス６とは別に設けられた専用のパスをＳＶＰ間通信パス５とし、該ＳＶＰ間通信パス５を用いたＳＶＰ間でのデータのやりとりを「ＳＶＰ間通信」と呼ぶ。
【００１１】前記ＳＶＰ間通信パス５に異常をきたしていたり、或いはＳＶＰ間通信の相手となるＳＶＰが電源切断状態にあるような場合にはデータのやりとりができないため、そのＳＶＰに対する初期情報の書き込みが不可能となる。従ってこのような場合における初期情報の作成において、個々のＳＶＰが持つ初期情報は不一致となる。
【００１２】このため初期構成制御では、自ＳＶＰが持つ情報に従った制御を行うことから、本来であれば完全に共有されるはずのＳＳＵが一部あるいは全てで共有されない、といった事態が発生する。このようにＳＳＵ内のデータが完全に共有されていない場合には、個々のクラスタから参照したＳＳＵのデータに不一致を生じ、計算機としての動作は保証されないため、何らかの手段により事前に防止しなければならない。
【００１３】従来の技術では、このような場合において初期構成制御を失敗させていた。また初期構成制御を正常に完了させるためには、初期情報の書き込みが失敗する要因（ＳＶＰ間通信パス５の異常、或いは任意のＳＶＰが電源切断状態）を全て取り除いた上で、全てのＳＶＰに対する初期情報の書き込みを再度行い、なおかつそれが全てのＳＶＰに対して正常に終了させなければならなかった。
【００１４】§２：障害装置に対する初期値変更の説明任意台数のクラスタとＳＳＵからなる汎用計算機群（以下この汎用計算機群を「サブシステム」と呼ぶ）において、サブシステムの運用中に任意のクラスタ或いはＳＳＵにおいて重大な障害が発生し、その障害がサブシステム内の他の装置に影響を及ぼし、障害が発生した装置を除けばサブシステムとしての運用が継続可能であるような場合、その汎用計算機群は障害発生装置をサブシステムから切り離すことにより運用を継続する。
【００１５】しかし、そのような状態において顧客の業務が終了し、計算機群の電源が切断され、翌日の運用開始時までに障害が復旧できていなかった場合には、初期情報における設定のためにその装置をサブシステムに組み入れての運用開始となるため、再度障害が発生することは明らかであり、運用が開始されてから再度サブシステムからの切り離しが行われることとなる。
【００１６】以下にその例について説明する。例えば、クラスタ０（ＣＬ−０）〜３（ＣＬ−３）と、ＳＳＵ０（ＳＳＵ−０）と１（ＳＳＵ−１）からなるサブシステムにおいて、現在の論理的なデータ転送パス６の接続関係である構成は初期情報に記されたものと同じであるとする。
【００１７】このようなサブシステムの運用中にクラスタ０（ＣＬ−０）で障害が発生したこととする。障害発生時、クラスタ１（ＣＬ−１）、或いはクラスタ２（ＣＬ−２）、クラスタ３（ＣＬ−３）などはクラスタ０（ＣＬ−０）の障害がサブシステムに影響を与えることを防ぐためにクラスタ０（ＣＬ−０）をサブシステムから切り離す操作を行う。
【００１８】しかし、初期情報においては依然としてクラスタ０（ＣＬ−０）はサブシステム内の装置として組み込まれたままである。このときサブシステムは業務を終了したため電源切断処理を行い、次回の電源投入時には再びクラスタ０（ＣＬ−０）はサブシステム内の装置となる。また発生した障害の復旧も完了していないために再び同じ障害を発生し切り離しが行われてしまう。
【００１９】従来技術ではこのような事態を回避させるために、予め各ＳＶＰの磁気ディスク装置上に書き込まれている初期情報において、その障害発生装置をサブシステムから切り離すことによって、運用が開始されてから切り離しが行われないよう初期情報そのものを更新しておく必要があり、そのような場合には、障害復旧時において再び障害発生以前の初期情報の内容に戻す作業が必要であった。また操作員が初期情報を更新しないと障害を復旧するまでは同じ障害が発生し、保守用員が情報の収集に追われるなど周囲の混乱を招く問題もある。
【００２０】§３：初期化失敗時における縮退処理の説明(1) ：初期化失敗時の説明クラスタおよびＳＳＵは、それらの電源投入時にクラスタ−ＳＳＵ間のデータ転送パス６の接続関係を記した初期情報を参照し、その内容に従い接続関係を制御する構成制御レジスタへの設定値を決定し、設定する。これらをそれぞれクラスタとＳＳＵが行うことにより、クラスタとＳＳＵとの間が論理的に接続された状態となり、クラスタではＳＳＵを使用できることを可能にしている。
【００２１】クラスタＳＶＰでは、自クラスタの電源投入の中で自クラスタを構成するＣＰＵやメモリなどの各装置の初期化を行った後に初期情報を参照し、自クラスタの構成制御レジスタへの設定を行う。また初期情報を参照する前処理として、データ転送パス６とは異なるＳＶＰ間通信パス５を用いてＳＶＰ間での通信を行うことにより、実装されている全てのクラスタとの初期化完了を一定時間待ち合わせを行う。
【００２２】また、初期情報によってＳＳＵと接続することになっているクラスタにおいて、ＣＰＵの異常等により初期化が失敗していることが検出されたり、一定時間の待ち合わせの内に初期化が完了、或いはＳＶＰ間通信パス５の異常によって初期化状態の確認が行えない場合には、初期情報においてそのクラスタをＳＳＵとは接続しないように変更し（初期情報において初期化失敗等のクラスタをＳＳＵとは接続しないようにすることを「縮退」という）処理を継続する。
【００２３】(2) ：図１３は従来のクラスタＳＶＰにおけるＳＳＵ組み込み処理フローチャートである。以下、図１３に基づいて、クラスタＳＶＰにおけるＳＳＵ組み込み処理を説明する。なお、Ｓ１〜Ｓ１１は各処理ステップを示す。
【００２４】先ず、クラスタの電源投入処理が開始されると（Ｓ１）、クラスタＳＶＰ２ａ〜２ｎでは、内部のＣＰＵやメモリの初期化を行い（Ｓ２）、自クラスタにおける初期化処理が正常終了したか否かを判断する（Ｓ３）。その結果、初期化処理が正常終了しない場合は、クラスタ電源投入処理を異常終了する（Ｓ１１）。
【００２５】しかし、前記初期化処理が正常終了した場合は、他のクラスタが実装されているか否かを判断し（Ｓ４）、他のクラスタが実装されている場合は、他のクラスタでの初期化状態の読み出しを行い（Ｓ５）、初期化状態の読み出しが失敗したか否か、或いは初期化処理が失敗したか否かを判断する（Ｓ６）。その結果、初期化状態の読み出しが失敗したか、或いは初期化処理が失敗した場合は、初期化情報において該当クラスタを切り離すようデータの変更（縮退処理）を行う（Ｓ７）。
【００２６】その後、全てのクラスタの初期化状態チェックが終了したか否かを判断し（Ｓ８）、終了していなければ前記Ｓ５の処理から繰り返して行う。また、前記Ｓ６の処理で、初期化状態の読み出しが失敗せず、初期化処理も失敗しなかった場合は、前記Ｓ８の処理を行う。
【００２７】前記のようにして、全てのクラスタの初期化状態チェックが終了したら、初期化情報に従い、ハードウェアレジスタである、構成制御レジスタの設定を行う（Ｓ９）。前記処理が終了すると、クラスタ電源投入処理を正常終了する（Ｓ１０）。また、前記Ｓ４の処理で、他のクラスタが実装されていない場合には、前記Ｓ９の処理を行う。
【００２８】前記のような従来の処理において、あるクラスタで初期化完了が遅れたり、初期化は正常に完了しているが通信が可能となるのが遅れたために初期化状態を確認できなかった場合において、通信が可能となるのが遅れなければ正常に初期化され計算機群としての運用が可能であるにもかかわらず、縮退処理が行われることから、意図した構成よりも小さい構成で計算機群が運用してしまう、という課題があった。
【００２９】§４：電源投入処理に要する時間が長時間化していくことに関する説明(1) ：電源投入処理の説明クラスタＳＶＰが、その電源投入時に行う処理を幾つかに分けることができる。すなわち、クラスタに接続されているＤＡＳＤやプリンタ装置などのＩ／Ｏ装置（入出力装置）の電源投入処理、クラスタ内のＣＰＵやメモリなどの装置の初期化処理、各クラスタでの初期化完了待ち合わせとクラスタへのＳＳＵ組み込み処理、Ｉ／Ｏ装置が電源投入されてから実際に使用可能となるまでの待ち合わせなどである。
【００３０】そしてこれらの処理は順番に実行される。前記Ｉ／Ｏ装置が電源投入されてから使用可能となるまでの時間や、ＳＳＵ組み込み処理などはクラスタの初期化処理に比べ非常に長時間を要する。これはＳＳＵ（共有メモリ）のメモリ容量がクラスタのメモリ容量に比べてはるかに大容量であることなどが原因となっている。このため、計算機群の中のＩ／Ｏ装置台数の増加、ＳＳＵの台数やメモリの容量の増加によって計算機群を電源投入してから実際に使用可能となるまでの時間は増加する、という課題があった。
【００３１】(2) ：フローチャートによる電源投入処理の説明・・・図１４参照図１４は電源投入処理フローチャートである。以下、図１４に基づいてクラスタＳＶＰが行う電源投入処理を説明する。なお、Ｓ２１〜Ｓ３２は各処理ステップを示す。
【００３２】先ず、クラスタ電源の投入処理が開始されると（Ｓ２１）、クラスタＳＶＰは、内部のＣＰＵやメモリの初期化を行い（Ｓ２２）、ＳＳＵの初期化完了待ちを開始する（Ｓ２３）。この時、ＳＳＵ初期化処理が開始され（Ｓ２４）、ＳＳＵの初期化処理が行われ（Ｓ２５）、その後ＳＳＵの初期化処理を完了する（Ｓ２６）。
【００３３】この間、クラスタＳＶＰは、ＳＳＵの初期化が完了しているか否かを判断し（Ｓ２７）、完了していなければ、ＳＳＵ初期化待ち合わせ時間内であるか否かを判断し（Ｓ２８）、ＳＳＵ初期化待ち合わせ時間内であれば、前記Ｓ２７の処理を行う。
【００３４】このようにして、ＳＳＵ初期化待ち合わせ時間内でなくなると、クラスタＳＶＰはＩ／Ｏレディ待ちを開始し（Ｓ２９）、Ｉ／Ｏレディ待ち時間内であるか否かを判断し（Ｓ３０）、Ｉ／Ｏレディ待ち時間内であれば、そのまま待つ。このようにして、Ｉ／Ｏレディ待ち時間内で無くなると、ＯＳ（オペレーティング・システム）のＩＰＬ（イニシャル・プログラム・ローダ）によるロード処理を行い（Ｓ３１）、クラスタ電源投入処理を終了する（Ｓ３２）。
【００３５】§５：スケジューラＳＶＰの交替による処理の長時間化と負荷増大、制御の繁雑化とスケジューラＳＶＰの不在が招くことに関する説明・・・図１５参照図１５は従来の構成変更と読み出しが競合する例を示した図である。図１５において、縦方向は時間経過ｔを示し、横方向はＣＬ−０ＳＶＰ、ＣＬ−１ＳＶＰ、ＳＳＵ−０ＳＶＰ、ＳＳＵ−１ＳＶＰの各処理を示す。
【００３６】複数のクラスタとＳＳＵからなる計算機群において、それらのデータ転送パス６の接続状態を示す構成情報の読み出しや変更を行う時において、任意のクラスタがこの構成情報を読み出している最中に、他のクラスタにおいて構成情報の変更を行うと構成変更処理中の中途半端な構成情報が読み出されてしまうことがある。
【００３７】図１５の例では、クラスタ０（ＣＬ−０）、クラスタ１（ＣＬ−１）がＳＳＵ０（ＳＳＵ−０）、ＳＳＵ１（ＳＳＵ−１）にオンライン状態であることを示している。この時クラスタ０（ＣＬ−０）では構成情報の読み出しを行い、クラスタ１ではＳＳＵ１をクラスタ０、１に対してオフラインとなるよう構成情報の変更を行ったとする。
【００３８】構成情報の変更は、クラスタ０、クラスタ１、ＳＳＵ０、ＳＳＵ１の順に変更の対象となるクラスタや、ＳＳＵのデータ転送パス６の接続状態を構成制御レジスタの値を変更することによって行われる。また、この変更はほぼ同時に行われるが、個々の装置にあるＳＶＰが構成制御レジスタを書き換えるために完全に同期して行うことはできず、若干の時間差が生じる。
【００３９】ここでの例によれば、クラスタ０の変更が終わり、クラスタ１での変更を行うまでの間にクラスタ０からの構成情報の読み出しを行うと、クラスタ０はＳＳＵ０とのみオンライン状態であり、クラスタ１はＳＳＵ０、ＳＳＵ１とオンラインであるようになってしまい、クラスタ１での構成変更後の状態と異なるという矛盾を生じてしまう。またＯＳとしてその状態は再度構成情報の読み出しを行うまで継続されてしまう。
【００４０】このような構成情報の変更途中での構成情報の読み出しを防ぐため、これらの処理を排他的に動作させる必要があり、この排他的に動作するように制御する機構を「スケジューラ」、或いは「スケジューラ機構」という。そして一個の物理的な計算機群に複数ある物理ＳＳＵの内、任意の一台をしかるべき論理により決定し、そこでのＳＳＵにおいてのみスケジューラ機構を動作させる。またスケジューラ機構が動作しているＳＳＵ−ＳＶＰを「スケジューラＳＶＰ」と呼ぶ。
【００４１】従来は、クラスタとＳＳＵの電源投入直後において、任意のクラスタとデータ転送パス６が論理的に接続されたオンライン状態にあるＳＳＵの内、最も若い番号であるＳＳＵをスケジューラＳＶＰとして決定している。また構成情報が変更され、スケジューラとして動作しているＳＳＵが全てのクラスタとオフラインになると、そのＳＳＵ−ＳＶＰはスケジューラＳＶＰでなくなり、再度任意のクラスタとオンライン状態にあるＳＳＵの内、最も若い番号であるＳＳＵをスケジューラＳＶＰとし、全てのＳＳＵが全てのクラスタとオフラインであるとスケジューラＳＶＰが不在の状態となる。
【００４２】本来なら、このような場合には構成情報の読み出しが不可能となるが、スケジューラＳＶＰが不在となることに対して、スケジューラＳＶＰが不在であれば全てのクラスタとＳＳＵはオフラインとしていた。また、スケジューラＳＶＰが変更された時、或いは新規に決定された時には、同時にＳＳＵとの接続状態に関係なく全てのクラスタＳＶＰに対して、そのことをデータ転送パス６とは別のＳＶＰ間通信パス５を用いたＳＶＰ間での通信により通知する機構を持つ。
【００４３】このような従来の方式は、オンライン状態の変更によりスケジューラＳＶＰが変更される場合があること、そして、クラスタＳＶＰへの通信には計算機自身が持つ動作速度に比較してはるかに遅いＳＶＰ間通信パス５を用いているため、構成情報の変更に必要な処理時間を増大させている問題がある。言い換えれば、スケジューラＳＶＰとなるための条件として任意のクラスタとオンラインであることは、スケジューラＳＶＰの変更を行うために構成情報の変更に要する時間を増大させ、計算機群としての動作速度を遅くさせる問題がある。
【００４４】そして、運用中に任意のＳＳＵでの異常を検出し、そのＳＳＵを計算機群から論理的に切り離す動作をＯＳから自動的に行われた時、それぞれのクラスタでは最初の構成情報の読み出しを行うため、複数のクラスタからの構成情報読み出しが同時に行われないように設けたスケジューラ機構が繁忙な状態に陥るばかりでなく、ＳＶＰ間の通信パスの負荷が高くなる。
【００４５】このような状態でスケジューラＳＶＰの交替が発生することは、更にＳＶＰ間通信パス５の負荷が上がることは想像に難くなく、自ら制御を複雑にしている問題がある。更に、このような方式ではシステムの大規模化に対応させるため、複数のクラスタやＳＳＵとは別に設けた独立した一つの装置（以下「外部装置」と言い、主にクラスタやＳＳＵとのデータ転送パスの論理的な接続関係を読み出しや変更を行ったり、これらの電源状態の制御を行う機能を持っている）を、ＳＶＰ間通信パス５を用いてクラスタやＳＳＵとのデ−タ転送パス６との接続関係を読み出したり、変更したりすることを可能にさせた場合、スケジューラＳＶＰが不在であることにより、これらの操作はできなくなってしまう課題があった。
【００４６】§６：スケジューラ機構の制御方式に起因した処理時間の長時間化の問題の説明・・・図１６、図１７参照図１６は従来のスケジューラ機構による排他制御シーケンス（その１）、図１７は従来のスケジューラ機構による排他制御シーケンス（その２）である。図１６、図１７において、縦方向は時間経過ｔを示し、横方向はＣＬ−０ＳＶＰ、ＣＬ−１ＳＶＰ、ＣＬ−２ＳＶＰ、ＣＬ−３ＳＶＰ、ＳＳＵ−０ＳＶＰ、ＳＳＵ−１ＳＶＰの各処理を示す。
【００４７】構成情報の読み出しや変更を行うための操作として、個々のクラスタＳＶＰに装備された入出力装置の画面からによる方法と、ＯＳによるＣＰＵ命令からによる方法（以下、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を総称して「構成制御ＤＩＡＧ命令」と呼ぶ）とがある。これらによる操作は構成情報の変更中の過渡的な状態が読み出されることのないようスケジューラ機構により逐次実行されるように制御される。
【００４８】従来技術におけるスケジューラ機構の制御は以下のようにして行っている。スケジューラＳＶＰには待ち行列が一個あり、これはクラスタＳＶＰからの構成情報の読み出しや、変更が指示された時に複数のクラスタＳＶＰにおいてそれらを同時に実行させないために、クラスタＳＶＰがＳＳＵ−ＳＶＰに対してＳＶＰ間の通信により排他実行権を要求するが、この実行権を既に与えているクラスタ、および実行権が与えられることを待ち受けているクラスタの装置番号を格納することにより使用される。
【００４９】また、この実行権は、同時に複数のクラスタＳＶＰに与えられることはないものとする。クラスタＳＶＰの操作により構成情報の読み出しなどを行う時、スケジューラＳＶＰは、この待ち行列に対して既に実行権を与えられているクラスタＳＶＰが存在しないかを検査する。実行権を与えられたクラスタＳＶＰが存在する場合には、待ち行列の最後尾に実行権の要求を行ったクラスタＳＶＰの番号を格納し、実行権がＳＳＵ−ＳＶＰによって与えられるまで待機状態であることを返信し、実行権を与えられているクラスタが存在しない場合には、待ち行列の先頭に要求を行ったクラスタの番号を格納し、同時にそのクラスタに実行権を与えそれを返信し、それを受けたクラスタＳＶＰでは本来の構成情報の読み出しなどの処理を行い、処理の終了後実行権を返却する。
【００５０】また、実行権を与えてから返却が行われるまでスケジューラ機構では、実行権を与えた時と同時に、クラスタＳＶＰからの返却を一定時間監視を行い、一定時間の間に実行権が返却されなかったり、或いは正常に実行権が返却された場合には、待ち行列の先頭に格納されている実行権を与えたクラスタの番号を削除し、待ち行列をそれぞれ一個ずつ前につめ、待ち行列の先頭の内容をチェックし、他のクラスタＳＶＰが実行権を与えられていることにより待機状態となっているクラスタＳＶＰの存在を検査し、存在した場合にはそのクラスタＳＶＰに対して実行権を与えることを通知し、それを受けたクラスタＳＶＰでは本来の構成情報の読み出し等の処理を行い、終了後には実行権を返却する。
【００５１】そして、ＳＳＵ−ＳＶＰにおける構成情報の読み出しなどの処理では、処理の開始時に実行権が与えられたクラスタＳＶＰからの処理であることの確認を行い、実行権が与えられていないクラスタＳＶＰからの指示は仰止することで構成情報の読み出しなどの同時実行を防止する。このように複数のクラスタＳＶＰから同時に実行されることのないような制御を行うために、待ち行列に格納されているクラスタのうち先頭から実行権を与えている。
【００５２】このような制御においては、待ち行列の後半に位置するクラスタほど実際の処理の開始が遅れることとなる。一方で、構成情報の読み出しや変更の操作はその操作を行ったクラスタＳＶＰが各々のＳＳＵ−ＳＶＰとＳＶＰ間通信を行い、その指示を受けたＳＳＵ−ＳＶＰがデータ転送パスの接続状態の制御する構成制御レジスタを読み出したり、変更しており、ＳＶＰ間通信が他のＳＶＰの機能に比べ非常に動作速度が遅いことから構成情報の読み出しや変更に関する処理の時間は長時間（500msec 〜 1500msec 程度）に及んでしまう問題がある。
【００５３】更に、構成制御ＤＩＡＧ命令は、クラスタＳＶＰに装備された入出力装置からの操作とは異なり、運用中の計算機システムに与える影響が大きいことから実行開始から完了までに与えられる時間に制限（構成制御ＤＩＡＧ命令の種別により異なるが最短のもので８秒のものがある）があり、制限時間内に処理を完了できなかった場合にはシステムダウンとなってしまう。
【００５４】従来の技術においては、複数のクラスタから構成情報の読み出し等の同時実行を制御するための待ち行列が一個しかない。このためクラスタＳＶＰに装備された入出力装置からの操作など比較的完了までに許される時間に余裕のあるものから処理の完了までに許される時間に制限があり、かつ、それが短いものまで、そのような要因とは無関係に実行権を与える制御が行われていた。
【００５５】そして、待ち行列が長くなると、待ち行列の後半に位置するクラスタほど実際の処理の開始が遅れること、ＳＶＰ間通信を用いることにより構成情報の読み出し等は時間がかかること、そして構成制御ＤＩＡＧ命令には命令の完了までに許される時間に制限があることなどを考えた時、複数のクラスタで構成情報の読み出しを構成制御ＤＩＡＧ命令によって行うと、待ち行列の後方に位置して実処理の遅れたクラスタにおいてシステムダウンが発生してしまう問題がある。
【００５６】図１６、図１７にその例を示す。図ではクラスタ３での構成情報の読み出しが実行権待ちの時間切れで処理を異常終了となることを示しており、クラスタ３でシステムダウンが発生することを示している。
【００５７】
【発明が解決しようとする課題】前記のような従来のものにおいては、次のような課題があった。
(1) ：前記計算機群の電源投入時に使用される初期情報を変更する際、次のような課題があった。すなわち、前記初期構成制御では自ＳＶＰが持つ情報に従った制御を行うことから、本来であれば完全に共有されるはずのＳＳＵが一部或いは全てで共有されない、といった事態が発生する。このように、ＳＳＵ内のデータが完全に共有されていない場合には個々のクラスタから参照したＳＳＵのデータに不一致を生じ、計算機としての動作は保証されないため、何らかの手段により事前に防止しなければならない。
【００５８】しかし、従来の技術では、このような場合において初期構成制御を失敗させていた。また初期構成制御を正常に完了させるためには、初期情報の書き込みが失敗する要因（通信パスの異常あるいは任意のＳＶＰが電源切断状態）を全て取り除いた上で、全てのＳＶＰに対する初期情報の書き込みを再度行い、なおかつ、それが全てのＳＶＰに対して正常に終了させなければならない、という課題があった。
【００５９】(2) ：障害装置に対する初期値の変更を行う場合、次のような課題があった。すなわち、従来技術では、予め各ＳＶＰの磁気ディスク装置上に書き込まれている初期情報において、その障害発生装置をサブシステムから切り離すことによって、運用が開始されてから切り離しが行われないよう初期情報そのものを更新しておく必要があった。
【００６０】そのような場合には、障害復旧時において再び障害発生以前の初期情報の内容に戻す作業が必要であった。また操作員が初期情報を更新しないと障害を復旧するまでは同じ障害が発生し、保守用員が情報の収集に追われるなど周囲の混乱を招く、という課題があった。
【００６１】(3) ：初期化処理失敗時における縮退処理に関して、前記のような従来の処理においては、次のような課題があった。すなわち、或るクラスタで初期化完了が遅れたり、初期化は正常に完了しているが通信が可能となるのが遅れたために初期化状態を確認できなかった場合において、通信が可能となるのが遅れなければ正常に初期化され計算機群としての運用が可能であるにもかかわらず、縮退処理が行われることから、意図した構成よりも小さい構成で計算機群が運用してしまう、という課題があった。
【００６２】(4) ：前記電源投入処理では次のような課題があった。前記のように、クラスタＳＶＰがその電源投入時に行う処理を幾つかに分けることができる。すなわち、クラスタに接続されているＤＡＳＤやプリンタ装置などのＩ／Ｏ装置の電源投入処理、クラスタ内のＣＰＵやメモリなどの装置の初期化処理、各クラスタでの初期化完了待ち合わせとクラスタへのＳＳＵ組み込み処理、Ｉ／Ｏ装置が電源投入されてから実際に使用可能となるまでの待ち合わせなどである。
【００６３】そしてこれらの処理は順番に実行される。前記Ｉ／Ｏ装置が電源投入されてから使用可能となるまでの時間や、ＳＳＵ組み込み処理などはクラスタの初期化等の処理に比べ非常に長時間を要する。これはＳＳＵのメモリ容量がクラスタのメモリ容量に比べてはるかに大容量であることなどが原因となっている。このため、計算機群の中のＩ／Ｏ装置台数の増加、ＳＳＵの台数やメモリの容量の増加によって計算機群を電源投入してから実際に使用可能となるまでの時間は増加する、という課題があった。
【００６４】(5) ：前記のような従来の方式は、オンライン状態の変更によりスケジューラＳＶＰが変更される場合があること、そして、クラスタＳＶＰへの通信には計算機自身が持つ動作速度に比較してはるかに遅いＳＶＰ間通信パス５を用いているため、構成情報の変更に必要な処理時間を増大させている問題がある。言い換えれば、スケジューラＳＶＰとなるための条件として任意のクラスタとオンラインであることはスケジューラＳＶＰの変更を行うために構成情報の変更に要する時間を増大させ、計算機群としての動作速度を遅くさせる問題がある。
【００６５】そして、運用中に任意のＳＳＵでの異常を検出し、そのＳＳＵを計算機群から論理的に切り離す動作をＯＳから自動的に行われた時、それぞれのクラスタでは最初の構成情報の読み出しを行うため、複数のクラスタからの構成情報読み出しが同時に行われないように設けたスケジューラ機構が繁忙な状態に陥るばかりでなく、ＳＶＰ間の通信パスの負荷が高くなる。
【００６６】このような状態でスケジューラＳＶＰの交替が発生することは、更にＳＶＰ間通信パス５の負荷が上がることは想像に難くなく、自ら制御を複雑にしている問題がある。更に、このような方式ではシステムの大規模化に対応させるため、複数のクラスタやＳＳＵとは別に設けた独立した一つの装置（外部装置）をＳＶＰ間通信パス５を用いてクラスタやＳＳＵとのデータ転送パス６との接続関係を読み出したり、変更したりすることを可能にさせた場合、スケジューラＳＶＰが不在であることにより、これらの操作はできなくなってしまう、という課題があった。
【００６７】(6) ：従来の技術においては、複数のクラスタから構成情報の読み出し等の同時実行を制御するための待ち行列が一個しかない。このためクラスタＳＶＰに装備された入出力装置からの操作など、比較的完了までに許される時間に余裕のあるものから処理の完了までに許される時間に制限があり、かつ、それが短いものまで、そのような要因とは無関係に実行権を与える制御が行われていた。
【００６８】そして、待ち行列が長くなると、待ち行列の後半に位置するクラスタほど実際の処理の開始が遅れること、ＳＶＰ間通信を用いることにより構成情報の読み出し等は時間がかかること、そして構成制御ＤＩＡＧ命令には命令の完了までに許される時間に制限があることなどを考えた時、複数のクラスタで構成情報の読み出しを構成制御ＤＩＡＧ命令によって行うと、待ち行列の後方に位置して実処理の遅れたクラスタにおいてシステムダウンが発生してしまう、という課題があった。
【００６９】本発明は、前記のような従来の課題を解決することを目的としたものであり、特に、クラスタと共有メモリにおけるデータ転送パスの論理的な接続関係を示す構成情報の読み出し、或いは設定や変更を行う処理を改善することにより、■：初期情報の作成時にサービスプロセッサ間における通信パスの異常や、電源切断状態の装置があることで、初期情報の不一致が生じても、初期構成制御を正常に完了させることを可能とし、■：初期構成制御に要する時間を短縮し、■：障害の復旧が遅れても、再度その装置をサブシステムに組み込むことによって発生するトラブルを未然に防いだり、自動的に初期情報が更新されるため操作員が初期情報の更新を怠り再度障害が発生することを防ぎ、■：各クラスタ間におけるサービスプロセッサ間通信が必ず正常に操作していなければならないという制限を無くし、何らかの理由により初期化が遅れた場合などにも共有メモリと接続できるようにし、■：計算機群全体として電源投入してから実際に使用可能となるまでの時間を短縮し、■：全てのクラスタと共有メモリの間でオフラインとなっていることによりスケジューラＳＶＰが不在となる状態を無くし、■：実処理の遅れたクラスタにおいてシステムダウンが発生してしまうことを防止し、■：障害発生時における計算機群としての種々の動作を迅速に行うことを可能にすることを目的とする。
【００７０】
【課題を解決するための手段】図１は本発明の原理説明図である。図１において、１ａ、１ｂ、１ｃはクラスタ（汎用計算機）、２ａ、２ｂ、２ｃはクラスタサービスプロセッサ（クラスタＳＶＰ）、３ａ、３ｂ、３ｃは共有メモリ（ＳＳＵ）、４ａ、４ｂ、４ｃは共有メモリサービスプロセッサ（ＳＳＵ−ＳＶＰ）、５はＳＶＰ間通信パス、６はデータ転送パス、７ａ、７ｂ、７ｃはクラスタ側の構成制御レジスタ、８ａ、８ｂ、８ｃは共有メモリ側の構成制御レジスタを示す。本発明は前記の目的を達成するため、次のように構成した。
【００７１】(1) ：複数の独立して動作するクラスタ１ａ、１ｂ、１ｃと、それらに共有される複数の共有メモリ３ａ、３ｂ、３ｃを備え、前記クラスタと共有メモリ間にデータ転送を行うためのデータ転送パス６が装備されると共に、前記各クラスタ及び各共有メモリには、それぞれレジスタ（構成制御レジスタ７ａ、７ｂ、７ｃ、８ａ、８ｂ、８ｃ）を備え、かつ、前記クラスタ及び共有メモリの初期化処理や前記レジスタの制御を行うためのサービスプロセッサ（２ａ、２ｂ、２ｃ、４ａ、４ｂ、４ｃ）を装備し、前記各サービスプロセッサ間が専用のサービスプロセッサ間通信パス５を介して通信可能に接続され、前記サービスプロセッサが、前記クラスタと共有メモリにおけるデータ転送パス６の論理的な接続関係を示す構成情報を決定し、その構成情報を前記レジスタに設定することで、任意のデータ転送パス６の接続関係を可能とした計算機システムにおいて、前記レジスタに設定する構成情報の内、電源投入時に使用される初期情報を更新する際、一部装置の電源が切断状態にあっても、前記初期情報に時刻情報を付加し、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る初期情報同期手段を備えている。
【００７２】(2) ：前記計算機システムにおいて、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する高速同期処理手段を備えている。
【００７３】(3) ：前記計算機システムにおいて、データ転送パスの接続状態の変更によって、同時に初期情報の対応する部分を更新することで、常に、最新の構成情報を初期情報として保持し、次回の電源投入時には、前回の電源切断時点での構成情報のままでの運用を可能にする初期情報更新手段を備えている。
【００７４】(4) ：前記計算機システムにおいて、自クラスタの共有メモリ接続処理が成功した時のみ、自クラスタと共有メモリを論理的に接続することで、クラスタ内の初期化に失敗したクラスタと共有メモリが接続されることを防ぎ、他クラスタとの初期化完了の待ち合わせを行ったり、初期化に失敗したクラスタが共有メモリと接続することのないように、初期情報を変更する必要を無くす成功時接続処理手段を備えている。
【００７５】(5) ：前記(1) の計算機システムにおいて、電源投入された入出力装置が実際に使用可能となるまでの待ち合わせ完了後に、共有メモリの初期化完了待ちと、自クラスタとの接続処理を行うことにより、計算機群として、電源投入から使用可能になるまでに所要する時間を短縮する接続時処理手段を備えている。
【００７６】(6) ：前記(1) の計算機システムにおいて、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、実際にサービスプロセッサ間での通信が正常に行えたものの中から選択することにより、構成変更時におけるスケジューラサービスプロセッサの交替を不要とするスケジューラ選択手段を備えている。
【００７７】(7) ：前記(1) の計算機システムにおいて、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジーラ機構を動作させるための共有メモリサービスプロセッサを、共有メモリの電源制御権が遠隔操作状態にあるものがスケジューラサービスプロセッサとなるように優先させて選択することにより、保守中における頻繁な電源切断によるスケジューラの交替をなくすスケジューラ選択手段を備えている。
【００７８】(8) ：前記(1) の計算機システムにおいて、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラの交替には、その処理を開始する前にそれをクラスタに通知しておくことで、無駄なスケジューラサービスプロセッサに対する実行権の要求を省き、サービスプロセッサ間における通信のためのパスの負荷を減らす通知手段を備えている。
【００７９】(9) ：前記(1) の計算機システムにおいて、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令を処理する際、処理を分割することにより、操作の完了までに許される時間を越えてしまいそうな時、それを事前に検出し処理を強制的に終了させることによって、その時間を越えてしまうことを回避し、ＯＳがシステムダウンとならないようにする命令処理手段を備えている。
【００８０】(10)：前記(1) の計算機システムにおいて、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、個々の処理を優先順位別に幾つか分類し、優先順位の高いものから動作させるスケジューラ処理手段を備えている。
【００８１】(11)：前記(1) の計算機システムにおいて、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、構成情報の変更を目的とした操作が行われようとしているかを確認することにより、構成情報の変更が行われるまでの間は構成情報の読み出しが同時に可能となることから、複数のクラスタ間での同時ＩＰＬ実行によって、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令の競合する場合に、個々の命令の実行時間が短縮され、ＯＳを起動してから実際に使用可能となるまでの時間を短縮可能にするスケジューラ処理手段を備えている。
【００８２】(12)：複数の独立して動作するクラスタと、それらに共有される複数の共有メモリを備え、前記クラスタと共有メモリ間にデータ転送を行うためのデータ転送パスが装備されると共に、前記各クラスタ及び各共有メモリには、それぞれレジスタを備え、かつ、前記クラスタ及び共有メモリの初期化処理や前記レジスタの制御を行うためのサービスプロセッサを装備し、前記各サービスプロセッサ間が専用のサービスプロセッサ間通信パスを介して通信可能に接続され、前記サービスプロセッサが、前記クラスタと共有メモリにおけるデータ転送パスの論理的な接続関係を示す構成情報を決定し、その構成情報を前記レジスタに設定することで、任意のデータ転送パスの接続関係を可能とした計算機システムのコンピュータに、初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加させ、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る手順と、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する手順を、実行させるためのプログラムを記録したコンピュータ読み出し可能な記録媒体。
【００８３】（作用）前記構成に基づく本発明の作用を、図１に基づいて説明する。
(a) ：前記(1) の作用初期情報同期手段は、前記レジスタに設定する構成情報の内、電源投入時に使用される初期情報を更新する際、一部装置の電源が切断状態にあっても、前記初期情報に時刻情報を付加し、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る処理を行う。
【００８４】このように、初期情報に時刻情報を付加し、初期構成制御を行う時に最新のものへと複写を行い同期を図ることにより、初期情報の作成時にサービスプロセッサ間における通信パスの異常や電源切断状態の装置があることで初期情報の不一致が生じても、初期構成制御を正常に完了させることを可能とする。また、通信パスの異常時において誤って初期情報を更新しても、次回の初期構成制御において正常に処理を完了させることができる。
【００８５】(b) ：前記(2) の作用高速同期処理手段は、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないようにすることで、計算機群としての初期情報の同期処理を高速化する処理を行う。
【００８６】この場合、初期情報同期処理はクラスタ、及び共有メモリの装置台数の増加によって初期構成制御処理に要する時間が増大してしまう、という課題がある。このため、本発明では、初期情報同期処理を行うサービスプロセッサを幾つかのグループに分割し、同期処理の完了に関する情報を持つことにより、一部の装置に対する初期情報同期処理を省略することを可能とし、これにより初期構成制御に要する時間を短縮することができる。このことは、計算機群が大きくなっていった場合に特に有効である。
【００８７】(c) ：前記(3) の作用初期情報更新手段は、データ転送パスの接続状態の変更によって、同時に初期情報の対応する部分を更新することで、常に、最新の構成情報を初期情報として保持し、次回の電源投入時には、前回の電源切断時点での構成情報のままでの運用を可能にする処理を行う。
【００８８】すなわち、サブシステム内におけるクラスタと共有メモリのデータ転送パスの接続関係の変更を契機に、初期情報を更新することにより、障害の復旧が遅れても、再度その装置をサブシステムに組み込むことによって発生するトラブルを未然に防いだり、自動的に初期情報が更新されるため操作員が初期情報の更新を怠り再度障害が発生することを防ぐことができる。
【００８９】このことは同時に、一定期間共有メモリを使用しない運用をするために、共有メモリからの影響を受けまいとしてサブシステムから切り離した場合に、一度切り離しを行えば次に組み込む指示をするまでその運用形態が継続できる利点があり、操作員が初期情報の内容と実際に運用しているサブシステムの構成が同じかどうかの意識をしなくて済む。
【００９０】(d) ：前記(4) の作用成功時接続処理手段は、自クラスタの共有メモリ接続処理が成功した時のみ、自クラスタと共有メモリを論理的に接続することで、クラスタ内の初期化に失敗したクラスタと共有メモリが接続されることを防ぎ、他クラスタとの初期化完了の待ち合わせを行ったり、初期化に失敗したクラスタが共有メモリと接続することのないように、初期情報を変更する必要を無くす処理を行う。
【００９１】すなわち、クラスタの初期化実行時には、他のクラスタでの初期化失敗に対して共有メモリと切り離す縮退を行わないことにより、各クラスタ間におけるサービスプロセッサ間通信が必ず正常に操作していなければならないという制限はなくなり、何らかの理由（例えば一度は初期化に失敗したものの再度初期化を行うことによって成功した場合、あるいは他のクラスタに比べてメモリ容量や数が極端に多いなどして処理時間がはるかに大きいなど）により初期化が遅れた場合などにも共有メモリと接続できる。
【００９２】同時に自クラスタの共有メモリとの接続関係を示す構成制御レジスタへの設定において、初期情報を参照するのではなく、現在の共有メモリの構成制御レジスタの値を参照することにより、構成の変更時における初期情報の変更が失敗していても現在の構成に従って計算機群を構築できる。
【００９３】(e) ：前記(5) の作用接続時処理手段は、電源投入された入出力装置が実際に使用可能となるまでの待ち合わせ完了後に、共有メモリの初期化完了待ちと、自クラスタとの接続処理を行うことにより、計算機群として、電源投入から使用可能になるまでに所要する時間を短縮する処理を行う。
【００９４】このように、入出力装置が電源投入され、実際に使用可能となるまでの待ち合わせ時間を、共有メモリ組み込み処理の完了待ち合わせと兼ねさせ、かつ、それらを並行して実行させることにより、計算機群全体として電源投入してから実際に使用可能となるまでの時間を短縮できる。
【００９５】(f) ：前記(6) の作用スケジューラ選択手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、実際にサービスプロセッサ間での通信が正常に行えたものの中から選択することにより、構成変更時におけるスケジューラサービスプロセッサの交替を不要とする処理を行う。
【００９６】このように、スケジューラ機構を動作させるスケジューラＳＶＰが共有メモリサービスプロセッサ間での通信が有効なものの中で決定することにより、全てのクラスタと共有メモリの間でオフラインとなっていることによるスケジューラサービスプロセッサが不在となる状態をなくすことができる。
【００９７】また、構成情報を変更することによるスケジューラＳＶＰの交替が発生しなくなるために、構成変更処理において複雑なスケジューラＳＶＰの交替制御を不要とし、同時にスケジューラＳＶＰの交替処理を行うための処理の長時間化を防ぐことができる。
【００９８】(g) ：前記(7) の作用スケジューラ選択手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、共有メモリの電源制御権が遠隔操作状態にあるものがスケジューラサービスプロセッサとなるように優先させて選択することにより、保守中における頻繁な電源切断によるスケジューラの交替をなくす処理を行う。
【００９９】このように、共有メモリの電源制御権が遠隔操作状態にあるものを優先してスケジューラＳＶＰとすることで、保守中などにより頻繁に電源の切断、投入が行われることを予測できるような共有メモリがスケジューラＳＶＰとなるために電源切断によるスケジューラの交替が発生することを防ぐことができる。
【０１００】また、スケジューラである共有メモリが電源切断される時にはスケジューラＳＶＰの交替が発生するが、そのような時にクラスタで構成情報の読み出しを行おうとしても、事前にスケジューラＳＶＰが交替中であることや、新たにスケジューラが決定したことをクラスタＳＶＰでは知り得ることが可能であり、実際の無駄なサービスプロセッサ間通信を行なわなくて済むため、サービスプロセッサ間通信のための通信パスの負荷を減らすことができる。
【０１０１】(h) ：前記(8) の作用通知手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラの交替には、その処理を開始する前にそれをクラスタに通知しておく処理を行う。このようにすれば、無駄なスケジューラサービスプロセッサに対する実行権の要求を省き、サービスプロセッサ間における通信のためのパスの負荷を減らすことができる。
【０１０２】(i) ：前記(9) の作用命令処理手段は、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令を処理する際、処理を分割することにより、操作の完了までに許される時間を越えてしまいそうな時、それを事前に検出し、処理を強制的に終了させる。このようにすれば、その時間を越えてしまうことを回避し、ＯＳがシステムダウンとならないようにすることができる。
【０１０３】(j) ：前記(10)の作用スケジューラ処理手段は、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、個々の処理を優先順位別に幾つか分類し、優先順位の高いものから動作させる処理を行う。
【０１０４】すなわち、構成制御ＤＩＡＧ命令などの操作開始から完了までに許される時間が非常に短い処理と、それに対して個々のクラスタＳＶＰにおける入出力装置からの操作のように、操作の開始から完了までに許される時間が構成制御ＤＩＡＧ命令のそれと比較して長いものが同時に複数実行された場合において、許された時間の短い構成制御ＤＩＡＧ命令を優先的に実行させることができる。
【０１０５】(k) ：前記(11)の作用スケジューラ処理手段は、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、構成情報の変更を目的とした操作が行われようとしているかを確認する。このようにすれば、構成情報の変更が行われるまでの間は構成情報の読み出しが同時に可能となることから、複数のクラスタ間での同時ＩＰＬ実行（初期プログラムロードの実行）によって、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令の競合する場合に、個々の命令の実行時間が短縮され、ＯＳを起動してから実際に使用可能となるまでの時間を短縮可能にする。
【０１０６】(l) ：前記(12)の作用前記コンピュータに、前記記録媒体に記録したプログラムを実行させることにより、初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加させ、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る処理と、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する処理とを行う。
【０１０７】このように、初期情報に時刻情報を付加し、初期構成制御を行う時に最新のものへと複写を行い同期を図ることにより、初期情報の作成時にサービスプロセッサ間における通信パスの異常や電源切断状態の装置があることで初期情報の不一致が生じても初期構成制御を正常に完了させることを可能とする。また、通信パスの異常時において誤って初期情報を更新しても次回の初期構成制御において正常に処理を完了させることができる。
【０１０８】更に、初期情報同期処理を行うサービスプロセッサを幾つかのグループに分割し、同期処理の完了に関する情報を持つことにより、一部の装置に対する初期情報同期処理を省略することを可能とし、これにより初期構成制御に要する時間を短縮することができる。このことは、計算機群が大きくなっていった場合に特に有効である。
【０１０９】
【発明の実施の形態】以下、発明の実施の形態を図面に基づいて詳細に説明する。なお、前記従来例で説明した計算機システム構成図（図１２）は、本実施の形態でも同じなので、同図も援用して説明する。
【０１１０】§１：例１の説明・・・図２〜図４参照例１は、計算機群の電源投入時に使用される初期情報を変更する際に発生する、という課題を解決した例であり、以下、図２〜図４に基づいて説明する。
【０１１１】(1) ：例１の処理説明・・・図２参照図２は例１の処理説明図である。以下、図２に基づいて例１の処理を説明する。図２において、縦方向は時間経過ｔを示し、横方向はＳＳＵ−０ＳＶＰ、ＳＳＵ−１ＳＶＰ、ＳＳＵ−２ＳＶＰ、ＳＳＵ−３ＳＶＰの各処理を示す。
【０１１２】計算機群の電源投入時に使用される初期情報を変更する際、任意のＳＶＰに対する初期情報の書き込みが不可能であった場合に、既に書き込みを行ったＳＶＰへの情報を操作以前に復元することも考えられるが、復元時に初期情報の書き込みが失敗することもあり、課題の解決とは言えない。このため、例１では、初期情報の作成時において、全てのＳＶＰに対する初期情報の書き込みが正常に行えて初期情報が一致していないといけないと、いう課題のために二つの機構を加える。
【０１１３】一つ目には、従来は、初期情報にはデータ転送パス６の接続関係しか記されていなかったのに対し、時刻情報の領域を追加し、初期情報の作成時において他のＳＶＰへの書き込みを行う前に、自ＳＶＰが持つ時刻を初期情報に付加した上で実行させるものである。
【０１１４】そして、二つ目には初期構成制御の実行時において、個々のＳＶＰが持つ初期情報の部分をＳＶＰ間通信により読み出し、その時刻を自ＳＶＰが持つ初期情報のそれと比較し、自ＳＶＰが持つ初期情報の方が古いと判断した場合には相手の持つ初期情報を読み出し、自ＳＶＰへ書き込み（複写）を行う。また、これらの初期情報の比較、複写の処理は、初期情報を持つ全てのＳＶＰとの間で行った後、構成制御レジスタへ書き込む値を決定する処理へと継続させる。
【０１１５】図２にその例を示す。図２では、それぞれのＳＶＰが持つ初期情報の内、ＳＳＵ−０とＳＳＵ−２が同じ時刻（日付＝９６．１１．０１、時刻＝１２：００：１５）で、ＳＳＵ−１（日付＝９６．１１．０２、時刻＝１３：２５：３０）はＳＳＵ−０、ＳＳＵ−２よりも新しく、ＳＳＵ−３（日付＝９６．１１．０１、時刻＝１７：３０：１５）はＳＳＵ−１よりは古く、ＳＳＵ−０、ＳＳＵ−２よりは新しい時刻であったとする。
【０１１６】この時、ＳＳＵ−０における動作は以下のようになる。まずＳＳＵ−１の時刻情報を読み出して比較し、自ＳＶＰの初期情報の方が古いと判断されたためＳＳＵ−１の持つ初期情報を自ＳＳＵへと複写を行なう（この時点でＳＳＵ−０、ＳＳＵ−１が持つ初期情報は一致したことになる）。この後、ＳＳＵ−２の時刻情報を読み出し、比較した結果同じであると判断し、複写処理は行わずＳＳＵ−３の時刻情報の読み出しを行う。
【０１１７】そして比較した結果、自ＳＶＰがもつ情報が新しいと判断されたので何も行わない（この時点ですべての初期情報と一致が図られたと判断する。ちなみにＳＳＵ−３はＳＳＵ−０で行ったのと同様の処理を行うことにより、最新の時刻情報が記された初期情報を持つことになる。ここで行う初期情報の比較、複写に関する処理を初期情報同期処理と呼ぶ。このようにして、全てのＳＳＵ−ＳＶＰが前記と同様な処理を行うことで、初期情報同期処理を行う。
【０１１８】
(2) ：初期情報同期処理の説明・・・図３参照図３は例１の処理フローチャート１であり、初期情報同期処理を示している。以下、図３に基づいて前記初期情報同期処理を説明する。なお、Ｓ５１〜Ｓ６０は各処理ステップを示す。
【０１１９】初期情報同期処理が開始されると（Ｓ５１）、自ＳＳＵの初期情報の読み出しを行う（Ｓ５２）。そして、他のＳＳＵが実装されているか否かを判断し（Ｓ５３）、他のＳＳＵが実装されていなければ、初期情報同期処理を終了する（Ｓ６０）。しかし、他のＳＳＵが実装されていれば、自ＳＳＵではないかどうかを判断する（Ｓ５４）。
【０１２０】その結果、自ＳＳＵではないと判断した場合は、ＳＳＵｉ（ｉ＝０、１、２・・・）は実装されているかどうかを判断する（Ｓ５５）。この場合、他ＳＳＵの実装情報は、個々のＳＳＵ−ＳＶＰに初期設定されている。前記Ｓ５５の判断で、ＳＳＵｉが実装されていれば、ＳＳＵｉの初期情報の読み出しを行う（Ｓ５６）。
【０１２１】そして、自ＳＳＵの持つ初期情報の方が古い（時刻が古い）か否かを判断し（Ｓ５７）、自ＳＳＵの持つ初期情報の方が古い場合は、自ＳＶＰへの複写を行い（Ｓ５８）、全てのＳＳＵのチェックが終了したか否かを判断し（Ｓ５９）、全てのＳＳＵのチェックが終了しない場合は前記Ｓ５４の処理から繰り返して行う。
【０１２２】また、前記Ｓ５４の処理で自ＳＳＵであると判断した場合、前記Ｓ５５の処理で、ＳＳＵｉが実装されていないと判断した場合、前記Ｓ５７の処理で、自ＳＳＵの持つ初期情報の方が古くない（新しい）と判断した場合には、それぞれ前記Ｓ５９の処理を行う。このようにして、前記Ｓ５９の処理で、全てのＳＳＵのチェックが終了すると、初期情報同期処理を終了する（Ｓ６０）。
【０１２３】
(3) ：初期情報同期処理に関するその他の説明ここで、比較、複写の処理は、クラスタ及びＳＳＵの増加により処理時間が増加してしまうため、更に、以下の機構を同時に設ける。個々のＳＶＰをしかるべき方法によりいくつかのグループに分割（分割の方法は、各装置の番号が偶数であるものと奇数であるものに分割する方法と、任意の個数で装置番号の若いものから分割する方法、あるいは前者と後者を合わせた方法があり、計算機群に所属するＳＳＵの台数によっていずれかを選択することとする）し、それぞれ分割されたグル−プ内で初期情報の同期処理を行い、そのグループ内における全てのＳＶＰとの処理が終わると次のグループを対象とする。
【０１２４】また、初期情報の同期処理に関する情報（以下この情報を「完了情報」と呼ぶ）を保持し、この情報の参照により初期情報同期処理が必要な装置の識別を行うこととする。初期情報同期処理の対象とするのは完了情報において同期処理が必要とされているものに対してのみであり、その装置からの読み出しにおいてはその装置が持つ完了情報も同時に読み出しを行い、同期処理の完了時には読み出した完了情報を自装置が持つものに加える。
【０１２５】このため、同期処理を行った装置が既に他の装置との同期処理を完了していれば、その完了情報から同期処理は完了していることとし、処理の省略を可能とする。自ＳＶＰのグループ内での同期処理が完了すると他のグループ内装置との同期処理を行うが、他のグループでも並行して同期処理を行っていることもあり、このときに対象となるグループ内の一装置から読み出した完了情報からそのグループ内における同期処理も完了しているため、同期処理の省略を可能として初期情報同期処理としての高速化が図れる。
【０１２６】(4) ：初期情報同期処理において、グループ分けを行う場合の処理説明・・・図４参照図４は例１の処理フローチャート２であり、前記初期情報同期処理において、グループ分けを行う場合の処理を示している。以下、図４に基づいて、初期情報同期処理において、グループ分けを行う場合の処理を説明する。なお、Ｓ７１〜Ｓ８８は各処理ステップを示す。
【０１２７】前記のようにして初期情報同期処理が開始されると（Ｓ７１）、自ＳＳＵの初期情報の読み出しを行い（Ｓ７２）、他のＳＳＵが実装されているか否かを判断し（Ｓ７３）、他のＳＳＵが実装されていなければ初期情報同期処理を終了する（Ｓ８８）。また、他のＳＳＵが実装されていれば、対象となるＳＳＵはチェック対象グループに有るか否かを判断する（Ｓ７４）。
【０１２８】前記Ｓ７４の処理で、対象となるＳＳＵがチェック対象グループにないと判断した場合は、対象ＳＳＵの切り換えを行い（Ｓ７５）、前記Ｓ７４の処理から繰り返して行う。しかし、前記Ｓ７４の処理で、対象となるＳＳＵがチェック対象グループに有ると判断した場合は、自ＳＳＵではないかどうかを判断する（Ｓ７６）。
【０１２９】前記Ｓ７６の処理で、自ＳＳＵではないと判断した場合は、対象となるＳＳＵは実装されているかどうかを判断し（Ｓ７７）、対象となるＳＳＵは実装されていれば、次に、対象となるＳＳＵとの同期が完了しているか否かを判断する（Ｓ７８）。その結果、対象となるＳＳＵとの同期が完了していない場合は、対象ＳＳＵの初期情報の読み出しを行い（Ｓ７９）、自ＳＳＵの持つ初期情報の方が古い（時刻情報）か否かを判断する（Ｓ８０）。
【０１３０】その結果、自ＳＳＵの持つ初期情報の方が古いと判断した場合は、自ＳＳＵへの複写を行い（Ｓ８１）、完了フラグをセットし（Ｓ８２）、グループ内全ての完了フラグがオンか否かを判断する（Ｓ８３）。そして、前記Ｓ８３の処理で、グループ内全ての完了フラグがオンになっていないと判断した場合は、チェック対象ＳＳＵの切り換えを行い（Ｓ８４）、前記Ｓ７４の処理から繰り返して行う。
【０１３１】一方、前記Ｓ７６の処理で、自ＳＳＵであると判断した場合、前記Ｓ７７の処理で、対象となるＳＳＵが実装されていないと判断した場合、前記Ｓ７８の処理で、対象となるＳＳＵとの同期が完了していると判断した場合は、それぞれ前記Ｓ８３の処理を行う。
【０１３２】そして、前記Ｓ８３の処理で、グループ内全ての完了フラグがオンになったと判断した場合は、全てのグループのチェックが完了したか否かを判断する（Ｓ８５）。その結果、全てのグループのチェックが完了していると判断した場合は、初期情報同期処理を終了する（Ｓ８８）。
【０１３３】しかし、前記Ｓ８５の処理で、全てのグループのチェックが完了していないと判断した場合は、チェック対象グループの切り換えを行い（Ｓ８６）、チェック対象ＳＳＵの切り換えを行って（Ｓ８７）、前記Ｓ７４の処理から繰り返して行う。
【０１３４】§２：例２の説明例２は、障害装置に対する初期値の変更における課題を解決した例である。前記従来例では、サブシステム内の装置において障害が発生し、その装置のサブシステムからの切り離しが発生し、次回の電源投入で再度障害が発生しないようにするためには初期情報を更新しておかなければならないという課題があった。
【０１３５】そこで本発明の例２では、サブシステム内におけるクラスタとＳＳＵのデータ転送パス６の接続関係の変更を契機に、スケジューラＳＶＰが全てのＳＳＵ−ＳＶＰの持つ初期情報の更新を行う処理を追加する。すなわち、データ転送パス６の接続関係が変更された時、スケジューラＳＶＰはその時点でのデータ転送パス６の接続に関する最新の情報を、自ＳＶＰの磁気ディスク装置から入手する（この場合、構成の変更時には必ず初期情報を更新することから、自ＳＶＰの磁気ディスク装置に格納されている初期情報は常に最新であることが保証されている）。
【０１３６】そして、最新の情報に対し、変更の指示によって変化が生じた部分のみを書き換えて、全てのＳＳＵ−ＳＶＰに個々のＳＶＰ間の専用パスを用いて最新の初期情報として書き込みを行う。また、この時更新した情報は次回の電源投入時に初期情報として使用される。
【０１３７】このようにすれば、データ転送パス６の接続関係の変更と同時に全てのＳＳＵ−ＳＶＰが持つ初期情報の更新も行うことにより、障害発生装置をサブシステムから切り離しておくだけで、次回の電源投入時にサブシステムに組み込まれないから、同一の障害が発生することを防ぐことができる。
【０１３８】§３：例３の説明・・・図５参照(1) ：例３の処理説明例３は、初期化失敗時における縮退処理が誤動作する、という課題を解決した例である。従来例では、クラスタＳＶＰがＳＳＵとの接続を行う処理において、他クラスタの初期化完了をＳＶＰ間通信を用いて待ち合わせを行い、初期化に失敗したクラスタはＳＳＵと接続しないように、読み出した初期情報を書き換えている。このため、僅かに初期化の完了が遅れただけで接続されない、という課題があった。
【０１３９】そこで、本発明の例３では、クラスタＳＶＰがＳＳＵとの接続を行う処理において、他クラスタの初期化完了の待ち合わせを行わず、初期化に失敗したクラスタを初期情報においてＳＳＵと接続しないように、書き換えを行わないようにする。
【０１４０】クラスタとＳＳＵにおけるデータ転送パス６の論理的な接続状態は、クラスタとＳＳＵの双方にある接続状態を示す構成制御レジスタの値の論理積によって決定される。すなわち、クラスタ、ＳＳＵの双方の構成制御レジスタにおいて、どちらも接続状態にある時のみ、そのクラスタとＳＳＵにおける論理的な接続状態は接続されているといえる。言い換えれば、クラスタ或いはＳＳＵのどちらかが構成制御レジスタにおいて接続されていない状態であれば、そのクラスタはそのＳＳＵを使用することができない状態となる。そして、ＣＰＵ等のクラスタ内の装置の初期化に失敗したクラスタは、ＳＳＵの組み込み処理を行わないので、ＳＳＵとは接続状態にならない。
【０１４１】従って、時間差を持って電源投入されたことにより初期化が遅れたクラスタであっても、初期化が成功していれば、ＳＳＵと接続することが可能となり、誤って縮退されることを妨げる。
【０１４２】(2) ：フローチャートによる例３の処理説明・・・図５参照図５は例３の処理フローチャート２であり、クラスタＳＶＰに於けるＳＳＵ組み込み処理を示している。以下、図５に基づいて、例３のクラスタＳＶＰに於けるＳＳＵ組み込み処理を説明する。なお、Ｓ９１〜Ｓ９６は各処理ステップを示す。
【０１４３】先ず、クラスタ電源の投入が開始されると（Ｓ９１）、ＣＰＵやメモリの初期化処理を行い（Ｓ９２）、自クラスタにおける初期化処理が正常終了したか否かを判断する（Ｓ９３）。そして、前記Ｓ９３の処理で、自クラスタにおける初期化処理が正常終了しないと判断した場合は、クラスタ電源投入処理を異常終了する（Ｓ９６）。
【０１４４】しかし、前記Ｓ９３の処理で、自クラスタにおける初期化処理が正常終了したと判断した場合は、初期情報に従い、ハードウェアレジスタの設定を行い（Ｓ９４）、クラスタ電源投入処理を正常終了する（Ｓ９５）。
【０１４５】§４：例４の説明・・・図６参照(1) ：例４の処理説明例４は、電源投入処理に要する時間が長時間化していく、という課題を解決した例である。従来の技術では、ＳＳＵの初期化を開始／完了し、ＳＳＵを組み込んだ後に、Ｉ／Ｏ装置（入出力装置）が使用可能となるまでの時間（以下「Ｉ／Ｏレディ待ち時間」という）を待ち合わせた後、ＯＳのＩＰＬ（ＯＳによる初期プログラムローディング処理）を実行していた。
【０１４６】本発明の例４では、Ｉ／Ｏレディ待ち時間はクラスタＳＶＰにとって何もしていないこと、また、個々のクラスタはＯＳがＩＰＬされる直前までにＳＳＵを組み込んでおけばよいこと、などから、クラスタが行うＳＳＵ組み込み処理とは並行して実行される。具体的には、Ｉ／Ｏレディ待ち時間が終了した後に、ＳＳＵの初期化完了待ちを含むＳＳＵの組み込み処理を行い、Ｉ／Ｏレディ待ち時間にはＳＳＵの初期化完了に要する時間よりも大きな値を設定することにする。
【０１４７】これにより、Ｉ／Ｏレディ待ち時間とＳＳＵ初期化完了待ち時間の重複を防ぎ、計算機群が電源投入されてから、実際に使用可能になるまでの時間を短縮させることが可能になる。この処理の例を以下に説明する。
【０１４８】
(2) ：フローチャートによる処理説明・・・図６参照図６は例４の処理フローチャートである。以下、図６に基づいて、電源投入時におけるＳＳＵ初期化完了待ちと、Ｉ／Ｏレディ待ちとの関連の処理を説明する。なお、Ｓ１０１〜Ｓ１０９は各処理ステップを示す。
【０１４９】クラスタ電源投入処理が開始されると（Ｓ１０１）、先ず、ＣＰＵやメモリを初期化し（Ｓ１０２）、Ｉ／Ｏレディ待ちを開始する（Ｓ１０３）。そして、Ｉ／Ｏレディ待ち時間内か否かを判断し（Ｓ１０７）、Ｉ／Ｏレディ待ち時間内であればそのまま待つ。このようにしてＩ／Ｏレディ待ち時間内でなくなると、ＯＳがＩＰＬ（initial program loader）による初期プログラムローディング処理を行い（Ｓ１０８）、クラスタ電源投入処理を終了する（１０９）。
【０１５０】一方、前記Ｓ１０３の処理で、Ｉ／Ｏレディ待ち開始後、ＳＳＵ初期化処理を開始し（Ｓ１０４）、ＳＳＵ初期化が完了すると（Ｓ１０５）、ＳＳＵの初期化処理を完了する（Ｓ１０６）。
【０１５１】(3) ：例４の処理に関するその他の説明前記の処理を従来例の処理と比較した場合、従来例では、ＳＳＵ初期化待ちを開始し完了を待ってから、Ｉ／Ｏレディ待ちを開始している。これに対して本発明の例４では、Ｉ／Ｏレディ待ちの完了によってＳＳＵ初期化完了待ちを兼ねていることが分かる。
【０１５２】§５：例５の説明例５は、スケジューラ機構による処理の長時間化と、スケジューラＳＶＰの交替による負荷増大、制御の煩雑化とスケジューラＳＶＰの不在が招く、という課題を解決した例である。
【０１５３】従来の技術では、任意のクラスタとデータ転送パス６が接続されているＳＳＵの内の最も若い装置番号を持つものがスケジューラＳＶＰとなっていた。このため、全てのクラスタと全てのＳＳＵがデータ転送パス６に接続されていないとスケジューラＳＶＰが不在となったり、構成変更時にスケジューラＳＶＰが交替するために構成変更処理の長時間化や処理の煩雑化といった課題があった。
【０１５４】このため本発明の例５では、ＳＳＵの電源投入時において、自ＳＳＵに対し、ＳＶＰ間通信が可能な状態にあるＳＳＵ−ＳＶＰの内の最も若い装置番号であるＳＳＵをスケジューラＳＶＰとして決定することにより、前記従来例の課題を解決する。
【０１５５】また、スケジューラＳＶＰである自ＳＳＵの電源切断が実行されると、その電源切断処理において、自ＳＶＰを除く全てのＳＳＵ−ＳＶＰとクラスタＳＶＰに対し、スケジューラＳＶＰが交替中であることを通知し、今までスケジューラＳＶＰとして動作していた自ＳＳＵ−ＳＶＰが新たなスケジューラを決定し、そのスケジューラＳＶＰの番号を全てのＳＳＵ−ＳＶＰとクラスタＳＶＰに対し通知する。
【０１５６】この時に、新たなスケジューラＳＶＰは電源切断される可能性の低いものを優先することで決定される。すなわち、ＳＳＵ−ＳＶＰ間での通信が正常に行えているＳＳＵの内、ＳＳＵの電源制御権（装置の電源は遠隔と手元のいずれか一方での操作が可能であり、ＳＳＵに付属したスイッチにより動作する）が遠隔にあるものの内で最も若い装置番号を持つＳＳＵをスケジューラＳＶＰとして決定する。
【０１５７】なお、ＳＳＵが電源切断される可能性の一つとして、保守が考えられ、この場合には、電源制御権を手元にする。このことを考えた時に遠隔状態にあるＳＳＵは、保守による電源切断の可能性がないと考えることができる。ただし、全てのＳＳＵにおいて電源制御権が遠隔状態になければ、ＳＶＰ間での通信が正常に動作しているＳＳＵの中からスケジューラＳＶＰは決定される。これらのことより、スケジューラＳＶＰが頻繁に交替することを極力避けることを可能とする。
【０１５８】§６：例６の説明・・・図７〜図１１参照例６は、スケジューラ機構の制御方式に起因した処理時間の長時間化の課題を解決した例である。
【０１５９】(1) ：例６の処理説明従来の技術で課題となるのは、待ち行列が１個しかなく、このため行おうとする処理に許された時間に応じた制御が行われていないことである。従って、本発明の例６では、待ち行列を３個（待ち行列１、待ち行列２、待ち行列３とする）に増やし、完了までに許された時間に応じてこれらの待ち行列を使い分けて行く処理を行う。
【０１６０】つまり、完了迄に許された時間を三種類に分け、クラスタＳＶＰがスケジューラＳＶＰに対する実行権を要求する時に該当する待ち行列の番号を指定し、スケジューラＳＶＰでは、この要求に応じた待ち行列の最後尾にクラスタ番号を格納する。なお、前記三種類に分けた時間とは、■：構成制御ＤＩＡＧの内、非常に制限時間の短いもの、■：構成制御ＤＩＡＧの中で、前記■に該当しないもの、■：構成制御ＤＩＡＧ以外のもの、の三種類である。
【０１６１】ここで、待ち行列１が最も制限時間の少ない処理での実行権待ちのグループであり、以降、待ち行列２、３と制限時間が長くなっていくものとする。そして、実際の制御は以下のようにして行われる。
【０１６２】(2) ：制御の詳細な説明前記制御を行う場合、クラスタＳＶＰからスケジューラＳＶＰに対して排他的に動作させるための実行権の要求を行った時の動作として、先ず、クラスタＳＶＰでは、行なおうとする処理に与えられた制限時間から待ち行列の番号を選択し、スケジューラＳＶＰへの実行権の要求時に通知する。
【０１６３】また、クラスタＳＶＰからの要求を受けたスケジューラＳＶＰでは、先ずクラスタＳＶＰからの要求時に指定される待ち行列の最後尾に要求を出したクラスタ番号を格納（この時格納される待ち行列に格納されているクラスタがない場合には、先頭に格納する）し、その時に実行権を与えているクラスタＳＶＰが存在するかの検査を行い、検査の結果存在しない場合には、そのクラスタＳＶＰに対し実行権を与えると共に、そのことを通知する。
【０１６４】また、前記検査の結果、クラスタＳＶＰが存在した場合には、そのクラスタＳＶＰに対し、実行権を与えられる時に再度通知することを通知する。また、クラスタＳＶＰは、目的とする処理が終了した時にスケジューラＳＶＰに対して与えられている実行権の返却を通知する。この時、スケジューラＳＶＰでは返却を受けたクラスタ番号を待ち行列から検索し、そのクラスタ番号を待ち行列から削除し、削除の行われた待ち行列を、前列へ詰める操作を行う。
【０１６５】次に、実行権を与えるべきクラスタ番号の検索を行い、実行権を与える。ここでの行われる実行権の検索処理は、待ち行列１に格納されているクラスタの存在を検査し、存在した場合には、その待ち行列１の先頭に格納されているクラスタＳＶＰに実行権を与えることとして、そのことをクラスタＳＶＰに対して通知し、存在しない場合には、ここでの処理と同等のことを待ち行列２、３に対して行う。
【０１６６】(3) ：スケジューラ機構での待ち行列を増やした場合の説明・・・図７、図８参照図７は例６の処理説明図（その１）、図８は例６の処理説明図（その２）であり、何れも、スケジューラ機構での待ち行列を増やした場合の処理を示している。以下、図７、図８に基づいて、スケジューラ機構での待ち行列を増やした場合の処理を説明する。
【０１６７】図７、図８において、縦方向は時間経過ｔを示し、横方向はＣＬ−０ＳＶＰ、ＣＬ−１ＳＶＰ、ＣＬ−２ＳＶＰ、ＣＬ−３ＳＶＰ、ＳＳＵ−０ＳＶＰ（スケジューラ）、ＳＳＵ−１ＳＶＰの各処理を示す。
【０１６８】図では、クラスタ０での構成読み出しの実行中に、クラスタ１から待ち行列３に相当する構成読み出しが実行、クラスタ０からの実行権の返却によりクラスタ２に実行権を与え、続いてクラスタ３から待ち行列１相当の構成読み出しが実行されたため、クラスタ２からの実行権の返却によってクラスタ３に実行権を与え、クラスタ３からの実行権の返却によりクラスタ１に実行権を与えていることを示している。
【０１６９】スケジューラＳＶＰはクラスタＳＶＰから実行権を与えるが、その時実行権が返却されないことを避けるために、一定の時間実行権が返却されることの待ち合わせを行う。この時、実行権を与えていたクラスタ番号が格納されている待ち行列を検索し、そのクラスタ番号に与えていた実行権を剥奪し、次に実行権を与えるクラスタＳＶＰを検索するための処理を、通常に実行権が返却された時と同様の手順で行う。
【０１７０】ところで、構成情報の読み出しや、変更に対する操作を同時に実行させないための待ち行列を複数設け、それらを操作完了までに許される時間で優先順位分けすることにより、クラスタＳＶＰに装備された入出力装置からの操作よりも、制限時間の短い構成制御ＤＩＡＧ命令を優先的に実行させることを可能とさせることは、前述の通りである。
【０１７１】しかし、構成制御ＤＩＡＧ命令のみが実行されているなどして、優先順位分けをしても同じ待ち行列に扱われる操作が多数発行された場合、或いは、構成情報の読み出し等の操作は、データ転送パス６とは別のＳＶＰ間通信パス５を用いてＳＶＰ間で複数の通信を行うことにより実現しているが、このＳＶＰ間通信パス５の負担が大きくなるなどして、個々の通信に要する時間が、わずかずつ遅延し、それが積み重なることにより、構成制御ＤＩＡＧ命令の完了までの制限時間内には処理が完了するものの、処理時間が大きくなる可能性がある。
【０１７２】このように状態においては、待ち行列の後方に格納されているクラスタＳＶＰでは、実処理の開始が遅れることとなり、制限時間内に命令を完了させることができなくなる（なお、図１６、図１７に示した従来例のクラスタＣＬ−３での動作がその例であり、図では、時間切れとして示してある）。このため、構成制御ＤＩＡＧ命令の完了が制限時間を超えそうな時、事前にそれを判断し、実行結果を保証せず、再度実行させることを期待することを報告して、命令を完了させる機構を設ける。
【０１７３】構成制御ＤＩＡＧ命令の処理を逐次処理させるための実行権を確保したり、情報の収集などを行うＳＶＰ間の通信処理を、ＳＶＰ間通信などにより得られた情報を格納する処理に分割することとし、前者を「タスクＡ」、後者を「タスクＢ」と呼ぶことにする。
【０１７４】タスクＢからの指示を受けたタスクＡでは、タスクＡでの処理中に再度タスクＢが指示を発行することのないように設けられた内部の二重起動防止フラグを立て、指示の内容から必要とされる処理を選択し、ＳＶＰ間通信により構成情報の読み出しや、変更、或いはそれに付随する処理（複数のクラスタにおいて同時に構成情報の変更を行わせないための実行権を得るための処理、スケジューラによる構成制御ＤＩＡＧ命令の逐次処理）を行う。
【０１７５】これらの処理が仕終わった時に、タスクＡはタスクＢに対し処理の終了を通知し（構成の読み出しの場合には、読み出した情報のＳＶＰ内の仮格納場所も合わせて通知される）、二重起動防止フラグを落とす。この時、タスクＡからタスクＢへの終了通知は、或る条件を満たした時に行われる。すなわち、或る条件とは、タスクＡがタスクＢからの終了通知待ち状態にあることを示すフラグによってタスクＡが待ち受け状態にあることである。
【０１７６】タスクＢでは、ＯＳからの構成制御ＤＩＡＧ命令の実行指示を受けた時、タスクＡにおいて、二重起動防止フラグの状態を確認し、前記フラグが立っていれば、処理の異常終了処理を行い、前記フラグが落ちていれば、個々の命令毎に割り当てられた制限時間の検索を行い、その制限時間よりも若干短い値でタスクＢ内での監視時間を導き出し、ＳＶＰ内部の時刻機構に対し、監視時間に到達した場合にタスクＢに対し報告を行うように設定する。
【０１７７】なお、前記監視時間が実際の制限時間よりも若干短い値に設定するのはＳＶＰがＯＳから構成制御ＤＩＡＧ命令の実行指示を受け取るまでと命令の完了を報告するまでの間にもＯＳからの監視時間は経過していくため、その時間差による制限時間の超過を回避するためである。また、若干短い値とは１秒程度とする。
【０１７８】監視時間の設定後はタスクＡからの終了待ち通知フラグを立てて、タスクＡに対し個々の構成制御ＤＩＡＧ命令固有の処理を実行するよう指示を発行する。このあとタスクＢはタスクＡから発行した指示の完了報告を待ち受ける状態にするとともに、同時にタスクＢは時刻機構からの監視時間到達の報告を待ち受ける状態にする。
【０１７９】そして、これらの内、タスクＡからの完了報告が先に受け付けられた場合には、正常な処理が完了したとして動作を行い、時刻機構からの報告が先に受け付けられた場合には、制限時間を超える可能性があるとして、タスクＡからの終了待ちフラグを落とし、報告する構成情報を保証しないようにして命令を終了させる。
【０１８０】ところで、従来のスケジューラ機構は、構成の読み出し、変更に関する操作の全てを順次実行する方式となっている（図１６、図１７参照）。すなわち、構成情報の変更が行われずに読み出しのみの操作であっても、それは同時に実行されずに、順番に実行される。
【０１８１】そもそもスケジューラ機構を設けた理由は、構成情報の変更中における構成情報の読み出しが行われると、変更中の過渡的な状態が読み出されてしまうことがあり、それを避けるためである。また、通常のＯＳの起動時には構成情報の読み出ししか行われない。このため構成情報の変更中、或いはそのためのスケジューラＳＶＰに対する実行権の要求が出されていない限り、構成情報の読み出しを目的とする実行権の要求があれば、全てそれを与える機構を設けることとする。これを実現する方法は以下の通りとなる。
【０１８２】■：スケジューラＳＶＰでは、実行権を与えたクラスタＳＶＰに関する情報（以下「実行権テーブル」という）を持ち、この情報は構成情報の読み出し用と変更用にそれぞれ用意し、読み出し用のテーブルは構成情報の読み出しを目的とした操作に対して実行権を与えているクラスタＳＶＰを格納し、変更用の実行権テーブルは構成情報の変更を目的とした実行権を与えている、或いは、与えられるのを待ち受けるクラスタＳＶＰを格納することとする。
【０１８３】クラスタＳＶＰでは、スケジューラＳＶＰに対して複数の操作を同時に実行させないための実行権の要求を行う時に、構成情報の読み出しであるのか、変更であるのかの情報を加えることとする。
【０１８４】■：クラスタＳＶＰからの実行権の要求を受けたスケジューラＳＶＰでは、先ず、実行権を要求する目的（構成情報の変更、或いは読み出し）を検査する。構成情報の変更が目的である時、構成情報変更用の実行権テーブル、及び要求時に指定されている待ち行列に、そのクラスタＳＶＰの番号を格納し、構成情報の読み出し、或いは変更用の実行権テーブルにおいて要求を行ったクラスタＳＶＰ以外が存在しないことの検査を行い、存在しない場合には、実行権を与えることを通知し、既に実行権を与えているクラスタＳＶＰが存在する場合には、実行権を与える時に、再度通知することを、要求を行ったクラスタＳＶＰに通知する。
【０１８５】そして、構成情報の読み出しの場合には、構成情報の変更用の実行権テーブルに、任意のクラスタＳＶＰが格納されていないことを検査し、存在する場合には、実行権の要求時に得られる待ち行列に、そのクラスタＳＶＰの番号を格納し、実行権を与える時に再度通知することを通知し、存在しない場合には、構成情報の読み出し用の実行権テーブルと、実行権の要求時に得られる待ち行列に、そのクラスタＳＶＰの番号を格納し、実行権を与えることを通知する。
【０１８６】■：実行権を得ることにより、目的とする操作を完了したクラスタＳＶＰは、スケジューラＳＶＰに対し、実行権の返却を行う。実行権の返却を受けたスケジューラＳＶＰでは、実行権テーブルを検索することにより、実行権を与えていたクラスタＳＶＰの操作目的（構成情報の読み出しであるのか、変更であるのかの区別）を判別し、実行権テーブル、及び待ち行列からそのクラスタ番号を削除する。
【０１８７】そして、実行権を与えていたクラスタＳＶＰの操作目的が構成情報読み出しであった場合には、構成情報の読み出し用の実行権テーブルにおいて任意のクラスタＳＶＰの存在を検査する。その結果、存在した場合には、そのまま処理を終了させ、存在しない場合には、次に構成情報の変更用に実行権テーブルにおける任意のクラスタＳＶＰの存在を検査し、存在した場合には、そのクラスタＳＶＰに対して実行権を与えることを通知し、存在しない場合には、そのまま処理を終了させる。また、実行権を与えていたクラスタＳＶＰの操作目的が、構成情報の変更であった場合、待ち行列から順に実行権を与えることを待ち受けているクラスタＳＶＰの存在を検査し、存在した場合には、そのクラスタＳＶＰの操作目的である実行権テーブルに、そのクラスタ番号を格納する。
【０１８８】また、この時の検査及び実行権を与える処理は、構成情報の変更を目的とした実行権を待ち受けているクラスタＳＶＰが存在し、そのクラスタ番号を実行権テーブルに格納するまでの処理は継続される。以下、その例について説明する。
【０１８９】(4) ：スケジューラ機構において構成情報の読み出しの同時実行を可能にする場合の処理の説明・・・図９〜図１１参照図９〜図１１は例６の処理説明図（その３）〜（その５）である。以下、図９〜図１１に基づいて、スケジューラ機構において構成情報の読み出しの同時実行を可能にする場合の処理を説明する。
【０１９０】図９〜図１１において、縦方向は時間経過ｔを示し、横方向はＣＬ−０ＳＶＰ、ＣＬ−１ＳＶＰ、ＣＬ−２ＳＶＰ、ＣＬ−３ＳＶＰ、ＳＳＵ−０ＳＶＰ（スケジューラ）、ＳＳＵ−１ＳＶＰの各処理を示す。また、この場合の待ち行列は３個（待ち行列１、待ち行列２、待ち行列３）である。
【０１９１】図では、クラスタＣＬ−０での構成情報の読み出しを行っている時に、ＣＬ−１、ＣＬ−２から構成情報の読み出しが行われ、ＣＬ−３からの構成変更は、ＣＬ−０、ＣＬ−１、ＣＬ−２の実行権の返却が行われるまで実処理が待たされること、そして、ＣＬ−３の後に実行権の要求を行ったＣＬ−０での読み出しは、ＣＬ−３での実行権の返却が行われるまで、実処理が待たされることを示している。
【０１９２】スケジューラＳＶＰは、与えられた実行権が返却されるまでの監視を行い、監視時間内に実行権が返却されない場合には、与えている実行権を剥奪し、そのクラスタＳＶＰから実行権が返却されたこととした処理を行う。本方式によれば、スケジューラＳＶＰは同時に複数のクラスタＳＶＰに対して実行権を与えることがあり、それに対し個々の実行権毎に返却までの監視を行い、監視時間内に実行権が返却されない場合は、そのクラスタＳＶＰに対して与えた実行権を剥奪し、実行権が返却された場合における処理を行うこととする。
【０１９３】従って、例６によれば、複数のクラスタＳＶＰからの構成情報の読み出しのための実行権の同時要求に対し、構成情報の変更を目的とした操作が行われるまで、それを同時に与えることにより、複数のクラスタＳＶＰで同時に構成情報の読み出しを可能とする。また、通常のＯＳ起動時には、構成情報の読み出しを目的とした構成制御ＤＩＡＧ命令しか実行されないことから、個々の構成制御ＤＩＡＧ命令が実行されてから完了するまでの時間を短縮することができ、ＯＳを起動してから実際に使用可能となるまでの時間を大幅に短縮できる。
【０１９４】§７：記録媒体の説明前記計算機システムが行う処理として、例えば、初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加させ、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る処理と、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する処理等を含んでいる。
【０１９５】このような処理は、計算機システム内のＳＶＰ（クラスタＳＶＰ、及びＳＳＵ−ＳＶＰ）（コンピュータ）に設けたＣＰＵがプログラムを実行することにより、次のようにして実現することが可能である。例えば、ＳＶＰには磁気ディスク装置が設けてあり、この磁気ディスク装置の記録媒体（磁気ディスク）に、前記処理を実現するためのプログラムやその他の各種データ等を格納しておく。
【０１９６】そして、前記処理を行う場合は、前記ＣＰＵの制御により磁気ディスク装置の記録媒体に格納されている前記プログラムやデータを読み出してＳＶＰ本体内のメモリに取り込む。その後、前記ＣＰＵが前記メモリに格納してあるプログラムの内、必要なプログラムから順次読み出して実行することにより、前記ＳＶＰの処理を行う。なお、前記磁気ディスク装置の記録媒体に格納するプログラムは、次のようにして記録（記憶）することが可能である。
【０１９７】■：フレキシブルディスク（フロッピィディスク）に格納されているプログラム（他の装置で作成したプログラムデータ）を、ＳＶＰに設けたフレキシブルディスクドライブ装置により読み取り、磁気ディスク装置の記録媒体（磁気ディスク）に格納する。
【０１９８】■：光磁気ディスク、或いはＣＤ−ＲＯＭ等の記憶媒体に格納されているデータを、前記ＳＶＰに設けたドライブ装置により読み取り、磁気ディスク装置の記録媒体に格納する。
【０１９９】■：ＬＡＮ等の通信回線を介して他の装置から伝送されたデータを前記ＳＶＰで受信し、そのデータを磁気ディスク装置の記録媒体（磁気ディスク）に格納する。
【０２００】
【発明の効果】以上説明したように、本発明によれば次のような効果がある。
(1) ：従来例では、計算機群が電源投入時に使用する初期情報を変更するにあたり、全てのＳＶＰに対する初期情報の書き込みが正常に行えないと、初期情報の不一致を生じる、という課題があった。これに対して本発明は、初期情報に時刻情報を付加し、初期構成制御を行う時に最新のものへと複写を行い同期を図ることにより、次のような効果がある。
【０２０１】■：初期情報の作成時にＳＶＰ間通信パスの異常や電源切断状態の装置があることで初期情報の不一致が生じても、初期構成制御を正常に完了させることを可能とする効果がある。
【０２０２】■：このため、通信パスの異常時において誤って初期情報を更新しても次回の初期構成制御において正常に処理を完了させる効果もある。
■：初期情報同期処理は、クラスタ及び共有メモリの装置台数の増加によって初期構成制御処理に要する時間が増大してしまう、という課題があり、このため、初期情報同期処理を行うサービスプロセッサを幾つかのグループに分割し、同期処理の完了に関する情報を持つことにより、一部の装置に対する初期情報同期処理を省略することを可能とし、これにより初期構成制御に要する時間を短縮するという効果があり、このことは、計算機群が大きくなっていった場合に特に有効な効果がある。
【０２０３】(2) ：従来例では、サブシステム内の装置において障害が発生し、その装置のサブシステムからの切り離しが発生し、次回の電源投入で再度障害が発生しないようにするためには初期情報を更新しておかなければならない、という課題があった。これに対して本発明は、サブシステム内におけるクラスタと共有メモリのデータ転送パスの接続関係の変更を契機に、初期情報を更新することにより、次のような効果がある。
【０２０４】■：障害の復旧が遅れても、再度その装置をサブシステムに組み込むことによって発生するトラブルを未然に防いだり、自動的に初期情報が更新されるため操作員が初期情報の更新を怠り再度障害が発生することを防ぐ効果がある。
【０２０５】■：このことは同時に、一定期間共有メモリを使用しない運用をするために、共有メモリからの影響を受けまいとしてサブシステムから切り離した場合に、一度切り離しを行えば、次に組み込む指示をするまでその運用形態が継続できる効果を合わせ持ち、操作員が初期情報の内容と実際に運用しているサブシステムの構成が同じかどうかの意識をしなくて済む効果がある。
【０２０６】(3) ：従来例では、あるクラスタでの初期化完了の遅れや初期化は正常に完了しているのに通信パスの異常からそれを確認できなかった場合には、そのクラスタを誤って切り離す縮退処理が動作してしまう、という課題があった。これに対して本発明は、クラスタの初期化実行時には、他クラスタでの初期化失敗に対して共有メモリと切り離す縮退を行わないようにしたので、次のような効果がある。
【０２０７】■：各クラスタ間におけるＳＶＰ間通信が必ず正常に操作していなければならないという制限はなくなり、何らかの理由（例えば一度は初期化に失敗したものの再度初期化を行うことによって成功した場合、あるいは他のクラスタに比べてメモリ容量や数が極端に多いなどして処理時間がはるかに大きいなど）により初期化が遅れた場合などにも共有メモリと接続できる効果がある。
【０２０８】(4) ：従来例では、計算機群の中の入出力装置台数の増加や共有メモリの増加によって、計算機群の電源投入から実際に使用可能となるまでの時間が増加する、という課題があった。これに対して本発明は、入出力装置が電源投入され、実際に使用可能となるまでの待ち合わせ時間を共有メモリ組み込み処理の完了待ち合わせと兼ねさせ、かつ、それらを並行して実行させるようにしたので、次のような効果がある。
【０２０９】■：計算機群全体として、電源投入から実際に使用可能となるまでの時間を短縮することができる。
(5) ：従来例では、クラスタとＳＳＵのデータ転送パスの接続関係を示す構成情報において、任意のクラスタでの構成変更中に別のクラスタが構成情報の読み出しを行うと、構成情報の変更中の過渡的な情報が読み出されてしまうことを解決するために設けたスケジューラ機構を動作させるスケジューラＳＶＰが、任意のクラスタとオンラインでなければならず、しかも全てのクラスタが全てのＳＳＵとオンラインであると、スケジューラＳＶＰが不在となってしまう、という課題があった。
【０２１０】これに対して本発明は、スケジューラ機構を動作させるスケジューラＳＶＰが、ＳＳＵ−ＳＶＰ間での通信が有効なものの中で決定することにより、次のような効果がある。
【０２１１】■：全てのクラスタとＳＳＵの間でオフラインとなっていることによるスケジューラＳＶＰが不在となる状態を無くす効果がある。
■：構成情報を変更することによるスケジューラＳＶＰの交替が発生しなくなるために、構成変更処理において複雑なスケジューラＳＶＰの交替制御を不要とし、同時にスケジューラＳＶＰの交替処理を行うための処理の長時間化を防ぐ効果がある。
【０２１２】中でも、ＳＳＵの電源制御権が遠隔操作状態にあるものを優先してスケジューラＳＶＰとすることで、保守中などにより頻繁に電源の切断、投入が行われることを予測できるようなＳＳＵがスケジューラＳＶＰとなるために電源切断によるスケジューラの交替が発生することを防ぐ効果がある。
【０２１３】■：スケジューラであるＳＳＵが電源切断される時にはスケジューラＳＶＰの交替が発生するが、そのような時にクラスタで構成情報の読み出しを行おうとしても、事前ににスケジューラＳＶＰが交替中であることや、新たにスケジューラが決定したことをクラスタＳＶＰでは知り得ることが可能であり、実際に無駄なＳＶＰ間通信を行なわなくて済むため、ＳＶＰ間通信のための通信パスの負荷を減らす効果がある。
【０２１４】(6) ：従来例では、構成情報の読み出しなどの処理を行う時、複数のクラスタからの実行を順次実行させるために設けたスケジューラ機構により、ＯＳからの構成制御ＤＩＡＧ命令が実際の処理開始が遅れるとそのためにシステムダウンを引き起こす、という課題があった。
【０２１５】これに対して本発明は、順次実行させるための処理の完了までに許された時間毎に待ち行列を１個から３個に増やし、構成制御ＤＩＡＧ命令の処理を分割し、命令の完了までに許された時間を越えてしまいそうな場合には、事前にそれを検出し、命令を異常終了させ、構成情報の変更が実行されているあるいはされようとしている場合以外はすべての構成情報の読み出し処理を同時に実行することを可能とすることにより、次のような効果がある。
【０２１６】■：構成制御ＤＩＡＧ命令などの操作開始から完了までに許される時間が非常に短い処理と、それに対して個々のクラスタＳＶＰにおける入出力装置からの操作のように、操作の開始から完了までに許される時間が構成制御ＤＩＡＧ命令のそれと比較して長いものが同時に複数実行された場合において、許された時間の短い構成制御ＤＩＡＧ命令を優先的に実行させることができる、という効果がある。
【０２１７】■：スケジュ−ラ機構による実行権を得るための処理や、構成情報の読み出し処理等がＳＶＰ間での通信パスの負荷などによってわずかずつ遅延していった場合や、同じ待ち行列に格納される処理が多数のクラスタＳＶＰから実行された場合など、構成制御ＤＩＡＧ命令の完了までの時間が制限時間を越えてしまう場合において、制限時間を越えそうなことを事前に検出し、実行結果を保証せず、かつ、再度実行を期待することを報告し、システムダウンとなることを避ける効果がある。
【０２１８】■：構成情報の変更を目的とした操作が行われるまで、複数のクラスタＳＶＰからの同時に構成情報の読み出しのための実行権の要求に対し、それを同時に与えることにより、複数のクラスタＳＶＰで同時に構成情報の読み出しを可能とし、通常のＯＳ起動時には構成情報の読み出しを目的とした構成制御ＤＩＡＧ命令しか実行されないことから、個々の構成制御ＤＩＡＧ命令が実行されてから完了するまでの時間を短縮することができ、ＯＳを起動してから実際に使用可能となるまでの時間を大幅に短縮する効果がある。
【０２１９】■：前記■で述べたことは同時に、計算機群の運用中に任意のＳＳＵにおいて障害が発生し、緊急に論理的な切り離しが行われた場合、切り離し後に運用中のすべてのクラスタにおいて構成情報の読み出しを目的とする構成制御ＤＩＡＧ命令が発行されるが、この時、個々の構成制御ＤＩＡＧ命令の完了までの時間が短縮されることにより、障害発生時における計算機群としての種々の動作を迅速に行うことを可能にする効果がある。
【０２２０】前記効果の外、各請求項に対応して次のような効果がある。
(7) ：請求項１では、初期情報同期手段は、前記レジスタに設定する構成情報の内、電源投入時に使用される初期情報を更新する際、一部装置の電源が切断状態にあっても、前記初期情報に時刻情報を付加し、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る処理を行う。
【０２２１】このように、初期情報に時刻情報を付加し、初期構成制御を行う時に最新のものへと複写を行い同期を図ることにより、初期情報の作成時にサービスプロセッサ間における通信パスの異常や電源切断状態の装置があることで初期情報の不一致が生じても、初期構成制御を正常に完了させることを可能とする。また、通信パスの異常時において誤って初期情報を更新しても、次回の初期構成制御において正常に処理を完了させることができる。
【０２２２】(8) ：請求項２では、高速同期処理手段は、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないようにすることで、計算機群としての初期情報の同期処理を高速化する処理を行う。
【０２２３】この場合、初期情報同期処理はクラスタ、及び共有メモリの装置台数の増加によって初期構成制御処理に要する時間が増大してしまう、という課題がある。このため、前記のように、初期情報同期処理を行うサービスプロセッサを幾つかのグループに分割し、同期処理の完了に関する情報を持つことにより、一部の装置に対する初期情報同期処理を省略することを可能とし、これにより初期構成制御に要する時間を短縮することができる。このことは、計算機群が大きくなっていった場合に特に有効である。
【０２２４】(9) ：請求項３では、初期情報更新手段は、データ転送パスの接続状態の変更によって、同時に初期情報の対応する部分を更新することで、常に、最新の構成情報を初期情報として保持し、次回の電源投入時には、前回の電源切断時点での構成情報のままでの運用を可能にする処理を行う。
【０２２５】すなわち、サブシステム内におけるクラスタと共有メモリのデータ転送パスの接続関係の変更を契機に、初期情報を更新することにより、障害の復旧が遅れても、再度その装置をサブシステムに組み込むことによって発生するトラブルを未然に防いだり、自動的に初期情報が更新されるため操作員が初期情報の更新を怠り再度障害が発生することを防ぐことができる。
【０２２６】このことは同時に、一定期間共有メモリを使用しない運用をするために、共有メモリからの影響を受けまいとしてサブシステムから切り離した場合に、一度切り離しを行えば次に組み込む指示をするまでその運用形態が継続できる利点があり、操作員が初期情報の内容と実際に運用しているサブシステムの構成が同じかどうかの意識をしなくて済む。
【０２２７】(10)：請求項４では、成功時接続処理手段は、自クラスタの共有メモリ接続処理が成功した時のみ、自クラスタと共有メモリを論理的に接続することで、クラスタ内の初期化に失敗したクラスタと共有メモリが接続されることを防ぎ、他クラスタとの初期化完了の待ち合わせを行ったり、初期化に失敗したクラスタが共有メモリと接続することのないように、初期情報を変更する必要を無くす処理を行う。
【０２２８】すなわち、クラスタの初期化実行時には、他のクラスタでの初期化失敗に対して共有メモリと切り離す縮退を行わないことにより、各クラスタ間におけるサービスプロセッサ間通信が必ず正常に操作していなければならないという制限はなくなり、何らかの理由（例えば一度は初期化に失敗したものの再度初期化を行うことによって成功した場合、あるいは他のクラスタに比べてメモリ容量や数が極端に多いなどして処理時間がはるかに大きいなど）により初期化が遅れた場合などにも共有メモリと接続できる。
【０２２９】(11)：請求項５では、接続時処理手段は、電源投入された入出力装置が実際に使用可能となるまでの待ち合わせ完了後に、共有メモリの初期化完了待ちと、自クラスタとの接続処理を行うことにより、計算機群として、電源投入から使用可能となるまでに所要する時間を短縮する処理を行う。
【０２３０】このように、入出力装置が電源投入され、実際に使用可能となるまでの待ち合わせ時間を、共有メモリ組み込み処理の完了待ち合わせと兼ねさせ、かつ、それらを並行して実行させることにより、計算機群全体として電源投入してから実際に使用可能となるまでの時間を短縮できる。
【０２３１】(12)：請求項６では、スケジューラ選択手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラ機構を動作させるための共有メモリサービスプロセッサを、実際にサービスプロセッサ間での通信が正常に行えたものの中から選択することにより、構成変更時におけるスケジューラサービスプロセッサの交替を不要とする処理を行う。
【０２３２】このように、スケジューラ機構を動作させるスケジューラＳＶＰが共有メモリサービスプロセッサ間での通信が有効なものの中で決定することにより、全てのクラスタと共有メモリの間でオフラインとなっていることによるスケジューラサービスプロセッサが不在となる状態をなくすことができる。
【０２３３】また、構成情報を変更することによるスケジューラＳＶＰの交替が発生しなくなるために、構成変更処理において複雑なスケジューラＳＶＰの交替制御を不要とし、同時にスケジューラＳＶＰの交替処理を行うための処理の長時間化を防ぐことができる。
【０２３４】(13)：請求項７では、スケジューラ選択手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジュ−ラ機構を動作させるための共有メモリサービスプロセッサを、共有メモリの電源制御権が遠隔操作状態にあるものがスケジューラサービスプロセッサとなるように優先させて選択することにより、保守中における頻繁な電源切断によるスケジューラの交替を無くす処理を行う。
【０２３５】このように、共有メモリの電源制御権が遠隔操作状態にあるものを優先してスケジューラＳＶＰとすることで、保守中などにより頻繁に電源の切断、投入が行われることを予測できるような共有メモリがスケジューラＳＶＰとなるために電源切断によるスケジューラの交替が発生することを防ぐことができる。
【０２３６】また、スケジューラである共有メモリが電源切断される時にはスケジューラＳＶＰの交替が発生するが、そのような時にクラスタで構成情報の読み出しを行おうとしても、事前にスケジューラＳＶＰが交替中であることや、新たにスケジューラが決定したことをクラスタＳＶＰでは知り得ることが可能であり、実際の無駄なサービスプロセッサ間通信を行なわなくて済むため、サービスプロセッサ間通信のための通信パスの負荷を減らすことができる。
【０２３７】(14)：請求項８では、通知手段は、構成情報の変更と読み出しが競合した場合に、変更中の過渡的な状態が読み出されることを防ぐために設けたスケジューラの交替には、その処理を開始する前にそれをクラスタに通知しておく処理を行う。このようにすれば、無駄なスケジューラサービスプロセッサに対する実行権の要求を省き、サービスプロセッサ間における通信のためのパスの負荷を減らすことができる。
【０２３８】(15)：請求項９では、命令処理手段は、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令を処理する際、処理を分割することにより、操作の完了までに許される時間を越えてしまいそうな時、それを事前に検出し、処理を強制的に終了させる。このようにすれば、その時間を越えてしまうことを回避し、ＯＳがシステムダウンとならないようにすることができる。
【０２３９】(16)：請求項１０では、スケジューラ処理手段は、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、個々の処理を優先順位別に幾つか分類し、優先順位の高いものから動作させる処理を行う。
【０２４０】すなわち、構成制御ＤＩＡＧ命令などの操作開始から完了までに許される時間が非常に短い処理と、それに対して個々のクラスタＳＶＰにおける入出力装置からの操作のように、操作の開始から完了までに許される時間が構成制御ＤＩＡＧ命令のそれと比較して長いものが同時に複数実行された場合において、許された時間の短い構成制御ＤＩＡＧ命令を優先的に実行させることができる。
【０２４１】(17)：請求項１１では、スケジューラ処理手段は、構成情報の変更と読み出しが競合した場合に、それらを同時に実行させないようにするスケジューラ機構の処理において、構成情報の変更を目的とした操作が行われようとしているかを確認する。
【０２４２】このようにすれば、構成情報の変更が行われるまでの間は構成情報の読み出しが同時に可能となることから、複数のクラスタ間での同時ＩＰＬ実行（初期プログラムローディング処理の実行）によって、ＯＳによるＣＰＵ命令からの構成情報の読み出しや変更の操作を行うための構成制御ＤＩＡＧ命令の競合する場合に、個々の命令の実行時間が短縮され、ＯＳを起動してから実際に使用可能となるまでの時間を短縮可能にする。
【０２４３】(18)：請求項１２では、コンピュータに、記録媒体に記録したプログラムを実行させることにより、初期情報を更新する際、一部装置の電源が切断状態にあっても、初期情報に時刻情報を付加させ、次回の電源投入時において構成情報における論理的な矛盾を発生させないように、常に最新となる初期情報への同期を図る処理と、電源投入時における初期情報の同期を行う際、同時に同期を行う装置を幾つかのグループに分割し、かつ、既に同期処理が完了している装置には同期処理を行わないことで、計算機群としての初期情報の同期処理を高速化する処理とを行う。
【０２４４】このように、初期情報に時刻情報を付加し、初期構成制御を行う時に最新のものへと複写を行い同期を図ることにより、初期情報の作成時にサービスプロセッサ間における通信パスの異常や電源切断状態の装置があることで初期情報の不一致が生じても初期構成制御を正常に完了させることを可能とする。また、通信パスの異常時において誤って初期情報を更新しても次回の初期構成制御において正常に処理を完了させることができる。
【０２４５】更に、初期情報同期処理を行うサービスプロセッサを幾つかのグループに分割し、同期処理の完了に関する情報を持つことにより、一部の装置に対する初期情報同期処理を省略することを可能とし、これにより初期構成制御に要する時間を短縮することができる。このことは、計算機群が大きくなっていった場合に特に有効である。
【出願人】 【識別番号】０００００５２２３
【氏名又は名称】富士通株式会社
【出願日】 平成９年（１９９７）９月１０日
【代理人】 【弁理士】
【氏名又は名称】今村 辰夫 （外１名）
【公開番号】 特開平１１−８５７１５
【公開日】 平成１１年（１９９９）３月３０日
【出願番号】 特願平９−２４４９６８