- 追加された行はこの色です。
- 削除された行はこの色です。
[[:検証]]
#norelated
#topicpath
#contents
* 工事手順 [#j023b42a]
** ストレージ起動時の確認項目 [#f442e64c]
- プロンプトが"LOADER-x"ではなく、"xxx-mstr01xx" の様にホスト名になっていること。
- system health status show でokとなっていること。
- dateで正しい時刻になっていること。
- nfs status でrunningになっていること。
- iscsi status でrunningになっていること。
- df -h で/vol/vol0が適切なディスク容量として見えていること。
- ifconfig -a でe0c, e0M, e0Pがflags=0x....<UP,..になっていること。
- pin g 10.159.215.1 （GWへのpin g）でaliveになること。
- cf status で以下の様な表示になっていること。
Controller Failover enabled, sen-mstr0102 is up. #対向側ホスト名
Negotiated failover enabled (network_interface).
VIA Interconnect is up (link up).
** サーバ起動手順 [#d299f441]
+ (SW側でサーバの監視網IFがシャットダウンされている状態)
+ サーバ01起動
++ クラスタ参加できず、syslog-ngも起動しない状態で起動する。
+ (IFのシャットダウンが解除される)
+ clstart実行
+ clustat でサービスの起動（LogServer ... started)を確認する。
+ サーバ02を電源投入する。
+ clustat -i 3 でサーバ02がonlineになった事を確認する。
* Ciscoスイッチ [#o0273528]
#memo(clock update-calendar\n\nソフトウェア クロック設定をハードウェア クロック（カレンダー）にコピーするには、EXEC モードで clock update-calendar コマンドを使用します。)
#memo(clock update-calendar\n\nソフトウェア クロック設定をハードウェア クロック（カレンダー）にコピーするには、EXEC モードで clock update-calendar コマンドを使用します。\n\n★出荷前に修正すること！\n- resolve.confのDNSサーバのIPを修正する。\n- ntp.confのNTPサーバのIPを修正する。\n- fstabからnasを除く。\n- /logsと/str配下のログのクリア\n- ストレージのタイムアウトタイムの再設定\n\n★工事前の準備\n- ノート類のkra-madm01への転送\n- スクリプト類のkra-madm01への転送\n- システムマネージャ、および関連するインストールパッケージの転送\n- NetAppマニュアルの転送\n- ログサーバに固定資産シールを貼付する。\n\n\n)
* ログサーバ [#q9891b21]
#memo(* RedHat Network 登録情報\nlogin\nhttps://www.redhat.com/wapps/sso/login.html\nhttps://www.redhat.com/apps/webform.html?event_type=simple_form&eid=1016\n\n========== 飯田様アカウント ============\n対象：監視機器分（DELL Power Edge R610）\n対象：25年\nUsername : nextesight\npassword : kuraesig1#\n========== 岡本様アカウント ============\n対象：HP BLADEサーバ全て\n・2014/1/31 H25年度購入分 10台追加 舘\n・2014/ \nUsername : a779-1381-a4c5-5b13\nPassword : 7dnn6WCnbt\n\nまた、サブスクリプション登録も必要となる場合あり。\n以下から download\nhttps://rhn.redhat.com/\n\n* RHELのバージョンの調べ方\n- cat /etc/redhat-release\n-- 6.6 とかまでしか分からない。\n- もっと細かく調べるなら\n-- rpm -qa | grep redhat-release もしくは rpm -q redhat-release-server\n--- redhat-release-server-6Server-6.6.0.2.el6.x86_64 などと表示される。\n)
#memo(* RedHat Network 登録情報\nlogin\nhttps://www.redhat.com/wapps/sso/login.html\nhttps://www.redhat.com/apps/webform.html?event_type=simple_form&eid=1016\n\n========== 飯田様アカウント ============\n対象：監視機器分（DELL Power Edge R610） ★このアカウントはもう利用停止！\n対象：25年\nUsername : nextesight\npassword : kuraesig1#\n========== 岡本様アカウント ============\n対象：HP BLADEサーバ全て\n・2014/1/31 H25年度購入分 10台追加 舘\n・2014/ \nUsername : a779-1381-a4c5-5b13 ←こっちを使って「RHN登録」から更新できる。\nPassword : 7dnn6WCnbt\n\nまた、サブスクリプション登録も必要となる場合あり。\n以下から download\nhttps://rhn.redhat.com/\n\n* RHELのバージョンの調べ方\n- cat /etc/redhat-release\n-- 6.6 とかまでしか分からない。\n- もっと細かく調べるなら\n-- rpm -qa | grep redhat-release もしくは rpm -q redhat-release-server\n--- redhat-release-server-6Server-6.6.0.2.el6.x86_64 などと表示される。\n\n* HP ProLiantサーバ再起動時のメール\n\nFrom root@sen-mlog02p.kanshi.local Tue Aug 2 10:28:16 2016\nReturn-Path: <root@sen-mlog02p.kanshi.local>\nFrom: root <root@sen-mlog02p.kanshi.local>\nDate: Tue, 02 Aug 2016 10:28:16 +0900\nTo: root@sen-mlog02p.kanshi.local\nSubject: HP Insight Management Agents Trap Alarm\nUser-Agent: Heirloom mailx 12.4 7/29/08\nContent-Type: text/plain; charset=us-ascii\nStatus: R\n\nTrap-ID=11020\n\n★ari-mlog02pでは :02 04 02 02 02 02 02 04 00 02 02 02 02 01 00 02だった\ncpqHoMibHealthStatusArray has changed to the value :02 04 02 02 02 02 02 04 02 02 02 02 02 01 01 02\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00\n)
* ログストレージ [#he059c4c]
#memo(http://127.0.0.1:49241/?sid=5476746509845483702118448220498744662\n127.0.0.1 への接続に失敗しました。\n→インターネットオプションの「信頼済みサイト」にhttp://127.0.0.1を追加する必要がある。\n\n* syslog-ngのインストール\n** RPMでインストールできる？\n今回はインストールしたマシンを持っていくので、rpmファイルで確保する事は必須ではない。yumでインストールしたマシンを持っていくことでも問題ない。\nhttp://d.hatena.ne.jp/kt_hiro/20140609/1402294759\n\n* ベンダに聞くこと\n- B側でcf takeoverを実行しテイクオーバできたが（cf statusで確認、プロンプトで確認）、TOされたA側のIPアドレスは、B側に付与されなかった。\n- 次に、元に戻すため、B側でcf givebackを実行したが、以下の様に表示されるも、ギブバックされなかったが、原因がわかりますか。結局、cf giveback -f で強制的に切り戻し、A側にログインできるようになった。\nsen-mstr0102(takeover)> cf status\nsen-mstr0102 has taken over sen-mstr0101.\nsen-mstr0101 is ready for giveback.\nTakeover due to negotiated failover, reason: operator initiated cf takeover\nsen-mstr0102(takeover)> cf giveback -f\nsen-mstr0102(takeover)> Tue Mar 24 22:11:52 JST [sen-mstr0102:cf.misc.operatorGiveback:info]: Failover monitor: giveback -f initiated by operator\n\nsen-mstr0102> cf status\nController Failover enabled, sen-mstr0101 is up.\nVIA Interconnect is up (link up).\n\n- 背面の電源ユニットのLEDが片系は緑ーーー、もう片系はー橙橙ーの状態になっている。問題ないか。\n\n\nsen-mstr0102> options cf\ncf.giveback.auto.after.panic.takeover on\ncf.giveback.auto.cancel.on_network_failure off\ncf.giveback.auto.cifs.terminate.minutes 5\ncf.giveback.auto.delay.seconds 600\ncf.giveback.auto.enable off\ncf.giveback.auto.override.vetoes off\ncf.giveback.check.partner on\ncf.hw_assist.enable on\ncf.hw_assist.partner.address 10.159.215.100\ncf.hw_assist.partner.port 4444\ncf.mode ha\ncf.remote_syncmirror.enable off (same value required in local+partner)\ncf.sfoaggr_maxtime 120 (value might be overwritten in takeover)\ncf.takeover.bypass_optimization off\ncf.takeover.change_fsid on\ncf.takeover.detection.seconds 15\ncf.takeover.on_disk_shelf_miscompare off\ncf.takeover.on_failure on\ncf.takeover.on_network_interface_failure off\ncf.takeover.on_network_interface_failure.policy all_nics (same value in local+partner recommended)\ncf.takeover.on_panic on\ncf.takeover.on_reboot off\ncf.takeover.on_short_uptime on\ncf.takeover.use_mcrc_file off (value might be overwritten in takeover)\n\n\n* やったこと\noptions cf.giveback.auto.enable on\n\n* やるべきこと\nifconfig e0c nfo\n\n* 作業の続き\n- A面で options cf.giveback.auto.enable on\n- 両面でnfoをe0cに設定し、e0cのリンクダウンでTOされるか実験\n- NetAppサイトへのログインアカウントを確認する\n-- マニュアルやソフトウェアをDLできそう。\n\n* SP修正パッチダウンロード先\nhttps://hds-sft.networld.co.jp/courier/web/1000@/wmDownload.html\nもしくは\nhttps://hds-sft.networld.co.jp/courier/web/1000@/wmDownload.html?url=https%3A%2F%2Fhds-sft.networld.co.jp%2Fseos%2F1000%2Fmpd%2Fx1016f0%5E999c715f629d364c9053a54313940a2c%5E2015-07-02%2011%3A59%3A59%5E*%5Eui%2F1016%2Ffiles%2Fw20150617010607420%2F306-03003_A0_FAS22XX-25XX_2.2.3_SP_FW.zip)
#memo(* SP修正パッチダウンロード先\nhttps://hds-sft.networld.co.jp/courier/web/1000@/wmDownload.html\nもしくは\nhttps://hds-sft.networld.co.jp/courier/web/1000@/wmDownload.html?url=https%3A%2F%2Fhds-sft.networld.co.jp%2Fseos%2F1000%2Fmpd%2Fx1016f0%5E999c715f629d364c9053a54313940a2c%5E2015-07-02%2011%3A59%3A59%5E*%5Eui%2F1016%2Ffiles%2Fw20150617010607420%2F306-03003_A0_FAS22XX-25XX_2.2.3_SP_FW.zip\n\n* 各種設定\n** NTP設定\noptions timed.proto ntp\noptions timed.servers 10.159.215.1,10.159.213.1 #カンマ区切り、サーバは順不同でIPでソートされる\noptions timed.enable\n\n** SNMP設定\noptions snmp.enable on\nsnmp community add ro esight\nsnmp traphost add 10.159.215.9\nsnmp traphost add 10.159.213.9 #投入順に優先となる。間違えたらdeleteで削除\nsnmp で確認。traphosts:のところに表示される。\n\n* 便利な設定\n- 作業中にログアウトしないようにする\n-- options autologout.console.enable off\n\n* ブート時にSANが上がってなくてクラスタ参加できない場合の対処\n# iscsiadm -m node -T $(iscsiadm -m discovery -t sendtargets -p 10.159.215.83 | cut -d" " -f2) --login\n# iscsiadm -m session\ntcp: [1] 10.159.216.115:3260,1002 iqn.1992-08.com.netapp:sn.536916324 (non-flash) #張れてる場合\niscsiadm: No active sessions. #張れてない場合\nmount -a\nclstart)
** 無事LUNが見えるようになったが [#dc7f4b2b]
#pre{{
iscsi initiator show
Initiators connected:
TSIH TPGroup Initiator/ISID/IGroup
223 1002 sen-mlog02p (iqn.1994-05.com.redhat:9bad44853ae / 00:02:3d:03:00:00 / mlog)
224 1002 sen-mlog01p (iqn.1994-05.com.redhat:77c853ca4e68 / 00:02:3d:02:00:00 / mlog)
cat /proc/partitions で sdc が増えました。
その直後から、シリアル接続したコンソール画面上に約15秒周期で以下のメッセージが表示され続けます。
Wed May 27 20:31:36 JST [sen-mstr0101:iscsi.warning:warning]: ISCSI: New session request from initiator iqn.1994-05.com.redhat:9bad44853ae, a session from this initiator already exists.
Wed May 27 20:31:38 JST [sen-mstr0101:iscsi.notice:notice]: ISCSI: New session from initiator iqn.1994-05.com.redhat:9bad44853ae at IP addr 10.159.215.82
Wed May 27 20:31:39 JST [sen-mstr0101:iscsi.warning:warning]: ISCSI: New session request from initiator iqn.1994-05.com.redhat:77c853ca4e68, a session from this initiator already exists.
Wed May 27 20:31:41 JST [sen-mstr0101:iscsi.notice:notice]: ISCSI: New session from initiator iqn.1994-05.com.redhat:77c853ca4e68 at IP addr 10.159.215.81
Wed May 27 20:31:51 JST [sen-mstr0101:iscsi.warning:warning]: ISCSI: New session request from initiator iqn.1994-05.com.redhat:9bad44853ae, a session from this initiator already exists.
（以下繰り返し）
}};
** System Managerの起動（マニュアルより） [#z0eb0b8c]
- 開始する前に
-- Windows Server オペレーティング システムと Internet Explorer を使用している場合は、Internet
Explorer で、信頼済みサイトに http://127.0.0.1 を追加します。
-- プロキシ サーバを使用している場合は無効にします。
-- Linux システムを使用している場合は、Oracle Java Runtime Environment 7 （JRE 7）をインスト
ールし、デフォルトの JRE に設定する必要があります。
java -d32 -version コマンドおよび java -d64 -version コマンドを使用して、正しいバ
ージョンの JRE および関連付けられているプラットフォームを使用していることを確認すること
ができます。
-- VMware Fusion を使用して、Windows または Linux ゲスト OS を Mac OS 上で実行している場
合は、以下を確認します。
-- 共有フォルダ機能を無効にします。
-- ミラー フォルダ機能のデスクトップ オプションを無効にします。
-- Windows 7 および Windows Server 2008 を実行しているマシンで VPN 接続を利用して System
Manager にアクセスする場合は、Microsoft Web サイト（support.microsoft.com/kb/2750841）で
提供されている修正プログラムをインストールしておく必要があります。
* syslog-ng [#ad6669c8]
* syslog-ngで毎回DNSクエリを出さないようにする方法 [#e47c755e]
** 設定方法 [#l0122f05]
+ /etc/syslog-ng/syslog-ng.confに以下の行を追加。
options {
〜
use_dns(yes); #既に入ってる
dns_cache(yes); #これを追加
dns_cache_expire(86400); #DNSレコードの更新ペースを考えるとこのくらいで
〜
};
+ syslog-ngに反映させる。
/etc/init.d/syslog-ng reload
** 確認方法 [#ec8ee29d]
+ まず旧設定のままで、DNSクエリが飛ぶ事を確認する。
++ kra-mlog01でキャプチャを仕掛ける。
tcpdump -i eth1 -A -n port domain
++ syslog送信(例:kra-mrems01)からログを送信する。
+++ /etc/syslog.confに以下の設定を追加する（試験用）
local7.debug @10.159.213.12 #ログサーバ(kra-mlog01)のIP
+++ syslogデーモンに反映させる。
/etc/init.d/syslog reload
+++ syslogを送信する。
logger -p local7.debug "hoge $(date)"
++ キャプチャに
* sshログイン時に時間が掛かる問題 [#na92f4bd]
- 事象
-- sshログイン時に10秒くらい待たされる。以下の様な警告が出る。
reverse mapping checking getaddrinfo for kra-mlog01 [10.159.213.12] failed - POSSIBLE BREAK-IN ATTEMPT!
- 対処方法
-- /etc/ssh/sshd_config に "UseDNS no"を設定して、/etc/init.d/sshd restartで再起動。
- 対処方法（別観点）
-- sshのGSSAPI認証とやらが効いている模様。クライアント側の/etc/ssh/ssh_config（sshd_configじゃないよ）を修正する。
-- /etc/ssh/ssh_confg のGSSAPIAuthenticaton yes を no に変える。
* サポート連絡先 [#sdcb6010]
よく聞かれる情報
- 連絡先
-- 岡崎 広和
-- hirokazu.okazaki@east.ntt.co.jp
-- 03-5825-4956（DC内A0）
- バージョン情報
- バージョン情報★必須★
-- NetApp Release 8.2.2P1 7-Mode: Wed Oct 8 00:00:44 PDT 2014
--- 上記はシリアル接続して version コマンドで確認できる。
** 東芝ITサービス株式会社 [#m1206e6e]
- 0120-302-733
- mv@support-itsc.jp
- helpdesk@helpstation.jp (一般的な問い合わせはこっち)
- mv@support-itsc.jp (障害時にはこっちも追加)
- 蔵前
-- 契約番号: NTAP-T4601515519
-- 対象製品: 12057673
-- シリアル番号
--- 451451000198,451451000199
- 卸町
-- ご契約番号: NTAP-T4601515529
-- 対象製品: 12057710
-- シリアル番号
--- 451450000238,451450000239
- 有明
-- ご契約番号: NTAP-T4601515520
-- 対象製品: 12057603
-- シリアル番号
--- 451450000236,451450000237
*** 情報収集が必要な項目 [#reb3fcbf]
#pre{{
version
sysconfig -a
rdfile /etc/rc
ifconfig -a
cf monitor
}}
** netappホームページ [#ga6e261b]
http://mysupport.netapp.com
- アカウント: ntt_esight
- パスワード: kuraesig1#
#counter
