• Showing Page History #17219

Linux-PowerEdgeML ウォッチ

Linux-PowerEdgeのメーリングリストには、デル(Dell)製品のLinux関連情報が集まってきます。ここではMLで解決方法が見つかった話題を中心に要約を更新していきます。

代表的な略語

  • PE:PowerEdge
  • OMSA:Dell OpenManage Server Administrator
  • EPEL:Extra Packages for Enterprise Linux
  • RHEL:Red Hat Enterprise Linux
  • RHN:Red Hat Network
  • SLES:Novell Suse Linux Enterprise Server

メーリングリストへの参加方法

  1. メーリングリストのページにアクセス
  2. ページ中ほどにある「Subscribing to Linux-PowerEdge」のところで、メールアドレスとパスワードを入力して、「Subscribe」ボタンを押す(このパスワードは厳密な管理をされない、念のための確認キーワードのようなものなので、使い捨てのパスワードなどを登録したほうが良い)
  3. すぐに(ちょっとしてから)「linux-poweredge-request@dell.com」から「confirm~」というタイトルで確認メールが届く(迷惑メールと判断されやすいので注意)。メール内に記載された「http://lists.us.dell.com/mailman/confirm/linux-poweredge/~」というリンクをクリックする
  4. またすぐに(ちょっとしてから)「linux-poweredge-request@dell.com」から「Welcome to the "Linux-PowerEdge" mailing list~」というメールが届いて完了

2008年の要約

2007年分の要約

簡単なスクリプトを書いて「omreport chassis」を利用している。nagiosexchangeを使っている。ストレージはcheck_dell_omreportを使い、ほかのものはnagiosexchangeのIPMIプラグインを使っている。

YUMの設定を変えるには、/etc/yum.repos.d/dell-hw-indep-repository.repoと/etc/yum.repos.d/dell-hw-specific-repository.repoのrepo_configにおいて、「repo_config=$repo_config」となっているところを「repo_config=OMSA_5.4」のようにすれば試せる。

同じ問題が起こってOMSAをアンインストールして回避した。これはこのバージョンのドライバのバグである。

/etc/logrotate.d/omsa-ttyに対して、シンプルなスクリプトを書きログを圧縮する。このファイルにはPERC5の重要なデバッグ情報があるので、無効にすると解析できなくなる。

megaraid_sasドライバは新しいカーネル、initrdのイメージに含まれている。新しいカーネルを導入し、それで起動するようにすればいい。

Linuxの場合、root権限でブラウザを起動しなければならない。root権限であればプラグインはインストールされる。これは、プラグインがユーザーディレクトリではなく、システムディレクトリのほうにインストールしようとしてしまうためだ。

PERCのBIOSのバージョンが古すぎるためだ。ツールでは5.2.1-0060以上が要求されているのに5.0.1-0030になっている。

「ia64」となっているのはItaniumマシン用だ。64ビットの場合はx86_86を使う。

同じような症状をFedoraとRHEL 5(プレリリースバージョン)で見たことがある。この場合は、ボリュームグループを使わずに、ドライブのパーティションを使えば解決する。

おそらく以前あった問題で、TCPのSYN+RSTが送信されたときに起きてしまうバグだ。ファームウェアのバージョン1.60で修正されているので、これをsupport.dell.comからダウンロードして導入してみてほしい。

PERC5とPERC6のPCI IDは異なる。別のPERC6という名の異なる製品が別のPCI IDで登場する可能性はある。以前使っていたPCI IDで新しいPERC6をリリースすることはない。

ワーニングをすべて消すには、「omconfig system esmlog action=clear」とする。「omreport system esmlog」を見てはいかがだろう。

mpt-status(http://www.drugphish.ch/~ratz/mpt-status/)を利用するか、OMSA-SM(OpenManage Server Administrator Storage Management)を導入して、「omreport storage pdisk controller=0」と実行すればいい。

大きいサイズのものも使える。交換もできる。ただし、はみ出した部分は無駄になる。ディスクを取り除くのはディスクをだめにする。

ストレージなので「omreport storage battery」と実行する。megactlでも情報は取れる。

サポートされているのは、RHELとSLESだけだ。Fedora 6はサポートされていないので、手動でインストールする必要がある。

SAS5iRにはCtrl+Cキーで起動するROMの設定ユーティリティがある。SAS5iRはLSIコントローラチップをベースとしているが、mptではない。sys-block/mpt-statusを利用してみるといいと思う。http://packages.gentoo.org/package/sys-block/lsiutilをチェックアウトすればよい。

おそらくgrubが/dev/sdaにインストールされていて、SysBIOS/PERCの設定がそれとは異なり、違うボリュームから起動しようとしている状態なのだと思う。PERC4の設定を見直したところ、うまく起動できた。

まずarpingを使ってみて欲しい。これができなければ物理的な接続の問題だ。問題ないようなら次にクロスケーブルで直接ホストを接続して「-I」オプションを使って接続テストをしてみる。これがうまくいかなければIPアドレスの設定の問題だと思う。それで問題ないようならスイッチなどを疑ってみる。

PowerEdge 2500ではIPMIは利用できない。IPMIをサポートしたマシンのリストはhttp://linux.dell.com/ipmi.shtmlにある。

  • [ 2008/3/11 PowerEdge 2850上のCentOSにOMSAをインストールしようとしたら途中でエラーが出て完了している。これで正しいのか?]

Dell Update Packagesがいくつかのパッケージをインストールしなかった、異なる場所にインストールしてしまったためのようだ。これまで見たことのない症状だったが、対処方法はわかった。

8つのディスクをRAID0として構成すればいい。RAID 0はメタデータのためにディスクの後ろ側を使っていて容量が減る。移動ではなく再構築すればうまく動く。

リリースノートを見てほしい。ドライバは、http://linux.dell.com/repo/hardware/OMSA_5.3/pe2950/rh50_64/sas_raid/r169676/にある。DebianでDKMSを使うには、移植されたDKMSのdebパッケージを導入し、ドライバをダウンロードしてからalienでdebパッケージを作りインストールする。ドライバモジュールを直接コピーしてはいけない。最後にバージョンをチェックして、リブートすれば完了だ。

5.1から5.2のときはうまくいったが、同じような問題が起こっている。yumツールはときどき、キャッシュがおかしくなる。「yum clean all」を実行してから再度行ってはどうか? それで解決できることがある。CentOS 4の場合は、/etc/yum.confに「plugins=1」を追加する必要があった。

SAS 5/eならソフトウェアRAIDツール、PERC 5/eならOMSAになるだろう。SAS 5/eでも利用できると思うが、サポート対象外だ。MD1000はPERC5/eもしくはPERC6/eを利用する。そしてBIOSのツールか、OpenManageMegaCliで構築できる。PERC 5/eを導入して解決した。

EPELにshorewall 4.0.8-3がある。http://wiki.centos.org/Repositoriesが参考になるだろう。

おそらくBIOSのバージョンをあげる必要がある。A04は機能している。BIOSのバージョンをアップグレードしたら解決した。

同じような問題があった際、CentOSのライブCDから起動してBIOSをアップデートして解決した。Debian EtchはOMSAの利用もPERCのアップデートも問題ないが、BIOSのアップデートはできない。カーネルに関係した問題のようだ。カーネルオプションで「reboot=bios」もしくは「reboot=b」を付けて起動してからBIOSをアップデートしたらうまくいった。同じDebianでもノーマルの2950と2950Ⅲでは挙動が異なるようだ。オプションなしでアップデートしたらうまくいった。http://linux.dell.com/wiki/index.php/Tech/libsmbios_dellBiosUpdateに手順をまとめた。

ファームウェアが要求するドライバのバージョンがより新しいためだ。いま問題がなくても、ドライババージョンをそのままにしておくというのは将来問題が起こる可能性がある。

ちょうどfirmware-tools-devel@lists.us.dell.comで議論していたのだが、dell-lsiflashとdell-bmcflashパッケージは破棄され、dell-dupに置き換わった。関連トラブルに遭遇したみなさん。問題を解決した新しいパッケージをリリースした。

IPMIのカーネルモジュールが動いていることが必要だ。最低限、ipmi_si.ko、ipmi_devintf.ko、ipmi_msghandler.koは必要で、/dev/ipmi0 (iirc)デバイスも必要だ。

libsmbios(libsmbios-bin)のserviceTagを使ってみてはどうか? 同じように1750でも交換したマザーボードにサービスタグがなかったが、serviceTagのhtlpをみるとassetタグを変えるように見えるが。それはhelpの間違いだ。直しておく。サービスタグを設定しておかないと、GUIDではまる。多くのDell製品は、PXEのGUIDでベースとしている。

アップデートのパッケージチェック、インストール、適用はそれぞれ別だ。/usr/sbin/up2date --update --dry-runはチェックのみ。パッケージのインストールは「--dry-run」なしで。「up2date --solvedeps=$(bootstrap_firmware -u)はそのシステムのBIOSとPERCのパッケージをインストールする。ファームの適用はupdate_firmwareコマンドで行う。

omconfigだけでなく、アップデートしたipmitoolでも変更可能。これはハードウェアリポジトリに入っている。

新しいアップデートツール郡をアップした。これを使えばうまくいくと思う。アップデートの実行前に「rpm -e dell-lsiflash --nodeps」としてほしい。

http://linux.dell.com/wiki/index.php/Repository/firmwareのリポジトリを使うといい。いま(3/6時点で)すべてのアップデートを反映させた。

カーネルを新しいものにし、initrdを作り直し、scsi_mod option max_luns=254を設定し、再起動をかけたらうまくいった。max_lunsを使うときは注意が必要だ。

いまのところはECCでリカバーできているが、メモリを交換したほうがいい。私も2650で同じ症状になったことがあって、メモリのコネクタをイソプロピレンできれいにしたら解決できたことがある。

コントローラのメモリに残っている何らかの書き込みキャッシュを保持するためだろう。

dmidecodeを実行すればいい。

firmware-extractを削除しみてほしい。firmware-extractはインストールされていない。この問題はdell-repo-toolsパッケージが変わったためだ。dell-repo-toolsを削除してみてほしい。それでうまくいった。

/etc/udev/rules.d/以下の設定でMACアドレスとの対応を記述すればいい。

Windowsはどうかわからないが「IF-MIB::ifSpeed」か「.1.3.6.1.2.1.2.2.1.5」を指定しみてはどうか? 少なくともWindows 2003と2000のSNMPエージェントでは動作するようだ。その方法でCentOSもWindowsもうまくいった。

CentOSと同じRHEL 5.1をPowerEdge 2600に導入したが、とくに必要なことはない。OMSAも導入できているが、PowerEdge 6600と同様にipmiドライバのロードに問題がある
http://lists.us.dell.com/pipermail/linux-poweredge/2007-December/034028.html)。私は起動しないように設定した。

MD 3000iではないが、2.6.22カーネルで、InfortrendのRAIDシステムでは高付加をかけなければ動作している。cp程度なら問題ないが、bonnie++でだと失敗する。2.6.25ではiSCSIの問題が修正されているようだ。open-iscsiのメーリングリストで聞いてみたところ、open-iscsiの2.0-868-rc1ではバックポートされたドライバが入っているそうだ。2.6.25-rc2を試してみたところ、うまく動いた。

できない。同じVirtual Disk上でSASとSATAを混在することはできない。

Googleで「site:lists.us.dell.com/pipermail/linux-poweredge/」とすればいい。Gentooをキーワードにすると495件のヒットがある。http://marc.info/?l=linux-poweredge&r=1&w=2をチェックしてみてはどうか? 監視にはOMSAを導入するのがベストだ。Gentooはデルがサポートしていないものなので、導入は面倒かもしれない。

「omreport chassis slots」の出力は以下のとおり。4xが1つと8xが1つあるということか。

おそらくは、DRAC5が搭載されていない。起動時に表示されているのはBMCのものだろう。BMCのドキュメントはどこにあるか? http://support.dell.com/support/edocs/software/smbmcmu/BMCMU_3_0/en/index.htmcで見つけることができるだろう。

Webインターフェイス(srvadmin-iws)のいくつかでJavaを使っている。

IPMIのリクエスト先がプライベートアドレスなら、TCP/UDPの639ポートを1対1対応で送信できるようにしておかなければならない。TCPも有効にしたらうまくいった。

OMSAをインストールしたら、/etc/snmp/snmpd.confを編集し、「trap2sink」と送り先のIPアドレスを記述する。それからsnmpdを再起動すればいい。もちろんテストは行おう b

32ビット版を利用しているなら、hugemem/PAEカーネルが必要だ。ネイティブに対応させたいのであれば、amd64版を導入する。

一般にストレージのドライバを更新したら再起動の必要がある。該当のドライバが何からも参照されていなければ、「modprobe -r」としてドライバをアンロードし、modprobeコマンドで再読み込みする方法もある。再起動したらうまく動いている。

AdaptecベースのコントローラはSLES環境ではサポートされていない。

CentOS5がいいと思う。そのマシンでよく動いているし、最初にリポジトリに対応している。FAQもたくさんある。

32ビットならしかたがない。64ビットにするか、32ビットのままにしたければ「aptitude install linux-modules-2.6.18-6-686-bigmem」として64GBメモリをサポートしたカーネルを導入する。iptableやXFSを使わなければ64ビットのほうがいい。

PowerEdge 1650でも同じ症状になった。私は解決できなかったが、1ついえることは、リモートから操作しているなら再起動してはいけない。再起動するとそこで止まってしまい操作できなくなる。サービス起動の無効化を先にやっておこう。/etc/modprobe.confで「options ipmi_si_drv force_kipmid=0」と記述してはどうか? CentOS5のカーネル2.6.18-53.1.13.el5の環境でも同じことが起こった。http://bugzilla.kernel.org/show_bug.cgi?id=9793によると、カーネル2.6.19以前ではこの不具合はないらしいので、Red Hatによるバックポートよるものかもしれない。2.6.18-8.1.15.el5に戻せばIPMIもOMSAも機能している。

「omreport storage pdisk controller=0」ではどうか? だめだ。dsm_sa_ipmiデーモンの起動は確認したか? 動いているがだめだ。「/etc/init.d/dataeng stop」「modprobe mptctl」「/etc/init.d/dataeng start」としてみたらどうか? これで解決できた。

容量制限はわからないが、そのコントローラはパフォーマンスに問題がある。6チャンネルのCERCで5×500GBの構成は機能している。5MB/秒というパフォーマンスのMegaraidのカードは代えたほうがだった。

PERC 6/iはOMSA 5.3からの対応になる。5.3はhttp://ftp.us.dell.com/sysman/OM_5.3.0_ManNode_A00.tar.gzから入手できる。

PCI-XのUltra320 SCSIのコントローラはAdaptecのファームウェアで、PCI-EのはLSIのだ。39320AはAdaptecだ。

10.20.0.41はBMCをカスタマイズしたものか? そうだ。原因がわかった。ほかのNICに同じIPアドレスを割り当ててしまっていた。

PCI-e SCSIカードを購入する必要があるう。個人的には、Adaptec 29320をお勧めする。テープドライブには信頼性が求められるからだ。PCI-xライザーカードを使う方法もあるだろう。

MegaCtlやipmitoolsを利用するのがいい。先日OpenManageから乗り換えたところだが、よく機能している。このツールはbiludにはないので、もっと宣伝したほうがいい。いま取り込まれた。

再起動してから実行してみるといい。8世代(x8xx)やそれより以前のマシンは、BIOSアップデートで物理的に連続したメモリを必要とする。長時間稼動していたマシンだと、連続した領域の確保は難しい。9世代(x9xx)以降のマシンであれば、この制限はなくなっている。また、BIOSでOS Install Modeにしてはいけない。

私のところでも似たような問題が起きた。それはPERC5/iを使い、ファームウェアのバージョンが5.0.xxというものだった。ファームウェアを5.2.1-0067にアップデートしたところ、それ以来問題がなくなっている。

ファームのアップデートやデルがサポートするOSインストールを補助するSBUUがあるが、これは必須ではない。

できる。家のマシンではきちんと動作している。

シャーシのファンのスピードは操作できない。温度センサーによってボード上のコントローラが決める。

BogoMIPSはパフォーマンスを見るための値ではない。

seth vidal氏がスクリプトを作ってくれている。

OMSAをインストールし、「omconfig chassis frontpanel lcdindex=0 config=custom text=YOURTEXT」とコマンドを実行すればよい。

IT Assistantを熟知している同僚からのアドバイスを紹介しよう。

マザーボードがサポートしている必要がある。PowerEdge 2950の本体前面に「II」のマークはあるだろうか? なければ、その本体は新しいClowertownクワッドコアCPUをサポートしていない。「Ⅱ」のマークがあるが、ダメだ。Energy Smartサーバーならlow powerとDBSをチェックし、NVRAMをクリアしてみては。2月1日に2.1.1のBIOSがリリースされている。これが該当しそうだが。まさにこれだ。

x16のPCIスロットがないため、カードは慎重に選ぶ必要がある。たとえばこのカードはどうだろうか? 2850でRadeon 7000と9250のカードを使っていたことがあり、オンボードのビデオはBIOSで無効にした。glxgearsで850fpsと800fpsの値がでた。

「ipmitool sel list」コマンドを使ってみてはどうか? 「ipmitool sel elist」としたほうがいい。独立したセンサーを読みたいのなら「ipmitool sensor get "PROC Fan"」のようにIDではなく、センサーの名前を指定する。

nostorageオプションを試してみてはどうだろうか? ターゲットのディスクの認識を手動で行う必要はあるが。noprobeよりはいくつかの手間が省けるだろう。

チートをしていなければ、LVM+RAID1のほうが遅いものだ。一般にRAID1はシングルディスクに比べ、書き込みが遅く、リードが速くなる。また、LVMでもちょっとのオーバーヘッドがある分遅くなる。

無理にオンラインにしてはいけない。データを失ってしまう。このエラーが出た場合は、リビルドやBIOSのアップデートでは直らない。HDDを交換してリビルドが完了したら、残りのHDD上から、RAIDコントローラのファームウェアとドライバをアップデートする。

Broadcomのサイトでは5721はサポートしていないが、5703Sといくつかの57xxはサポートしているとなっている。Dellサイトの記載が間違っており、修正した。

net-snmp 5.4.1にアップデートしたほうがいい。それで問題なく動いている。RedHat標準のnet-snmpsはさまざまな理由からよくない。centosplusカーネルがよくなかったようだ。ノーマルのRHEL5のカーネルに変えたら動作した。

ちょうど作業が終わったところで、いまは実行できる。

MegaCLIはSAS iRコントローラをサポートしていない。OMSAはPERC 3/4/5/6、CERC、SAS 5/6で機能しているので、これを使うことを勧める。CLIツールのmptfusion/mptsasを使えば、状態を取得できる。

6850用のLinux用とWindows用の診断ツールがある。Server AssistantかSystems Build cd/dvdから起動してユーティリティパーティションにインストールするか、OSのインストールディスクで起動してからHDD上のOSをマニュアル起動させて、利用するといい。

マニュアルを読んだらあった。BIOSでシリアルポートをRACに向ける設定が必要だった。

/etc/redhat-releaseをRed Hat Enterprise Linuxと同じように修正しているか? CentOSがサポートされていないOSだとすっかり忘れていた。修正したらうまくいった。