• Showing Page History #15063
  • Showing Page History #14931

Linux-PowerEdgeML ウォッチ

Linux-PowerEdgeのメーリングリストには、デル(Dell)製品のLinux関連情報が集まってきます。ここではMLで解決方法が見つかった話題を中心に要約を更新していきます。

omconfigだけでなく、アップデートしたipmitoolでも変更可能。これはハードウェアリポジトリに入っている。

新しいアップデートツール郡をアップした。これを使えばうまくいくと思う。アップデートの実行前に「rpm -e dell-lsiflash --nodeps」としてほしい。

http://linux.dell.com/wiki/index.php/Repository/firmwareのリポジトリを使うといい。いま(3/6時点で)すべてのアップデートを反映させた。

カーネルを新しいものにし、initrdを作り直し、scsi_mod option max_luns=254を設定し、再起動をかけたらうまくいった。max_lunsを使うときは注意が必要だ。

いまのところはECCでリカバーできているが、メモリを交換したほうがいい。私も2650で同じ症状になったことがあって、メモリのコネクタをイソプロピレンできれいにしたら解決できたことがある。

コントローラのメモリに残っている何らかの書き込みキャッシュを保持するためだろう。

dmidecodeを実行すればいい。

firmware-extractを削除しみてほしい。firmware-extractはインストールされていない。この問題はdell-repo-toolsパッケージが変わったためだ。dell-repo-toolsを削除してみてほしい。それでうまくいった。

/etc/udev/rules.d/以下の設定でMACアドレスとの対応を記述すればいい。

Windowsはどうかわからないが「IF-MIB::ifSpeed」か「.1.3.6.1.2.1.2.2.1.5」を指定しみてはどうか? 少なくともWindows 2003と2000のSNMPエージェントでは動作するようだ。その方法でCentOSもWindowsもうまくいった。

CentOSと同じRHEL 5.1をPowerEdge 2600に導入したが、とくに必要なことはない。OMSAも導入できているが、PowerEdge 6600と同様にipmiドライバのロードに問題がある
http://lists.us.dell.com/pipermail/linux-poweredge/2007-December/034028.html)。私は起動しないように設定した。

MD 3000iではないが、2.6.22カーネルで、InfortrendのRAIDシステムでは高付加をかけなければ動作している。cp程度なら問題ないが、bonnie++でだと失敗する。2.6.25ではiSCSIの問題が修正されているようだ。open-iscsiのメーリングリストで聞いてみたところ、open-iscsiの2.0-868-rc1ではバックポートされたドライバが入っているそうだ。2.6.25-rc2を試してみたところ、うまく動いた。

できない。同じVirtual Disk上でSASとSATAを混在することはできない。

Googleで「site:lists.us.dell.com/pipermail/linux-poweredge/」とすればいい。Gentooをキーワードにすると495件のヒットがある。http://marc.info/?l=linux-poweredge&r=1&w=2をチェックしてみてはどうか? 監視にはOMSAを導入するのがベストだ。Gentooはデルがサポートしていないものなので、導入は面倒かもしれない。

「omreport chassis slots」の出力は以下のとおり。4xが1つと8xが1つあるということか。

おそらくは、DRAC5が搭載されていない。起動時に表示されているのはBMCのものだろう。BMCのドキュメントはどこにあるか? http://support.dell.com/support/edocs/software/smbmcmu/BMCMU_3_0/en/index.htmcで見つけることができるだろう。

Webインターフェイス(srvadmin-iws)のいくつかでJavaを使っている。

IPMIのリクエスト先がプライベートアドレスなら、TCP/UDPの639ポートを1対1対応で送信できるようにしておかなければならない。TCPも有効にしたらうまくいった。

OMSAをインストールしたら、/etc/snmp/snmpd.confを編集し、「trap2sink」と送り先のIPアドレスを記述する。それからsnmpdを再起動すればいい。もちろんテストは行おう b

32ビット版を利用しているなら、hugemem/PAEカーネルが必要だ。ネイティブに対応させたいのであれば、amd64版を導入する。

一般にストレージのドライバを更新したら再起動の必要がある。該当のドライバが何からも参照されていなければ、「modprobe -r」としてドライバをアンロードし、modprobeコマンドで再読み込みする方法もある。再起動したらうまく動いている。

AdaptecベースのコントローラはSLES環境ではサポートされていない。

CentOS5がいいと思う。そのマシンでよく動いているし、最初にリポジトリに対応している。FAQもたくさんある。

32ビットならしかたがない。64ビットにするか、32ビットのままにしたければ「aptitude install linux-modules-2.6.18-6-686-bigmem」として64GBメモリをサポートしたカーネルを導入する。iptableやXFSを使わなければ64ビットのほうがいい。

PowerEdge 1650でも同じ症状になった。私は解決できなかったが、1ついえることは、リモートから操作しているなら再起動してはいけない。再起動するとそこで止まってしまい操作できなくなる。サービス起動の無効化を先にやっておこう。/etc/modprobe.confで「options ipmi_si_drv force_kipmid=0」と記述してはどうか? CentOS5のカーネル2.6.18-53.1.13.el5の環境でも同じことが起こった。http://bugzilla.kernel.org/show_bug.cgi?id=9793によると、カーネル2.6.19以前ではこの不具合はないらしいので、Red Hatによるバックポートよるものかもしれない。2.6.18-8.1.15.el5に戻せばIPMIもOMSAも機能している。

「omreport storage pdisk controller=0」ではどうか? だめだ。dsm_sa_ipmiデーモンの起動は確認したか? 動いているがだめだ。「/etc/init.d/dataeng stop」「modprobe mptctl」「/etc/init.d/dataeng start」としてみたらどうか? これで解決できた。

容量制限はわからないが、そのコントローラはパフォーマンスに問題がある。6チャンネルのCERCで5×500GBの構成は機能している。5MB/秒というパフォーマンスのMegaraidのカードは代えたほうがだった。

PERC 6/iはOMSA 5.3からの対応になる。5.3はhttp://ftp.us.dell.com/sysman/OM_5.3.0_ManNode_A00.tar.gzから入手できる。

PCI-XのUltra320 SCSIのコントローラはAdaptecのファームウェアで、PCI-EのはLSIのだ。39320AはAdaptecだ。

10.20.0.41はBMCをカスタマイズしたものか? そうだ。原因がわかった。ほかのNICに同じIPアドレスを割り当ててしまっていた。

PCI-e SCSIカードを購入する必要があるう。個人的には、Adaptec 29320をお勧めする。テープドライブには信頼性が求められるからだ。PCI-xライザーカードを使う方法もあるだろう。

MegaCtlやipmitoolsを利用するのがいい。先日OpenManageから乗り換えたところだが、よく機能している。このツールはbiludにはないので、もっと宣伝したほうがいい。いま取り込まれた。

再起動してから実行してみるといい。8世代(x8xx)やそれより以前のマシンは、BIOSアップデートで物理的に連続したメモリを必要とする。長時間稼動していたマシンだと、連続した領域の確保は難しい。9世代(x9xx)以降のマシンであれば、この制限はなくなっている。また、BIOSでOS Install Modeにしてはいけない。

私のところでも似たような問題が起きた。それはPERC5/iを使い、ファームウェアのバージョンが5.0.xxというものだった。ファームウェアを5.2.1-0067にアップデートしたところ、それ以来問題がなくなっている。

ファームのアップデートやデルがサポートするOSインストールを補助するSBUUがあるが、これは必須ではない。

できる。家のマシンではきちんと動作している。

シャーシのファンのスピードは操作できない。温度センサーによってボード上のコントローラが決める。

BogoMIPSはパフォーマンスを見るための値ではない。

seth vidal氏がスクリプトを作ってくれている。

OMSAをインストールし、「omconfig chassis frontpanel lcdindex=0 config=custom text=YOURTEXT」とコマンドを実行すればよい。

IT Assistantを熟知している同僚からのアドバイスを紹介しよう。

マザーボードがサポートしている必要がある。PowerEdge 2950の本体前面に「II」のマークはあるだろうか? なければ、その本体は新しいClowertownクワッドコアCPUをサポートしていない。「Ⅱ」のマークがあるが、ダメだ。Energy Smartサーバーならlow powerとDBSをチェックし、NVRAMをクリアしてみては。2月1日に2.1.1のBIOSがリリースされている。これが該当しそうだが。まさにこれだ。

x16のPCIスロットがないため、カードは慎重に選ぶ必要がある。たとえばこのカードはどうだろうか? 2850でRadeon 7000と9250のカードを使っていたことがあり、オンボードのビデオはBIOSで無効にした。glxgearsで850fpsと800fpsの値がでた。

「ipmitool sel list」コマンドを使ってみてはどうか? 「ipmitool sel elist」としたほうがいい。独立したセンサーを読みたいのなら「ipmitool sensor get "PROC Fan"」のようにIDではなく、センサーの名前を指定する。

nostorageオプションを試してみてはどうだろうか? ターゲットのディスクの認識を手動で行う必要はあるが。noprobeよりはいくつかの手間が省けるだろう。

チートをしていなければ、LVM+RAID1のほうが遅いものだ。一般にRAID1はシングルディスクに比べ、書き込みが遅く、リードが速くなる。また、LVMでもちょっとのオーバーヘッドがある分遅くなる。

無理にオンラインにしてはいけない。データを失ってしまう。このエラーが出た場合は、リビルドやBIOSのアップデートでは直らない。HDDを交換してリビルドが完了したら、残りのHDD上から、RAIDコントローラのファームウェアとドライバをアップデートする。

Broadcomのサイトでは5721はサポートしていないが、5703Sといくつかの57xxはサポートしているとなっている。Dellサイトの記載が間違っており、修正した。

net-snmp 5.4.1にアップデートしたほうがいい。それで問題なく動いている。RedHat標準のnet-snmpsはさまざまな理由からよくない。centosplusカーネルがよくなかったようだ。ノーマルのRHEL5のカーネルに変えたら動作した。

ちょうど作業が終わったところで、いまは実行できる。

MegaCLIはSAS iRコントローラをサポートしていない。OMSAはPERC 3/4/5/6、CERC、SAS 5/6で機能しているので、これを使うことを勧める。CLIツールのmptfusion/mptsasを使えば、状態を取得できる。

6850用のLinux用とWindows用の診断ツールがある。Server AssistantかSystems Build cd/dvdから起動してユーティリティパーティションにインストールするか、OSのインストールディスクで起動してからHDD上のOSをマニュアル起動させて、利用するといい。

マニュアルを読んだらあった。BIOSでシリアルポートをRACに向ける設定が必要だった。

/etc/redhat-releaseをRed Hat Enterprise Linuxと同じように修正しているか? CentOSがサポートされていないOSだとすっかり忘れていた。修正したらうまくいった。

ロードならcheck_snmp_loadというプラグインがある。パフォーマンスを見たいなら、操作と監視を分け、net-snmpを使うのがいい。

デルから提供されているMIBを利用すればいい。ヴァーチャルディスクの場合、OMSAがインストールされていれば、/opt/dell/srvadmin/sm/mibs/dcstorag.mibにあるはず。/opt/dell/srvadmin/omsa/mibs/や/opt/dell/srvadmin/rac5/mibs/なども参考に。SNMPのリファレンスガイドもある。

DRACにローカルアクセスできるなら、System > Main System Chassis > Remote AccessでDRACの情報にアクセスできる。OMSAがインストールされていれば、「racadm getsysinfo」、「racadm getniccfg」、「omreport chassis remoteaccess」というコマンドで調べる手もある。

<kernel-source>/Documentation/networking/bonding.txtに情報がある。

Firefoxでうまく見えた。IE7ではProxyソフトウェアを利用するように設定していて、これがOMSAへのアクセスをブロックしていたようだ。設定を見直してみる。

いまそのようなプロジェクトをやっているところだが、Windowsを使う構成は良くない印象を持っている。私はNFSとSMBのサーバーを構成し、ネイティブプロトコルを使っている。NFSのほうが高速で、CIFS経由より信頼できるだろう。

64ビットは4GB以上のメモリが使えることが利点。計算やDBを使うところでは有用だ。大規模なサイトでは64ビットで運営している。クライアント向けには64ビットであるメリットは少ない。商用アプリケーションのようなバイナリしか配布していないものなどでは、64ビットに対応していないこともある。

omreportは使わずに、dmidecodeを使って「dmidecode | grep -i serial」のようにしたほうがいい。デルの公式見解ではlibsmbiosで取得することとなっている。dmidecodeは信頼できない。

support.dell.comにOpenManage Client Instrumentation applicationというのがある。

「/etc/init.d/dataeng enablesnmp」と実行すればいい。

そのエラーはprocmailがインストールされていないためだ。

OMSAのRPMパッケージが32ビットライブラリに依存していることをきちんと反映できるように改善をしているところだ。OMSAが32ビットなのは、64ビットにするメリットがないためだ。やがてこれはかわるだろう。

http://download.adaptec.com/pdfs/user_guides/aar2410Sa_iug.pdfやhttp://download.adaptec.com/pdfs/user_guides/sata-scsi_raid_iug.pdfを参照。OpenはUnix Openedの意味。Validはvalid containerの意味で、Linuxから認識され、マウントのようなクエリーがあったことを意味する。

バージョン5.1.1-0040も問題がある。5.2.1-0067は良好だ。Debian etchで5.1.1-0040から5.2.1-0067へのアップデートはうまくいった。

RAIDコントローラは関係ない。ディスク領域はLVMで管理している。

EMCpower.LINUX-5.0.1-022.rhel5.x86_64.rpmをインストールして、powermtコマンドでセットアップしていけばよい。

NRPE(Nagios Remote Plugin Executor)を使って、このスクリプトを動作させるのはどうか。cronでipmitoolの出力をファイルに落とし、このスクリプトでチェックする。

利用できる。PowerEdge 840はBroadcom 5721Jであり、DOSツールのb57udiagや、WindowsのBACS2(Broadcom Advanced Control Suite 2)、Linuxのethtoolから設定する。

それはLVMの仮想ボリュームとなっているため。LVM関連のコマンドで操作すればいい。

バージョン5.1.1-0040も不安定。5.2.1-0067は安定しているようだ。

ルートファイルシステムがリードオンリーでマウントされていたためのようだ。BIOSファイルにはBIN形式のものであればDebianでも使えるはず。DebianでOMSAを使う話は、https://subtrac.rc.sara.nl/oss/omsa_2_debにまとめてある。

LSIベースのRAIDコントローラならmegaCLIが使える。PERC/2 (IIRC)とCERCはAdaptecのチップセットで、afacliが使える。Zenossを使う方法もある。これは、SNMPでトラップして、Emailを送れる。OMSA向けのNRPEプラグインも使える。

/etc/init.d/dataengの前に「modprobe mptctl」を実行する必要がある。Webインターフェイスを利用するには、32ビットのPAMが必要だった。また、ファームウェアは最新のものにアップグレードする。RHEL用となっているBINファイルはDebianでも動作するだろう。

ずばり、MegaCLIを使う。

最新のシステムBIOSもlinux.dell.comのリポジトリに追加した。

カーネルオプションの「root」が間違っているのではないだろうか? そのとおり「root=LABEL=/1」とすべきところが「root=LABEL=/」だった。

同じような経験をした。この問題は、コントローラのライトキャッシュの設定で解決した。この際、OMSAを使ってはいけない。DellのドライバTARファイルにあるlsiutilを使う。詳細はhttp://kerneltrap.org/mailarchive/openbsd-misc/2007/7/15/152340を参照。

http://backuppc.sourceforge.net/faq/BackupPC.html#other_installation_topicsを参考にするといい。もしくはボリュームやパーティションイメージでコピーするのはどうだろうか。

最新のcheat sheetはhttp://tools.rapidsoft.de/から入手できる。直リンクはhttp://tools.rapidsoft.de/perc/perc-cheat-sheet.pdf。

アイドル時で375MHzが199~207W、3GHzが203~209W、フルロード時で375MHzが210W、3GHzが255W~262W。P4-clockmodでいくらかのW数は下がるが、タスクが終了するのにとても長い時間がかかるので、消費電力を抑えたことにはならない。

http://www.vmware.com/pdf/vi3_systems_guide.pdfやhttp://support.dell.com/support/edocs/software/eslvmwre/で確認するとよい。

Func(https://hosted.fedoraproject.org/projects/func/)にはSMARTをリモートから監視するモジュールがいくつか含まれている。

RHEL 5.0のExt3に8TBの制限があるが、5.1では16TBまでサポートしている。ただし、フォーマットの際「-F」オプションが必要。

残念ながらできない。1つないし複数のスイッチでPrivate VLANを構成する機能はない。

WSにはDNSとDHCPのパッケージが用意されていない。ASとES向けにはある。バージョン番号が古くても最新の修正が適当されていることもある。CVEの適用状況を確認したければ、「rpm -q --changelog bind|grep 'CVE XXX-XXX'」とすればよい。

DRACのWebインターフェイスやOMSAから変更できる。ただし、VMware ESX上のOMSAは簡単ではない。

そのとおり。自動でマウントさせるためには、GNOME環境であればgnome-volume-managerがデフォルトで動作しているはず。KDEの場合にこれを動作させるには、手動で起動・設定する。

linux.dell.comにCentOSにOMSAの入ったLive CDがあるので、それから起動してログを取り、Dell Techに送れば原因がわかるかもしれない。交換したハードディスクがちょっとだけセクタが足りないなど、原因はたくさん考えられる。PERCのBIOSにCrtl+Aキーで入って、「SCSI Disk Utilities」から表面チェックができる。

URLはhttp://wiki.mandriva.com/en/Docs/SysAdmin/Dell_OpenManage。

カーネルのI/Oサブシステムのパラメータを適切に設定する必要がある。デフォルト設定はおそらくデスクトップ用。deadlineに設定するのが良い。

Dell Product Configuration Calculatorが参考になる。ファンも電源消費の大きな要素であり、ラック内の温度が高いとファンがフル回転して電源を消費してしまう。メモリを減らす、そもそもデータセンターを変えたほうがいいのでは?

fdiskなどでパーティションを変更した際には、通常はカーネルに読み込ませるために再起動が必要だが、partprobeコマンドが使える場面がある。SCSIコントローラを再認識させるには、Red Hat系のOSなら「echo "scsi scsi-scan-devices" > /proc/scsi/scsi」とする方法がある。

いくつかのhdparamコマンドの結果が投稿される。hdparamでは正確な値を計測できないので、ddコマンドでの値を紹介。

いくつかの理由によって、RAIDのステイタスはIPMIにマップされていない。MegaCliとNRPE2を使う必要がある。

OMSAでの警告送付は主にSNMPを使っているので、ローカルでsnmptrapdを動作させれば、メールを送ることができる。

SCSIコントローラなので、2TBの制限がある。もし、2TB以上を構成するのなら、VDを2つ以上構成してから、それらをソフトウェアRAIDかLVMで結合する必要がある。

PERCはより多くのRAIDレベルをサポートし、キャッシュがあり、ホットスペアにも対応する。SASにはない。一般にPERCのほうがSAS iRより優れている。

EMCのサポートがあるからだろう。承認されたものしかサポートしない。PE1855と1955のDebianで問題なく動いている。ロードバランサやフェイルオーバーを機能させたいのなら、multipath-toolsパッケージの導入が必要。

シングル・マルチの両方のビットエラーを監視できる。メモリのテストなら、Dell MPmemoryを使って欲しい。これはmemtest86を改良したものだ。起動時にBIOSがメモリを確保しているため、通常のmemtest86は利用できない。MPmemoryはSELイベントとして結果を出力するので、ログをクリアしておくことをお勧めする。

そのようなシグナルで終了してしまうのは見たことがないが、とりあえずは、auditのルールにシグナル58のトラップを追加することだ。

RAIDのシグネチャが壊れた可能性がある。その場合はローレベルフォーマット後に再構成が必要なので、まずは、ディスクのエラーがあるか、PERC BIOSから調べる。具体的には、ConfigureからView/Add ConfigurationにいってディスクごとにF2キーを押していく。また、ファームウェアの可能性も高い。

チップセットは8rank(チャンネルやバンクともいう)まで利用できるので、メモリのrank次第。スロット数は関係ない。たとえば、2rankのメモリなら4つまで。rank数の情報は、「omreport chassis fru」や「dmidecode | grep -B2 -A20 "Memory Device"」で取得できる。

アップグレードしてもいい。RHELのどのバージョンを選んでもいいし、PowerEdge 1850ではRHEL 5をサポートしているので、DELLのサポートも受けられる。

リンクにあるように、backports.orgからAMD64 Etch用の2.6.22カーネルに入れ替えたら、この問題は直った。

PowerEdge 350はハードウェアモニターの機能がない。当時のOMSAを使えば、温度と電圧はモニターできるが、最新のOMSAだと350はサポート対象から外れている。350はIPMIの機能を持っていない点に注意。LibSMBIOSを使ってみるのはいかがだろう。

PERC2/SCカードは外して、ハードディスクは直接SCSIコントローラに接続したほうがいい。PERC2/SCカードはサポートされておらず、性能自体も悪い。

電源プラグを少しの間外してみた? 同じようなトラブルで、それが解決できた。リブートは意味がない。確かにうまくいった。で、原因は何なんだろう?

基本的なパッケージはOracle Unbreakable Linuxでも動くので、yumのリポジトリからインストールしてみては。何か問題があれば、知らせてくれ。

カーネルインストールで「rpm -aq | grep kernel」としては、別のものも入れることになるので失敗するのは当たり前。そもそもRed Hat Enterprise Linux 5ならQLogic HBAのドライバのインストールは必要ない。

PowerEdge SC1430上のCentOS、1950上のDebianで同様の質問。OMSA(Dell OpenManage Server Administrator)でできると思うがどうだろう? OMSAのSNMPデーモンは、ネイティブなSMTPデーモンと繋ぐものなので、トラップを受け取れるようにtrapsinkで適切な設定が必要。

これはi586カーネルで起きてしまう一般的な問題。i686カーネルへの入れ替えはFedoraのバグのページ参照するといい。BMCのファームウェアアップデートもDell Update Package(DUP)から行うといい。

SCシステムはOMSAをサポートしていないが、600SCと1600SCは例外。DRAC3/XTカードを導入すれば利用できる。OpenSUSEもOMSAはサポートしていないので、マニュアルインストールなどが必要。

これは気にする必要はない。PERC 5/iのコントローラは定期的にバッテリの状態を学習している。

依存関係にあるunshieldパッケージは、Fedoraの開発者によって提供されているEPEL(Extra Packages for Enterprise Linux)から入手できる。

 PowerEdge 1950で4月に買ったものと10月に買ったものでパフォーマンスが違うから、ファーム/BIOSをアップデートしたいという話。Ubuntuを使えばできる、ほかにアップデート方法はないのか?、PXEのrawイメージを提供してくれ、firmware-toolsにその機能を追加したらどうだろうか。

 GRUBのトラブルはフロッピーディスクから起動すればよい、でもフロッピーディスクはないよ、ddでフロッピーイメージを作り、マウントしてsetupコマンドを使う方法や、おそらくブータブルCDでもうまくいくはず。

 1750で動かした、サンのページに1900のリポートがあり1955ではCertifiedを取っているなど。


代表的な略語

  • PE:PowerEdge
  • OMSA:Dell OpenManage Server Administrator
  • EPEL:Extra Packages for Enterprise Linux
  • RHEL:Red Hat Enterprise Linux
  • RHN:Red Hat Network
  • SLES:Novell Suse Linux Enterprise Server


メーリングリストへの参加方法

  1. メーリングリストのページにアクセス
  2. ページ中ほどにある「Subscribing to Linux-PowerEdge」のところで、メールアドレスとパスワードを入力して、「Subscribe」ボタンを押す(このパスワードは厳密な管理をされない、念のための確認キーワードのようなものなので、使い捨てのパスワードなどを登録したほうが良い)
  3. すぐに(ちょっとしてから)「linux-poweredge-request@dell.com」から「confirm~」というタイトルで確認メールが届く(迷惑メー