DAQ M/Wに関わる 共同研究や業務について

Presentation on theme: "DAQ M/Wに関わる 共同研究や業務について"— Presentation transcript:

1 DAQ M/Wに関わる 共同研究や業務について
株式会社　Bee Beans Technologies 和田　正樹

2 Bee Beans Techonologiesの概要
商号 株式会社BeeBeansTechnologies 　 （英語表記　BeeBeansTechnologies　Co.,Ltd.） 設立　 2006年9月 代表者氏名　 浅井　康裕 事務所所在地　 〒 　茨城県つくば市大穂109　2F 電話　 　FAX　 ホームページアドレス　 KEK発ベンチャーの認定を受けています。

3 共同研究 ミーティングには企業として参加。企業の視点で意見交換さ せていただく。
DAQ M/Wコアに関わる問題の解決にも積極的ご協力 （しているつもりです） MLF用コンポーネントの開発に関わる検討事項や連絡など 今後は制御系の拡張などでご協力させていただければ、、と 思います。

4 DAQ M/Wに関わる業務関連 MLFでのDAQシステムサポート業務 インストール、問題発生時の対応など
Web　UI試作など＜＜これは昨年の内容でした。 DAQ検証システムの構築★ Network Boot型DAQ M/Wの構築★

5 DAQ M/W MLFコンポーネント HTTP or Command Line EVENTs DAQ Operator MonitorPSD
MonitorGEM Componentc Setup Trignet Component GathererGEM H/W Dependent MLF Common DAQ Middleware Core Componet NEUNET08 NEUNET GATENET TRIGNET DispatcherMlf GathererPSD LoggerMlf MonitorPSD DAQ Service Storage Gatenet EVENTs DAQ Operator HTTP or Command Line GEM Read Out Manyo LIB

6 KENS DAQ検証システム構築 Inernet 192.168.0.254 NEUNET x8 192.168.2.254
19インチラック　( BBT東海事務所） Switch2 -Control Switch2-Storage Server (Type2) 1.5TB RAID60 J-LAN SW(BBT VPN) J-LAN (BBT-VPN) Control Storage DAQ nas 11TB RAID10 KENS-UPS Serial comm. ~23 daq3 (Type1) daq2 (Type1) daq4 (Type1) daq1 (Type1) BBT VPN Router Inernet

7 KENS DAQ検証システム(2) CONTROLおよびSTORAGE、インターネットの3つのLANを重畳 した構成でトラフィックを分離。実際の現場ではANALYSIS（解 析用）など他のLANも 通常のHDD起動の他、NetworkBoot(後述)も可能 制御系（IROHA)、解析ライブラリ（Manyo)などもインストール 済み Nagios/MRTGなどの監視システムを導入、Ploneで情報統合 その他一般的な監視、制御（一括起動=wol、シャットダウン、リ スタート、UPSサーバー設定）

8 Network Boot型DAQ システム概要
Network Boot Server Linux Diskless Image + DAQ M/W MLF Components TFTP Server DHCP SErver NFS Server Diskless DAQ CPUs NAS

9 メリット 元のシステムを残したまま運用可能 複数バージョンを用意しておいて起動時に選択できる
サーバーBIOSのNetwork Boot のPriorityを上げておく Network BootサーバーのDHCPを止めればHDDから起動 異なるOSイメージで起動することもできます。 複数バージョンを用意しておいて起動時に選択できる イメージを複製してコピー後にカスタマイズしてためすことも可 能 故障、アップグレードが楽 サーバーの量が増えれば増えるほど、HDD故障、サーバー故障は 増加するけれど、、、 ディスクレスなので故障率が低い サーバー故障時の入れ替えがスムース（OS等インストール不要）

10 デメリット・要検討項目 有償ソフトウェアのライセンスは要調査。
FiberChannelのような大容量高速ストレージを扱う場合の 対応？　特殊なドライバが必要？ DAQ M/Wの場合、Operatorをどうするか？はまだ検討中 ですが、今のところ互換性が高いので問題は少なそうです。

11 構築作業の概要(1) TFTP、DHCPサーバーの構築（嵌らなければ３０分もかか ら無い）
起動イメージの配信設定（LiveDVDの内容コピーの時間） とりあえず起動試験 起動イメージ内の設定 DAQミドルウェアコアの依存関係を解決。 MLFコンポーネント用のライブラリ依存関係の解決（Manyoライ ブラリ周辺が中心） xinetd、nfsd、bootComps(DAQ Remote boot)などの設 定を反映する ひたすら再起動してテスト

12 構築作業の概要(2) サーバー側 クライアント側 PXE BootのBIOS設定 dhcpd, tftpd, nfsdのインストール
/etc/dhcp.confの編集 /etc/xinet.d/tftの編集 /etc/exportsの編集。※tftpbootをexport SL5.5 x86_64のLiveDVDイメージ取得（iso)。 LiveDVDイメージを/tftpboot/DaqMwLiveへ展開 syslinux-4.04.tar.gzの取得とpxelinux.0の取り出し、配置 pxelinux.cfgおよびboot.msg編集 rootcopyのカスタマイズ（DaqM/W実行形式の配置、スクリプト編集） クライアント側　PXE BootのBIOS設定 ※DHCPサーバーがなければHDDから起動

13 構築作業の概要（３） daqmw など /tftproot DaqMwLive１ rootcopy … DaqMwLive3
Scientific LinuxのLive DVDイメージrootcopy以下に起動した後に必要なDAQ M/W関連ファイルなどを入れるとrootディレクトリに上書きされる … DaqMwLive3 pxelinux.cfg default 起動オプションの設定 pxelinux.0 boot.msg 起動オプションのラベルなど表示するためのテキストファイル /etc xinet.d/tftや dhcp.conf、exportsによるルートファイルシステム設定 10分～20分くらいで終了する

14 カスタマイズ方法 基本はNetbootイメージのrootcopyに起動後に必要な ファイルを追加しておく。起動後にrootディレクトリに上書きさ れる。 IPアドレスをマシン毎に固定する場合、サーバーのDHCPに MACアドレスを登録する（/etc/dhcpd.conf）。 ReadOutのH/W用I/FのIPアドレス設定方法は要検討 （DHCPでも可能。固定でも問題はない) NFSのマウントはスクリプトに追加。 使用するReadOut　H/Wの構成はDAQ Operatorに渡 すconfig.xmlに記載する。※DAQ Operatorはサーバー にもたせています。

15 発生した問題 /etc/servicesを入れ替えてもbootCompsが有効になら ない現象に悩まされた。起動後に再起動するとOKなのに。。。 ＞＞bootCompsのユーザがdaqでユーザdaqが作成され るのがxinetd起動のあとだったため。runlastというスクリプト でユーザが作成される。 起動するたびに.ssh/knownhostsのエントリを削除る必要 があった（Boot毎にKeyが生成される） ＞/etc/sshd以下の鍵関係を起動後に上書きするように 変更した。

16 参考：起動シーケンス サーバー クライアント IP アドレスと TFTP の アドレス取得（ DHCP) LAN カードの ROM ※
BIOS 設定 DHCP (dhcpd) pxelinux.0 の取得 （ TFTP) ( tftp - serer ) が起動して 設定ファイルから カー ネルを 読み込んで起動 NFS (nfsd など でルートファ イルシステムをマウ ントして 起動 pxelinux.cfg/default （など） diskless/.../vmlinuz カーネル） LiveDVD イメージ NFS)

17 その他の情報 Live CDイメージを使用したらxinetdが入っていなかった。
DAQ M/WやManyoライブラリの依存物導入はそこそこ大変。 まず使用する実行形式をいれて、lddで依存物を入れてゆく /etc/rc.localを/rootcopy/etc/rc.localでカスタマイズしたら ログインできなくなった。runlastを呼び出しているところでユーザと パスワードを設定している LiveDVD内の.moファイル（ディレクトリイメージ）はmount –t squeash.fs –o loopでマウントすると中身が見える。 起動待ち時間、デフォルト、パスワード、キーボードなどは pxelinux/defaultで設定します。 社内のThinkPadではXウィンドウが起動しなかったです。 DAQ 用ならX Windowは不要なのでrootcopy/etc/initabの設定 でデフォルトのRUN LEVELを変更すればOK。