題名 | ホストOS上のイメージファイル配置変更による仮想化環境におけるHadoopのI/O性能向上 |
著者 | *中島 健司, 藤島 永太, 山口 実靖 (工学院大学) |
ページ | pp. 1578 - 1585 |
キーワード | KVM, MapReduce, HDD |
アブストラクト | 近年,Hadoopのような大規模のデータ処理においてクラウドシステムを用いることが増えている.代表的なクラウドシステムの構築方法の1つに仮想計算機を用いる手法がある.単一物理計算機上に複数の仮想計算機を起動するようなクラウド環境においては,複数の仮想計算機が同時に単一のHDDにアクセスするような処理においてI/O処理がボトルネックとなってしまう問題がある.Hadoopのような大規模なデータを扱う処理では,ストレージにシーケンシャルにアクセスをすることが多く,HadoopシステムのI/O性能を向上させる既存の研究としてファイルシステムにおけるファイル格納位置を制御し,シーケンシャルアクセス速度の高いHDDの外周部を積極的に活用する手法がある.しかし,この手法は大規模データ処理の代表的なシステムの一つである仮想化環境を用いたクラウドシステムを考慮していない.本稿では,この手法の仮想化環境への適用について考察する.具体的には,複数の仮想計算機を起動する仮想環境の課題を示し,その解決策としてVMイメージファイルを非連続的に配置する手法を示す.そして,複数のアプリケーションを用いて提案手法の有効性を示す.また,複数VM中の少数VMしか稼働していない状況における提案手法の性能を調査し,このような状況においても性能は同等か小さく劣化するにとどまり,本手法の負の影響が小さいことを示す. |