情報知識学会誌 = Journal of Japan Society of Information and Knowledge
巻
25
号
1
ページ
3 - 22
発行年
2015-01-01
ISSN
0917-1436
NCID
AN10459774
DOI
10.2964/jsik_2015_002
出版者
情報知識学会 =Japan Society of Information and Knowledge
抄録
昨今，種々の目的で打ち上げられる科学衛星や地球観測衛星の観測データは蓄積され続け，膨大な量となっている．自然科学ビッグデータをプロセス間通信等の複雑なプログラミングや大規模な環境設定なしに解析するためのデータ処理手法と環境の需要が高まっている．本論文では，サイエンスクラウド上で容易に並列処理の実装が行えるタスクスケジューラを用いたヘテロタイプの並列分散処理の性能評価について議論する．評価を行うにあたって，月周回衛星かぐやに搭載されたWFC-Lが観測した波形データセットと既存のデータ解析プログラムを用いた．今回提案するタスクスケジューリング技術および並列分散処理技術がヘテロタイプの時系列データ処理に適していることを実証する． A variety of satellites for space investigation and Earth observation has been launched and are yielding a large amount of data. Easy and effective parallel processing technique is required to analyze such scientific big data without heavy programming. In the study we analyze a set of waveform data measured by the WFC-L receiver onboard Japanese lunar orbiter “KAGUYA” for 9 months using our original program. The total data size is as small as 144G B, but it takes long time (230 hours) to survey all data files to detect specific waveform patterns. The practical issue is that it is not easy for many space scientists to rewrite a program via parallelization library such as MPI (message passing interface). Herein we import our original program, without rewriting, on a science cloud system on which a task manager is ready for use for development and management of parallel data processing. We demonstrate that easy task scheduling and parallel processing is effective and practical for big data analysis even in case that the data set is heterogeneous.
科学衛星で観測された波形データ処理を用いたNICTサイエンスクラウド上での並列分散処理の評価
CS-KASAHARA-Y-3.pdf
(9.87MB)
