|
|
|
|
|
|
|
|
|
|
|
注目の「ストリーム・プロセッシング」 高速データ処理の商用化近づく
|
|
|
|
「ストリーム・プロセッシング」という新しいコンピューティング方式が注目されている。これまでのデータベースをベースとしたデータ処理と比べ、数十倍の性能を実現するという。システムが情報を収集しながら理解し、それに対応した処理を行う時代が近づいてきたようだ。
米IBMは6月19日、ストリーム・プロセッシング技術「IBM System S」のプロトタイプを発表した。HPCwireなどによると、IBMがニューヨークに持つトーマス・J・ワトソン研究所で4年がかりで開発したもので、並列処理方式を利用して、データソースからデータを取り込みながら処理することができるという。
System Sはストリーム・プロセッシングモデルを利用したソフトウェアフレームワークで、人工知能のようなスケジュール技術層を加えてあるという。これによって、処理をイメージ認識などの要素に分け、目的にあわせて処理要素をリアセンブルすることができる。従来のデータマイニングなどの手法とは異なり、アルゴリズムを用いてデータを分析し、優先順位をつけることで高速処理を実現するという。
IBMによると、テキスト、音声、動画、GPS、RFIDなど構造化データと非構造化データの両方に対応。ハードウェアやプロセッサも問わないという。
IBMが披露したプロトタイプは、800台のx86マシンを利用しているが、必要に応じて万単位のプロセッサに拡張できるようだ。大規模構成の場合、1秒間に数百単位のメッセージ処理が可能という。当初は、Linuxを搭載したブレードサーバーへの対応を考えているようだ。
このストリーム・プロセッシングは、決して新しい技術ではなく、これまで米スタンフォード大などで研究が進められてきた。IBMでは今回のプロトタイプ完成を、実用化に向けた大きな一歩とみているようだ。
ストリーム・プロセッシングの長所は言うまでもなく、高速な処理にある。Webサイト、ブログ、電子メール、動画と情報は絶えず増えている。ハードウェアは進化し、情報を効果的に活用する技術はあっても、多くの場合、情報の洪水にきちんと対応できてはいない。また、SOAに利用すれば、アプリケーションを動的にアセンブルできる。
このような特徴から、ストリーム・プロセッシングはまず、証券取引などの金融分野でニーズがありそうだ。IBMによると、すでに政府機関が導入しており、証券会社も強い関心を持っているという(Wall Street & Technologyのブログ記事)。これは、IBMがSystem Sのプロトタイプ発表を、米ニューヨークで開かれた金融企業向けのITイベント「SIFMA 2007 Technology Management Conference and Expo」で行ったことからも明らかだ。
証券業界ではすでにアルゴリズムトレードという処理手法が用いられているが、ストリーム・プロセッシングはこれを加速することになるだろう。取引所から入ってくるデータとともに、CNNのニュース映像、Reutersのテキストニュースなどを同時にリアルタイム処理し、取引指示を出す、といったことが実現しそうだ。
ストリーム・プロセッシングは、このほか、環境、セキュリティ監視などの分野に適しているとされている。
ストリーム・プロセッシングに注目しているのはIBMだけではない。米Googleは6月、高性能コンピュータソフトウェアを開発する米PeakStreamを買収しており、ビデオ検索分野でPeakStreamの技術を利用するといわれている。
このほかにも、米StreamBase Systemsはストリーム・プロセッシングエンジンを2005年の「DEMO」で披露している。ハードウェアでは、米AMDがHPC専用のストリームプロセッサ「AMD Stream Processor」を発表しており、ベンチャー企業の米Stream ProcessorsもHPCプロセッサとして「Storm-1 SP16HP」を発表している。
■ URL
HPCwireの記事
http://www.hpcwire.com/hpc/1623603.html
Wall Street & Technologyのブログ
http://www.wallstreetandtech.com/blog/archives/2007/06/ibm_previews_ul.html
「DEMO」のStreamBase Systems
http://www.demo.com/demonstrators/demo2005/54259.php
( 岡田陽子=Infostand )
2007/07/02 08:54
|
|
|
|
|