処理能力100倍の超高速アプライアンスでDWH活用を推進、日本ネティーザ

最新ニュース

処理能力100倍の超高速アプライアンスでDWH活用を推進、日本ネティーザ

　昨年から、大手ソフトウェアベンダーや総合ベンダーによるBI（ビジネスインテリジェンス）専業ベンダーの買収劇が相次いでいるように、企業が蓄積した膨大なデータを積極的に活用しようという動きが本格化している。しかし、それを実現するためにはデータウェアハウス（DWH）を高速に処理する必要があるものの、十分なパフォーマンスをうまく確保できず、結局は限定的な利用にとどまってしまっているという問題点もあった。それを解決するために、アプライアンスによる超高速処理という手法を提唱するのが、日本ネティーザだ。

技術本部システムエンジニアの神吉卓也氏

シャーシに収められたSPU

　一般的にDWHを処理する場合は、高性能なサーバーハードウェアとストレージを用意し、データベースソフトウェアをインストールしてシステムを構成していた。しかしこの手法では、チューニングに膨大な手間がかかるうえ、ストレージからデータを呼び出してサーバーのメモリへ展開し、そこで抽出作業を行う仕組みのため、データI/Oの部分がボトルネックになってしまう。

　そこで日本ネティーザでは、まったく異なる発想を採用した。その基幹商品「Netezza Performance Server（NPS）」は、サーバー、ストレージといったハードウェアと、データベースなどのソフトウェアを組み合わせた製品だが、同社はAsymmetric Massively Parallel Processingという手法により、「抽出作業をストレージ側に移し、必要な結果だけをホスト側へ返すようにする」（日本ネティーザ技術本部システムエンジニアの神吉卓也氏）ことで、この限界を乗り越えたのだという。

　具体的には、まず、分析のもととなるデータを、SPU（スニペット・プロセッシング・ユニット）と呼ばれるブレードのようなユニットへ分散して保存。ここからデータを呼び出す際に、レコードの絞り込みと集計・ソートといった作業を済ませてしまう分散処理の技術によって、「従来環境の10倍から100倍という、けた違いの性能」（神吉氏）を実現した。分散保存した多数のHDDからデータを読み込むのと同時に絞り込みを行うため、ボトルネックが発生しないというのだ。

　さらに、いかに処理が速くても互換性がなくては意味がないため、同社ではODBCやJDBCといった標準技術への準拠を重要視。フロントエンドのシステムを問わないようにしているので、日本BOやコグノス、ハイペリオンをはじめとするさまざまなBI製品との互換性を確保しており、既存システムを生かしたまま、処理能力だけを向上させられるとしている。

　加えて、NPSが持つメリットは実行速度だけではないという。従来の手法で必要だったテーブルサイズの設計やRedo/物理ログ設計をはじめ、インデックス管理、パーティショニング、OSやデータベースのパッチ管理といった複雑なデータベース管理はいっさい不要。ハッシュを使用したテーブルの初期分散設計などを行うのみで、導入や運用にかかる負荷を、劇的に軽減できる。神吉氏が紹介した、通信会社のCDRデータをNPSに収めた実例では、それまで1000以上存在したデータベースのオブジェクト数をたった1つに減らせたほか、別の例では、運用開始後のデータベースチューニングがまったく不要なメリットを生かし、3人だったDBAの数を0.5人に削減できたという。

NPSの外観。小さい方がNPS 5200、フルサイズラックに収められた方がNPS 10000シリーズ

　別の側面では、「ハードウェアは、標準的なものしか利用していない」（執行役員技術本部長の法華津誠氏）ことも特徴。「こうした仕組みを専用アプライアンスで実現するというと、顧客から、何か特別な部品に依存しているのではないか、継続して提供し続けられるのか、と聞かれることもある」（同氏）というが、SPUを構成するハードウェアの主要コンポーネントは、CPU（PowerPC）、SATA HDD、メモリ、SPU間を接続するのに用いるGigabit Ethernetのコントローラなど、すべて汎用的なもの。ストリーミング中にデータをフィルタする、仕組みの肝となる部分にも、専用ASICではなくプログラマブルなFPGAを利用しているため、低コストで構成可能になっている。SPUも14枚ごとにシャーシに収められるが、シャーシ間接続で一般的なGbEを用いるほか、SPUが行った処理を集積するホストに市販のIAサーバーを採用するなど、徹底的に汎用技術を用いており、こういったことの積み重ねで継続的な提供と低コスト化を実現しているとのことだ。

　実際の製品には、28のSPUを搭載し最大3TBのユーザーデータを格納できるエントリー機「NPS 5200」1モデルと、中～大規模運用向けの「NPS 10000シリーズ」6モデルの2系統を用意する。NPS 10000シリーズではハーフラックから8ラックまでの拡張が可能で、SPUは最大896、扱えるユーザーデータは最大100TBまで拡張できる。ストリーミングデータをSPUで並列処理する仕組み上、SPUを増やせば増やすほど性能を強化可能。SPU数とユーザーデータの容量は、同一モデル内であればライセンスキーの購入だけでアクティブに拡張でき、NPS 10000シリーズでは、ハードウェアの追加を行うことで、それまでの投資を無駄にせず上位モデルへ拡張していける。日本ネティーザでは、このようなモデル構成により、ユーザーの業務に合わせて最適なものを随時提供できるとした。

　なお実際に導入される業種は、「今では特定の業種・業態に偏らなくなった」（神吉氏）と言う通り、流通、通信、eコマース、金融、医療、運輸、政府官公庁など幅広い分野の顧客で利用されている。著名なところではAmazon.comやCNET Networks、国内でも、モスバーガーを展開するモスフードサービスに採用された。具体的な利用シーンとしては、購買データや取引データといった膨大に蓄積されるデータの分析用途が挙げられ、例えばモスフードサービスは、全国の店舗から集めた明細データを分析することで、店舗や地域、時間帯といった切り口で売れ筋商品の傾向をつかみ、商品の品質や顧客サービス強化に役立てているという。

　こうした効果が評価されてか、2月～4月では11社の新規顧客を獲得するなど、国内での導入も30社を超えたほか、注文の半分を既存顧客からのリピートが占めるように、顧客からの評価も上々。「使ってみると価値が分かってもらえるため、まずは導入してもらうことが大切」（法華津氏）という考えから、その価値を体感してもらえるよう、実際のユーザーデータを持ち込んで効果を体験できる検証センター「ネティーザ・パフォーマンス・ラボラトリ」を、東京・三鷹市に開設している。実際に使ってもらって、その効果を納得してから導入できるようにしているところにも、同社の自信が表れているといえそうだ。

■ ＵＲＬ
　日本ネティーザ株式会社
　 http://www.netezza.jp/

（石井一志）
2008/06/09 12:11

Enterprise Watch ホームページ