ビッグデータソリューション

Super DataChef V2/e-Engine(株式会社エスペラントシステム社のビッグデータ処理/インメモリデータ処理エンジン製品)を使用したビッグデータソリューションを提供します。

待ち時間0のエクスペリエンス

Super DataChef V2 は取引ログやIoTデータのような構造化データを対象にしたデータ処理ツールです。
日頃の企業活動で生まれる1,000万行程度のビッグなデータをMS-ExcelやMS-Accessだけで扱うには行数の制限や性能面で無理があります。この規模のデータはSuper DataChef V2にお任せ下さい。普段お使いのノートPCやデスクトップPCで使用でき安価なコストで導入できます。また、使い勝手の良いユーザインタフェースでストレスなくデータを扱えます。

超高速データ処理がもたらすイノベーション、リアルタイムな意思決定をサポート

既存システム(基幹系システムなど)に蓄積されているデータやIoTデータをCSVファイルとして準備して頂くだけで、ノンプログ ラミングで、普段お使いのノートPCやデスクトップPCでデータを超高速処理できます。Super DataChef V2 は1,000万行程度 から最大20億行のビッグデータを扱えます。繰り返しが必要な処理は定型化(レシピ=Pythonプログラム)できます。すぐに 結果が得られるので瞬時に意思決定が可能になります。

適用分野

低コスト(1/10)で導入、ビッグデータでもすぐに(スピード100倍で)結果が得られ、既存システム に影響を与えずデータ資産を活用、変化(法改正など)への適応力が高く、導入効果が大

  • アドホックなデータ分析 … セルフサービスBI
  • データクレンジング   … BI/DWH前処理、マスターデータ作成
  • データマイグレーション … データ移行、データ統合
  • データ加工・編集    … データチェック、変換、突合せ、単位合せ
  • データ検索・抽出    … 名寄せ/重複データ排除、不正パターン検出

特に データ分析では、データラングリング(Data Wrangling)と言われる準備作業のための性能が Python/R に比べ データインポートは3倍、ジョインは10倍、サーチ/ソートは100倍 速く、テータ分析の8割を占めると言われる準備作業が大幅に短縮できます。

ベンチマーク

Super DataChef V2/e-EngineとPython/pandasのベンチマーク結果(1億行のデータ処理時間)をグラフに示します。PythonもSuper DataChef V2/e-Engineと同様にデータをインメモリで処理しますが、その性能の違いは歴然です。Rもインメモリデータ処理で、ベンチマーク結果はPythonとほぼ同じ程度です。

測定環境
CPU:Intel Xeon E5-2650 2.3 GHz コア数 12  メモリ:132 GB

ページ上部へ戻る