StreamSphere

StreamSphere (ストリームスフィア) はデータ収集のみを行う従来の Stream とは異なり、ShardSphere と連携して高性能処理およびデータのクレンジング (精製) が可能

StreamSphereとは？
  • 数多くの IoT デバイスやインターネットユーザーは、膨大な量の連続的なリアルタイムデータを生成
  • これはリアルタイム ETL (データ抽出 (Extraction)、変換 (Transformation)、ロード (Loading)) を行い、高性能なデータ処理が必要
  • 動的なデータ発生に対して要約および集計を収集し、時間別、機能別に分析できるデータ抽出やテキスト検索フィルタリング、アラートフィルタリングなどに使用可能
StreamSphere
  1. 運用統合
    • 従来の製品群は個別に構築されている場合が多い (例: kafka + 時系列 + RDB など)
    • StreamSphere は単一の製品として、必要に応じて Static data と Stream Data に同時にアクセスおよび処理が可能
  2. 容易なアクセス
    • 標準 SQL を使用
    • 理解しやすい Stream 用 DDL を提供
    • Continuous aggregation query を提供
    • Top-k, hyperloglog, t-digest などの確率的アルゴリズム関数を提供
    • Restful API を使用して互換性が容易
StreamSphere ストリーミング SQL
  • 標準 SQL を使用
  • continuous aggregation query を提供
  • Top-k, hyperloglog, t-digest などの確率的アルゴリズム関数を提供
SQL
StreamSphere テスト

気象データテスト事例

  • RDB の代わりに StreamSphere へ代替して内部テストを進行、リアルタイムで結果を確認した事例
  • 従来の Query はテーブルのデータ量に比例してパフォーマンスが低下し、リソース (Memory Temp) 使用量が増加
  • CISPHERE Continuous Query はデータ増加に対してリソース使用量の増加やパフォーマンス低下がない
  • 従来の Query は RDBMS の特性上、中間結果を再利用したり複数の Query で使用することができず、Query ごとに再実行する必要があるため非効率的ですが、CISPHERE Continuous Query は複数の Stream を連結する構造で中間結果を使用して効率を高める
  • 従来の Query は中間結果を VIEW として作成しながらクエリを実行するため Query が長くなり理解しにくいですが、CISPHERE Continuous Query は中間結果を Stream として作成しながら最終 Stream を作成するため、それぞれの Stream は見やすく理解しやすい
test_ja
Scroll to Top