「KSKP」は、「誰もが当たり前にデータ分析・活用ができる社会」の実現に向けて、KSKアナリティクスが独自開発したデータ分析プラットフォームです。

大規模データを高速処理merit

KSKPでは、コマンドをつなぐだけで、自動的にパイプラインが構築されるため、
誰でも簡単に処理効率に優れた実装を行うことができます。

パイプライン処理

  • SQL処理、Python、R言語などのスクリプトでは、データの全件をメモリ上に保持し、各処理の工程ごとに完了してから、次の工程に進むという、逐次型の処理を行います。
  • KSKPが採用するパイプライン処理では、ベルトコンベヤーでの流れ作業のように、各工程で計算を終えたデータ・レコードを次の工程へと、少しずつ先送りすることで、複数の工程で並行処理を行います。
図 パイプライン処理

メモリ容量を超えたデータ量の処理

  • パイプライン処理を採用したことで、コンピュータに搭載したメモリ容量を超えるデータ量に対しても、処理を行うことが可能です。

SQLよりも高速な処理が可能

  • KSKPではデータの加工処理に特化しているため、RDBの様なデータ・ストアとしての管理の処理が不要になり、より効率的な処理を行うことができます。
  • SQLでは対応が困難な時系列データ処理などだけでなく、SQLが対応している、列の追加、行の選択、ソートなどにおいても、より効率的な処理を行うことができます。
図 1億行の処理時間