KSKPでは、コマンドをつなぐだけで、自動的にパイプラインが構築されるため、
誰でも簡単に処理効率に優れた実装を行うことができます。
パイプライン処理
- SQL処理、Python、R言語などのスクリプトでは、データの全件をメモリ上に保持し、各処理の工程ごとに完了してから、次の工程に進むという、逐次型の処理を行います。
- KSKPが採用するパイプライン処理では、ベルトコンベヤーでの流れ作業のように、各工程で計算を終えたデータ・レコードを次の工程へと、少しずつ先送りすることで、複数の工程で並行処理を行います。
メモリ容量を超えたデータ量の処理
- パイプライン処理を採用したことで、コンピュータに搭載したメモリ容量を超えるデータ量に対しても、処理を行うことが可能です。
SQLよりも高速な処理が可能
- KSKPではデータの加工処理に特化しているため、RDBの様なデータ・ストアとしての管理の処理が不要になり、より効率的な処理を行うことができます。
- SQLでは対応が困難な時系列データ処理などだけでなく、SQLが対応している、列の追加、行の選択、ソートなどにおいても、より効率的な処理を行うことができます。
