技術紹介

センサーデータの性質を考慮した
3つの最適化。

センサーデータの性質を考慮した3つの最適化。

データベースとして、最も一般的に使われているのはデータを行・列の表形式で管理するリレーショナルデータベース(RDB)と呼ばれるものです。RDBは財務管理や業務管理などの基幹系システムの処理に広く用いられていますが、膨大なセンサーデータの管理・処理といった用途には必ずしも適していません。今回のデータベースは当社が長年開発を続けてきたデータベース向け高速集計検索エンジンをもとに、センサーデータ向けに最適化を図ったものです。特長はデータ圧縮方式・データ配置・データ処理単位の3つの最適化にあります。

データ圧縮方式:約700通りの中から、符号化方式の最適な組合せを選択。

1つ目の特長は、データ圧縮方式の最適化です。データを圧縮してより小さくできれば、ストレージ容量が少なくてすむだけでなく、処理速度も向上します。しかしセンサーデータの場合、時系列で連続的に小さく変化するもの、非連続的なものなどさまざまです。このような性質の異なるセンサーデータをより小さく圧縮するには、データの性質に合った符号化方式を選ぶ必要があります。例えば同じデータが並んでいたらそこは省く、よく使われるデータを短いデータで置き換えるなど、いくつかある符号化方式の中から圧縮方式を選択します。今回のデータベースでは、さまざまなセンサーデータに対応するため、これらの符号化方式の中からデータの性質に合わせて数種類の圧縮方式をサイズが最小になるように選びます。その組み合わせは約700通り以上にのぼります。

全ての組み合わせを別々に計算していたのでは時間がかかってしまいます。異なる組み合わせについて同時に圧縮後のサイズを計算することにより、圧縮処理時間を最小限に抑え、ストレージにデータを格納する際の時間を短縮できます。

データ圧縮方式の最適化概念図