存储引擎

存储引擎

时序数据库的存储引擎主要需满足以下三个主要场景的性能需求:

  • 大批量的时序数据写入的高性能

  • 直接根据时间线(Influxdb中的Serieskey)在指定时间戳范围内扫描数据的高性能

  • 间接通过measurement和部分tag查询指定时间戳范围内所有满足条件的时序数据的高性能

WAL解析

InfluxDB写入时序数据时为了确保数据完整性和可用性,与大部分数据库产品一样,都是会先写WAL,再写入缓存,最后刷盘。对于InfluxDB而言,写入时序数据的主要流程如同下图所示:

时序数据写入流程

InfluxDB对于时间线数据和时序数据本身分开,分别写入不同的WAL中。

索引数据的WAL

由于InfluxDB支持对Measurement,TagKey,TagValue的删除操作,当然随着时序数据的不断写入,自然也包括 增加新的时间线,因此索引数据的WAL会区分当前所做的操作具体是什么,它的WAL的结构如下图所示:

索引数据的 WAL

时序数据的WAL

由于InfluxDB对于时序数据的写操作永远只有单纯写入,因此它的Entry不需要区分操作种类,直接记录写入的数据即可:

时序数据的 WAL

TSMFile解析

TSMFileInfluxDB对于时序数据的存储方案。在文件系统层面,每一个TSMFile对应了一个ShardTSMFile的存储结构如下图所示:

TSMFile

其特点是在一个TSMFile中将 时序数据(i.e Timestamp + Field value)保存在数据区;将SerieskeyField Name的信息保存在索引区,通过一个基于Serieskey + Fieldkey构建的形似B+tree的文件内索引快速定位时序数据所在的数据块。在当前版本中,单个TSMFile的最大长度为2GB,超过时即使是同一个Shard,也会继续新开一个TSMFile保存数据。本文的介绍出于简单化考虑,以下内容不考虑同一个ShardTSMFile分裂的场景。

索引块的构成

索引块的构成

其中索引条目在InfluxDB的源码中被称为directIndex。在TSMFile中,索引块是按照Serieskey + Fieldkey排序 后组织在一起的。

  1. 根据用户指定的时间线(Serieskey)以及Field名 在 索引区 利用二分查找找到指定的Serieskey+FieldKey所处的 索引数据块
  2. 根据用户指定的时间戳范围在 索引数据块 中查找数据落在哪个(或哪几个)索引条目
  3. 将找到的索引条目对应的时序数据块加载到内存中进行进一步的Scan

上述的1,2,3只是简单化地介绍了查询机制,实际的实现中还有类似扫描的时间范围跨索引块等一系列复杂场景。

时序数据的存储

同一个Serieskey + Fieldkey的 所有时间戳- Field值对被拆分开,分成两个区:Timestamps区和Value区分别进行存储。它的目的是:实际存储时可以分别对时间戳和Field值按不同的压缩算法进行存储以减少时序数据块的大小。采用的压缩算法如下所示:

做查询时,当利用TSMFile的索引找到文件中的时序数据块时,将数据块载入内存并对Timestamp以及Field Value进行解压缩后以便继续后续的查询操作。

TSIFile解析

如果查询时用户并没有按预期按照Serieskey来指定查询条件,而是指定了更加复杂的条件,该如何确保它的查询性能?通常情况下,这个问题的解决方案是依赖倒排索引(Inverted Index)InfluxDB的倒排索引依赖于下述两个数据结构:

  • map<SeriesID, SeriesKey>
  • map<tagkey, map<tagvalue, List<SeriesID>>>

它们在内存中展现如下:

但是在实际生产环境中,由于用户的时间线规模会变得很大,因此会造成倒排索引使用的内存过多,所以后来InfluxDB又引入了TSIFileTSIFile的整体存储机制与TSMFile相似,也是以Shard为单位生成一个TSIFile

上一页
下一页