更轻量级的本地文件数据库 lowDB 实现 CRUD (JSON 文本读写, 支持 Node, Electron and the browser)

一分钟入门

lowdb 是一个基于 Lodash 的小型本地 JSON 数据库。神器！

可以语义化较强的查询/操作方法，对指定的文本文件或者浏览器 LocalStorage 内容进行精确的查询读写操作
基于 Lodash, 支持大量的处理方法
支持 JSON 格式文本及任意可被转换为 JSON 结构的文本数据 (xml/yaml/toml/ini)

具体使用请参照 Github: https://github.com/typicode/lowdb

数据内容

{
  "posts": [
    { "id": 1, "title": "lowdb is awesome" },
    { "id": 2, "title": "sooooooo good" }
  ],
  "user": {
    "name": "typicode"
  },
  "count": 1
}

常用操作

// Node.js
// npm install lowdb
const low = require('lowdb')
const FileSync = require('lowdb/adapters/FileSync')

const adapter = new FileSync('db.json')
const db = low(adapter)

// Add a post
db.get('posts')
  .push({ id: 1, title: 'lowdb is awesome'})
  .write()

// Set a user using Lodash shorthand syntax
db.set('user.name', 'typicode')
  .write()
  
// Increment count
db.update('count', n => n + 1)
  .write()

// Sort the top five posts.
db.get('posts')
  .filter({published: true})
  .sortBy('views')
  .take(5)
  .value()


// Get post titles.
db.get('posts')
  .map('title')
  .value()

// Get the number of posts.
db.get('posts')
  .size()
  .value()

自定义 serialize/deserialize 函数支持更多格式

const adapter = new FileSync('array.xml', {
  defaultValue: [],
  serialize: (array) => toXMLString(array),
  deserialize: (string) => fromXMLString(string)
})

使用场景

之前使用 JavaScript 写过很多小工具，包括文件格式转换，简单数据处理，文档生成，代码生成等等。

这种轻量级的处理场景下本地数据存储简直是刚需，在 Node 环境中我通常使用 JSON 文件来进行存储，以下是某产品文档中的一则 FAQ JSON 格式数据示例，生成文档的时候我需要指定 category 提取相应的信息，指定 rank 来进行文档排序:

{
  "faq": [
    {
      "title": "EMQ X中ssl resumption session的使用",
      "category": "使用教程",
      "tag": ["TLS"],
      "content": "修改emqx.conf配置中的 reuse_sessions = on 并生效后。",
      "rank": 0
    },
    {
      "title": "MQTT 客户端断开连接统计",
      "category": "运维管理",
      "tag": ["指标"],
      "content": "执行 `emqx_ctl listeners`，查看对应端口下的 `shutdown_count` 统计。",
      "rank": 100
    },
    {
      "title": "EMQ X 的百万连接压力测试的场景是什么？",
      "category": "运维管理",
      "tag": ["性能测试"],
      "content": "在EMQ 2.0版本发布的时候，由第三方软件测试工具服务提供商 [XMeter](https://www.xmeter.net) 执行了一次百万级别连接的性能测试。...",
      "rank": 98
    }
  ]
}

使用前

很长一段时间里我在 Node.js 中采用 JavaScript 的数组查找、过滤和排序来完成数据筛选，在数据变更之后使用写文件的方式再次写入磁盘。

const { faq } = require('./datasource.json')

// 过滤
const deployFAQ = faq.filter($ => $.category === '运维管理')

// 以下还有排序代码...

基于如此复杂且不清晰的操作流，我多次思考纠结我是否需要一个数据库来处理这部分业务，哪怕是 SQLite 都行，但是引入数据库后我又不得不再开发一个 Admin 界面来进行增删查改。

使用后

const low = require('lowdb')
const FileSync = require('lowdb/adapters/FileSync')

const adapter = new FileSync('db.json')
const db = low(adapter)

db.defaults({ faq: [] })
  .write()

// Filter and Sort by rank.
const faq = db.get('faq')
  .filter({ category: '运维管理' })
  .sortBy('rank')
  .value()
console.log(faq)

项目计划

研究支持开源项目 emqx 前端配置项配置
封装常用在线文档/代码工具如 Markdown 表格转换, yapi 转 Element 表格及表单代码工具