DuckDB

DuckDB 是一个用于数据科学与数据分析的嵌入式列式数据库。数据分析师通常会在本地将数据加载进诸如 pandas 或 data.table 这些工具中，从而可以在于服务器内扩展解决方案前就做到快速分析模式和形成假设。 然而，我们现在使用DuckDB来处理这些用例，因为它释放出了比内存分析更大的潜力。 DuckDB 支持庞大事务的 range joins，向量化执行和多版本并发控制 (MVCC) ，我们的团队对此表示非常满意。

DuckDB 是一个嵌入式列式数据库，可用于数据科学与数据分析。 在将数据转移到服务器之前，分析师花费大量时间在本地清洗数据和可视化数据。 尽管数据库已经存在了几十年，但大多数数据库都是为客户端-服务器用例设计的，因此不适合本地交互式查询。 为了解决这一问题，分析人员通常会使用内存数据处理工具，例如：Pandas 或 data.table。 尽管这些工具是有效的，但它们能分析的范围只限于内存恰好能容纳的数据量大小。 我们认为DuckDB 用嵌入式列式引擎巧妙地填补了工具方面的空白，该引擎针对本地、大于内存的数据集进行了优化。