splink

Splink是一个Python库，用于概率记录链接（实体解析），能够在没有唯一标识符的情况下对数据集进行去重和链接。它实现了Fellegi-Sunter模型，并进行了定制化改进以提高准确性。主要特点包括：高速处理（在笔记本电脑上约1分钟链接约100万条记录）、支持模糊匹配和词频调整、通过DuckDB（Python）或Spark/PostgreSQL（支持1亿条以上记录）实现可扩展性、无监督学习（无需训练数据），以及用于模型诊断的交互式可视化。它最适合多列、低相关性的输入数据（例如，人员的姓名、出生日期和城市）。广泛应用于政府、学术界和私营部门。提供针对不同后端的安装选项，并配有包含教程和示例的丰富文档。