在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：
- 与第三方共享数据
- 遵守GDPR等法规要求
- 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据
我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。
到目前为止，我们已经找到了查找人名、电子邮件地址、电话号码和信用卡号码的方法。让我们看看我们还能找到哪些其他类型的PII。
介绍Hugging Face
Hugging Face是一个流行的Python库，包含预先训练的人工智能模型，可用于各种自然语言处理（NLP）任务，包括命名实体识别（NER）。正如我们在前几篇文章中所讨论的，NER是一种非常有用的检测文本中PII的技术。
Python示例
让我们看看我们将如何使用拥抱脸。
先决条件：
应至少安装TensorFlow 2.0或PyTorch中的一个。然后在您选择的终端中键入以下内容：
pip install transformers
我们将尝试看看“拥抱脸”在识别某些文本中的位置方面做得有多好：
from transformers import pipeline
ner = pipeline("ner", grouped_entities=True)
sequence = "In west Philadelphia born and raised. On the playground was where I spent most of my days. "
sequence += "I got in one little fight and my mom got scared. "
sequence += "She said 'You're movin' with your auntie and uncle in Bel Air'!"
output = ner(sequence)
print(output)
让我们看看这个代码打印的内容：
[
{'entity_group': 'LOC', 'score': 0.99.., 'word': 'Philadelphia', 'start': 8, 'end': 20},
{'entity_group': 'LOC', 'score': 0.99.., 'word': 'Bel Air',
'start': 194, 'end': 201}
]
它只使用默认的英语语言模型和设置就很好地检测到了这两个位置词。给人印象深刻的
根据我的经验，“拥抱脸”在检测位置方面比我们迄今为止讨论的其他工具要好，所以如果发现位置对你来说很重要，那么一定要试一试。它非常灵活，周围有一个很大的社区，有很好的文档，并且被广泛使用。
结论
我们不仅继续将PII类型添加到我们能够找到的列表中，而且我们也在慢慢提高质量，给自己足够的知识来选择最适合这份工作的工具。
我们将在随后的文章中继续这段旅程，所以请观看此空间以获得更多刺激（嗯……我们中的一些人喜欢这些东西！）。
- 登录 发表评论