港科大联手思谋新作：Defect Spectrum 数据集重新定义AI工业质检

3月前

整理 | 褚杏娟

在“生产制造 - 缺陷检测 - 工艺优化 - 生产制造”的智能制造闭环链条中，基于 AI 的智能缺陷检测扮演着“把关者”的角色。但这个“把关者”长期以来却缺少样本量大、精度高、语义丰富的缺陷数据集。

近日，港科广和专注于智能制造领域的人工智能独角兽思谋科技联合发布了一篇论文，该论文提出了 Defect Spectrum 缺陷数据集及 DefectGen 缺陷生成模型，主攻工业智能检测，可解决模型无法识别的缺陷类别和位置问题，有效提升 10.74% 召回率，降低 33.1% 过杀率。

据悉在去年，该合作团队提出的《Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection》被选为 ICCV 最佳论文候选。

Project Page: https://envision-research.github.io/Defect_Spectrum/

Arxiv Page: https://arxiv.org/abs/2310.17316

Github Repo: https://github.com/EnVision-Research/Defect_Spectrum

Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum

突破传统限制，

更贴近落地生产

高质量的数据集对 CV 技术和人工智能的发展起着至关重要的作用。如 ImageNet 不仅推动了算法的创新，还促进产业发展和进步。

在工业界，MVTec、VISION VI、DAGM2007 等数据集帮助视觉学习算法更接近工业生产实际场景，但由于样本量、精度、语义描述的不足，始终限制着 AI 工业检测的发展。

Defect Spectrum 数据集带着突破传统缺陷检测界限的任务而来，为工业缺陷提供了详尽、语义丰富的大规模标注，首次实现了超高精度及丰富语义的工业缺陷检测。

相比其他工业数据集，“Defect Spectrum”数据集提供了 5438 张缺陷样本、125 种缺陷类别，并提供了像素级的细致标签，为每一个缺陷样本提供了精细的语言描述，实现了前所未有的性能突破。

相比其他工业数据集，Defect Spectrum 精准度更高、标注更丰富

Defect Spectrum 与其他数据集的数量、性质对比

从实际的工业生产来看，工厂对缺陷检测的要求细致，需要在控制缺陷件的同时保证收益率。然而，现有缺陷检测数据集常常缺乏应用所需的精确度和语义丰富性，无法良好支持实际生产。

例如，一件衣服的拉链齿出现了错位，虽然缺陷尺寸不大但却影响衣物功能，导致拉链无法正常使用，消费者不得不将其退回工厂进行修复。然而，如果缺陷发生在衣物的面料上，比如轻微的钩丝或颜色略有差异，这时就需要仔细权衡其尺寸和影响。小规模的面料缺陷可被归类在可接受的范围内，允许这些产品通过不同的分销策略销售，比如以打折价格进行销售，在不影响整体质量的同时保有收益。

传统数据集如 MVTEC 和 AeBAD 尽管提供了像素级的标注，但常常局限于 binary mask，无法细致区分缺陷类型和位置。Defect Spectrum 数据集通过与工业界四大基准的合作，重新评估并精细化已有的缺陷标注，对细微的划痕和凹坑进行了更精确的轮廓绘制，且通过专家辅助填补了遗漏的缺陷，确保了标注的全面性和精确性。

通过 Defect Spectrum 数据集这个强大的工具，工厂缺陷检测系统能够迅速识别、立即标记，并采取相关修复策略。

革命性生成模型，

专攻缺陷样本不足

港科大和思谋科技研究团队还提出了缺陷生成模型 Defect-Gen，一个两阶段的基于扩散的生成器。

Defect-Gen 两阶段生成流程示意图

Defect-Gen 专门解决当前数据集中缺陷样本不足的问题，通过利用极少量的工业缺陷数据生成图像与像素级缺陷标签，即使在有限的数据集上也能工作，为 AI 在复杂工业环境中的应用开辟了新的可能。

Defect-Gen 具体通过两个关键方法提高图像的多样性和质量：一是使用 Patch 级建模，二是限制感受野。

为弥补 Patch 级建模在表达整个图像结构上的不足，研究团队首先在早期步骤中使用大感受野模型捕捉几何结构，然后在后续步骤中切换到小感受野模型生成局部 Patch，可在保持图像质量的同时，显著提升了生成的多样性。通过调整两个模型的接入点和感受野，模型在保真度和多样性之间实现了良好的平衡。而生成数据同样可以作为数据飞轮的一部分，并加速其运转。

目前，Defect Spectrum 数据集的 5438 张缺陷样本中，有 1920 张由 Defect-Gen 生成。研究团队对应用 Defect-Gen 生成模型的 Defect Spectrum 数据集进行了全面的评估，验证了 Defect Spectrum 在各种工业缺陷检测挑战中的适用性和优越性。

部分缺陷检测网络在 Defect Spectrum 数据集上的测评结果

Defect Spectrum 数据集上的实际评估标准

Defect Spectrum 在实际评估中的优异表现

比起原有的数据集，在 Defect Spectrum 数据集上训练的模型召回率 (recall) 提升 10.74%，过杀率 (False Positive Rate) 降低了 33.1%。

据介绍，Defect Spectrum 数据集的引入可以让缺陷检测系统更加贴近实际生产需求，实现高效、精准的缺陷管理，同时为未来的预测性维护提供了宝贵的数据支持，通过记录每个缺陷的类别和位置，工厂可以不断优化生产流程，改进产品修复方法，最终实现更高的生产效益和产品质量。

目前 Defect Spectrum 数据集已应用于思谋科技缺陷检测视觉模型的预训练中，未来将与 IndustryGPT 等工业大模型融合，深度落地并服务于工业质检业务。

内容推荐

在这个智能时代，AI 技术如潮水般涌入千行百业，深度重塑生产与生活方式。大模型技术引领创新，精准提升行业效率，从教育个性化教学到零售精准营销，从通信稳定高效到金融智能风控，AI 无处不在。它不仅是技术革新的先锋，更是社会经济发展的强大驱动力。在 AI 的赋能下，我们正迈向一个更加智能、便捷、高效的新未来，体验前所未有的生活变革与行业飞跃。关注「AI 前线」公众号，回复「千行百业」获取免费案例资料。

活动推荐

在 8 月 18-19 日即将举行的 AICon 全球人工智能开发与应用大会上，60 多位来自字节跳动、华为、阿里巴巴、微软亚洲研究院、智源研究院、上海人工智能实验室、蔚来汽车、小红书、零一万物等顶尖企业与研究机构的资深专家将汇聚一堂，带来 AI 和大型模型在各种落地场景下的应用案例和最佳实践分享，帮助与会者提升技术视野、获得有价值的实践指导。大会火热报名中，详情点击【阅读原文】链接了解或联系票务经理 13269078023 咨询。