官网直达
1.最近,Meta公司提出的Segment Anything模型(SAM)引起了计算机视觉领域的巨大关注。SAM不仅是一种图像分割模型,更是一种提示型模型,通过在超过1100万张图像上训练的10亿个掩码,实现了强大的零样本泛化。有许多研究人员认为,SAM的出现堪比计算机视觉领域的GPT-3时刻,
SAM已经学习了对象是什么的一般概念——这种理解使零样本泛化到不熟悉的对象和图像,而不需要额外的训练。因为它不仅能够识别常见物体,还能处理未知物体、不熟悉的场景(如水下、细胞显微镜下)和模糊情况。
2.Segment Anything论文
SAM的原始论文可以在 这里 找到。论文详细介绍了SAM的设计理念、训练过程以及在不同任务上的性能评估。
我们使用Cookie和类似技术来帮助提供Segment Anything网站上的内容,并用于分析目的。您可以在我们的Cookie政策中了解更多关于Cookie以及我们如何使用Cookie的信息。
3.使用方法
SAM的使用方法多种多样,用户可以选择通过官网的 Demo链接 进行在线测试,也可以通过安装SAM库并使用相应的代码进行测试。
在线测试方法
- 进入 Segment Anything官网的demo网页。
- 上传一张图片,无需提供任何提示。
- SAM会自动生成有效的分割掩码,展示其强大的零样本泛化能力。
代码测试方法SAM的数据引擎
SAM的高级功能是它对通过使用循环中的模型“数据引擎”收集的数百万张图像和掩模进行训练的结果。研究人员使用SAM及其数据对图像进行交互式注释并更新模型。这个循环被重复了很多次,以改进模型和数据集。
- 安装SAM库,可以通过访问 Github项目地址 获取代码和安装说明。
- 使用相应的代码进行图像分割测试,可以通过提供不同的提示(prompt)来引导模型生成特定目标的掩码。
SAM的Prompt交互概念使其在处理任意目标的快速分割上具有优势。提示可以是前景/背景点集、粗略的框或遮罩、任意形式的文本或任何指示图像中需要进行分割的信息。
4.Segment Anything的应用
可扩展输出输出掩码可以用作其他AI系统的输入。例如,可以在视频中跟踪对象掩码,启用图像编辑应用程序,将其提升到3D,或用于整理等创造性任务。
SAM的出现不仅推动了计算机视觉基础模型的发展,还为图像分割任务提供了新的思路。其零样本泛化能力使得模型能够在没有先验训练的情况下迅速适应新的图像分布和任务。这对于处理大规模、多样化的图像数据集具有重要意义,为实际应用提供了更加灵活和高效的解决方案。
在整个计算机视觉领域,Segment Anything模型的引入被认为是一次重要的创新,为未来的研究和应用开辟了新的方向。希望通过更深入的研究和广泛的应用,Segment Anything模型能够在图像分割领域取得更为显著的成果。
SAM可以从其他系统中获取输入提示,例如将来从AR/VR耳机中获取用户的视线来选择对象。这段视频使用了我们开源的Aria试点数据集。
来自对象检测器的边界框提示可以实现文本到对象的分割。
可扩展输出
输出掩码可以用作其他AI系统的输入。例如,可以在视频中跟踪对象掩码,启用图像编辑应用程序,将其提升到3D,或用于整理等创造性任务。
5.SAM使用各种输入提示
指定在图像中分割什么的提示允许进行广泛的分割任务,而不需要额外的训练。SAM的快速设计使其能够与其他系统灵活集成
Cookie Policy
The Service may utilize "cookies", which are small text files placed on your computer or device. We may also use pixel tags, web beacons and other similar technologies.
Such devices are used to help analyze our web page flow, customize our services, optimize our user interfaces, measure promotional effectiveness, and promote trust and safety.
With these devices, we may collect data such as the identity of the applicable internet service provider, the user's IP address of his or her terminal device, the type of browser software and operating system in use, the date and time of site access, the website address, if any, from which the user linked to the Website, and other similar traffic-related information. We may also aggregate such information with similar data collected from other users and disclose such aggregate information to third parties.
Certain features are only available through the use of cookies, and generally we need to use these essential cookies to help identify return visitors to this Service.
You are always free to decline Segment Anything cookies via your browser settings, although doing so may interfere with your use of the Service. To learn more about cookies, please visit allaboutcookies.org.