修改:桃子 好困

【新智元导读】Meta 的 SAM「切割全部」模型刚发布,国内团队就进行了二创,打造了一个最强的零样本视觉运用 Grounded-SAM,不仅能切割全部,还能检测全部,生成全部。

Meta 的「切割全部」模型横空出世后,已经让圈内人惊呼 CV 不存在了。

就在 SAM 发布后一天,国内团队在此根底上搞出了一个进化版别「Grounded-SAM」。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

注:项目的 logo 是团队用 Midjourney 花了一个小时做的

Grounded-SAM 把 SAM 和 BLIP、Stable Diffusion 集成在一同,将图片「切割」、「检测」和「生成」三种才能合一,成为最强 Zero-Shot 视觉运用。

网友纷纷表明,太卷了!

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

谷歌大脑的研讨科学家、滑铁卢大学计算机科学助理教授 Wenhu Chen 表明「这也太快了」。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

AI 大佬沈向洋也向大家引荐了这一最新项目:

Grounded-Segment-Anything:主动检测、切割和生成任何有图画和文本输入的东西。边际切割能够进一步改进。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

到现在,这个项目在 GitHub 上已经狂揽 2k 星。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

检测全部,切割全部,生成全部

上周,SAM 的发布让 CV 迎来了 GPT-3 时间。甚至,Meta AI 声称这是史上首个图画切割根底模型。

该模型能够在统一的框架 prompt encoder 内,指定一个点、一个边界框、一句话,直接一键切割出任何物体。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

SAM 具有广泛的通用性,即具有了零样本搬迁的才能,足以涵盖各种用例,不需要额定练习,就能够开箱即用地用于新的图画领域,无论是水下相片,还是细胞显微镜。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

由此可见,SAM 能够说是强到发指。

而现在,国内研讨者根据这个模型想到了新的点子,将强壮的零样本方针检测器 Grounding DINO 与之结合,便能通过文本输入,检测和切割全部。

借助 Grounding DINO 强壮的零样本检测才能,Grounded SAM 能够通过文本描述就能够找到图片中的任意物体,然后通过 SAM 强壮的切割才能,细粒度的切割出 mas。

最后,还能够利用 Stable Diffusion 对切割出来的区域做可控的文图生成。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

再 Grounded-SAM 详细实践中,研讨者将 Segment-Anything 与 3 个强壮的零样本模型相结合,构建了一个主动标示体系的流程,并展示出十分十分令人形象深刻的成果!

这一项目结合了以下模型:

BLIP:强壮的图画标示模型

Grounding DINO:最先进的零样本检测器

Segment-Anything:强壮的零样本切割模型

Stable-Diffusion:出色的生成模型

所有的模型既能够组合运用,也能够独立运用。组建出强壮的视觉工作流模型。整个工作流拥有了检测全部,切割全部,生成全部的才能。

该体系的功能包含:

BLIP+Grounded-SAM = 主动标示器

运用 BLIP 模型生成标题,提取标签,并运用 Ground-SAM 生成框和掩码:

** 半主动标示体系:**检测输入的文本,并供给精确的框标示和掩码标示。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

全主动标示体系:

首要运用 BLIP 模型为输入图画生成可靠的标示,然后让 Grounding DINO 检测标示中的实体,接着运用 SAM 在其框提示上进行实例切割。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

Stable Diffusion+Grounded-SAM = 数据工厂

** 用作数据工厂生成新数据:**能够运用扩散修正模型根据掩码生成新数据。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

Segment Anything+HumanEditing

在这个分支中,作者运用 Segment Anything 来修改人的头发 / 面部。

SAM + 头发修改

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星
Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

SAM + 时髦修改

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星
Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

作者关于 Grounded-SAM 模型提出了一些未来或许的研讨方向:

主动生成图画以构建新的数据集;切割预练习的更强壮的根底模型;与 (Chat-)GPT 模型的合作;一个完好的管道,用于主动标示图画(包含边界框和掩码),并生成新图画。

作者介绍

Grounded-SAM 项目其间的一位研讨者是清华大学计算机系的三年级博士生刘世隆。

他近日在 GitHub 上介绍了自己和团队一同做出的最新项目,并称现在还在完善中。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

现在,刘世隆是粤港澳大湾区数字经济研讨院(IDEA 研讨院),计算机视觉与机器人研讨中心的实习生,由张磊教授指导,首要研讨方向为方针检测,多模态学习。

在此之前,他于 2020 年获得了清华大学工业工程系的学士学位,并于 2019 年在旷视实习过一段时间。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

个人主页:www.lsl.zone/

顺便提一句,刘世隆也是今年 3 月份发布的方针检测模型 Grounding DINO 的一作。

此外,他的 4 篇论文中了 CVPR 2023,2 篇论文被 ICLR 2023 接纳,1 篇论文被 AAAI 2023 接纳。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

论文地址:arxiv.org/pdf/2303.05…

而刘世隆提到的那位大佬——任天和,现在在 IDEA 研讨院担任计算机视觉算法工程师,也由张磊教授指导,首要研讨方向为方针检测和多模态。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

此外,项目的合作者还有,中国科学院大学博士三年级学生黎昆昌,首要研讨方向为视频了解和多模态学习;IDEA 研讨院计算机视觉与机器人研讨中心实习生曹赫,首要研讨方向为生成模型;以及阿里云高级算法工程师陈佳禹。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

任天和、刘世隆

装置运转

项目需要装置 python 3.8 及以上版别,pytorch 1.7 及以上版别和 torchvision 0.8 及以上版别。此外,作者强烈建议装置支撑 CUDA 的 PyTorch 和 TorchVision。

装置 Segment Anything:

python -m pip install -e segment_anything

装置 GroundingDINO:

python -m pip install -e GroundingDINO

装置 diffusers:

pip install --upgrade diffusers[torch]

装置掩码后处理、以 COCO 格局保存掩码、example notebook 和以 ONNX 格局导出模型所需的可选依赖。同时,项目还需要 jupyter 来运转 example notebook。

pip install opencv-python pycocotools matplotlib onnxruntime onnx ipykernel

Grounding DINO 演示

下载 groundingdino 检查点:

cd Grounded-Segment-Anything
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

运转 demo:

export CUDA_VISIBLE_DEVICES=0
python grounding_dino_demo.py \
  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \
  --grounded_checkpoint groundingdino_swint_ogc.pth \
  --input_image assets/demo1.jpg \
  --output_dir "outputs" \
  --box_threshold 0.3 \
  --text_threshold 0.25 \
  --text_prompt "bear" \
  --device "cuda"

模型猜测可视化将保存在 output_dir 中,如下所示:

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

Grounded-Segment-Anything+BLIP 演示

主动生成伪标签很简单:

  1. 运用 BLIP(或其他标示模型)来生成一个标示。

  2. 从标示中提取标签,并运用 ChatGPT 来处理潜在的杂乱句子。

  3. 运用 Grounded-Segment-Anything 来生成框和掩码。

export CUDA_VISIBLE_DEVICES=0
python automatic_label_demo.py \
  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \
  --grounded_checkpoint groundingdino_swint_ogc.pth \
  --sam_checkpoint sam_vit_h_4b8939.pth \
  --input_image assets/demo3.jpg \
  --output_dir "outputs" \
  --openai_key your_openai_key \
  --box_threshold 0.25 \
  --text_threshold 0.2 \
  --iou_threshold 0.5 \
  --device "cuda"

伪标签和模型猜测可视化将保存在 output_dir 中,如下所示:

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

Grounded-Segment-Anything+Inpainting 演示

CUDA_VISIBLE_DEVICES=0
python grounded_sam_inpainting_demo.py \
  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \
  --grounded_checkpoint groundingdino_swint_ogc.pth \
  --sam_checkpoint sam_vit_h_4b8939.pth \
  --input_image assets/inpaint_demo.jpg \
  --output_dir "outputs" \
  --box_threshold 0.3 \
  --text_threshold 0.25 \
  --det_prompt "bench" \
  --inpaint_prompt "A sofa, high quality, detailed" \
  --device "cuda"

Grounded-Segment-Anything+Inpainting Gradio APP

python gradio_app.py

作者在此供给了可视化网页,能够更方便的尝试各种比如。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

网友评论

关于这个项目 logo,还有个深层的意义:

一只坐在地上的马赛克风格的熊。坐在地面上是因为 ground 有地面的意义,然后切割后的图片能够认为是一种马赛克风格,而且马塞克谐音 mask,之所以用熊作为 logo 主体,是因为作者首要示例的图片是熊。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

看到 Grounded-SAM 后,网友表明,知道要来,但没想到来的这么快。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

项目作者任天和称,「我们用的 Zero-Shot 检测器是现在来说最好的。」

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

未来,还会有 web demo 上线。

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

最后,作者表明,这个项目未来还能够根据生成模型做更多的拓展运用,例如多领域精细化修改、高质量可信的数据工厂的构建等等。欢迎各个领域的人多多参加。

参考资料:

github.com/IDEA-Resear…

www.reddit.com/r/MachineLe…

zhuanlan.zhihu.com/p/620271321