theme: condensed-night-purple
信任大家最近都听说了Meta开源了一个图画切割模型【SegmentAnything Model】,简称SAM模型,声称切割全部,在短短开源的一周内,截止今天Github已经24k的star了!
看了很多推文各种炸裂的词都出来了,最近也是体会了一下,真就给我当头一棒,头皮发麻,由于这个模型直接宣告了咱们一些流程彻底不需要深入研究了,就用SAM就行。
王者的诞生
说到Meta大家或许不知道这个是什么公司,可是说到Facebook大家都知道,而Meta就是改名后的Facebook,而咱们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?咱们看看官方的介绍:
多元化交互
现在官方的demo支撑交互式标示,能够通过画框、鼠标点击来获取切割的区域,此外还能够一键切割全部,轻轻点一下,将切割成果实时展示出来,而且关于不太确认的类别提供了多个有效的区域,举个比方,如果一堆草地里面会有花、花瓣也会切割出来,你能够依据阈值进行调整。
支撑三维
SAM模型的输出成果能够作为其他AI的输入,比方下图的视频里不断被追寻切割椅子,进而提取出椅子的特征,能够生成椅子的三维模型。
集成运用
SAM的可提示设计使其能够与其他系统灵敏整合,如图右,输入文本能够依据咱们文本进行切割;如图左,能够依据AR眼睛的注视规模(一个点表明)然后切割出物体而且给出它的类别,这个和Meta本身的VR方向彻底是相辅相成了。
0练习
官方宣扬SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图画进行归纳,而不需要额外的练习。
初步体会
好了好了,讲这么多,听起来也没啥感觉吧,不如实际体会一下。
这儿我先上传了一个高分辨率无人机拍的png: 能够看到草坪、人行道、车辆切割的非常完美,而右下角的空地要素较多也进行了分类,水潭是水潭、草坪是草坪、荒地是荒地。
运用框选的话,首先会把右下角分为一个整体: 然后后续运用SegmentAnything会给出更精细的切割:
而且输出很棒,能够直接将切割的区域进行输出
然后我还试了其他图片,在没有进行练习的情况下,SAM仍是把树一颗一颗的分别出来了,而且排除了暗影:
不练习效果都这么好,迁移一下模型,不得起飞(笑)
总结
总体体会下来,SAM最大的大招和冲击那就是样本标示,这种精细化交互式标示将杀死咱们以前纯人工划区域的方法,而且大大提高样本的精度和下降样本标示的本钱!
还在用labelIMG传统标示?来体会一下SAM模型的赛博标示吧! segment-anything.com/
展望
在研一上人工智能的数学原理的时分,数院教授就和咱们说深度学习其实已经进入了瓶颈期,未来将是深度学习运用的迸发期,其时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的运用的出现,让我身临其境的感悟了大模型的魅力。信任后边仍是运用的迸发期,大家的公司能够开起来了。
这儿是GIS世界,咱们下期再会~
商业协作请私信大众号
本人其他渠道账号:
- 微信大众号:GIS世界
- CSDN:GIS_世界
- 知乎:GIS世界
- :GIS世界