大数据 > 一部手机,所有东西都可以复制和粘贴,这位写代码的兼职设计师在

一部手机,所有东西都可以复制和粘贴,这位写代码的兼职设计师在

2020-05-11 13:00阅读(63)

参与:蛋黄酱,魔鬼王,杜唯 ,复制您所看到的东西,这就是魔术 还是齐天大圣的魔力? 没有一个 这是AR的魔力。 看到的内容是什么? 是魔术还是猴子王的魔术?

1
参与:蛋黄酱,魔鬼王,杜唯

,复制您所看到的东西,这就是魔术 还是齐天大圣的魔力? 没有一个 这是AR的魔力。

看到的内容是什么? 是魔术还是猴子王的魔术? 没有一个 这是AR的魔力。

如何将项目的图像导入Photoshop? 首先,您需要拍照,然后通过网络或存储卡将其传输到计算机,然后将其导入Photoshop界面。 那么这些过程可以一步一步完成吗? 现在

,AR可以做到。

在名为ar cut&paste的工具中,用户只需要在手机上预安装该工具,然后对目标对象进行拍摄,然后将图像复制并粘贴到Photoshop中,这有点“空间分离” 。 首先看一下

的效果:

盆栽。

展开

服装的全文。

书。

如上图所示,无论是盆栽,衣服还是书籍,都可以复制,单击进入Photoshop便成为图像材料,这是图形设计师的福音。 根据

,目前,工具的切割延迟约为2.5秒,粘贴延迟约为4秒。 该过程可以进一步加速。 此外,作者还预测下周将发布另一个AI + UX原型!

项目介绍

ar剪切和粘贴工具是Ar + ml原型,您可以使用该工具复制周围环境中的固定对象并将其粘贴到图像编辑软件(Photoshop)中。 应该注意的是,该工具仅适用于Adobe Photoshop软件,将来可能支持处理不同的输出。

项目地址:https://github.com/cyrildiagne/ar-cutpaste

原型具有三个独立的模块,即移动应用程序,本地服务器,目标检测和后台删除服务。 首先,用户需要在手机上预先安装剪切和粘贴功能。 其次,作为app和Photoshop之间的接口,用户需要预先配置本地服务器。 最后,由外部服务(使用basnet技术)执行重要的目标检测和背景消除。 用户需要使用自己的Photoshop远程连接密码替换以下代码中的123456。

技术细节

该工具使用basnet(Qin等人,CVPR 2019)执行重要的目标检测和背景去除。

然后使用opencv sift找出手机瞄准计算机屏幕的位置。 只需一张手机照片和屏幕截图即可获得准确的x,y屏幕坐标系。

重要目标检测和背景清除

项目作者使用basnet进行重要目标检测和背景清除。

basnet来自CVPR 2019论文“ basnet:边界感知显着对象检测”,它涉及边界的重要性检测。 它的主要创新在于损失函数的设计,该函数使用了交叉熵,结构相似性损失和IOU损失的混合损失,因此网络更加关注边界质量,而不是区域精度。 它可以在单个GPU上运行25 FPS,并在六个公共数据集上实现SOTA效果。 下图显示了

-

basnet的体系结构:为了方便

-

-

,项目作者制作了一个basnet HTTP服务包装器。

GitHub地址:https://github.com/cyrilliagne/basnet-http

定位

sift(尺度不变特征变换,尺度不变特征变换)是一种关键点检测算法,SIFT算法检测到的关键点是 通常对于光线,视角等的变化相当稳定,甚至对视线遮挡几乎没有影响。 SIFT算法的另一个优点是它非常快并且可以基本满足实时操作的要求。

sift算法示例。 来源:Wikipedia URL:https://zh.wikipedia.org/wiki/scale-invariant'feature'transform

该工具使用opencv筛查法来确定手机在计算机屏幕上的目标位置。

项目作者将其封装到一个小的Python包中。 参见:

GitHub地址:https://github.com/cyrildiagne/screenpoint

作者简介

该工具的发明者Cyril diagne现在居住在法国巴黎,集成了艺术家,设计师和程序员的三种专业身份。 这是一个真正的中年斜线。

西里尔·戴安娜(Cyril diagne)和其他五名学生于2008年从巴黎的莱斯·戈贝林斯(Les Gobelins)影像学校毕业后,创立了艺术机构lab212。

还是巴黎Google文化研究实验室的艺术家,并且是瑞士洛桑艺术与设计大学的媒体与交互设计总监。 十多年来,Cyril diagne一直沉迷于将新颖的数字技术与艺术设计相结合,从而创造出美妙的互动体验。 同时,他认为这种结合将使计算机技术更加人性化。 以

为例,他曾经开发了面部涂鸦工具。 在tensorflow.js,facemesh和three.js的帮助下,他可以使用AR在Web浏览器上对面部进行涂鸦。

还具有Chrome扩展程序,可以为instagram个人主页图像添加3D效果。 效果生成类似于Facebook的3D照片功能,因此2D照片也可以呈现多角度场景。 如果您对这样的艺术或技术设计感兴趣,可以在GitHub网站Cyril diagne上找到更多有趣的作品。

个人主页:https://github.com/cyrildiagne

。 这是机器的心脏。 请联系官方帐户进行授权。