StableDiffusion嵌入现实世界，能在墙上直接长出小猫咪，手机可玩

注意看，你面前是一堵平平无奇的墙。

现在，你可以按照自己的意愿，让它直接凭空长出点东西来。

比如……一只小猫咪？

没错，Stable Diffusion 又可以搞新花活了！

这一次的重点在于，Stable Diffusion 的触手扩展到现实世界——和 WebAR 相结合。

作者是个软件工程师小哥 Stijn Spanhove，经常在推特主页发些关于 WebAR 或 XR 的视频。

目前，这条凭空长猫的视频热度还挺不错。

新世界的大门打开，有网友对 AR+SD 的兴趣更浓了：

还有人说：

这简直就是《反恐精英》一个酷毙了的新版本啊！

一起来看看这个有点酷的新东西吧～

SD 与 AR 一起玩

首先，拿起手机，然后随意选择一堵墙，透过屏幕界面锁定它：

选定一块心仪区域，把它圈起来，全部涂黑。

输入提示词：

一只可可爱爱的小猫咪，涂鸦风格，数字艺术

接着点击输入框下方的 Diffusion 按钮，直接快进到见证奇迹的时刻。

此时，无论从哪个角度看，墙上都有一幅《喵娜丽莎》在微笑地看着你了。

这个视频，是小哥利用火到没边、门槛又低的 Stable Diffusion，结合 WebAR，搞出的第一个实验产品。

他在评论区和围观网友讨论了具体的工作流程。

第一步，冻结帧，把它作为生成图像的表面纹理，并让它拥有世界定位和设备跟踪相机。

第二步，向服务器发送 API 请求，并附上冻结帧（图像）和文本提示（Stable Diffusion）。

整个工作中，将 Stable Diffusion 嵌入现实世界是利用 AR完成的。

关于绘制纹理，小哥则使用了Raycast（一款完全可扩展的快捷启动器）。

整个过程简单利落，引发了网友新的思考。

目前有很多有趣的 NPU（嵌入式神经网络处理器）硬件，手机的共享内存也超过 12GB。

在这个前提下，如果 Stable Diffusion 和 AR 一起玩这个工作能在本地运行，并且能够快到在类似的请求时间内，完成整个 512x512 图像生成，并在更快的 AI 上运行升级，一定非常有趣。

小哥自己也说，这个工作只是初尝试，一切只是 Stable Diffusion 和 AR 结合的开始。

但大多数网友觉得这已经是个很有趣的工作了，甚至想在上面 " 乱涂乱画 " 好几个小时。

AIGC 打破次元壁

Stable Diffusion 的风吹进现实世界，绝不是小哥一个人的想法。

具体的操作流程，基本都是在原基础上用 AR 加持。

就在这几天，另一位小哥用 Stable Diffusion，搞了个视频透视式光学透视式眼镜。

（搁这儿叠 buff 呢？）

具体来说，就是小哥用 Stable Diffusion 做了个虚拟的 AR 眼镜，然后在手机屏幕上透过眼镜镜片，实现 AR 效果。

生成的虚拟 AR 眼睛不仅有电量提示，透过它看现实，能呈现西部世界、丛林、异形等多种画面风格。

此外，还有人结合 Meta 旗下的 AR 创作工具Spark AR，利用 Stable Diffusion，假装自己手握了一个方块小卡片。

就是上面还能播放动画的那种。

为了达到逼真效果，作者还在卡片表面叠了一个反光图层，让卡片呈现的光泽 " 像玻璃杯一样 "。

不过，这次的 Stable Diffusion 产出的图像不是实时生成，而是事先录制的，因为当下的 Spark AR 版本还不支持 AI 和 ML。

"Very Nice，通过 Stable Diffusion，AI 和 AR 再一次紧密相连了。"

不管怎么说，Stable Diffusion 这么火，不仅靠的是跑出来的惊人结果，触及文本生成图像以外的领域时，实力也很强劲呀～