Something there。我们今天很开心请到胡渊鸣。
他是 mit 图形学博士，过去十多年一直从事图形学相关工作。
最近，他刚发布了一个 AI 生成3D的产品。
这个产品叫 Mesh，他也是 Mesh 点 AI 的创始人。
渊铭，请和大家打个招呼。
大家好，我是渊铭。很高兴今天能和大家交流分享，也感谢曲凯老师的邀请。
我们今天请袁明来，主要是想聊一聊整个图形学，包括 AI 生成图片、视频、3D 这一整套技术的基本逻辑与发展脉络。
尤其是 AI 生成3D，是叶明现在比较核心的工作方向，所以我们可能会深入讨论 AI 生成3D 这件事。
你最早是在国内读的本科，对吗？
就是学技术。
我是13年到17年在清华的姚班学习计算机。本科毕业以后，我去了波士顿，在麻省理工学院开始读博士。
读博士的过程也比较顺利，四年不到，大约三年半就博士毕业了。
这个速度非常快。
是的，确实挺快。
毕业以后，我用了两年半时间，一直在做图形软件方面的产品和创业工作。
所以我觉得自己比较有意思的经历，是对学术界和创业界两边的事情都了解一些。
嗯哼。
你本科阶段其实就已经在做图形学了吗？
是的。
到底什么是图形学？
其实大家最早对图形学的理解，是真实感渲染。
嗯。
这是什么意思呢？
给定一些3D数据，图形学要把它渲染成一部电影。
渲染结果越真实越好。
但坦率地说，这部分内容发展到大约2000年以后，大家发现其中能够实现的本质性突破
越来越少。
嗯。
大家的兴趣逐渐转向了许多其他方向。
例如，既然现在渲染已经做得比较好，接下来还可以在哪些方面继续改进？
可以把仿真等工作做得更好。
例如，现在要表现一栋楼爆炸，就不再继续实拍炸楼，而是改用一些数理方程来描述这一过程。
这股热潮也持续了一段时间。后来到2012、2013年，AlexNet 这样的工作出现，大家对 AI 的关注度也逐渐提高。
图形相关的内容与 AI 的结合越来越紧密。
因此，我认为图形学可能并不是一项具体的技术。
它是一个由许多应用催生并演化出来的学科。
能否这样理解：图形学仍然是在研究如何用技术更好地把控或修改
对外输出的图形效果。
是的，我认为可以这样理解。无论是现在的显示屏，还是以后的 VR AR，最终都要输出为可见的视觉内容。
对吧？
因此，图形学的许多研究都在关注如何更好地合成这样的数字内容。
OK，所以它必然会分为硬件和软件两部分。
是的，这个理解非常准确。
软件部分包括前面提到的渲染、模拟仿真等，更多属于算法层面。
是的。
另一部分是硬件，例如显卡这一类。
我顺便想问一下游戏中的相关内容。
历史上各代游戏引擎，本质上也属于图形学吗？
是的，实时渲染是图形学中特别重要的一项内容，也需要把实时渲染做好。
基本上都要用到游戏引擎。
典型的例子包括 Unity、unreal engine，这些都是用于实时渲染的游戏引擎。
我认为可以先快速向大家说明这几个概念，因为大多数人可能经常听到它们。
CPU、GPU，以及渲染、仿真等概念，或者各种引擎，究竟分别承担什么作用？
我认为它们都服务于同一个目的。
这个目的就是为大家合成一个更加真实、更具沉浸感的数字世界，通常是 3D 的。
图形学中的许多研究，都是朝着这个方向进行的。
这个目标去努力。
嗯哼。
刚才提到了几个概念，其中包括硬件。
例如 CPU 和 GPU。GPU 之所以诞生，是因为它相比 CPU 具有更大的吞吐量。
因此，GPU 更适合承担渲染、仿真等方面的任务。
后来，AI 又发展成为 GPU 上一个非常重要的 Workload。硬件方面大致如此；软件方面，则有许多大家会用到的创作软件。
其中包括一些用于影视行业的创作软件，这些主要属于离线图形学，即 offline computer graphics。它所做的事情，是先把内容渲染完成，例如渲染成一个 MKV 或者 MK MP4格式的文件。
随后，用户就可以固定播放这个文件，它不具备交互属性。
这类软件包括许多传统意义上的工具，例如 3DMAX。
Maya Blender Houdini 这类软件一般称为 DCC 软件。
它们主要应用于影视、广告等行业。后来又出现了新的变化。
其中一些功能也变得更加适合实时应用。
例如 Houdini 中许多程序化建模功能，其实也可以用于游戏引擎。
另一类软件就是游戏引擎。游戏引擎的特点是什么？
它具有可交互性。
正因为它具有可交互性，所以带来了许多新的挑战。
例如，渲染必须实时完成。以影视中的一些场景为例。
这些场景可以直接全部加载到内存中。
但游戏不能这样处理。特别是一些开放式游戏，完整地图和场景规模非常大，很难将整个场景全部加载到用户的机器中。
在这种情况下，游戏引擎作为实时图形渲染中的重要角色，面临许多挑战。例如，在离线渲染中，可能有一个小时来渲染一张图；但在实时渲染中，情况不同。
实时渲染只有16毫秒的时间。
嗯。
在16毫秒内渲染一张图，与离线渲染之间存在千倍、万倍的计算能力差异。
需要解决的就是这两个问题。
二者的条件和产出要求并不相同。
因此，软件实际上分为离线软件和实时软件。
还有一类的可能就是算法了，那算法呢？
例如 nerf、光线追踪，以及刚才提到的高斯散射等算法，始终在不断迭代。
这些算法当然可以运行在 cpu 上，也可以运行在 gpu 上；可以用于离线，也可以用于实时。
但是，不同算法会有不同的要求。
因此，算法、软件、硬件，当然还有商业生态，是几个相关的部分。
我认为，这四者之间的关系是一种相互耦合的关系，很难把它们完全分开。
这些年，你认为整体图形学的进展更多是由硬件驱动，还是由软件或算法驱动？
这是很好的问题。我只能说，它们是相互作用的。
嗯哼。
硬件和软件的发展始终处于相互迭代的状态。
以 GPU 的诞生为例，在有了 GPU 以后。
大家突然发现，可以渲染的内容变多了。
以前可能只能渲染5个三角形，现在可以渲染500个、5000个，甚至5万个。
因此，就可以有新的软件和算法。
这些软件和算法可以更好地利用硬件提供的资源。
并把相应的内容渲染出来。
当算法需求逐渐提高以后，硬件可能会发现自己已经不够用，现在只能渲染5万个三角形。
但是软件要求它能够渲染500万个三角形。
那该如何解决？
他只能不断优化硬件。
在摩尔定律的持续推动下，硬件可能会变得越来越强大。
有了这些硬件更新之后，又会发生什么？
算法又会开始思考，是否可以做一些其他事情。
嗯。
算法会尝试新的做法，因为大众对于游戏画面的需求一直在不断提高。
由于需求不断提高，硬件和软件都会持续迭代。
因此，可以认为这是一种左脚踩右脚、一步一步爬得越来越高的状态。
我们刚才提到了许多与渲染相关的内容，所以能否再简单解释一下什么是渲染？
渲染其实是一个很经典的任务。
渲染要做的事情，是处理场景中的一些3D 模型。
现在需要把这些模型渲染成一张具有真实感的2D 图像。
渲染做的就是这件事。
这件事的难点在哪里？
在现实世界中，光线会在场景中不断弹射。
例如，当你打开一盏灯时，并不是只有被这盏灯直接照到的地方会变亮。
嗯。
整个房间都会变亮。
嗯。
原因是什么？
因为这盏灯发出的光子照亮物体之后，还会继续在整个空间中传播。
这就带来了巨大的计算量。
因此，渲染算法方面出现了很多研究，例如光线追踪和光栅化。
这些算法所做的事情，都是希望在尽可能少的硬件资源条件下，把场景渲染得更加符合人类的视觉系统。
因此，渲染最直接涉及的是光。
是的，渲染最直接涉及的是光线的传播。
当然，光线传播是一个非常复杂的问题。
是。
因为光线遇到物体表面时，会受到不同表面属性的影响。大家以前可能学过，表面存在镜面反射和漫反射。
但实际情况可能比这更复杂。
许多材质介于镜面反射和漫反射之间，甚至还有透明材质。
有些材质还会具有花纹和纹理，例如房间里的这些大理石。
这些木板也使问题变得非常复杂。
当你越来越精确地建模光线传播方式，就可以越来越精确地还原整个数字世界呈现在观众眼前的样子。
我大致理解了：从本质上讲，肉眼看到的是一张图。
这张图里面有无数的像素。
是的。
点。
随后，光最终会形成呈现结果。
呈现出来的就是当时那个像素点位的效果。
它包括颜色和形态。人眼最终接收整张图片后，会在大脑中形成一个类似仿真的实际结果。
是的，你可以认为，渲染这件事就是在进行光线传输的仿真。
是的。但我好奇的一点是，我们在谈渲染、图片和图形学时，
似乎很少提到图片本身。
更多是在谈视频和3D，这是为什么？
例如，一键修图算不算是在做渲染？
一键修图不算渲染。
那么这个区别是什么？
我也可以改变它的光影效果。
这是一个很好的问题。
如果只是一个2D问题，通常不会被认为是在做渲染。
好的。
渲染与其他过程的区别在于，渲染一定涉及3D数据；把3D转化为2D的过程，在图形学中通常称为渲染，英文叫 Rendering。
如果从狭义的图形学领域来谈 Rendering，它指的是把3D以物理真实或风格化的方式转化为2D。
这个过程也可以渲染成视频。
那我必须要问，视频与3D之间到底是什么关系？
如果按你的说法来理解。
这也是一个非常本质的问题。
这个问题其实很大。我们不妨把它聚焦在 AI 生成视频和 AI 生成3D上，这样可能更具体一些。
视频和3D之间最直接的关系，可能在于很多人会认为：如果能够生成一个围绕物体旋转一圈的视频，是否就可以通过这样的环绕视频，使用3D重建的方法把这个物体重建出来。
明白。
正因为如此，才会有人认为，如果 AI 生成视频的问题解决了，那么 AI 生成3D的问题也能够解决。
明白。
很多学术界的朋友，以及一些创业者，都会这样思考。
我个人的观点仅是一家之言。我认为这样做其实有些绕路。
其实有一条更好的路线，就是直接通过 AI 学习2D和3D数据。
这样可以不借助 AI 生成视频的方法，直接生成3D模型。
具体到视频和3D，它们之间有什么区别？
我认为比较棘手的一点是，3D的表达格式比视频更加复杂。
例如，表达一个3D物体时，可以采用多种表达方式。
可以使用神经辐射场，也就是 NeRF；也可以使用 Point cloud，也就是点云。那么，点云是什么？
点云就是空间中的一个个点。可以用很多点来表达这个3D物体，就像可以用很多像素来表达一张2D图像一样。
还可以使用体素。体素就是3D版的像素。
不知道大家有没有玩过 Minecraft。它实际上就是由一个个方块组成的，你可以用这些方块把物体堆出来。
但我可以理解，体素像是规模更大的点云。
体素和点云唯一的区别在于，体素是规则分布的。可以这样理解体素。
假设有一块豆腐。
现在把这块豆腐切成一块块豆腐丁。
嗯。
具体会如何操作？
横向切100刀，纵向切100刀。
然后再沿水平方向。
切100刀。
嗯。
对吧？
这样就得到了100×100×100，也就是一百万个小豆腐丁。
这是一种非常规则的表示方式。
嗯。
体素的好处是什么？
体素非常适合计算机体系结构。
嗯。
因为计算机体系结构特别适合处理这种横平竖直的结构。
它也非常适合神经网络，因为在做2D神经网络时，图像本身就是2D的。
也就是这种栅格。
嗯。
它由多少行、多少列构成。
因此，基本上可以把2D神经网络的组织方式无缝切换成3D，只是增加一个维度。
嗯。
只是计算量可能会更大一些。
嗯。
这是体素的表达方式。
它有些类似像素风格。
是的，体素是规则的，而点云是不规则的。
因此，如果这样理解，点云应该更高级，因为点云可以生成体素。
理论上确实如此。点云可能更通用，但与体素相比，它也有所损失。
体素因规则排列这一性质具有许多好处。
关于 nerf，你刚才已经提到过。今年大家也经常谈到 nerf 这个词。
是的。
因此，nerf 与点云、体素其实是
并行的关系，是吗？
NERF 的全名是 neural radiance field，中文名是神经辐射场。
它的作用是什么？
它使用一个神经网络。
这个神经网络用于表示场景中的每一个点在不同观察角度下的样子。
因为场景中的每一个点，从不同角度看上去都有各自的样子。
但是，这类数据量很大，需要有一种方式对其进行压缩。
神经网络恰好很适合完成这件事。
这就是神经辐射场成为当前研究热点的原因。
嗯。
与神经辐射场密切相关的一个概念叫做高斯散射。大家通常会把它看作 nerf 的替代品，或者认为它在某些情况下是升级版本。
高斯散射与神经网络没有任何关系。
嗯。
它使用的是空间中的一组点，每一个点都有自己的方向性和大小。
因此，它也可以像神经辐射场一样，表示一个场景的三维信息。
嗯。
点云与高斯散射也有一些关系，可以认为高斯散射是一种点云。
嗯。
但一般来说，点云的数据表示形式是一些独立的点。
人们较少直接在点云上优化点云，使其能够还原场景。
对于整个场景，点云一般是通过一些算法直接生成，并作为算法输出。
嗯。
但是高斯散射有一个优点：可以不断微调、不断调整，并在其基础上进行优化。
而在实时图形领域，即 Real time Graphics，比如玩游戏时，最常用的是三角网格。
什么是三角网格？
三角网格就是用一组三角形来表示模型。
在传统渲染管线中，通常以三角形为单位进行渲染。
这些三角形可能非常小、非常细微。
嗯。
只有三角形还不够，通常还需要表面贴图；贴图决定了表面的视觉效果。
例如送出一个圣诞礼盒，它的三角网格可以假设为一个完全的立方体。
立方体有六个面。
但是每个面都是一个正方形，该如何处理？
可以把每个面斜切一刀，使其变成两个三角形。
因此，实际上可以用12个三角形表达一个
立方体。
我现在突然想到，你们做这方面研究，几何学、线性代数都应该学得非常好。
你说得非常对。
这太复杂了。我的线性代数好像只考了60分。
线性代数其实是图形学中最关键的基础科学之一。
是。
如此。
当然，还没有说完：三角网格可以表达它的几何形态，而它表面的花纹则通过
纹理贴图实现。
明白。不过刚才还有一点没有讲，就是 Mesh。你们肯定使用的是 Mesh，对吗？
你们是叫 Mesh 一点 AI 吗？
对，Mesh 指的就是三角网格。
不过，Mesh 除了三角网格以外，还可以是四边形网格。
也可以是五边形网格。
这个问题非常复杂。
比如，如果你问一位动画师，他肯定会说需要四边形网格，因为四边形网格在制作动画时更方便。
对于建模人员来说，四边形网格的拓扑结构更好，也更容易编辑。
但听起来，三角形也可以拼成四边形，也可以拼成五边形。
对，你也很容易把四边形转换成三角形。
明白。
但是你把。
问题在于，当你把一个四边形网格转换成三角形网格之后，再对它进行编辑、制作动画，就会更困难一些。
是。
因为它失去了一些原有的几何信息。
因此，这几种技术大体上的优劣，以及目前市面上公认的选择方向是什么？
为什么你们会选择 Mesh？因为我们今天听到最多的还是 Nerve。
对。
明白。
首先，我们叫 Mesh 加 AI，并不是因为我们的技术中大量使用了 Mesh 相关内容；当然也肯定会用到，因为做图形的人几乎不可能不用 Mesh。
实际上，虽然现在有很多新的表达方式，但大家使用最多的仍然是三角网格。
这也包括手机游戏。
人们仍然会用三角形网格来表示其中的道具和角色。
嗯。
当然，你可能也看到一些创新者正在
尝试把 nerf 或者高斯散射这样的技术放入游戏引擎。
嗯。
这样做的一个好处，是可以把一些从真实世界中捕获的内容放入游戏。
这确实很有吸引力。
嗯。
但是，它距离在主流游戏中真正发挥重要作用仍然需要时间。
我认为未来可能会如此，但在五年之内，它也许还不会成为主流的表示方式。
今年我们也聊过一些 AI 生成3D的公司，尤其是在上半年，感觉大家比较纠结于一个问题。
这个问题就是它不能进入所谓的管线。
也就是说，这个内容生成出来以后，并不具备其中所需的内容；按照我粗浅的理解，里面需要有一些网状的点格之类的结构。
有了这些结构，才能够和现有图形的使用场景相吻合。
也就是它才会变得可编辑、可控。
才能有这个。
也就是可用。
那么，从今年一整年来看，你觉得整体的技术进展如何？
因为我们确实不断看到一些技术突破，以及一些新的开源算法出现。
是的，我认为进展确实非常快。
我在这个行业也有一段时间了，从来没有看到大家如此猛烈地研究同一个问题，也就是 AI 生成三 D 内容。
那么，进展快也是因为大模型带来的吗？
坦诚来说，我认为大模型在其中的贡献可能没有那么大。
因为 Large Language Model 更多是一个语言方面的模型。
相比之下，一些开源图像模型，例如 Stable Diffusion，为科研提供了很好的基础设施。
许多人在开展这类研究时，是将 2D 生成模型升维到 3D，因此 Stable Diffusion 这样的模型具有重要作用。
这类开源 2D 模型反而为学术研究带来了很大价值。
我们都知道，AI 生成文字或生成图片，本质上仍然是概率模型。
对吧？
生成视频也可以理解为像素概率在时间上的延续。
那么 3D 呢？
它也是类似的吗？
这是一个好问题。3D 基本上可以被视为 2D 的一个未来方向。
2D 有两个发展方向：第一种是加入时间维度，形成视频。
第二种是加入空间维度，形成 3D。
不过，虽然思路如此，真正解决这个问题时会发现，3D 会带来许多额外挑战。
例如，在 2D 中生成一张图像，假设分辨率为 512×512，这个分辨率尚可接受。
但如果要构建一个 3D 表示，就需要 512×512×512 这样的规模。
这会带来非常高的计算量。
嗯。
因此，在计算资源和数据都有限的情况下，研究者必须另辟蹊径，在限制中寻找可行方案。
嗯。
他们需要设计更好的算法。
嗯。
我们今天看到的生成 3D 的方法大致有四种。
第一种方法出现得可能比较早，据我所知，你们也较早开始做这类工作，也就是改变贴图的方法。
给定模型去绘制贴图。
这项技术可以通过更换贴图来改变各种材质和光线效果。
是的。
首先，我认为这里涉及两个问题。
第一个问题是，什么样的3D 生成式 AI 产品才算好的产品？
第二个问题是，3D，甚至 AI，到底应该解决哪几类任务？
我先谈第二个问题，也就是3D 的 AIGC，甚至 AI。
它应该解决什么任务？
我认为主要有三个任务。
第一个任务是从文字生成贴图。这是我们最早开始做的方向，也是目前市场上最有竞争力的产品。
我们的贴图可以达到4K的分辨率，也具备很好的风格控制能力。
嗯。
Texture 指的是从文字生成一个……
从文字生成贴图。
Texture 这个名称本身已经很能说明它所指的内容。
也就是材质之类的内容。
是的，也就是材质纹理。
嗯。
这是第一个任务。第二个任务是从文字直接生成3D模型。
嗯哼。
它与从文字生成纹理的区别在于，从文字生成纹理仍然需要用户提供三维模型。
嗯。
可以理解为，我拿到一个白色雕像，然后用水彩笔在上面绘画，只改变它表面的样子。
那么，从文字生成3D是什么？
或者说 Text to 3D，它要做的是同时生成模型和贴图。
因此，这件事的难度会更大一些。
这一块我们也在做，并且也是目前市场上最领先的产品之一。
嗯。
这一部分的主要应用场景，是用于生成影视和游戏中的中远景内容。
例如这类道具。
嗯。
这类应用没有问题。例如，远处有一座小房子，桌上有一个苹果，观众通常不会凑近查看。原本需要大量这样的道具来填充场景，现在可以用 AI 生成。
这是任务二：从文字生成 3D。
任务三是从图像生成 3D 模型和贴图。
这个问题与从文字生成 3D 的难度相近。
在这一方向上，大家之所以希望用图像生成 3D 模型，而不是用文字生成，
最主要的原因是图像更加可控。
嗯。
例如，要描述一个角色的正面长相，用文字描述很困难；如果有一张照片，就容易很多。
嗯。
这一领域的学术研究也很多，我们也有一个线上产品。当然，这可能不是我们最近主要投入精力的方向。
传统做法之一是，在电商场景中，对一双鞋不断拍照，拍几十张照片，最后合成一个 3D 物体。
这种方式其实可以实现，只是成本很高。
这属于 3D 重建。
嗯。
其实成本也没有那么高，这项技术十年前就已经很成熟了。
嗯。
也就是拍摄一组照片，但它对照片的要求很高。
嗯。
拍摄必须在受控条件下进行，相机角度也要有约束。
有点像《黑客帝国》里的子弹。
对，有点像子弹时间。
需要布置一个相机阵列，或者把相机放在非常稳定的位置，不能拍糊。
是的，但我们刚才讨论的情况是，只提供一张照片。
对，只提供一张图。
随后，它进行的仍然是一种概率预测，也就是预测对象。
它的其他各个面是什么样子？
对，AI 需要推测背面是什么样。
那么，它怎么能够推测出来呢？
它首先需要理解这张图的内容吗？
还是通过其他方式？
这是很多人都会提出的问题。
首先，它会尝试理解对象正面的样子。训练 AI 时，数据集里会包含一种叫做多角度数据集的内容。
这个多角度数据集并不是用单张图片训练，而是把正面和背面一起用于训练。
嗯。
给它正面，它生成背面；给它背面，它生成正面。
因此，它可以通过正面图像预测出从其他角度看到的图像是什么样子。
不过，大家一直在说，现成的 3D 数据和资产仍然相对较少。
很少。所以目前来看，数据是最大的局限。
目前来看确实如此。我可以举几个具体数字。
例如，2D 数据集 Lion 有 58 亿 5000 万张图。
这是一个巨大的数据集。
但是，如果看包含 3D 模型的数据集，情况就不同了。
如果查看 Sketchfab 这样的 3D 模型网站，它也只有 500 万个模型。
嗯。
你想。
500 万和 50 亿。
嗯。
两者之间相差约三个数量级。
嗯。
而且 Sketchfab 的数据并不能直接使用，因为其中涉及版权问题。
是的。
对吧？
因此，这里面的数据差距很大。
是的。但从另一方面看，我认为 3D 仍然主要是 to b 的业务。
更多人是在制作游戏，或者从事建筑等其他领域的工作。
但是图片和视频存在 ugc。
这是另一类情况。
对吧？
3D 其实很少有 ugc 的概念。
是的，这也是我们思考较多的问题。坦率地说，3D 资产市场只有 2D 资产市场的。
这取决于统计口径。目前来看，大概可能是 1/10~1/20 的规模。
至于 3D 是否存在 ugc。
我们其实也做了一些探索，有些地方是存在的。
例如在游戏领域，我们和合作伙伴做了全球第一款 3D 的 AIGC 手游。
我们提供的功能是：过去你在游戏里穿的衣服，都是美术老师提前画好后供你选择。
嗯。
现在你可以输入提示词，然后由我们把衣服生成出来。
这是一个典型的 UGC 场景。事实上，UGC 场景更适合这类 3D 技术，因为现在的 3D 技术还不太成熟。
反而在 UGC 场景中，用户对质量的要求没有那么高。大家更多是觉得能够生成 3D 内容很有意思，因此愿意使用。
如果真的把它放在 professional 的专业场景中。
坦率地说，3D 还达不到大家的要求。
这里我认为，3D 是否跳过了一个步骤：图片和视频都有一个从专业工具向 c 端工具演进的过程。
这是一个过程。
首先，C 端先出现了美图秀秀这样的工具，用户可以快速自行修图；后来又出现了剪映这样的工具，用户可以快速自行剪视频。
但 3D 仍然是一整套非常专业的工具。
现在中间缺少一个 C 端用户可以自行使用的工具环节，而是直接跳到了 AI 生成 3D 的阶段。
我觉得美图秀秀和剪映都有相应的专业产品。比如，美图秀秀对应的可能是 Photoshop。
PS，是的。
剪映对应的，可能是之前的 Adobe Premiere、AE、PR、Premiere 这些工具。
是的。
至于 3D，现在大家还停留在 Blender、玛雅、Max 这样的专业工具阶段。
是的，这些都是我没有听过的工具。
对吧？
大家可能离这些工具比较远。
但 3D 面临的一个问题是什么？
让普通人操作美图秀秀、剪映，他们还是能够学会的。
只要界面经过良好设计，普通人还是能够学会。
但是，3D 建模并不是所有人都愿意投入精力去尝试的事情。
而且，很难把 3D 建模变成所有人都能接受的东西。
不是所有人都有空间感。
是的，而且我觉得主要原因是它确实没有太多应用场景。
这种东西是不是必须在 VR、AR 里实现？
是的，我觉得现在一个很大的问题是，看看所有 VR headset 的情况。
VR 头显有多少 MAU？
也就是月活，大概大几百万。
嗯。
但是，这与手机等设备的月活相比，差距很大。
是的。
大家会有什么期待？
一个很重要的问题是：到了2026年、2027年、2028年，几年之后，Vision Pro 是否会成为类似 iPhone 的产品。
你认为会吗？
我认为可能会。
是的，我也这样认为。
我认为有这种可能。如果情况确实如此，可以设想一下：如果日常使用 VR headset 的 MAU 达到1亿，那么到那个时候会发生什么？
它可能会催生出每个人日常生活中都会用到的3D资产。
是的。
这样一来，它就有了应用场景。
是的。
因此，我认为现在这个时间点很好。现在是2023年。
我们可以在2027年再回来做一期，四年之后再做一期，看看今天说的到底是否正确。
2026年吧，争取2026年。
争取2026年。
因为你看 iPhone 和 iPhone4中间其实是隔了三年的时间，iPhone07年，iPhone4是。
2010年，是吧？
移动互联网这场革命是什么时候开始的？
是在2010年。
所以，如果把 Vision Pro 看作 iPhone，其实也就是三四年，或者两三年的时间。
是的。不过你之前其实一直在做一些视频渲染，或者一些与游戏相关的3D渲染工作，对吧？
你为什么会在这个节点想到要做 AI 加3D生成这件事？
这是一个很好的问题。
其实，我自己的经历中有这样一个转变。刚才也提到，最早的时候，我是一个非常正统的。
图形研究者。
嗯。
什么是正统？
我不太相信数据驱动的方法。
好的。
我更相信渲染方程，也更相信牛顿、麦克斯韦、拉格朗日留给我们的体系。
线性代数。
是的，就是线性代数的体系。
后来在实践过程中，我也意识到，这种试图精确刻画世界的方式本身存在局限。
例如这些方程。
很多东西很难测量，也很难建模。
是的。
在这种情况下，有时用数据驱动反而是更好的方式。
在读博士期间，我既研究图形学，也研究图形学与 AI 的结合。
这方面大约5年的经历改变了我的看法。
我最早做科研是在2016年，到现在已经过去7年。
现在，我们团队拥有一个独特的机会，我个人也拥有这样的机会。
我既熟悉传统图形领域，也熟悉人工智能领域。
嗯。
而在这两者之间，恰好存在一个在商业化层面听起来很有前景的方向，我们相信这件事。
它有市场需求，而且我认为我们整个团队在这个方向上非常有竞争力。
因此，我们现在非常坚定地投入 AI 生成3D内容。
你刚才提到自己看到了一个非常明确的市场需求，这个需求是什么？
更多来自游戏行业吗？
还是。
我认为，从传统图形行业来看，无论是游戏还是影视，大家对3D模型的需求始终存在。
嗯。
我曾向一些公司了解情况。
我举几个数字。第一个是3A游戏，其中50%的成本都是3D美术。
尤其是开放世界的MMO RPG这类游戏，需要的资产越多，制作资产的成本就越高。
现在这些资产是如何制作的？
它们可能会外包给一些资产外包公司。
按一个人一天1000块钱计算，制作游戏里的一把剑、一个盾牌，用两周时间就要投入一两万。
一些制作更精良的角色，成本可能会更高。
因此，整个游戏行业和影视行业，对这类3D资产的需求都很高。
如果只看专业市场，整体大概是一个30到100亿美金的市场。
当然，作为一个AI生成的3D资产产品，不可能一下子吃下全部市场。
一定可以找到一些细分领域，先在这些领域做深做透。即使只占100亿市场的1%，也足以做出一个Midjourney级别的产品。
我刚才就想问你，你认为3D这项技术发展到Midjourney或者SD的程度，大概需要多久？
此外还有哪些挑战？
我想从市场和技术两方面来谈。
市场方面，我们刚才提到，现在消费级3D需求的市场其实还比较小。
例如，我发给你一个3D模型，你知道如何打开它吗？
你应该打不开。
这就是现在3D消费级市场的现状。
这种情况什么时候会改变？
我认为也许要到26年，等一些愿意尝鲜的人都拥有一台Vision Pro，或者小米版的Vision Pro能够普及以后。
届时，大家不会再满足于只看图片和视频。
大家一定会希望观看可交互的3D内容。
到那时，需求和供给之间就会出现很大的差距。
市场方面，我认为乐观来看需要两三年时间。
在技术方面，我认为我们只解决了10%的问题。
目前，AI 生成的3D模型仍有许多问题尚未解决。
从专业角度看，uv、拓扑、生成模型的质量、贴图质量、可控性以及速度等问题，都还没有得到解决。
当然，我认为这个领域进展很快，我们自己也在加大对这一方向的投入。因此，剩下90%的问题，可能也就是两三年的时间。
好的。
因此，我对此比较乐观。
那么，你认为视频和3D哪个会发展得更快？
我认为视频会更快。不可否认，视频的市场比3D大很多。
嗯。
视频已经有消费场景了。
但是就技术成熟度而言，我认为视频和3D半斤八两。
现在大家还在解决如何把生成的两秒钟视频扩展到8秒钟这样的问题。
是的。但视频应该仍然有一些小技巧，比如通过插帧、补帧、AI 剪辑等方式，做出类似效果的最终结果。
可以。但是核心问题在于，大家之所以希望生成视频，仍然是希望视频有故事和逻辑。
如果只有几秒钟，那么无论怎样插帧，也很难呈现出故事的逻辑。
不过，现在有很多公司在做视频相关的应用，比如换脸、换语言、对嘴等。
在3D上，能否基于已有的内容快速变出一个模型？
可以是可以，但是没有应用场景。
这也是场景的问题，对吗？
对。
是的。
如果有 VR，也就是如果每个人都有一台 VR 设备，
那么做这件事就是有意义的。
比如，我拍一张你的照片，把你变成一个 q 版头像。
嗯。
这方面肯定存在需求。
但目前主要的问题是，大家还没有很好的 3D 消费场景。
过去几年里，正如开头提到的，你经历了科研和创业两件事。
对。
而且你当时。
中间正好处在那个转折点，你做了用图形实现的项目，那算什么？
你用图形编程语言快速做出了一个冰雪奇缘的效果，当时非常震撼，大多数人应该都看过。
对，当时大家很喜欢，我也没有想到。
其实我自己写了一篇文章，初衷只是做一次技术分享。
大致背景是，我那个时候拔了智齿。
拔完智齿以后牙疼，也写不动代码了，于是我就想，能不能把这段科研经历稍微写一写。
我也没想到，大家会这么喜欢这样一个关于科研工作者的、非常枯燥的故事。
所以这几年做下来，你觉得这两种生活和体验的感受如何？
我觉得创业很难。
比科研和发论文还难。
比那些难多了，难得多。
或者如果问你，最终是否后悔创业这件事呢？
我觉得不后悔，至少目前为止不后悔。
我没有像老黄那样。老黄说，如果再选一次，可能就不会创立英伟达了。
他都已经做成这样了，还可以这么说？
对，是这样。
我觉得至少目前来看，我还是很享受。
创业的这个状态中途确实有一段时间让我觉得压力比较大。
嗯。
那段时间，家里有老人去世，也面临这个方向的选择。
是。
创业初期也出现过一些问题，主要是因为缺乏经验。
是。
但是我认为自己现在已经走过了这个阶段。尤其是开始做 Mesh 以后，我非常享受这件事，团队也很享受，因为它带来了很好的反馈。
是的。我认为这件事在某些层面上又回到了你之前擅长的事情和模式。
是的，可以这么说，它更偏底层和技术。
是的。反而我认为技术方面对我们来说是比较容易的事情。
是。
商业化到底应该如何推进？
如何找到 PMF 始终是一个挑战。
是的。
我们必须时刻思考，要 build 一个对世界有用的东西，而不是只 build 我们自己想做的东西。
是。
我认为后者是一个很大的误区，因为如果 build 自己想做的东西，就非常容易获得这种正反馈。
是。
比如今天写了一段 code。
然后自己感到开心。
自己会很开心。
但是，你如果。
就会发现很多问题并没有好的答案。
是的。AI 这一波浪潮中，其实有非常多的教授、PhD 学生以及科研人员出来创业。
那么，你有什么建议可以给他们吗？
我认为有几点。第一点，还是要尽早思考市场需求。
我经常谈到的一个问题是，这两年创业给我带来的感悟是什么。
我最大的感悟是，why 可能比 how 更重要。
科研领域也是如此。
在科研界，大家都会强调要 work on an important problem。
也就是在一个重要的问题上开展工作。
也就是说，选题很重要。
选题非常重要，必须去询问用户。
应该询问用户有什么问题，而不是强加给用户，认为用户应该有某个问题。
不能只是自己认定用户存在这个问题。
用户可能比较 nice，会告诉你确实有这个问题。
但真正做起来之后，你会发现自己被这件事带进了坑里。
所以，答案其实仍然是商业化。
也就是说，在询问用户时就让他付钱；如果他真的付了钱，情况就还好。
更好的问题可能是：你会为什么样的东西付钱？
或者直接把东西交给用户，让他付钱，观察他是否愿意支付。
正如你刚才提到的，中国的用户真的太 nice 了。你问他是否会付钱，他很多时候会说会；但当你真的让他付钱时，情况就不同了。
他可能宁可去买一杯二三十块钱的喜茶，也不会为你的软件付钱。
这是一个相当大的挑战。
嗯。
所以我认为，从科研领域出来的人，有时必须忘记自己过去的经历。
第一，是忘记自己在具体科研过程中解决过的一些问题。
第二，是忘记自己从科学家角度形成的对世界的理解。
前者要防止的是什么问题？
例如，我博士期间研究的问题可能是 a b c，但我去询问了一圈用户之后，他给我的答案可能是 d e f。
这与我研究的 A B C 完全不同。
这时我到底应该怎么办？
我到底是强行继续做 A B C，不撞南墙不后悔吗？
或许我认为，另一种心态会更好。
这种心态是：
作为科研人员，如果我能把 a b c 做好，就一定也能把 d e f 做好。
嗯。
并且，d e f 才是用户真正需要的东西。
但我很同意你刚才讲的一个观点：很多做投资的人，其实是从管理咨询转过来的。
嗯。
而管理咨询的那套逻辑，其实来自科研。
也就是 hypothesis driven，即假设驱动，以及如何做 AB test、如何做实验。
是的。
所以，如果你是一个好的科研者，有时未必需要向商业人士学习；更重要的反而是如何把科研的那一套
理论和逻辑用到极致。
我认为科研工作者其实有自己的优势，比如逻辑清楚。
是。
比如，大部分科研工作者比较客观。
但我常常发现，大家对实验比较客观。
嗯。
但对自己有时没有那么客观。
嗯。
比如，你很难改变自己的一些想法。
但是创业要求你非常及时地做出很多调整。
作为 CEO，你就像一个赛车手，掌握着方向盘。道路肯定不是直的，你必须及时转弯。
这也是很多科研工作者会遇到的问题。我在科研界时，可能会对一件事很执着，有某种执念，一定要按照某种方式去做；但创业并不一定如此。
还有一个情况是，很多科研工作者相对更内向一些。比如我自己，就是非常内向的性格。
但我觉得，你已经比大多数人，尤其是大多数科研人员做得更好了。
坦白说，和你聊了这两个小时，我已经感到非常疲惫。
连续聊两个小时之后，我需要休息。
我需要一整天才能恢复过来。
但因为我从事这样的岗位，我会提醒自己，不要总是以让自己舒服的方式度过每一天。
你需要不断走出自己的舒适圈，去做那些让自己没有那么舒服的事情。
有时候，那些让自己没有那么舒服的事情，反而是对整个团队、整个公司以及所有利益相关者更负责任的事情。
是。
这个过程可能是痛苦的，但如果不逼迫自己去做这些事，就不可能取得很好的成绩。
但实际上，如果让我休假，我最想做的是一个人把自己关在小黑屋里写代码。
那才是我最舒服的状态。
明白，完全理解。
现在你们已经发布了一版产品，是吗？
也就是说，如果大家想用，现在已经可以使用了。
对，大家可以直接在 Mesh 一点 AI 这个网站上使用。
是。
但我觉得，AI 生成 3D 听起来是一件需要延迟满足的事情，而你所做的是整个世界的一块基石。
我认为这当然可以这样说。
从愿景层面来说，我们希望每个人都能创造一个属于自己的虚拟世界。
这与我们一开始所说的图形学非常吻合：图形学是一门帮助大家创造更好的虚拟数字世界的学科。这也是很多人的梦想，每个人都希望只说一句话，就能把整个世界创造出来。
我认为现在这个时间点是一个很好的机会，而且 AI 生成 3D 也是解决这个问题的最重要途径之一。
最重要的途径之一。
上帝说的第一句话是不是“要有光”？
很对，上帝说“要有光”，所以我们先解决了渲染的问题。
有了光之后，就需要有山川、森林。
这就是 AI 生成内容的问题。
是。
我们感谢袁明。
啊。
谢谢曲凯老师的 podcast，我也很高兴能够和大家分享这些内容。