Syntheyes Pro(视频摄像机跟踪反求合成软件)

　　Syntheyes Pro提供视频摄像机跟踪方案设置功能，可以在软件上配置平面追踪方案，可以设置几何层次跟踪，可以设置变形镜头，可以对相机校准，方案设置完毕就可以在软件上运行自动跟踪器，从而求解数据，为运动视频拍摄提供方案优化，软件支持选择一个神经网络来查找用于自动跟踪的信号，在寻找特定特征类型时就可以启动神经网络，软件界面提供丰富的配置内容，可以设置相机变焦镜头，可以设置相机固定位置，可以设置三脚架，可以定位场景角落，功能非常多，需要就可以下载使用！

软件功能

　　1、图像预处理器

　　预处理图像以帮助跟踪、修复颜色、纠正镜头失真或减少 RAM 消耗。

　　2、镜头校准

　　SynthEyes 拥有丰富的工具，可通过测试图案进行镜头校准、求解期间计算失真以及使用校准数据。

　　3、对象分离

　　对于自动跟踪，请使用粗略的动画旋转样条线或绿屏键控来选择要跟踪的区域。

　　4、追踪

　　广泛的监督跟踪功能集、高性能自动跟踪、3D 平面跟踪、AprilTags、清理和添加跟踪器工具...

　　5、几何层次跟踪

　　非常强大且灵活的工具集，用于 3D 跟踪移动部件的多级约束层次结构、直接跟踪提供的网格或使用普通（受监督）跟踪器。

　　6、解决

　　强大而灵活的解算器包括约束、路径锁定、相机/相机立体锁定、镜头畸变、变焦、零权重跟踪器、多级求解阶段、光解算器......

　　7、360°虚拟现实

　　SynthEyes 可以处理 360° 球面等距柱状图像，以进行跟踪、稳定和显示。

　　8、视移系统

　　使用 ViewShift 进行复杂的对象移除、组合分割镜头、生成动画纹理贴图等等！

　　9、稳定化

　　适用于普通镜头和 360VR 镜头的集成稳定功能，包括创建用于导出的“物理”装备。

　　10、坐标系设置

　　这些功能通过约束、阶段、线条以及自动或手动放置，在 3D 环境中对整个场景进行定位、对齐和调整大小。

　　11、集重建

　　令人惊叹的纹理提取系统从镜头中提取低噪声纹理。从计算的 3D 跟踪器位置创建网格。添加卡片以快速生成几何图形。

　　12、图形编辑器

　　检查跟踪器或摄像机位置或速度曲线，或关键帧跟踪视图以进行覆盖分析。始终可见的误差曲线迷你视图。

软件特色

　　1、透视窗口

　　独立于求解的摄像机来导航场景，将跟踪器放置在导入的网格或激光雷达数据上，生成 3D 立体视图，创建具有抗锯齿和运动模糊功能的预览影片。

　　2、图像输入/输出

　　SynthEyes 可以读取各种静态图像格式、电影文件，例如 ARRI、BRAW 和 RED。它还可以编写用于预览电影的各种图像和电影格式。

　　3、网格输入/输出

　　SynthEyes 可以读取和写入各种网格和顶点缓存格式。

　　4、脚本编写

　　通过 Synthia 指导助理，感受打字或口语自然语言控制的新一代强大功能和灵活性。使用 Synthia、Sizzle 或 python 脚本自动执行频繁的任务。

　　5、工作流程/用户界面

　　灵活的用户界面功能，例如房间、视口布局、自由浮动的可配置工具栏、键盘映射、镜头预设、坐标轴方向、版本控制自动保存。艺术家间交流的注释。

使用方法

　　1、将Syntheyes Pro直接安装到电脑，点击install

　　2、软件安装完毕将补丁复制到软件的安装地址替换

　　3、打开软件提示语言设置，直接选择Chinese

　　4、支持导出多个、配置多重导出、出口商产出、文件信息、用户数据文件夹、制作新的语言模板

　　5、支持立即更新纹理、解决时重做纹理、添加注释、脊柱矫正、脊柱解决、编辑场景设置

　　6、显示所有跟踪器名称、显示监管名称、显示选定名称、在视口中显示名称、使用替代颜色、带中心点

　　7、老化时间：帧数、强制匹配框架、时间码、时间戳、在相机视图中、透视、在预览电影中、在保存顺序

　　8、支持平面追踪PDF、几何层次跟踪PDF、变形镜头指南 PDF、相机校准PDF

官方教程

　　多镜头跟踪

　　SynthEyes具有强大的功能，可以同时加载、跟踪、链接多个镜头，并联合求解，以找到最佳跟踪器、相机和（如果存在）对象位置。有了这一功能，您可以使用一个易于跟踪的“概览”镜头来确定可跟踪特征的基本位置，然后以第一个镜头为向导，在视野狭窄、可跟踪特征较少或其他复杂情况下跟踪真实镜头。或者，您可以使用左右相机镜头来跟踪3-D功能中的镜头。如果您不介意一些大型场景文件，可以将给定集合中的所有快照加载到单个场景文件中，并将它们一起跟踪到一组公共点，这样每个快照都可以共享该集合的相同公共三维几何体。

　　注意：虽然立体声是多镜头跟踪的一种形式，但多镜头跟踪不一定是立体声的。立体拍摄要求两只眼睛同步，具有相同的图像大小、宽高比和长度（当然，必须只有两只眼睛）。当镜头是立体的时，可以使用常规多镜头设置所不具备的特殊附加功能和工具。

　　在本节中，我们将演示如何使用一组数字剧照作为难以追踪的拍摄路线图：在这种情况下，三脚架拍摄是不可能进行三维恢复的。这样的场景需要有监督的跟踪，因为剧照的散拍性质。三脚架镜头可以自动跟踪，但这没有多大意义，因为你必须已经执行监督跟踪才能匹配剧照，而且在三脚架镜头中添加更多跟踪器也没有多大好处。执行这个示例大约需要2个小时，为了说明更复杂的场景，这个示例非常复杂。

　　从数字剧照开始，这是用数字静态相机拍摄的9张照片，每张2160乘1440。启动SynthEyes并执行文件/添加调查快照。添加DCP_###.JPG图像。

　　为每个球创建跟踪器：六个在杆的顶部，六个在圆锥体顶部的地面附近。创建每个跟踪器，并使用调查快照工作流在整个（九帧）快照中跟踪它。可以使用控制拖动使高分辨率静像上的最终定位更加容易。以一致的顺序创建跟踪器，例如，从左后到左前，然后从右后到右前。完成每条轨迹后，锁定轨迹

　　手动跟踪阶段将需要不到一个小时的时间。生成的文件可作为multi1.sni使用

　　使用地面（圆锥体）跟踪器设置坐标系。将左前跟踪器设置为原点，将左后跟踪器设置为X=0、Y=50、Z=0处的锁定点，将右前跟踪器设置为由XY平面跟踪器

　　你现在可以解决这个镜头：切换到“解算器”面板并点击Go！你应该为球的位置获得一个令人满意的解决方案，以及一个相当不稳定和间隔的相机路径，因为相机是从一个地方走到另一个地方的。（multi2.sni）

　　到了第二枪的时候了。在“快照”菜单上，选择“添加快照”（或“文件/导入/快照”）。选择land2dv.avi快照。将“交错”设置为“否”；这张照片是在渐进扫描模式下拍摄的佳能Optura Pi

　　将相机视图全屏显示，转到跟踪器面板，并开始使用亮点跟踪器跟踪此镜头中的相同球位置。将“关键点”微调器设置为8，因为在拍摄过程中曝光会大幅增加。这些球提供了低对比度，因此一些跟踪器最容易在跟踪器面板上的跟踪器视图窗口中进行控制。右后地平面球被左前地上球挡住，所以你不必追踪右后球。按照与第一次拍摄相同的顺序创建跟踪器将是最容易的。（multi3.sni）

　　接下来，在两组跟踪器之间创建链接，告诉SynthEyes哪些跟踪器正在跟踪相同的功能。你将需要最少六（6）个链接之间的镜头。

　　“摄影机/摄影机”或“摄影机/视口匹配”切换到坐标系面板和四元视图。在镜头中移动足够远，使所有跟踪器都在帧中

　　若要指定链接，请从摄影机视图中的AVI中选择跟踪器。转到顶部视图并放大以查找第一个快照中匹配的三维点，然后用ALT键单击它（Mac：命令单击）。在相机视图中选择下一个跟踪器，并在顶部视图中ALT单击相应的点；重复，直到分配完所有。如果一致地创建跟踪器，则可以按顺序对其进行排序。

　　重要提示：要链接跟踪器，必须打开显示跟踪器链接到的跟踪器的“坐标系”面板（以便您可以看到发生了什么！）

　　可以使用三维视图和摄影机视图或两个摄影机视图执行此操作。两个相机视图的缺点是两者都链接到同一个时间条。透视图提供了一种绕过这一点的方法。。

　　相机/透视图匹配

　　可以使用透视视图和摄影机视图同时显示两个快照。使用“摄影机和透视”视口布局，或修改“四边形”布局以将其中一个视口替换为透视窗口。激活参考快照。在“透视”视图的右键单击菜单上，选择“锁定到当前摄影机”。在右键单击“视图”菜单中，选择“在此帧上冻结”。（您可以使用透视图中的A、s、d、F、句点或逗号键来调整它冻结在哪个帧上。）此外，还可以启用“视图”菜单上的“仅显示锁定的跟踪器”，以确保只显示该摄影机中的跟踪器，这样以后就不会有多个已解决的跟踪器堆叠在一起。

　　使用工具栏按钮或快照菜单更改用户界面以激活主快照

　　按名称匹配

　　另一种方法是给每个跟踪器一个有意义的名称。在这种情况下，单击“目标点”按钮会很有帮助：它会显示一个可供选择的跟踪器列表。

　　更微妙的方法是使用匹配的名称，然后使用“按名称跟踪/交叉链接”菜单项。具有完全相同的名称会使事情变得混乱，因此cross-link命令会忽略每个名称的第一个字符。然后，您可以将跟踪器命名为lWindowBL和rWindowBL，并使它们自动链接。设置多个匹配的跟踪器后，选择视频剪辑上的跟踪器，然后选择“按名称交叉链接”菜单项。将创建从选定跟踪器到参考快照上匹配跟踪器的链接。

　　笔记“按名称交叉链接”不会链接到解算模式设置为“禁用”的摄影机/对象，以便在需要时控制可能的链接目标。必须临时更改解算模式才能链接到禁用的对象。

　　关于链接的详细信息：具有链接的快照应该只链接到单个其他快照，而不应该链接到其他快照。可以将多个快照链接到单个参照。

　　准备解决

　　完成链接后，切换到“解算器”面板。将解算器模式更改为“间接”，因为此摄影机的解决方案将基于最初从第一个镜头获得的解决方案。（multi4.sni）请确保此时“约束”处于禁用状态。

　　点击Go！SynthEyes将联合求解两个镜头，即找到与两个镜头最匹配的点位置。每个跟踪器仍将有自己的位置；连接在一起的跟踪器将彼此非常接近。

　　在本例中，您应该能够看到第二个（三脚架）镜头是从第二个静止镜头的大致位置拍摄的。即使位置相同，相机之间的差异和被跟踪的确切特征也会导致不完美的匹配。然而，对于效果插入，像素位置将令人满意地匹配。最终结果是multi5.sni。

　　ViewShift

　　ViewShift是一个灵活的效果引擎，其中至少包含部分3D重建的镜头可以从其他视点重新拍摄。您可以将其用于以下任务：

　　•从场景中移除对象•组合分割镜头

　　•创建较小的对象放置更改

　　•选择性时间偏移（不需要子帧插值）

　　•动画UV纹理贴图提取（即序列）

　　大多数时候，ViewShift不会为您生成“最终”结果；您可能会将其与下游合成应用程序一起使用，以结合各种效果。ViewShift可以为您生成元素，并为它们进行快速预览。你可能还需要做一些油漆工作。

　　ViewShift是一个工具：它执行某些算法，你可以根据情况使用，它不是一个只做一两件事而不做其他事情的黑盒。我们确信SynthEyes用户会想出一些疯狂的方法来使用ViewShift。

　　虽然高级用户可以在其他3D应用程序中进行ViewShift效果，但ViewShift中的总体功能集，包括照明匹配和多种重新计时模式等便利设施，应该可以扩展所有级别的用户在合理的时间内可以完成的任务。

　　ViewShift基础知识

　　ViewShift的基本思想是，你已经完成了一个3D轨迹，在场景中有一些3D网格（称之为“反射器”），并将（源）镜头的图像投影到它们上；然后，您可以从不同的有利位置从第二台（观看）相机“重新拍摄”反射器网格。该观察相机可能完全在不同的镜头中，也可能是同一镜头中不同帧上的同一源相机。这是一个组合相机映射投影和渲染。然后可以将ViewShifted渲染合成到查看摄影机的快照中。

　　提示：当源镜头和查看镜头不同时，它们应该共享一个坐标系，可以在每个镜头中使用相同的设置，也可以使用链接跟踪器和间接求解模式。

　　提示：ViewShift会注意“背面”和“反转法线”设置。背面是不可见的，除非网格的“背面”复选框（位于“三维”面板上）处于启用状态，从而使正面和背面都可见。

　　注意：ViewShift只能与摄影机轨迹和使用的网格一样好。

　　下面是一个简单的物体移除示例，我们希望从镜头中移除其中一辆汽车：

　　有一个大平面，这就是这个例子的反射器。这里它只是一个平面，但反射器可以是任何3D网格，例如重建的地形模型。

　　提示：ViewShift不需要反射器网格的UV纹理贴图——因为它是集成的，所以它比在3D包中尝试将等效网格拼接在一起更直接。

　　在任何ViewShift中，都有几个大问题：

　　•哪些像素来自源镜头？

　　•查看快照中将使用哪些像素？

　　•源镜头的哪一帧将用于为任何给定的观看相机帧提供像素？

　　然后还有其他问题需要考虑。因此，如果打开ViewShift控制面板（“快照”菜单上的ViewShift），它看起来如下所示：

　　尽管有很多控件，但基本原理应该非常清楚，比如顶部的查看相机和源相机，以及输出文件和压缩

　　我们将在以下部分中处理更复杂的问题和控制

　　输出模式输出模式选择器有四个选项：

　　•使用alpha

　　•背景之上（如上所示）

　　•UVMap失真图[不在SynthEyes简介中]

　　•纹理图[不在SynthEyes简介中]

　　使用alpha。在这种模式下，只有实际渲染的像素（待讨论）出现在输出图像中，并具有适当的alpha通道。这是馈送下游合成应用程序的典型模式

　　背景之上。在这里，渲染的像素实际上是在原始查看快照上合成的。如果情况允许，可以将其用于预览和期末考试。

　　纹理贴图。[不在SynthEyes简介中]使用此模式生成动画纹理贴图，而不是进行正常的ViewShift处理。对于该模式，应该只有一个反射镜网格，并且必须具有UV贴图。使用纹理宽度和高度控件设置纹理大小

　　源帧定时模式

　　ViewShift需要回答以下问题：我们应该为哪些帧生成结果，以及源快照中的哪个帧应该用于输出快照的每个帧（如Viewing Camera中所示）。为了能够处理各种场景，根据源模式选择器的控制，有许多可能的答案具有一定的复杂性。

　　注意：ViewShift将像素从单个源帧移到目标帧：它不会混合不同帧的像素，这可能会导致条纹（有时在静态纹理提取中会出现这种情况）。

　　与所有模式一样，有两个“开始帧”和“结束帧”字段，一个用于“查看”快照，另一个用于源。每个都有一个用于限制输出（源）帧的复选框，以及两个用于设置“开始”和“结束”帧的按钮

　　如果“限制输出帧”复选框处于禁用状态，则将为输出快照的整个长度生成输出。如果复选框处于启用状态，则将仅从“开始帧”到“结束帧”（包括“开始帧和结束帧”）生成输出。单击“设置开始帧”或“设置结束帧”按钮将从快照的当前帧设置该值，并启用“限制输出帧”复选框。

　　“受限源帧”复选框和控件的工作原理类似，只是这些值只是由源模式确定的可能使用的帧的范围，而不是使用它们的绝对声明或要求

　　以下是所有源模式：

　　•相同

　　•1:1

　　•缩放

　　•绝对

　　•相对

　　•距离

　　•方向相同

　　•错位引导

　　•以下不接合

　　我们将在下面的小节中讨论大多数模式，但在介绍了有关如何控制ViewShift的更多预备知识后，我们将把Disjoint模式留到后面的小节

　　基本计时模式

　　前六种模式是确定性的，仅基于为源和查看快照指定的帧范围。我们将在这里讨论这些。

　　相同的源和目标使用相同的帧。

　　1:1。在整个拍摄过程中，源的开始帧用于输出的开始帧，源开始帧之后的帧用于输出开始帧之后，等等。任何帧都不会超过源的“结束帧”。

　　按比例缩放。从源快照按比例绘制帧：对于进入输出帧范围25%的帧，则会将帧绘制到源帧范围的25%。

　　完全的已设置动画的“帧”控制微调器直接控制每个输出帧使用哪个源帧。最初可以手动设置动画，但相似和不相交的重叠模式也可以将其结果写入该轨迹，这样您就可以切换到绝对模式，并在需要时调整或扩展这些结果

　　注意：“帧控制”值始终为零，即0表示拍摄序列或电影的第一帧，而不考虑“从1开始”或“匹配帧数”处理。这是因为在下一个模式中，它也被用作相对帧数。。。

　　相对的源帧是输出帧偏移“帧”控制微调器的值（恒定或已设置动画、正或负）。通常用于创建简单的时移效果

　　重要的是要注意，只有“相同”或“1:1”模式才能保持原始拍摄时间，并且应尽可能用于插入（分割拍摄）。其他模式适用于删除，而不是插入太多，因为它们可以改变源快照的时间，使其加速或减慢。更重要的是，抖动效应可能会出现，尤其是当源和输出时序仅略有不同，并且时序要求重复或丢弃帧时

　　距离模式

　　距离模式适用于具有相当稳定的摄影机平移的镜头，无论是单镜头还是组合分割镜头。它查看源摄影机和查看摄影机的路径，并选择与“距离”微调器匹配的源帧（可以根据查看帧设置动画）。

　　结合分割拍摄，距离模式允许您使用类似于查看视角的源视角，以最大限度地减少视角差异

　　重要提示：在源摄影机和查看摄影机不同的情况下，拆分拍摄都应该使用一个共同的坐标系，以便摄影机路径相似。否则，这种模式就没有意义了。排列它们可以通过在两个镜头中以相同的方式设置坐标系来完成，使用两者中都存在的跟踪器；或者通过使用链接和自动/间接求解模式（或者可能从种子点/间接）

　　使用单次拍摄时，“距离”模式是一种简单的方法，可以确保移除的源像素不包含要移除的对象。（然而，该要求可通过Disjoint模式直接解决。）

　　如果距离为零，则此模式会选择源帧，在该源帧中，源摄影机在三维坐标中“物理上”最接近查看摄影机。只有当源相机和查看相机不同时，才使用零距离，否则您还可以使用同帧模式！

　　如果距离为正，则会选择一个源帧，其中源摄影机至少在查看摄影机前面那么远。这里，“在前面”意味着源帧在拍摄中比两者最接近的帧晚。当源摄像机和查看摄像机相同或不同时，可以使用此模式。

　　如果距离为负，则会选择源摄影机至少在查看摄影机后面那么远的源帧。这里，“落后”意味着源帧在快照中比两者最接近的帧更早。

　　距离模式最初会查找距离第一个观察帧最近的源帧。随后，它在前一个源帧周围的30帧窗口中查找与每个后续观看帧最近的源帧。然后，它在较早或较晚的距离处查找帧。这种策略可以防止它在镜头内疯狂跳跃，尽管在某些情况下可能会出现问题。

　　使用“距离”模式运行快照后，所使用的帧编号将写入“帧”控制轨迹。您可以检查这些值以检查操作，如有必要，可以编辑它们，然后切换到绝对模式。

　　提醒：如果使用“距离”模式进行分割拍摄，则源拍摄的时间将不是恒定的，并且可能包含加速、减速、跳跃或下降，具体取决于相机的运动

　　三脚架镜头的相同方向

　　虽然“距离”模式可以处理正常的平移镜头，但对于摄影机不移动的三脚架（节点）镜头来说，它显然是无用的。“同一方向”模式对三脚架拍摄执行类似的功能，试图找到源摄影机与查看摄影机在同一方向上观看的帧。此模式主要用于必须匹配才能插入或删除对象的分割拍摄。（对于相同的源和查看快照，相当于“同帧”模式。）

　　重要提示：您应该将两个三脚架镜头对准同一个公共坐标系。这可以通过在两个镜头中以相同的方式设置坐标系来实现，使用两个跟踪器；通过使用链接和三脚架/间接求解模式；或者通过使用3D面板的“整体”模式进行一些手动调整来暂时调整

　　同向模式最初找到与第一个观看帧匹配的最佳源帧。随后，它在前一个源帧周围的30帧窗口。这种策略可以防止它在镜头内疯狂跳跃

　　“同一方向”考虑实际重叠量，而不仅仅是同一方向：通过考虑重叠，还考虑了相对滚动。请注意，没有什么可以与“距离”模式在“同一方向”上的距离相媲美。

　　在使用“相同方向”模式运行快照后，使用的帧号将写入帧控制轨迹。您可以检查这些值以检查操作，如有必要，可以编辑它们，然后切换到绝对模式。

　　提醒：如果您使用“距离”模式进行分割拍摄，则源拍摄的时间将不是恒定的，并且可能包含加速、减速、跳跃或下降，具体取决于相机的运动。

　　使用样条线控制ViewShift可以使用SynthEye的动画样条线（在“旋转”面板上）作为控制ViewShift的一种方法

　　•查看样条线限制像素仅移动到查看图像的包含区域内，通常用于删除；

　　•源样条线限制像素只能来自源镜头的包含区域，通常用于提取像素进行分割拍摄；

　　•垃圾样条线防止像素在源或视图快照的区域内传输，用于网格或其他样条线的小修复。

　　例如，当从示例拍摄中移除汽车时，我们使用随汽车移动的观察样条线——像素仅在该样条线内从源（之前或之后的几帧）传输，以擦除汽车

　　如果有多个查看样条曲线，则如果像素位于任何查看样条线内，则像素将被传输，类似地，如果它们位于任何源样条线或任何垃圾样条线中

　　必须通过使用源样条曲线、使用查看样条曲线和使用垃圾样条曲线复选框（默认情况下全部禁用）告知ViewShift是否使用每种类型的样条曲线。这些设置不仅决定了是否检查样条曲线，还决定了当源和查看摄影机相同时，样条曲线是否应被解释为源样条曲线或查看样条曲线（下文将详细介绍这种情况）

　　每个镜头都有一个用于自动跟踪的大型默认样条线（围绕整个图像）。为了防止干扰ViewShift，必须在快照开始时将其删除或禁用。

　　创建新样条线时，请确保将样条线的对象选择器适当地设置为摄影机（Camera01等）或垃圾——默认情况下，新的样条线是垃圾。

　　提示：如果您可以创建一个跟踪感兴趣的功能的跟踪器，例如在汽车上，请使用“将跟踪器导入CP”按钮来加快创建样条曲线的速度；然后可以将其导入样条曲线的中心点，以使整个样条曲线移动。然后根据需要在镜头长度上调整角。

　　如果您有一个ViewShift，想要同时使用（不同的）源样条线和查看样条线，并且源和查看摄影机是相同的，下面是要做的…创建一个虚拟移动对象（禁用其解算模式），将要用作源的样条线指定给该移动对象，并将源摄影机（/对象）设置为移动对象。（ViewShift将使用移动对象的源摄影机进行其余处理。）