1什么是 FreeD 定位系統(tǒng)

FreeD 定位系統(tǒng)（通常稱為 FreeD 協(xié)議）是一種業(yè)界廣泛應(yīng)用的攝像機(jī)追蹤數(shù)據(jù)通信協(xié)議，主要用于虛擬演播室（AR/VR）、電影虛擬制作等實(shí)時(shí)追蹤場(chǎng)景。在很多工業(yè)數(shù)字軟生項(xiàng)目中也有類似接收發(fā)送數(shù)據(jù)協(xié)同的需求，可以參考下面的流程作參考。

FreeD 主要傳遞包括攝像機(jī)三維位置（XYZ）、旋轉(zhuǎn)（Pitch、Yaw、Roll）、鏡頭參數(shù)（焦點(diǎn)、變焦）。

我們采取的協(xié)議包含 29 個(gè)字節(jié)的數(shù)據(jù)，其 FreeD 發(fā)送的定位設(shè)備一般是一個(gè)獨(dú)立于攝影機(jī)的組件，其實(shí)現(xiàn)原理大致分為紅外定位點(diǎn)，雙目攝像頭，多攝像頭等。包括著名的 Mosys、Redspy、HTC Vive Mars 等。FreeD 是一個(gè)通用的定位協(xié)議，常見的定位系統(tǒng)默認(rèn)都支持 FreeD 協(xié)議。

2開始開發(fā)

首先創(chuàng)建一個(gè)插件，命名為omni.freed.livelink。具體步驟可參考：《NVIDIA Omniverse Extension 開發(fā)秘籍：Python/C++ 實(shí)戰(zhàn)，附完整代碼》

2.1 背景分析

首先找到 FreeD 的定義文檔，并且分析其協(xié)議 （https://www.manualsdir.com/manuals/641433/vinten-radamec-free-d.html?download），然后根據(jù)協(xié)議在 Omniverse Extension 編寫接收協(xié)議，且實(shí)時(shí)更新 Omniverse USD 的 Camera，讓 Omniverse 的 Camera 跟隨外部的相機(jī)定位系統(tǒng)實(shí)時(shí)同步更新，實(shí)現(xiàn)數(shù)字孿生效果。

*注：文本下面需要用到很多計(jì)算機(jī)編程開發(fā)的基礎(chǔ)知識(shí)。

2.2 開發(fā)解析

2.2.1 端口創(chuàng)建

FreeD 協(xié)議基于 UPD 協(xié)議傳輸，一般默認(rèn)是廣播方式，接收的端口是 40000 (可以在相機(jī)定位設(shè)備里更改端口，或者進(jìn)行點(diǎn)對(duì)點(diǎn)傳輸)。

_startUPDServe函數(shù)里面創(chuàng)建 Socket 端口（或者使用已有框架比如 python-osc）

2.2.2 協(xié)議解析

分析 FreeD 的協(xié)議，通用 FreeD 采用的是 Type D1 的數(shù)據(jù)格式，接收 29 個(gè) Bytes。在文檔的第 30 頁(yè)，根據(jù)指引“Appendix”去看第 40 頁(yè)。

FreeD字段說(shuō)明

再通過(guò)下圖更直觀地表達(dá) FreeD 的 29 個(gè)字節(jié)所，按照文檔計(jì)算 Pan, Tilt, Roll 的數(shù)值。

*注：從網(wǎng)絡(luò)端口傳來(lái)的數(shù)據(jù)是大端格式， 并且如果是負(fù)數(shù)的話則需按照負(fù)數(shù)補(bǔ)碼來(lái)解析。

2.2.3計(jì)算 Yaw Pitch Roll：

旋轉(zhuǎn) Pan,Tilt,Roll(Yaw Pitch Roll)的角度定義

2.2.4計(jì)算位置 X, Y, Z：

同理按照文檔計(jì)算 Translate 的 X Y Z 數(shù)據(jù)。

位置信息 X,Y,Z 的定義

按照定義給出代碼。

Zoom 和 Focus 和鏡頭文件相關(guān)，由于每一個(gè)鏡頭文件對(duì)應(yīng)的解析都不太一樣，這里就不再詳細(xì)判斷。

最后把解析得到的 Yaw Pitch Roll 和 X，Y，Z 的數(shù)據(jù)更新到我們綁定的 Camera 上面實(shí)時(shí)更新。

3創(chuàng)建 Event 事件

3.1 發(fā)現(xiàn)問(wèn)題

在子線程運(yùn)行的時(shí)候發(fā)現(xiàn)無(wú)法對(duì) USD Stage 場(chǎng)景的 Prim 操作，調(diào)試發(fā)現(xiàn) USD Prim 都是 None。

這時(shí)候可以利用AI幫助，描述清楚問(wèn)題的前因后果。

根據(jù)上面 AI 給出的提示，原因是 Omniverse 子線程中無(wú)法對(duì) Stage 的 USD Prim 進(jìn)行操作。 此時(shí)需要一個(gè)注冊(cè)主線程 Event 事件，在這個(gè) Event 事件中去更新每一個(gè) Prim 的操作。

此后還需考慮以下幾件事情：同步性（幀率統(tǒng)一）、設(shè)置延時(shí)、設(shè)置偏移、相機(jī)旋轉(zhuǎn)順序。

3.2 鎖定Omniverse渲染幀率

首先鎖定渲染的幀率。例如 FPS 鎖定在每秒 25 幀，F(xiàn)reeD 的發(fā)送幀率也鎖定到 25 幀。目的是保證良好的同步性，同時(shí)保證 Genlock 的傳輸接收效果良好。

關(guān)閉 Omniverse, 首先找到你對(duì)應(yīng)的 Build 出來(lái)的 Composer 對(duì)應(yīng)的.Kit文件,在“..kit107.3\_buildwindows-x86_64 eleaseapps” 里面包含所有配置的信息，用文本打開。

在[settings]下面添加以下字段, 注意是單獨(dú)的[settings]字段。

app.runLoops.main.rateLimitEnabled = true

app.runLoops.main.rateLimitFrequency = 25

app.runLoops.main.rateLimitUsePrecisionSleep = true

app.runLoops.main.syncToPresent = true

app.runLoops.present.rateLimitEnabled = true

app.runLoops.present.rateLimitFrequency = 25

app.runLoops.present.rateLimitUsePrecisionSleep = true

app.runLoops.rendering_0.rateLimitEnabled = true

app.runLoops.rendering_0.rateLimitFrequency = 25

app.runLoops.rendering_0.rateLimitUsePrecisionSleep = true

app.runLoops.rendering_0.syncToPresent = true

app.runLoops.rendering_1.rateLimitEnabled = true

app.runLoops.rendering_1.rateLimitFrequency = 25

app.runLoops.rendering_1.rateLimitUsePrecisionSleep = true

app.runLoops.rendering_1.syncToPresent = true

app.runLoopsGlobal.syncToPresent = true

app.vsync=true

重新打開 Omniverse 的 Composer ，可以看到此時(shí)的幀率是 50。原因是我們開啟了 DLSS 的 Frame Generation功能。 如果去掉 Frame Generation ，則會(huì)顯示 25 幀率。

3.3 注冊(cè)渲染 on_update 事件

要得到渲染事件的事件，需要在每一次渲染 Render 開始的時(shí)候取出一幀進(jìn)行合并。

https://docs.omniverse.nvidia.com/dev-guide/latest/programmer_ref/events.html

Event streams 是以線程安全的方式傳遞數(shù)據(jù)，是由 Omniverse 的核心組件 carb 來(lái)提供，下面就是每一幀渲染的時(shí)候都會(huì)調(diào)用的函數(shù)， 后還需要再on_update函數(shù)去處理。

注冊(cè) Event:

sub1= update_stream.create_subscription_to_pop(on_update, name="My Subscription Name")

解除注冊(cè)：需要把這個(gè) sub1 設(shè)置為 None (并沒有 unsubscription 這個(gè)函數(shù))

sub1= None

這里需要注意的是，在實(shí)際工程中要注意這個(gè) sub1 的生命周期，不能用一個(gè)局部變量去存儲(chǔ)注冊(cè)的 event，否則在出了這個(gè)局部函數(shù)sub1以后會(huì)自動(dòng)設(shè)置為 None，解決辦法是用一個(gè)成員變量去控制

self._sub= update_stream.create_subscription_to_pop,

然后在不需要的時(shí)候設(shè)置為 None:

self._sub= None

4相機(jī)延遲和定位偏移

4.1 相機(jī)延遲

相機(jī)延遲：在虛擬拍攝當(dāng)中，除了相機(jī)定位，還有動(dòng)捕數(shù)據(jù)，綠幕視頻流傳輸數(shù)據(jù)，這些數(shù)據(jù)需要處理的時(shí)間比 FreeD 要耗時(shí)，所有可能會(huì)造成不同步，這就需要給相機(jī)定位在本地緩沖增加一些延時(shí)，例如可以在程序中開一個(gè) Buffer 來(lái)緩沖一下

4.2 定位偏移

因?yàn)槎ㄎ辉O(shè)備和實(shí)際有偏移，所以利用 Nodal offset 來(lái)手動(dòng)添加偏移量。

5設(shè)置 Camera 旋轉(zhuǎn)順序

歐拉角的旋轉(zhuǎn)是有順序的，其本質(zhì)是因?yàn)樾D(zhuǎn)對(duì)應(yīng)的矩陣乘法不具備交換律。在 Omniverse Rotate 有 6 種方式，我們應(yīng)該以哪種旋轉(zhuǎn)指定呢？

在 Omniverse 當(dāng)中，應(yīng) Y 軸向上，按照 FreeD 的解析，即 Y, X, Z 的順序。 我們?cè)?Omniverse 里按照 ZXY 給出旋轉(zhuǎn)順序的具體原理可以查看知乎中的這篇帖子：https://zhuanlan.zhihu.com/p/85108850

6最終

結(jié)合所有的步驟，完成最終所有功能。

iPhone 上面的 JetSet 軟件可以發(fā)送 FreeD 定位協(xié)議，這樣我們即可通過(guò)上面的思路完整做出一個(gè)符合工業(yè)標(biāo)準(zhǔn)的插件。

文案&技術(shù)支持：

宋毅明 NVIDIA Omniverse & OpenUSD 開發(fā)者關(guān)系經(jīng)理