PCIe 協同處理
從連接 Modalix PCIe Card 的主機執行推論。 請依序完成這些教學。
PCIe 主機 API 接受模型準備好的張量或已解碼的圖像像素。 張量模式將預處理保留在主機上。圖像模式會傳送原始像素，並讓 Modalix 卡片 調整大小、轉換顏色並對其進行正規化。 添加框解碼會保留圖像輸入，但會將六個原始 YOLO 輸出張量替換為...
同步 `run()` 對於第一次推論來說是理想的，但它會等待每個結果，然後再提交下一個影像。一個調用 `push()` 的生產者，同時一個消費者執行 `pull()`，可以讓一個 PCIe 模型保持忙碌狀態。吞吐量必須從完成的結果中計算，而不是僅僅從...
一個 Modalix PCIe 卡會公開 0 到 3 號佇列。每個啟用的 `Model` 都會擁有一個佇列，因此可以透過將不同的 `ConnectionOptions.queue` 指派給每個實例，來讓獨立的模型同時執行。本教學使用 ResNet-5...
預設的 PCIe 路徑會將 FP32 張量送到卡上，在卡上將輸入量化，接著執行 MLA，再將輸出反量化並以 FP32 傳回主機。已經持有 INT8 資料、或想自行控制量化步驟的應用程式，可以設定 `ModelOptions.mla_only`。卡上便...
`Tensor::from_external()` 讓 C++ 應用程式包裝既有的連續配置，而不必將它複製到新的主機端張量。張量會保留 `std::shared_ptr<void>` 擁有者，因此 PCIe 和 GStreamer 使用期間，背後的配...