FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

5 F, W9 C# `1 a前言
; w* [+ @5 U* U# V) [- c" HCameraLink協(xié)議
3 g) d8 o  i7 _; E! z$ `2 Z% b
9 L/ d1 x& ~/ p) Z% X8 A4 F& z  S3 iCameraLink協(xié)議是一種專門針對機器視覺應用領域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進行數(shù)據(jù)的傳輸和通信。CameraLink標準是在ChannelLink標準的基礎上多加了6對差分信號線，其中4對用于并行傳輸相機控制信號，另外2對用于相機和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。

& @, `5 D5 H7 F5 d5 }1 RCameraLink標準的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標準的規(guī)定標準時鐘頻率最大為85MHz。

6 P. I7 @, \* `" {
; [- N# b' A9 }6 G8 a​
+ `; n, C9 T% g! ~7 C, i
圖1

! o1 ~' a8 I9 e# O; j: JCameraLink + FPGA架構視頻采集系統(tǒng)
! P- l& K3 Y; q5 n6 ?/ O/ s/ O( t! d
采用CameraLink + FPGA架構的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實時處理、輸出等。該架構系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強的通用性、實用性和擴展性，靈活性也大大增強。CameraLink技術現(xiàn)已廣泛應用于航空航天、軍事、醫(yī)療、交通等領域。

# J( O" O1 h8 |1 ~' X- C' C​
. q1 }6 v2 Z# l) W4 w1 u  }
圖2

+ k& i  E5 o9 O創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
9 ]$ H6 i1 G. v" d* L2 E5 J6 C
! E3 S; l7 r; _" ]- c9 v& @1 硬件平臺
本文基于創(chuàng)龍科技TLK7-EVM評估板進行演示。
8 [8 g( ^2 t! J; v
TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設計的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應用環(huán)境。
4 o- U! X6 B% ]2 A1 ^( C7 h9 S6 U7 h評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進行產(chǎn)品方案評估與技術預研。

​

圖3 TLK7-EVM評估板
$ t% D2 m0 K" z% Q) x7 B
* P+ A8 q. F3 ]8 u$ R+ z" X3 F開發(fā)案例主要包括：
& P" E" E' ^) V5 K) B2 }9 B+ lØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
1 V0 V( w/ H5 T5 l8 K* N+ LØ AD9361軟件無線電案例
$ H7 Y/ C. [$ }/ wØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例

, @$ K4 o$ r7 r案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點site.tronlong.com/pfdownload獲取。
找廠家可申請TLK7-EVM評估板進行快速評估，免費哦！
$ ^5 A5 D9 i6 m* w5 C
2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進行輸出。
5 K3 p: ?. c( {. L5 ?3 Z
1 K1 V) r& w6 n# N
5 H; G+ _- J: V7 w  ^​
* }6 X: M9 b7 ^
圖6 程序功能框圖
( E1 u/ j- ]' ~! C  `" L0 `3 f
" A% [$ s- b" B7 C4 V) v
3 案例演示
本案例支持三款CameraLink相機，具體說明如下。

廠家 8 p" n7 @2 c8 C) q+ z4 G& p	相機型號	支持模式 . d2 `- W) A, l9 y; ]0 V/ q	相機性能
Microview ' [. g9 _- A2 X, b% v) w（北京微視） ( g6 U+ E- f7 o) i3 r4 q	RS-A5241-CM107-S00 （黑白CameraLink相機）	Full " Y) D' W7 a; g( k& b: \0 E	全幅面2560*2048下，幀率可達107fps 6 \8 G) ?# V# j1 @+ Z5 D
		Base ' y. \# ~( e& h* x% v; S& S
	RS-A5241-CC107-S00 ; q9 k1 r  v, P( A( r- a（彩色CameraLink相機） 2 e9 t0 G: Z9 Q) @! S* m& m  {9 S	Full 3 f  y7 T* k1 z& _. z8 H	全幅面2560*2048下，幀率可達107fps : n; a0 v% V: i$ ~
		Base / M; N8 S% `; N" |
	MVC1381SAM-CL60-S00 （黑白CameraLink相機） 9 q$ F# L6 m3 h6 V! G6 H# E	Base	全幅面1280*1024下，幀率可達60fps

Full模式硬件連接方法

# B9 A3 A$ |1 P如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
) y  n( m4 X) O* L$ K! t+ \" `' z
將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
圖7

& v9 y5 M4 V" l! dBase模式硬件連接方法
* U7 U7 w! T- @& o
如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。

1 I6 ?. w. [  X% z& j( C, g: r( Z* D& N- R  H​
: C5 R$ J) ~$ p% K4 N圖8


下面對三款不同型號的CameraLink相機在Full/Base模式下的操作進行演示。

- u& M) J/ X0 J  _) j4 \& |6 V  |（1） 黑白CameraLink相機RS-A5241-CM107-S00，F(xiàn)ull模式
1 L3 U. d; i. c6 I3 }# ~
* A) [0 W; ]8 |請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
圖9
# M0 m- d* ]9 u+ n2 S* l​
圖10

# e, ?: }2 O, v' M) T（2） 彩色CameraLink相機RS-A5241-CC107-S00，F(xiàn)ull模式

請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
0 e! [9 U- T9 U+ @( e; H, h​
/ f( d1 i$ e; z, ?8 v8 C* f圖11
% F0 [4 r( H- G+ M4 l0 B+ k​
- g- x( C+ c1 q* n 圖12
備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
9 K$ |5 K0 ]' e, s
6 y/ e& H. X$ E3 f6 {8 R5 h（3） 黑白CameraLink相機RS-A5241-CM107-S00，Base模式
  [* O0 Z( H4 J0 d
' j# \  \/ W; B- V+ z+ t1 i& _請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。

1 h0 a2 A; L' ]6 w; F​
圖13
​
圖14
: ~: R8 E% V, u/ m$ `
0 v5 r2 ?8 F: L5 X! S- _$ i4 l（4） CameraLink相機RS-A5241-CC107-S00，Base模式

請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
​
圖16
9 s- E& ~2 X1 h7 t. e6 v
* [; E( G4 G9 z6 M備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。


7 D7 ~" I7 l" S8 w. p2 s（5） 黑白CameraLink相機MVC1381SAM-CL60-S00，Base模式

請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
0 ^9 R: H6 V( E7 X( D+ ?​
圖17
9 E0 k) Q; w0 d% c6 f​
  J/ Q5 l$ Q7 K) R5 c6 ]* E- X圖18

* s1 d) r' z, E8 b# F
# w1 A! u% N3 y3 u4 關鍵代碼(MicroBlaze)
) m) G6 V. @# |$ X6 _. i- I! KMicroBlaze裸機源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關鍵代碼說明如下。
$ p/ j% e* H* M6 w8 ^3 t
. ?* k7 x- @+ j2 @（1） main函數(shù)。
* i; h) N8 ]0 \* w2 ~
- f8 F6 {) F$ _) V2 p1 s​
! \- j" j& B' S* j) K; l* r9 _
. x2 H2 {$ a- z. }7 A圖19
​

& Z7 L4 F# X( L3 }2 s% W/ L" e圖20
, \& `9 u+ g* S. z( N
& ]. P  U( M; A7 B5 e8 J) x. b
: Q: t; ]$ y- v​

7 H& i* E! J7 [+ A; Z( r) T圖21

. u9 \; a9 Y+ N7 Z7 x: ?（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進行HDMI視頻輸出。
% Q$ d( J/ W8 N- i" k- l  r( A
! N% b/ ^1 }: A
​

, e$ v6 ]) U, p! V: h圖22

8 s$ K7 D# y6 O. C（3） 初始化Sil9022A。
; Q+ }7 N9 g  w4 o, [

​

圖23

2 P. t# J# q% l5 m+ q9 J! O) J7 Q（4） 初始化AXIS Switch IP核。
* D) y) j! ]/ q
' l/ q. W' k% |6 S/ z​
* j( l5 ^5 h3 G9 J& |# D 圖24
9 N9 m% K, d! L' U# ~# P( J( L$ _: u
4 B4 [+ t4 C" ?% D7 ]& B
初始化Sensor Demosaic IP核，以將彩色CameraLink相機的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。
) C5 w' j( {) X7 t
% x" |, o7 v, w
6 N/ k) N( X# ^+ L; ~* E: s- `​
  s; D& U# c1 z% V/ A# `, m
圖25

（5） 初始化Video Mixer IP核。

; J' r# }1 O$ W​
* n+ G0 t1 E3 g+ k- R 圖26
! X" s0 _# Y5 U* Y- g+ S& W

* c) t% Y- n9 r& m+ J) j/ L3 A備注：關于Vivado工程說明及模塊/IP配置詳細內(nèi)容，可下載產(chǎn)品資料進行查看。


6 更多推薦
' [, f9 [! C1 M  L5 @, a新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
0 h! A. S, X5 X( @& J6 N2 R& O
+ I# e2 d4 A# x- S$ c​

# ^/ C8 V- Q7 \5 l) d

lyl

很好的資料，好好的學習學習

peng85246

lyl 發(fā)表于 2021-1-30 08:32
% m( v# ?' Q- j- {: ^& j; N很好的資料，好好的學習學習

0 P# L+ s# }$ P+ Y4 [" K3 U大家互相學習和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
2 q$ a; R. \4 s" w+ U

hebinbin

很好的資料，好好的學習學習

ispy520

很好的資料，多多學習
/ ~1 X4 f( t8 k0 E