FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
$ W7 l6 J: q. \/ d( l8 d) yCameraLink協(xié)議

CameraLink協(xié)議是一種專門針對機(jī)器視覺應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對差分信號線，其中4對用于并行傳輸相機(jī)控制信號，另外2對用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。

CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時鐘頻率最大為85MHz。


, s+ @: V6 Y0 v2 q- n: S# g, Q" r​
: N- d+ r. S* I+ f
圖1
% e7 \, t2 k* L; Z; Q
CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

* l3 T5 u  b2 b6 u采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實時處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
* b* G+ F: j8 ^) g- t: x; T& X
​
; `) L! {/ q0 O9 k8 p' x7 Y( c
圖2
) m+ M" ?$ q  `( K0 O
創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
3 A: C5 h) V8 y, Q+ n
1 硬件平臺
( T4 x7 [0 m  Y5 p5 \. h本文基于創(chuàng)龍科技TLK7-EVM評估板進(jìn)行演示。
/ G5 b! ]. A9 p0 `0 f" @
TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
+ ~! Z( ]9 q$ y! G6 p評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評估與技術(shù)預(yù)研。

6 N6 j/ N1 T4 A5 ^. ~0 o5 t​

圖3 TLK7-EVM評估板
' U6 p( x4 @; @% o  A# S# O
開發(fā)案例主要包括：
: a9 Y- i! ]& @8 MØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
0 B/ ^" W- y2 l5 L: RØ AD9361軟件無線電案例
& p7 G; s# n1 @. DØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
. i+ ?. J5 G& B2 X$ {2 q% w7 K- h9 r( E- _Ø PCIe通信案例
) A7 Q+ G  U" U" S* X
4 i+ H& i4 @; G# k) }0 O9 F案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點(diǎn)site.tronlong.com/pfdownload獲取。
找廠家可申請TLK7-EVM評估板進(jìn)行快速評估，免費(fèi)哦！

2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。
' J0 F1 C: |. ]  _, ?% c3 B' G+ z

: P3 ?3 l) s7 Y$ s. W) w7 C​

1 j- w+ C' X3 u5 ?圖6 程序功能框圖


" f) ~4 f( I. B/ O7 G7 K9 h3 案例演示
. T1 v9 `( ?$ p2 R+ R6 @本案例支持三款CameraLink相機(jī)，具體說明如下。

廠家 : }1 M! A5 B7 a; e" E+ `% d	相機(jī)型號 . S) T# u; W- k( I4 W	支持模式	相機(jī)性能 8 i# _1 g4 D+ v9 L6 R/ Q
Microview （北京微視）	RS-A5241-CM107-S00 7 O( ]/ r$ C' H（黑白CameraLink相機(jī)）	Full	全幅面2560*2048下，幀率可達(dá)107fps 4 D8 n. Z0 g( r4 E$ R9 P
		Base
	RS-A5241-CC107-S00 （彩色CameraLink相機(jī)） , w; C- z, [; `# N	Full # n  r7 I  y  T. n	全幅面2560*2048下，幀率可達(dá)107fps   U! X6 m5 G% j. j- c: X: L
		Base 5 y  c" i8 O1 ?: V3 F' X8 _
	MVC1381SAM-CL60-S00 （黑白CameraLink相機(jī)）   `5 P$ P2 z# c; p- ~	Base 9 M3 }# r  m, G4 V, a# V1 c	全幅面1280*1024下，幀率可達(dá)60fps * P& P+ n3 V4 ?% j# z

/ u5 }# `: l. H0 G. LFull模式硬件連接方法

3 e6 L  l# Y& ?3 c% ]( q如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
# o7 z: H& Q# T: h圖7

Base模式硬件連接方法

如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
* @0 y" E9 ]2 ?8 N1 K( E
將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。

8 X) J$ t9 \, l1 H' s$ \& ], Q9 ~# H​
  ?) j" T5 M4 r* G1 S" i" r" C圖8

$ V: v+ t4 `% D* v& {9 o$ D" ~3 S
$ r, h3 W6 n  `6 A& d下面對三款不同型號的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。
9 g: i' z  q% X5 d8 j
6 ]" I' e- C. y4 `（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

0 p. K' I3 N9 B* |; [請運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機(jī)型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
7 q4 Z  L* ?* E# g1 l1 A圖9
​
圖10
. K, j4 V2 I! ]( @8 P5 q0 o: f
（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式
! H$ s8 o) V" v% N2 g4 ]2 y, b
請運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機(jī)型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
1 G% {" j, l) s# a8 y$ _/ F圖11
& l1 n0 K6 }  B/ G- r​
圖12
備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。

（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式
  I  W- u2 g) u+ g7 P) Y
# v  _$ ]+ m  w+ ?9 H0 X1 ^; G請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機(jī)型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。

​
圖13
​
圖14
. d- Q. h- b* ^' d" F
（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式
* Q/ ]/ j: `) I& G& L1 B
5 R+ g( F. d6 h2 Y請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機(jī)型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
; ~# z$ O8 _8 r/ m4 }* t  }/ z​
圖16

備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。


（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式

1 R- V  N% j( r- W5 o請運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機(jī)型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
圖17
' D! _, @& Q; C& v​
圖18
; r% e  l8 ?' J3 I1 [
+ z3 {. M& R' F' |5 }
4 關(guān)鍵代碼(MicroBlaze)
MicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說明如下。

  n; V) k$ Q+ s3 N) ~) L（1） main函數(shù)。
! ]  E# ^4 Y3 V6 M1 Q
" X8 n: j& g7 }  w& D! D& x​
- m$ [! X; s7 S7 l2 \; T
圖19
/ |7 M+ L: C) X  d5 K6 J8 }' b​
% u  |9 v, O+ @! \% Z
圖20
4 N+ n8 l; w7 J) |% u! a

# l& X; O8 t! Z2 i​

圖21

9 [0 e) n. f1 O0 j4 J7 \( H（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。
# ^% z# C2 V6 g2 j1 r! e- e
7 I) @  u. h% c' v* q  |; y, |
​

圖22
" f# o6 d3 J4 x! Z& J. r( e0 l
（3） 初始化Sil9022A。
8 l, g+ W  M: \6 }! x

; r, _0 ]. c; n  H​

! M1 Z0 _# _3 h7 ~圖23

: b2 y0 _& a* ~5 c（4） 初始化AXIS Switch IP核。

+ u% E- F8 `( M3 N& ?2 P​
( `1 e0 R# U# b: H- Z 圖24
3 t2 y% Y  \' ]% G3 P
* Z2 k; F% E/ L5 k, e
2 L$ k8 U! @2 c初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。
' q! C9 x& k0 O" ^# y1 |/ `
4 o( |+ O- p5 U- u
​

圖25

" j  F; k$ n# \) ]（5） 初始化Video Mixer IP核。
, g6 x7 W$ B2 C. j% T- t
​
" s, d1 ?3 s! Z* e) ? 圖26


備注：關(guān)于Vivado工程說明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。

8 j' z- l1 m; q4 `' Z% F& m
/ }" r" E+ _0 m- D2 i; A6 更多推薦
5 P, Z; ~: B/ L  F3 ]6 N* V0 _新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

+ l  I3 R0 m- k) n4 N7 v' W' M​

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

' m1 N5 U) T3 I& C9 [$ x; {; t. t* G大家互相學(xué)習(xí)和交流O(∩_∩)O哈！
9 `+ V5 v  v( Q2 b$ k+ [& h- ^

IZH

6666666666666666666666666666666666666
+ e9 T  E3 h, k1 W

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
' h7 I) d( Q. l- h6 a& f- A