图像处理系统设计_FPGA平台的实时图像处理系统设计
概述 在视频信号处理过程中为保证实时性，首先要求实时图像处理系统具有处理大数据量的能力。其次对系统的对外接口、功能、稳定性等也有严格的要求。实时图像处理算法中经常要用到对图像的求和、求差运算、二维梯度运算、图像分割、边缘探测等不同层次、不同种类的运算。有的运算结构比较简单，但是数据量大，计算速度要求高；有些运算对速度要求并不高，但计算方式和结构比较复杂，难以用纯硬件的方式实现。因此，实时图像处理系统是要求运算速度高、运算种类多的综合性信息处理系统。
图像处理系统中，底层的图像预处理的数据量很大，要求处理速度快，但运算结构相对比较简单，适用于FPGA通过硬件实现，这样能同时兼顾速度及灵活性。高层运算的特点是所处理的数据量较底层少，但算法结构复杂，适宜采用运算速度高、寻址方式灵活、通信能力强的DSP芯片来实现。
DSP+FPGA结构最大的特点是结构灵活，有较强的通用性，适用于模块化设计，从而能够提高运算、处理的效率；同时开发周期短，易于维护和扩展，适于实时图像处理，对不同算法有较强的适应能力。
硬件结构设计
如图1所示，实时图像处理系统硬件设计可分为视频信号处理部分和视频信号输入输出部分。首先通过视频A/D接收前端PAL制式模拟视频信号，经过处理转换后输出数字视频信号。通过FPGA的时序控制将数字视频信号存储到SRAM中。然后利用DSP对SRAM中图像数据的采集、运算和处理，提取出有用的信息，最后将处理完成后的图像数据通过FPGA的时序控制，整合成数字视频信号输出给视频D/A，转换成PAL制式模拟视频信号输出。
视频信号输入输出部分主要由视频A/D和视频D/A组成。
视频A/D采用ADI公司的10位高性能ADV7180，它具有三路模拟视频通道，支持多种制式视频信号输入，输出标准ITU656 4:2:2格式数字视频信号。ADV7180还提供行、场同步信号和27MHz像素时钟信号，省掉了时钟同步电路的设计，为系统设计带来了方便。内置的I2C接口提供了对芯片内部电路的控制功能。可实现对输入视频信号的预处理，比如对比度和亮度的控制、输出数据格式的选择控制等。FPGA控制数据传输的时序，同时根据行、场同步信号，为SRAM提供地址信号和片选、读写等控制信号，将图像数据存入SRM中。
视频D / A采用N X P公司的SAA7128，它将数字视频信号转换成标准PAL制式模拟视频信号输出。
FPGA将标准ITU656 4:2:2格式数字视频信号输出给SAA7128，同时还将从ADV7180中获取的像素时钟信号输出给SAA7128。SAA7128则将数字视频信号转换成标准的模拟视频信号输出。
视频信号处理部分主要由FPGA、DSP和三片SRM组成。
FPGA提供整个实时图像处理系统数字视频信号的时序逻辑控制和输入输出管理。因此FPGA应该拥有丰富的I/O口资源和必要的内部资源。ALTERA公司的Cyclone III系列的EP3C120F780，它拥有120K逻辑单元和4Mbit内部存储器，并且提供530个用户I/O引脚，足够满足设计要求。
D S P芯片采用T I 公司的TMS320C6414。它完成图像数据的运算、处理工作。最高工作主频800MHz，数据处理速度可以达到每秒6400兆条指令。并且拥有64-bit的外部存储器接口，拥有更快的读写速度，可以缩短访问SRAM所消耗的时间，使得DSP可以将更多处理时间集中在图像处理软件算法的工作上。
FPGA功能结构设计
FPGA芯片是整个硬件平台中的核心器件。如图2所示，它首先通过视频A/D提供的行、场同步信号以及 27MHz的像素时钟信号将视频A/D输出的图像数据顺序存储到SRAM中。然后通过时序控制和数据接口切换把SRAM的访问权交给DSP。最后将SRAM中DSP处理完成的图像数据整合后按照标准的时序要求输出给视频D/A。
FPGA的硬件设计可以分为3个部分，轮换控制模块、视频输入控制模块、视频输出控制模块。
视频输入控制模块根据行、场同步和像素时钟信号产生地址信号，有序地将每场的图像数据顺序存储到SRM中。其中，每片SRM只存储一场图像数据。视频输出控制模块则从SRAM中读取图像数据，根据行、场同步和像素时钟的时序，输出标准格式的数字视频信号。
轮转控制模块完成数据接口切换轮转的功能，使得在同一时刻，DSP、视频输入模块和视频输出模块都单独拥有一片SRAM的访问权。由于输入为标准的PAL制式视频信号，因此视频信号输入为每20ms一场图像。也就是说在20ms的时间内，三片SRAM的访问权分别完全由DSP、视频输入模块和视频输出模块所独占。如图3所示，将三片SRAM分别称作SRAM1、SRAM2、SRAM3。假设在第N场时刻，视频输入模块访问SRAM1， DSP访问SRAM2，视频输出模块访问SRAM3。则在第N+1场时刻，轮换控制模块将数据接口切换到视频输入模块访问SRAM3，DSP访问SRAM1， 视频输出模块访问SRAM2，以此类推。因此，每一场图像数据就都经过了存入SRAM，DSP访问读写，图像数据输出三个过程。从视频信号输入到视频信号输出的数据处理流程来看就达到了实时图像处理的要求。
这种设计结构使得DSP的软件设计空间自由度很大。因为SRAM的存储空间大，DSP不需要考虑图像数据的存储容量问题，内存资源可以投入到图像处理软件算法的工作中去。其次，DSP不用去考虑图像数据访问时间片的问题。对于每一场图像数据，DSP都拥有完整的20ms时间访问权，使DSP软件的编写可以非常灵活。
结束语
采用DSP+FPGA结构的实时图像处理系统，既可以支持大数据量的实时性传输，又可以满足视频信号高速处理的需要。系统的扩展性和冗余性好，通过提高DSP的性能和SRAM的存储容量，可以满足对更高性能图像处理的要求。
参考文献：
[1] 段洪君,李清伟.DSP实时图像处理系统[J].电子科技,2004,(1):36-38
[2] 罗戈亮,鲁新平,李吉成.基于FPGA+DSP的实时图像处理系统设计与实现[J].微处理机,2010,(2):108-110
[3] 柯丽,黄廉卿.DSP芯片在实时图像处理系统中的应用[J].光机电信息,2005,(1):17-23
[4] 赵广州,张天序.基于DSP和FPGA的模块化实时图像处理系统设计[J].华中科技大学学报,2004,(10):4-6
[5] 郭晓春.数字图像实时处理系统的FPGA实现[D].哈尔滨工程大学,2011