來(lái)源:富昌電子 作者:Alex Watson,富昌電子 EMEA 業(yè)務(wù)拓展經(jīng)理(傳感器), David Mills,安森美半導(dǎo)體智能傳感事業(yè)部 EMEA 戰(zhàn)略業(yè)務(wù)拓展經(jīng)理 支持人工智能(AI)和機(jī)器學(xué)習(xí)的技術(shù)在過(guò)去三年已進(jìn)入工業(yè)電子的主流。在 21 世紀(jì)的大部分時(shí)間里,實(shí)施人工智能一直是一項(xiàng)高成本、高強(qiáng)度的工作,只有少數(shù)世界上最富有、最強(qiáng)大的公司和政府機(jī)構(gòu)才能實(shí)現(xiàn)。 然而,現(xiàn)在低成本的微處理器和 FPGA 已經(jīng)獲得了足夠的計(jì)算能力來(lái)運(yùn)行 AI 推理引擎,并且互聯(lián)網(wǎng)的超大規(guī)模使得其能夠生成大量標(biāo)記數(shù)據(jù),以用作機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集。 因此,幾乎所有工業(yè) OEM 廠商(包括初創(chuàng)公司)都可以考慮部署人工智能技術(shù)來(lái)增強(qiáng)現(xiàn)有產(chǎn)品的應(yīng)用,甚至創(chuàng)造全新的應(yīng)用。 圖像處理已經(jīng)成為人工智能技術(shù)最有效的應(yīng)用之一。例如,在智能交通系統(tǒng) (ITS) 中,成像系統(tǒng)可用于評(píng)估交通流量并自動(dòng)調(diào)節(jié)交通信號(hào),或向附近車輛提供有關(guān)空閑停車位位置的實(shí)時(shí)信息(見(jiàn)圖 1)。在智能農(nóng)業(yè)中,相機(jī)可以測(cè)量樹(shù)上或灌木上果實(shí)的顏色,并指示自動(dòng)收割設(shè)備只采摘成熟的果實(shí)。在安防和監(jiān)控方面,成像可以支持自動(dòng)訪問(wèn)控制設(shè)備,可以識(shí)別授權(quán)用戶的面部。 ![]() 圖 1:自動(dòng)提供給附近汽車的可用停車位位置的實(shí)時(shí)信息可以節(jié)省司機(jī)的時(shí)間并減少局部擁堵(圖片來(lái)源:Rachmaninoff,知識(shí)共享許可協(xié)議) 這些是已經(jīng)在使用或正在開(kāi)發(fā)中的應(yīng)用,還有數(shù)以千計(jì)的尚未被設(shè)計(jì)或發(fā)現(xiàn)的智能成像潛在應(yīng)用 這意味著 CMOS 圖像傳感器的部署模式,以及其嵌入到的相機(jī)即將徹底改變。自半導(dǎo)體圖像傳感器發(fā)明以來(lái),市場(chǎng)一直為使用大量器件的少數(shù)制造商供貨,即:少數(shù)幾家相機(jī)和攝像機(jī)制造商,以及后來(lái)的智能手機(jī)制造商。用于工業(yè)、專業(yè)或消費(fèi)用途的相機(jī)制造商是成像專家:他們擁有自己的專有開(kāi)發(fā)工具和技術(shù),可在相機(jī)設(shè)計(jì)中應(yīng)用圖像傳感器,并且圖像傳感器制造商提供專門的甚至定制的產(chǎn)品來(lái)滿足他們確切的規(guī)格需求。 最新的人工智能驅(qū)動(dòng)的圖像傳感器市場(chǎng)非常不同:農(nóng)場(chǎng)收割機(jī)、交通控制信號(hào)或智能門鎖的制造商自身通常幾乎沒(méi)有成像專業(yè)知識(shí)。由于與相機(jī)制造商相比,他們需要的圖像傳感器數(shù)量很少,因此他們希望從一系列標(biāo)準(zhǔn)產(chǎn)品中進(jìn)行選擇,以便從較低的單價(jià)中受益。 現(xiàn)在,圖像傳感器制造商正在開(kāi)發(fā)新產(chǎn)品,以滿足希望將智能成像添加到其產(chǎn)品功能中的嵌入式系統(tǒng)制造商的這一新興需求。他們發(fā)現(xiàn)這些新用戶的需求與大型相機(jī)制造商的需求不同。圖像傳感器技術(shù)評(píng)估的傳統(tǒng)重點(diǎn)是光學(xué)性能特性,例如: · 分辨率 · 動(dòng)態(tài)范圍 · 幀率 · 靈敏度和弱光性能 · 噪音 然而,本文認(rèn)為嵌入式系統(tǒng)開(kāi)發(fā)人員將對(duì)新一代傳感器的兩個(gè)重要特性同樣感興趣:平臺(tái)功能以及用戶友好的開(kāi)發(fā)工具和資源的可用性。 用于開(kāi)發(fā)多功能終端產(chǎn)品系列的平臺(tái) ITS、智能農(nóng)業(yè)、安全和其他領(lǐng)域的利基應(yīng)用對(duì)標(biāo)準(zhǔn)圖像傳感器產(chǎn)品的新興需求正在促使少數(shù)占主導(dǎo)地位的圖像傳感器制造商擴(kuò)展其產(chǎn)品范圍,提供新的標(biāo)準(zhǔn)產(chǎn)品。 安森美半導(dǎo)體已經(jīng)認(rèn)識(shí)到,許多這些新的利基客戶希望開(kāi)發(fā)多種產(chǎn)品以滿足不同的性能或應(yīng)用要求,并以不同的價(jià)格進(jìn)行銷售。因此,安森美半導(dǎo)體的 XGS 圖像傳感器系列提供分辨率從 2百萬(wàn)像素到 45百萬(wàn)像素的器件。 XGS 系列中的這些傳感器基于相同的平臺(tái),具有兩種封裝選項(xiàng):分辨率為 2百萬(wàn)像素、3百萬(wàn)像素、5百萬(wàn)像素、8百萬(wàn)像素、9.4百萬(wàn)像素、12百萬(wàn)像素或 16百萬(wàn)像素的 XGS 傳感器共享同一個(gè)通用封裝,并與行業(yè)標(biāo)準(zhǔn)(緊湊的 29mm x 29mm 相機(jī)尺寸)兼容。分辨率為 20百萬(wàn)像素、30百萬(wàn)像素、32百萬(wàn)像素或 45百萬(wàn)像素的 XGS 傳感器支持 Super 35mm 光學(xué)格式。 XGS 系列足夠廣泛,可以支持各種價(jià)格和性能要求。在高性能端,XGS 45000 以高達(dá) 60 幀/秒的速度生成 8K(8192 像素 x 4320 像素)視頻輸出。成本最低的器件 XGS 2000 以高達(dá) 220 幀/秒的速度生成單色或拜耳色配置、全 1920 像素 x 1200 像素分辨率的 12 位輸出。 所有 XGS 系列傳感器都受益于包含全局快門的先進(jìn)像素設(shè)計(jì),在捕捉快速移動(dòng)的圖像時(shí)不會(huì)產(chǎn)生模糊或圖像偽影。該像素架構(gòu)提供高帶寬,同時(shí)以低功耗和低噪聲運(yùn)行。 為新的相機(jī)設(shè)計(jì)者提供完成工作所需的工具 對(duì)開(kāi)發(fā)人工智能驅(qū)動(dòng)成像系統(tǒng)的新客戶的需求的一個(gè)回應(yīng)是提供靈活的圖像傳感器產(chǎn)品平臺(tái)。 但是,這群新興客戶與成熟的相機(jī)制造商還有另一種不同之處:他們沒(méi)有內(nèi)部可用的復(fù)雜的專有光學(xué)開(kāi)發(fā)工具套件和原型開(kāi)發(fā)平臺(tái)。如果沒(méi)有這些工具,開(kāi)發(fā)新的、面向應(yīng)用的相機(jī)的任務(wù)將非常困難且耗時(shí)。 安森美半導(dǎo)體通過(guò)提供自己的資源套件來(lái)支持從評(píng)估到軟件開(kāi)發(fā)再到相機(jī)設(shè)計(jì)的每個(gè)開(kāi)發(fā)階段,從而滿足這一新興需求。 DevWare 基于 PC 的應(yīng)用軟件支持復(fù)雜的圖像傳感器評(píng)估。當(dāng)與 USB3 成像基板和 XGS 圖像傳感器板結(jié)合使用時(shí),它提供了高捕獲率和靈活的評(píng)估選項(xiàng)。當(dāng)開(kāi)發(fā)人員希望能夠自由地評(píng)估 XGS 圖像傳感器性能和像素操作的各個(gè)方面,并訪問(wèn)所有寄存器設(shè)置時(shí),DevWare 平臺(tái)是理想的選擇。 X-Celerator 支持系統(tǒng)軟件開(kāi)發(fā):它包含一個(gè) FPGA 夾層卡 (FMC) 形式的攝像頭,提供了與標(biāo)準(zhǔn) FPGA 開(kāi)發(fā)環(huán)境的直接連接(見(jiàn)圖 2)。X-Celerator 由公共 FPGA 代碼支持,因此使用它不需要軟件許可協(xié)議。這個(gè)開(kāi)發(fā)平臺(tái)的一個(gè)重要優(yōu)勢(shì)是開(kāi)發(fā)團(tuán)隊(duì)可以在他們自己的硬件設(shè)計(jì)最終確定之前編寫相機(jī)軟件,使硬件和軟件團(tuán)隊(duì)能夠并行工作,縮短上市時(shí)間。 ![]() 圖 2:X-Celerator 相機(jī)套件支持在基于 FPGA 的硬件環(huán)境中進(jìn)行軟件開(kāi)發(fā)(圖片來(lái)源:安森美半導(dǎo)體) 使用安森美半導(dǎo)體的 X-Cube 參考設(shè)計(jì)可以加速相機(jī)硬件的設(shè)計(jì),該參考設(shè)計(jì)是一個(gè)具有 MIPI 接口的完整的端對(duì)端相機(jī)方案(見(jiàn)圖 3)。X-Cube 設(shè)計(jì)支持采用行業(yè)標(biāo)準(zhǔn)的 29mm x 29mm 外形、分辨率高達(dá) 16M百萬(wàn)像素的所有 XGS 圖像傳感器,可使用 C 接口或 S 接口透鏡。 ![]() 圖 3:X-Cube 參考設(shè)計(jì)提供基于分辨率高達(dá) 16百萬(wàn)像素的 XGS 圖像傳感器的完整相機(jī)系統(tǒng)(圖片來(lái)源:安森美半導(dǎo)體) 適配器板提供了連接至 USB3 基板的接口,將參考設(shè)計(jì)鏈接到 DevWare 軟件,從而在 PC 上實(shí)現(xiàn)圖像捕獲、處理和分析。安森美半導(dǎo)體提供所有設(shè)計(jì)文件,包括原理圖、布局和透鏡安裝 CAD,供客戶使用和修改。 支持構(gòu)建完整的基于人工智能的成像系統(tǒng) 安森美半導(dǎo)體的 XGS 圖像傳感器可與市場(chǎng)上傳統(tǒng)光學(xué)方面的最佳產(chǎn)品相媲美,提供高分辨率、快速幀速率和低功耗。工業(yè)客戶的重大突破是安森美半導(dǎo)體以新方式支持沒(méi)有或幾乎沒(méi)有相機(jī)專業(yè)知識(shí)的OEM廠商,提供豐富的開(kāi)發(fā)資源和靈活的圖像傳感器平臺(tái)。 安森美半導(dǎo)體的授權(quán)分銷商富昌電子可為非視覺(jué)專家的嵌入式系統(tǒng) OEM 廠商提供支持。富昌電子可以通過(guò)其在英國(guó)和歐洲的區(qū)域成像專家,以及為圖像傳感器買家提供行業(yè)領(lǐng)先的供應(yīng)鏈服務(wù),為新相機(jī)的開(kāi)發(fā)提供深入的技術(shù)支持。富昌電子還為基于 AI 的成像應(yīng)用提供全方位的支持組件,包括來(lái)自 Microchip、Lattice 和 Quicklogic 的一系列用于 AI 后端的 FPGA 產(chǎn)品 |