【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及圖像傳感器，具體涉及混合事件與幀像元的cmos圖像傳感器及其讀取方法。
技術(shù)介紹
1、事件相機(jī)，也被稱(chēng)為神經(jīng)形態(tài)相機(jī)、硅視網(wǎng)膜、或動(dòng)態(tài)視覺(jué)傳感器，是一種響應(yīng)局部亮度變化的圖像傳感器。事件相機(jī)不像傳統(tǒng)的（幀）相機(jī)那樣使用快門(mén)捕捉圖像。相反，事件相機(jī)中的每個(gè)像素都獨(dú)立且異步地運(yùn)行，在亮度發(fā)生變化時(shí)報(bào)告亮度變化，否則保持靜默。
2、事件相機(jī)的設(shè)計(jì)靈感源于視網(wǎng)膜的動(dòng)態(tài)感知機(jī)制。其核心思想是按需采樣，模擬了視網(wǎng)膜對(duì)快速運(yùn)動(dòng)場(chǎng)景的敏感性，這與視網(wǎng)膜檢測(cè)動(dòng)態(tài)場(chǎng)景的稀疏輸出、高時(shí)間分辨率機(jī)制類(lèi)似。但是人眼可以同時(shí)獲取動(dòng)態(tài)和靜態(tài)信息，獲取精細(xì)的細(xì)節(jié)紋理，感知靜態(tài)場(chǎng)景并構(gòu)建完整圖像，而事件相機(jī)無(wú)法直接處理靜態(tài)面，需要與幀式相機(jī)結(jié)合才能完成。而且事件相機(jī)色彩感知不足，即事件相機(jī)缺乏像人眼視錐細(xì)胞一樣的顏色感知能力。于是，就有了將rgb像素嵌入事件相機(jī)的技術(shù)路線。
3、國(guó)外從事該領(lǐng)域工作的企業(yè)主要有瑞士inivation公司，法國(guó)prophesee公司，韓國(guó)三星公司，日本索尼公司等。目前，外國(guó)公司中僅有inivation提供基于共享像素的rgb幀和事件流的類(lèi)腦成像傳感器。這是因?yàn)楣蚕硐袼仉娐返姆桨赣绊懥耸录敵龅馁|(zhì)量，同時(shí)10萬(wàn)分辨率級(jí)的rgb幀難以滿(mǎn)足復(fù)雜的應(yīng)用需求。因此共享像素電路的方案逐漸被放棄。
4、最新的技術(shù)方案采用了背照式和堆疊式技術(shù)，事件像素電路獨(dú)立組成一層像素陣列，rgb像素電路也獨(dú)立組成一層像素陣列。這種方案可以兼容高分辨率的rgb像素電路和低分辨率的dvs像素電路。2024年日本索尼
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)中的不足，本專(zhuān)利技術(shù)提出了一種混合事件與幀像元的cmos圖像傳感器及其讀取方法。所述cmos圖像傳感器采用事件像元和幀像元在同一層上交錯(cuò)排列的設(shè)計(jì)，能同時(shí)輸出事件像元信號(hào)和幀像元信號(hào)，事件像元信號(hào)且具有異步和同步兩種輸出模式。
2、本專(zhuān)利技術(shù)的技術(shù)方案具體如下：
3、一種混合事件與幀像元的cmos圖像傳感器，包括cmos像素陣列和讀取電路；
4、其中，所述cmos像素陣列由r、g、b、w四個(gè)通道的事件像元和幀像元f組成，所述事件像元和幀像元交錯(cuò)排列；r、g、b、w分別為感知紅、綠、藍(lán)和白光的相對(duì)強(qiáng)度的變化，f為幀相機(jī)的rgb像元。
5、優(yōu)選的，所述事件像元和幀像元在cmos像素陣列的列方向交錯(cuò)排列。
6、優(yōu)選的，所述事件像元和幀像元在cmos像素陣列的行方向和列方向均交錯(cuò)排列。
7、優(yōu)選的，由兩個(gè)幀像元和兩個(gè)事件像元構(gòu)成一個(gè)組合像元組，采用32bit的編碼方式，其中r、g、b、w各使用一個(gè)2bit位寬編碼，f采用8bit位寬編碼。
8、優(yōu)選的，r、g、b、w使用的2bit位寬編碼，00表示無(wú)事件輸出，01表示正事件輸出，即亮度增加，10表示負(fù)事件輸出，即亮度降低；f采用8bit位寬編碼表示絕對(duì)亮度。
9、優(yōu)選的，所述讀取電路包括第一讀取電路和第二讀取電路，所述第一讀取電路位于cmos像素陣列下方，控制輸出r、g、b、w四個(gè)通道的事件像元信號(hào)；所述第二讀取電路位于第一讀取電路下方，控制輸出幀像元信號(hào)。
10、一種混合事件與幀像元的cmos圖像傳感器的讀取方法，包括兩種模式：
11、模式1：事件像元采用異步讀取方式，幀像元采用同步讀取方式；
12、事件像元連接到行列仲裁器，按行優(yōu)先或列優(yōu)先的方式輸出，r、g、b、w四個(gè)通道的事件像元是一個(gè)整體，同時(shí)讀取事件觸發(fā)狀態(tài)；幀像元采用同步流水線列掃描讀取方式，實(shí)現(xiàn)50fps的幀率輸出絕對(duì)光強(qiáng)信號(hào)；
13、模式2：事件像元采用同步讀取方式，幀像元采用同步讀取方式；
14、事件像元采用同步流水線列掃描讀取方式，實(shí)現(xiàn)2000fps的幀率輸出光強(qiáng)相對(duì)變化信號(hào)；幀像元采用同步流水線列掃描讀取方式，實(shí)現(xiàn)50fps的幀率輸出絕對(duì)光強(qiáng)信號(hào)。
15、優(yōu)選的，所述模式1中，事件像元讀取采用64bit的編碼方式，包括32bit時(shí)間戳，8bit行地址，8bit列地址，4bit事件信息編碼，其余為有效信號(hào)標(biāo)志位。
16、優(yōu)選的，所述模式2中，事件像元讀取采用4bit的編碼方式。
17、相比于現(xiàn)有技術(shù)，本專(zhuān)利技術(shù)的有益效果在于：
18、1.?本專(zhuān)利技術(shù)設(shè)計(jì)的cmos圖像傳感器的優(yōu)勢(shì)和效果：
19、a)?工藝成本優(yōu)勢(shì)：
20、本專(zhuān)利技術(shù)采用事件像元和幀像元在同一層上交錯(cuò)排列的設(shè)計(jì)，避免了傳統(tǒng)堆疊工藝對(duì)多層制程的要求，從而降低了制造成本。相比需要復(fù)雜3d堆疊工藝的圖像傳感器，本專(zhuān)利技術(shù)通過(guò)平面布局實(shí)現(xiàn)了媲美堆疊工藝的性能，顯著減少了工藝復(fù)雜性。
21、b)?多功能集成：
22、本專(zhuān)利技術(shù)設(shè)計(jì)的cmos圖像傳感器同時(shí)支持事件感知和幀信息采集功能，既適用于動(dòng)態(tài)場(chǎng)景檢測(cè)（事件觸發(fā)），也適用于傳統(tǒng)靜態(tài)圖像的采集，擴(kuò)展了傳感器的應(yīng)用場(chǎng)景。
23、c)?高效空間利用：
24、每個(gè)組合像元組由兩個(gè)事件像元和兩個(gè)幀像元組成，緊湊布局提升了空間利用率，同時(shí)降低了光電轉(zhuǎn)換器件之間的干擾。
25、2.?本專(zhuān)利技術(shù)讀取方法的優(yōu)勢(shì)和效果：
26、a)?模式靈活性：
27、提供異步事件讀取和同步事件讀取兩種模式，滿(mǎn)足不同場(chǎng)景需求：
28、模式1：異步讀取方式對(duì)動(dòng)態(tài)事件具有高靈敏度，適合捕捉突發(fā)性或高速變化的場(chǎng)景。
29、模式2：同步讀取方式適用于高幀率實(shí)時(shí)場(chǎng)景，確保事件像元和幀像元信息的協(xié)調(diào)采集。
30、b)?高效數(shù)據(jù)讀?。?/p>
31、異步讀取采用行列仲裁器按優(yōu)先級(jí)輸出，減少事件觸發(fā)的讀取延遲，提高事件檢測(cè)效率。幀像元采用同步流水線列掃描方式，保證了固定幀率的絕對(duì)光強(qiáng)信息輸出，數(shù)據(jù)輸出穩(wěn)定可靠。
32、c)?高幀率輸出支持：
33、在模式2中，事件像元讀取實(shí)現(xiàn)了高達(dá)2000fps的光強(qiáng)變化信號(hào)輸出，大幅提升了動(dòng)態(tài)場(chǎng)景的捕捉能力。即便在高幀率事件讀取的同時(shí)，幀像元仍保持50fps的穩(wěn)定輸出，兼顧了動(dòng)態(tài)和靜態(tài)場(chǎng)景的需求。
34、d)?編碼優(yōu)化：
35、模式1中，64bit的編碼方式包含詳細(xì)的時(shí)間戳、地址和事件信息，為后續(xù)的數(shù)據(jù)處理提供了充分的時(shí)間和空間信息。
36、模式2中，事件像元讀取采用精簡(jiǎn)的4bit編碼方式，大幅降低了數(shù)據(jù)帶寬需求，適合實(shí)時(shí)性要求高的應(yīng)用場(chǎng)景。
37、e)?適應(yīng)性強(qiáng)：
38、可通過(guò)不同讀取模式實(shí)現(xiàn)高動(dòng)態(tài)范圍、高靈敏度本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種混合事件與幀像元的CMOS圖像傳感器，其特征在于，包括CMOS像素陣列和讀取電路；
2.根據(jù)權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，由兩個(gè)幀像元和兩個(gè)事件像元構(gòu)成一個(gè)組合像元組，采用32bit的編碼方式，其中R、G、B、W各使用一個(gè)2bit位寬編碼，F(xiàn)采用8bit位寬編碼。
3.根據(jù)權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，R、G、B、W使用的2bit位寬編碼，00表示無(wú)事件輸出，01表示正事件輸出，即亮度增加，10表示負(fù)事件輸出，即亮度降低；F采用8bit位寬編碼表示絕對(duì)亮度。
4.根據(jù)權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，所述讀取電路包括第一讀取電路和第二讀取電路，所述第一讀取電路位于CMOS像素陣列下方，控制輸出R、G、B、W四個(gè)通道的事件像元信號(hào)；所述第二讀取電路位于第一讀取電路下方，控制輸出幀像元信號(hào)。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的CMOS圖像傳感器，其特征在于，所述事件像元和幀像元在CMOS像素陣列的列方向交錯(cuò)排列。
6.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的CMOS圖像傳感
7.一種如權(quán)利要求1-6中任一項(xiàng)所述的CMOS圖像傳感器的讀取方法，其特征在于，包括兩種模式：
8.根據(jù)權(quán)利要求7所述的讀取方法，其特征在于，所述模式1中，事件像元讀取采用64bit的編碼方式，包括32bit時(shí)間戳，8bit行地址，8bit列地址，4bit事件信息編碼，其余為有效信號(hào)標(biāo)志位。
9.根據(jù)權(quán)利要求7所述的讀取方法，其特征在于，所述模式2中，事件像元讀取采用4bit的編碼方式。
...【技術(shù)特征摘要】
1.一種混合事件與幀像元的cmos圖像傳感器，其特征在于，包括cmos像素陣列和讀取電路；
2.根據(jù)權(quán)利要求1所述的cmos圖像傳感器，其特征在于，由兩個(gè)幀像元和兩個(gè)事件像元構(gòu)成一個(gè)組合像元組，采用32bit的編碼方式，其中r、g、b、w各使用一個(gè)2bit位寬編碼，f采用8bit位寬編碼。
3.根據(jù)權(quán)利要求1所述的cmos圖像傳感器，其特征在于，r、g、b、w使用的2bit位寬編碼，00表示無(wú)事件輸出，01表示正事件輸出，即亮度增加，10表示負(fù)事件輸出，即亮度降低；f采用8bit位寬編碼表示絕對(duì)亮度。
4.根據(jù)權(quán)利要求1所述的cmos圖像傳感器，其特征在于，所述讀取電路包括第一讀取電路和第二讀取電路，所述第一讀取電路位于cmos像素陣列下方，控制輸出r、g、b、w四個(gè)通道的事件像元信號(hào)；所述第二讀取電路位于...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：師晨洋，金靖，宋凝芳，黃杼嶼，衛(wèi)博藝，張藝博，
申請(qǐng)(專(zhuān)利權(quán))人：天目山實(shí)驗(yàn)室，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。