从光输入提取特征
利用器件的光电响应与状态变化,保留输入中的部分时序和空间信息。
让信息在产生和存储的地方参与计算。感存算协同设计,将适合前移的处理放到感知端与存储阵列,为持续运行的智能设备提供更高效的视觉前端。
识别一幅图像,需要反复使用模型权重和中间特征。传统链路从存储器取出数据,送入处理器计算,再写回结果。总线传输、缓存访问和数据读写都会消耗时间与能量。
持续视觉任务不断产生新帧,同一组权重却可能被反复调用。把常用权重留在阵列中,并让适合映射的运算就地完成,可以减少这部分往返。对电池与散热空间有限的智能眼镜而言,这为持续感知提供了新的能效优化路径。

关键在于计算发生在哪里、权重怎样被访问。下面以典型结构说明三种思路,实际芯片可以组合使用不同架构。

架构参考图来源:知存科技,用于原理对照。
将计算单元部署在存储器附近,缩短互连距离,提高数据访问带宽。存储与运算仍由各自的电路承担。
存储器 → 邻近计算单元
缩短数据移动距离
先将权重映射为器件电导 G,再将输入映射为电压 V。在适合的读出范围内,单元电流满足 I = V × G,相当于完成一次乘法。
一列上的电流在汇合处相加,得到 Iⱼ = Σᵢ VᵢGᵢⱼ。多列同时读出,就能并行得到一组加权结果。这是电导阵列执行矩阵向量乘法的基本原理,也可用于映射卷积运算。
下方交互示例用小型矩阵展示这一过程。改变输入即可观察各单元与整列的结果;数值用于原理演示。实际电路还需完成尺度映射、正负权重表示与输出转换。
| 输出列 1 | 输出列 2 | 输出列 3 |
|---|---|---|
| 1G11 | 0G12 | 2G13 |
| 0G21 | 2G22 | 1G23 |
| 3G31 | 1G32 | 0G33 |
输入改变,权重保持不变。
色深表示本次数值乘积的相对大小。
交互采用无量纲数值演示 y = xG,仅解释加权求和,不代表实测精度、时延或能耗。理想电导阵列中,单元电流由输入电压与电导决定,列电流相加形成输出;真实系统还需要驱动、读出、转换与标定。
玄光明鉴将光电感知与存储计算协同设计。感内模式利用器件的动态响应保留时间信息、提取时序特征;存内模式以稳定电导保存映射权重,完成适合阵列的卷积乘加。
原位抑噪与自适应选谱改善输入和编码条件,驱动采集链路负责调控与读出。数字主控继续承担文字解码、翻译、任务调度和交互,使器件、阵列与软件各自发挥优势。
利用器件的光电响应与状态变化,保留输入中的部分时序和空间信息。
将适合映射的运算放在阵列中,让权重在存储位置参与计算。
完成读出控制、数字处理、文字解码、翻译及交互等工作。
面向连续图像与时序信号,复用已写入的权重,减少重复访存。
围绕具体任务提取特征,再向后级传递所需信息,优化处理链路。
将量化、阵列映射、校准与数字处理结合,在精度、吞吐和能耗之间寻找适合产品的配置。
适合可映射的矩阵乘加、卷积和时序特征处理,可作为图像识别、语音信号分析与场景感知的前端。具体算子需要结合阵列规模和读出精度选择。
系统通常采用协同架构:阵列执行适合并行映射的运算,数字主控处理控制逻辑、复杂算子与应用交互。两者通过驱动和读出接口连接。
使用同一任务与精度目标,统计包含驱动、转换、读出及数字处理的完整链路,并考察输入速率、延迟与温升。器件操作能耗用于说明局部能力。
不同资料的术语边界有所交叠。这里按运算位置帮助理解;实际选择取决于任务、工艺、精度与系统集成需求,多种方式也可以组合使用。