南宫28官方网站本公开涉及数字拍摄装置及其操作方法,并且例如涉及包括用于在不同光学条件下获取图像的多个光学系统在内的数字拍摄装置及其操作方法。
数字拍摄装置(比如,智能电话、平板个人计算机(PC)、或数码相机)可以包括多个光学系统。
近来,配备有具有不同属性的光学系统的数字拍摄装置已被用于满足用户的各种需求。包括彼此具有差异鲜明的属性的非对称光学系统在内的数字拍摄装置可以用于最大化其可用性。
非对称光学系统的实现的示例可以包括:用于获取广角图像的光学系统和用于获取长焦图像的光学系统;用于获取彩色图像的光学系统和用于获取黑白图像的光学系统;以及双光学系统和用于通过使用主动模式来获取距离信息的传感器(例如,红外(IR)传感器或飞行时间(TOF)传感器)。
提供了一种数字拍摄装置和方法,该数字拍摄装置和方法用于自动地感测拍摄环境,以选择从非对称光学系统获取的两个图像中的一个,或者合成由对称光学系统获取的图像。
提供了一种数字拍摄装置和方法,该数字拍摄装置和方法用于自动地感测拍摄环境,以确定是否指定图像合成,由此可以生成针对拍摄环境优化的输出图像,并且由此降低其功耗并节省图像处理所花费的时间。
附加方面部分地将在下面的描述中进行阐述,并且部分地将根据该描述而变得清楚。
根据示例实施例的一个方面,数字拍摄装置包括:第一光学系统,被配置为获取第一图像;第二光学系统,被配置为在与第一图像不同的光学条件下获取第二图像;传感器,被配置为获取拍摄环境信息,拍摄环境信息包括对象的照度、数字拍摄装置和对象之间的距离、以及数字拍摄装置的拍摄模式中的一个或多个;以及处理器,被配置为基于拍摄环境信息来确定是否产生第一图像和第二图像的合成图像。
第一图像可以是包括对象的广角图像;以及第二图像可以是对象被变焦的长焦图像。
处理器可以被配置为:当对象的照度低于或等于临界对象照度时确定不产生合成图像。
数字拍摄装置还可以包括:显示器,被配置为显示广角图像和长焦图像中的一个或多个。
处理器可以被配置为:当对象的照度高于临界对象照度并且距离在远景模式范围内时,确定产生合成图像。
处理器可以被配置为:当对象的照度高于临界对象照度并且距离不处于远景模式范围内时,确定不产生合成图像。
数字拍摄装置还可以包括:显示器,被配置为当距离大于或等于第二光学系统的最小拍摄距离或预定拍摄距离、并且拍摄模式是微距模式时,显示长焦图像。
数字拍摄装置还可以包括:显示器,被配置为当拍摄模式是特写拍摄模式时,显示广角图像。
处理器可以被配置为:基于广角图像和长焦图像获取深度图,并且基于深度图来检测距离。
第一图像可以是包括对象的彩色图像,第二图像可以是包括对象的黑白图像;并且处理器可以被配置为:基于对象的照度和拍摄模式中的一个或多个,来确定是否产生合成图像。
处理器可以被配置为:当对象的照度是低照度(例如,低于预定阈值)、并且彩色图像中包括的红/绿/蓝(RGB)信号数据大于或等于预定值时,产生合成图像。
处理器可以被配置为:当对象的照度是低照度(例如,低于或小于预定阈值)、并且彩色图像中包括的RGB信号数据小于预定值时,确定不产生合成图像。
根据另一示例实施例的一个方面,数字拍摄装置包括:主动传感器,被配置为向对象发送信号并且接收从对象反射的信号,以获取关于对象的距离信息,所述信号包括光信号和电磁波信号中的一个或多个;多个相机,被配置为获取包括对象在内并且具有不同视角的第一图像和第二图像;以及处理器,被配置为基于对象的照度和拍摄模式中的一个或多个,来确定是否通过合成基于距离信息获取的第一深度图和基于第一图像和第二图像获取的第二深度图,来产生合成深度图。
当对象的照度小于或等于第一照度时,处理器可以被配置为确定不产生合成深度图,并且确定从主动传感器获取第一深度图。
当对象的照度大于第一照度时,处理器可以被配置为确定不产生合成深度图,并且确定基于第一图像和第二图像获取第二深度图。
当拍摄模式是远景模式时,处理器可以被配置为确定不产生合成深度图,并且确定基于第一图像和第二图像获取第二深度图。
主动传感器可以包括例如雷达传感器,雷达传感器被配置为向对象发送电磁波并且接收反射的电磁波,以获取关于对象的距离信息;并且处理器可以被配置为:当拍摄模式是远景模式时,确定使用雷达传感器来获取第一深度图。
处理器可以被配置为:基于数字拍摄装置的功率模式来确定是否产生合成深度图。
根据另一示例实施例的一个方面,数字拍摄方法包括:获取第一图像;在不同于第一图像的光学条件下获取第二图像;获取拍摄环境信息,拍摄环境信息包括对象的照度、数字拍摄装置和对象之间的距离、以及拍摄模式中的一个或多个;以及基于拍摄环境信息来确定是否产生第一图像和第二图像的合成图像。
第一图像可以是包括对象的广角图像;以及第二图像可以是对象被变焦的长焦图像。
所述确定可以包括:当对象的照度小于或等于临界对象照度时,确定不产生合成图像。
所述确定可以包括:当对象的照度大于临界对象照度、并且距离在远景模式范围内时,确定产生合成图像。
所述确定可以包括:当对象的照度大于临界对象照度、并且距离不处于远景模式范围内时,确定不产生合成图像。
数字拍摄方法还可以包括:当距离大于或等于第二光学系统的最小拍摄距离、并且拍摄模式是微距模式时,显示长焦图像。
数字拍摄方法还可以包括:基于广角图像和长焦图像获取深度图;以及基于深度图检测距离。
第一图像可以是包括对象的彩色图像,并且第二图像可以是包括对象的黑白图像;并且所述确定可以包括:基于对象的照度和拍摄模式中的一个或多个,来确定是否产生合成图像。
所述确定可以包括:当对象的照度是低照度(例如,低于或小于预定照度值)、并且彩色图像中包括的RGB信号数据大于或等于预定值时,确定产生合成图像。
所述确定可以包括:当对象的照度是低照度(例如,低于或小于预定阈值)、并且彩色图像中包括的RGB信号数据小于预定值时,确定不产生合成图像。
根据另一示例实施例的一个方面,数字拍摄方法包括:向对象发送信号(例如,光信号和电磁波信号中的一个或多个)并且接收所发送的信号的反射信号,以获取关于对象的距离信息;获取包括对象在内并且具有不同视角的第一图像和第二图像;以及基于对象的照度和其拍摄模式中的至少一个,来确定是否通过合成基于距离信息获取的第一深度图和基于第一图像和第二图像获取的第二深度图,来产生合成深度图。
所述确定可以包括:当对象的照度小于或等于第一照度时,确定不产生合成深度图,并且确定获取第一深度图。
所述确定可以包括:当对象的照度大于第一照度时,确定不产生合成深度图,并且确定基于第一图像和第二图像获取第二深度图。
所述确定可以包括:当拍摄模式是远景模式时,确定不产生合成深度图,并且确定基于第一图像和第二图像获取第二深度图。
获取距离信息可以包括:向对象发送电磁波并且接收所发送的电磁波的反射电磁波,以获取关于对象的距离信息;并且所述确定可以包括:当拍摄模式是远景模式时确定使用距离信息来获取第一深度图。
根据另一示例实施例的一个方面,一种非暂时性计算机可读记录介质存储程序,该程序在由处理器或计算机执行时,使数字拍摄装置执行上述数字拍摄方法中的任何一个的操作。
根据以下结合附图的详细描述,这些和/或其它方面将变得清楚并更易于理解,在附图中相似的附图标记指代相似的元件,并且在附图中:
图4包括示出了由数字拍摄装置100获取的第一深度图和第二深度图的示例的图;
图6A是示出了由数字拍摄装置100对合成图像610放大两倍的示例处理的图;
图6B包括示出了由数字拍摄装置100以各种比例来合成广角图像和长焦图像的示例的图;
图7是示出了通过由数字拍摄装置100合成广角图像和长焦图像而获得的示例合成图像的图;
图22是示出了由数字拍摄装置100合成广角图像和长焦图像的示例处理的流程图。
现在将更详细地参考示例实施例,其示例在附图中示出,其中相似的附图标记贯穿附图指代相似的元件。在这点上,所呈现的示例实施例可以具有不同形式,并且不应当被解释为限于本文所阐明的描述。因此,下面通过参考附图来简要地描述示例性实施例,以说明各种示例方面。本文中所使用的术语“和/或”包括相关联的列出项目中的一个或多个的任意和所有组合。诸如“……中的至少一个”之类的表述在元件列表之前时修饰整个元件列表,而不是修饰列表中的单独元件。
如本文中所使用的术语是尽可能地考虑到所公开的示例实施例中的功能而选择的广泛使用的通用术语;然而,这些术语可以根据本领域技术人员的意图、先例或新技术的出现而变化。此外,在一些情况下,可以存在任意选择的术语,并且将在本公开的描述的对应部分中更详细地描述这些术语的含义。因此,本文中所使用的术语不是简单的术语,并且应该基于其含义和本公开的总体描述来定义。
贯穿本公开,除非另有说明,否则当某物被称为“包括”一个组件时,还可以包括另一组件。此外,如本文中所使用的,术语“单元”和“模块”可以指代执行至少一个功能或操作的单元,并且单元可以被实现为硬件(例如,电路)、固件或软件或硬件和软件的组合。
在下文中,将参考附图更详细地描述本公开的示例性实施例,使得本领域普通技术人员可以容易地理解本公开。然而,本公开可以以许多不同形式来体现,并且不应被为解释为限于本文所阐述的示例实施例。此外,为了清楚地描述本公开,附图中可以省去与本发明构思的描述无关的部分,并且贯穿本公开,相似的附图标记将表示相似的元件。
这里,数字拍摄装置可以包括以下至少一项:例如,智能电话、平板个人计算机(PC)、视频电话、电子书(e-book)阅读器、台式PC、膝上型PC、移动医疗设备、相机、可穿戴设备(例如,头戴式设备(HMD),比如电子眼镜或智能手表)、闭路电视(CCTV)、和电视机(TV)等。
数字拍摄装置100可以包括镜头和图像传感器,并且通过对对象进行拍摄来产生图像。例如,数字拍摄装置100可以包括智能电话、平板PC、CCTV和TV等,并且本公开应被理解为不限于此。
数字拍摄装置100可以包括例如非对称光学系统,并且可以使用非对称光学系统来获取图像。例如,光学系统可以包括至少一个镜头和图像传感器,并通过图像传感器获取图像信号。非对称光学系统可以包括具有彼此不同的属性的两个光学系统。
例如,非对称光学系统可以包括被配置为获取广角图像的光学系统和被配置为获取长焦图像的光学系统。作为另一示例,非对称光学系统可以包括被配置为获取彩色图像的光学系统和被配置为获取黑白图像的光学系统。作为另一示例,非对称光学系统可以包括双光学系统和主动传感器(例如,红外(IR)传感器或飞行时间(TOF)传感器),主动传感器被配置为使用主动模式来获取距离信息。
非对称光学系统可以包括在数字拍摄装置100中,或者可以被配置为单独的可拆卸设备。通过使用非对称光学系统,数字拍摄装置100可以捕获包括全景图像和连续(突发)图像在内的静态图像和动态图像(视频)。
考虑到拍摄条件(比如,对象的照度、数字拍摄装置100与对象之间的距离、以及数字拍摄装置100的拍摄模式),数字拍摄装置100可以确定从非对称光学系统获取的图像中的哪一个将被显示。
此外,例如,考虑到对象的照度、数字拍摄装置100与对象之间的距离、以及拍摄模式,数字拍摄装置100可以确定是否合成从非对称光学系统的不同部分获取的图像。
包括对象的照度、数字拍摄装置100与对象之间的距离、以及拍摄模式在内的信息可以例如被称为拍摄环境信息。可以从数字拍摄装置100的传感器获取拍摄环境信息。用于获取拍摄环境信息的传感器可以包括例如照度传感器(未示出)、自动曝光(AE)传感器(未示出)、和自动对焦(AF)传感器(未示出)。
此外,考虑到数字拍摄装置100的当前的剩余电池容量,数字拍摄装置100可以基于功率电平或功率模式来确定是否合成从非对称光学系统获取的图像。
参考图1,数字拍摄装置1OOa可以包括例如包含以下各项的非对称光学系统:被配置为获取广角图像的广角光学系统和被配置为获取对象被变焦的长焦图像的长焦光学系统。
根据示例实施例,广角光学系统可以包括广角镜头,并且长焦光学系统可以包括长焦镜头。
与长焦光学系统中包括的长焦镜头相比,广角光学系统中包括的广角镜头可以具有更短的焦距。例如,焦距可以指代从镜头的中心到图像传感器的距离。广角光学系统中包括的广角镜头可以具有例如大约10mm至大约30mm的焦距。长焦光学系统中包括的长焦镜头可以具有例如大约30mm至大约500mm的焦距。
数字拍摄装置100a可以同时获取广角图像和长焦图像,或者可以仅获取广角图像和长焦图像中的一个。
数字拍摄装置100a可以基于对象的位置、对象的照度、和输入(例如,用户输入)中的一个或多个,来显示广角图像和长焦图像中的至少一个。此外,数字拍摄装置100a可以通过合成广角图像和长焦图像来显示广角图像和长焦图像的合成图像。
数字拍摄装置100a可以基于对象的照度和数字拍摄装置100a与对象之间的距离中的一个或多个,来确定是否合成广角图像和长焦图像。
例如南宫28官方网站,如果对象的照度太低(例如,低于或小于预定阈值),则当数字拍摄装置100a合成广角图像和长焦图像时,这两个图像的合成图像中的噪声可能被放大。在该示例中,数字拍摄装置100a可以不合成广角图像和长焦图像。
对象的照度可以指代将要被拍摄的整个对象的照度,特别是在长焦图像中,可以考虑感兴趣区域(ROI)中包括的主对象的照度来确定整个对象的照度。
根据示例实施例,数字拍摄装置100a可以基于基线的长度来确定是否合成广角图像和长焦图像,基线的长度等于两个光学系统之间的距离。
由于广角光学系统和长焦光学系统彼此间隔开的距离等于基线的长度,因此数字拍摄装置100a可以以不同视角(视点)获取广角图像和长焦图像。因此,当对象的距离与基线的长度相比太小时,在广角图像和长焦图像中的每一个中都可能发生遮挡。在该示例中,数字拍摄装置100a可以不合成广角图像和长焦图像。
图1的数字拍摄装置100a中的广角光学系统和长焦光学系统的以上布置仅是示例实施例,并且本公开不限于此。
参考图1,数字拍摄装置100b可以包括例如包含以下各项的非对称光学系统:被配置为获取彩色图像的红/绿/蓝(RGB)光学系统和被配置为获取黑白图像的单色光学系统。在下文中,为了方便和容易说明,术语“单色”可以用于指代单色光学系统,例如被配置为获取黑白图像的光学系统。
RGB光学系统的图像传感器可以包括用于识别红色、绿色和蓝色的滤色器。单色光学系统的图像传感器可以不包括滤色器,因为该图像传感器通过识别对象的亮度来获取图像。当RGB光学系统和单色光学系统获取相同分辨率的图像时,与单色光学系统的图像传感器所需的光相比,RGB光学系统中的包括滤色器在内的图像传感器可能需要多大约四倍的光。
数字拍摄装置100b可以同时获取彩色图像和黑白图像,或者可以仅获取彩色图像和黑白图像中的一个。
数字拍摄装置100b可以基于对象的照度和输入(例如,用户输入)中的至少一个,来显示彩色图像和黑白图像中的一个或多个。此外,数字拍摄装置100b可以通过合成彩色图像和黑白图像来显示彩色图像和黑白图像的合成图像。
数字拍摄装置100b可以基于对象的照度来确定是否合成彩色图像和黑白图像。例如,当对象的照度是低照度(例如,具有低于或小于预定阈值的照度值)并且彩色图像中包括的RGB信号数据大于或等于预定值时,数字拍摄装置100b可以合成彩色图像和黑白图像。在该示例中,当彩色图像和黑白图像被合成时,可以获取具有降低的噪声的图像。
然而,当对象的照度是低照度(例如,低于或小于预定阈值)并且不足以从获取彩色图像的RGB光学系统中检测颜色时,彩色图像中包括的与对象的颜色有关的信息可能不准确。在该示例中,当数字拍摄装置100b合成彩色图像和黑白图像时,合成图像中的噪声可能被放大。在该示例中,数字拍摄装置100b可以不合成彩色图像和黑白图像。
图1的数字拍摄装置100b中的RGB光学系统和单色光学系统的上述布置仅是示例实施例,并且应当理解,本公开不限于此。
与在图1的数字拍摄装置100b中所示的示例实施例不同,RGB光学系统和单色光学系统可以被实现在一个光学系统中,并且可以通过一个图像传感器来获取彩色图像和黑白图像。
参考图1,数字拍摄装置100c可以包括包含双光学系统和主动传感器在内的非对称光学系统。
主动传感器可以指代被配置为通过使用主动模式来获取对象的距离信息的传感器。主动模式可以指代这样的模式:主动传感器向对象发射光或电磁波并且获取从对象反射的光或电磁波,以获取对象的距离信息。通过使用主动传感器获取的深度图可以被称为第一深度图。
此外,在本文中,双光学系统可以指代被设置成彼此之间间隔某一距离的两个光学系统。双光学系统可以以不同视角对对象进行拍摄,以获取表示数字拍摄装置100c与对象之间的距离的深度图。使用双光学系统获取的深度图可以被称为第二深度图。
图1示出了数字拍摄装置100c的主动传感器是IR传感器。然而,这仅是示例,并且数字拍摄装置100c的主动传感器可以是例如结构化光传感器、TOF传感器、雷达传感器或者激光雷达(光检测和测距)传感器等。
数字拍摄装置100c可以基于对象的照度和数字拍摄装置100c的拍摄模式中的一个或多个,来确定是否合成第一深度图和第二深度图。
例如,当对象的照度大于用于使主动传感器能够感测从对象反射的光的第一照度时,数字拍摄装置100c的主动传感器可能不能准确地感测从对象反射的光。在该示例中,数字拍摄装置100c可以确定不产生合成深度图,并且可以获取第一深度图。
图1示出了数字拍摄装置100c的双光学系统包括广角光学系统和长焦光学系统。然而,图1所示的数字拍摄装置100c的双光学系统仅是示例实施例,并且应当理解,本公开不限于此。例如,数字拍摄装置100c的双光学系统可以是包括RGB光学系统和单色光学系统在内的非对称光学系统,或者可以是不是非对称光学系统的某种光学系统。
图1中所示的数字拍摄装置100a、数字拍摄装置100b和数字拍摄装置100c的非对称光学系统的上述布置仅是示例,并且应当理解,本公开不限于此。例如,数字拍摄装置100的非对称光学系统可以包括4、5或6个光学系统,并且数字拍摄装置100可以被配置为包括所有以下各项:广角光学系统、长焦光学系统、RGB光学系统、单色光学系统和主动传感器。
参考图2,数字拍摄装置100可以获取广角图像203和其中广角图像203的ROI 201被放大的长焦图像207。图2示出了与广角图像203相比长焦图像207被放大两倍的情况。
与长焦图像207相比,广角图像203可以具有更大的深度。例如,广角图像203可以清楚地表示与数字拍摄装置100相距不同的距离的各种对象。
长焦图像207可以具有相对较小的深度。例如,长焦图像207可以清楚地表示被聚焦的主对象205,并且可以不清楚地表示背景和与主对象205相距不同的距离的其它对象。
例如,当照度大于临界对象照度时,数字拍摄装置100可以确定通过合成广角图像203和长焦图像207来产生广角图像203和长焦图像207的合成图像。
例如,临界对象照度可以指代在由广角图像203和长焦图像207的合成引起的噪声变得大于原始图像中存在的噪声的情况下的照度。
当照度小于或等于临界对象照度时,与合成之前的广角图像203和长焦图像207的图像质量相比,合成图像可以具有更低的图像质量。因此,当照度小于或等于临界对象照度时,数字拍摄装置100可以不产生合成图像,这在功耗和其可用性方面可以是高效的。
例如,当数字拍摄装置100与主对象205之间的距离在远景模式范围内时,数字拍摄装置100可以确定产生合成图像。
例如,远景模式范围可以指代其中由于数字拍摄装置100与主对象205之间的距离与基线的长度相比足够大而不发生遮挡的示例。
当数字拍摄装置100与主对象205之间的距离不处于(或小于)远景模式范围时,数字拍摄装置100可以确定不产生合成图像。
彩色图像310可以包括与对象的颜色有关的信息,并且与对象的颜色有关的信息可以包括例如红色、绿色和蓝色的数值。
黑白图像320可以包括例如与对象的亮度有关的信息,并且可以不包括与对象的颜色有关的信息。此外,与彩色图像310相比,黑白图像320可以具有极好的信噪比(SNR)。
根据示例实施例,当对象的照度是低照度(例如,低于或小于预定阈值)并且彩色图像310中包括的RGB信号数据大于或等于预定值时,数字拍摄装置100可以确定通过合成彩色图像310和黑白图像320来产生彩色图像310和黑白图像320的合成图像。
例如,对象的照度是低照度的情况可以指代对象的照度不够高并且因此与黑白图像320相比彩色图像310具有更低的SNR的情况。
彩色图像310中包括的RGB信号数据大于或等于预定值的情况可以指代红色、绿色和蓝色的数值足以通过数字拍摄装置100来获取对象的颜色的情况。
当对象的照度是低照度并且彩色图像310中包括的RGB信号数据大于或等于预定值时,数字拍摄装置100可以通过将包括与对象的颜色有关的信息在内的彩色图像310与具有极好SNR的黑白图像320进行合成,来获取与彩色图像310相比具有更小噪声的图像。
然而,可以存在照度对于数字拍摄装置100来说太低而无法从获取彩色图像的RGB光学系统中检测颜色的示例。例如,当彩色图像310中包括的RGB信号数据小于预定值时,数字拍摄装置100可能难以使用RGB信号数据来检测对象的颜色。该示例可以被称为超低照度。
根据示例实施例,当对象的照度是超低照度时,彩色图像310中包括的对象的红色、绿色和蓝色的数值可能是不准确的。在该示例中,当数字拍摄装置100合成彩色图像310和黑白图像320时,这两个图像的合成图像中的噪声可能被放大。在该示例中,数字拍摄装置100可以不合成彩色图像310和黑白图像320,并且可以仅显示包括其亮度信息的黑白图像320。
图4包括示出了由数字拍摄装置100获取的第一深度图410和第二深度图420的示例的图。
根据示例实施例,数字拍摄装置100可以从主动传感器获取第一深度图410,主动传感器被配置为向对象发射光、电磁波等,并且接收其反射的光、电磁波等,以获取关于对象的距离信息。
数字拍摄装置100可以从两个光学系统获取第二深度图420。从两个不同的光学系统获取的两个图像之间可能存在视差(或视角差)。数字拍摄装置100可以使用两个图像之间的视差来确定图像中的对象之间的距离。数字拍摄装置100可以基于所确定的对象之间的距离来产生第二深度图420。
数字拍摄装置100可以基于对象的照度和数字拍摄装置100的拍摄模式中的至少一个,来确定是否合成第一深度图410和第二深度图420。
例如,当对象的照度大于用于使主动传感器能够感测从对象反射的光的第一照度时,数字拍摄装置100的主动传感器可能不能准确地感测从对象反射的光。在该示例中,数字拍摄装置100可以确定不产生合成深度图,并且可以获取第二深度图420。
当对象的位置太远并且因此在由主动传感器感测从对象反射的光的过程中发生很大的误差时,数字拍摄装置100的主动传感器可能不能准确地感测对象的距离信息。在该示例中,数字拍摄装置100可以确定不产生合成深度图,并且可以获取第二深度图420。
在产生合成深度图的处理中,在数字拍摄装置100与对象之间的距离过大并且因此在由主动传感器感测从对象反射的光的过程中发生很大误差的情况可以例如被称为远景模式。
根据示例实施例,数字拍摄装置100可以基于深度图中的ROI 411和ROI 421的光亮度和大小中的至少一个的改变来获取主对象的运动信息。
例如,数字拍摄装置100可以根据长焦图像的大小来放大广角图像的ROI以对广角图像进行调整。该处理可以被称为广角图像的按比例放大(upscale)。
数字拍摄装置100可以以不同的视角来获取广角图像和长焦图像。在合成广角图像和长焦图像的处理中,数字拍摄装置100可能需要根据广角图像来修改长焦图像的视角。例如,该处理可以被称为长焦图像的修正。
例如,数字拍摄装置100可以根据作为按比例放大的广角图像的第一图像510来调整长焦图像的光亮度、清晰度和对比度。例如,该处理可以被称为长焦图像的预处理。
例如,在合成长焦图像和广角图像的处理中,数字拍摄装置100可以合成第一图像510和第二图像520,其中第一图像510是按比例放大的广角图像,并且第二图像520是通过修正和预处理长焦图像而获得的。
在由数字拍摄装置100来合成长焦图像和广角图像的以下描述中,为了简明起见,将省略对长焦图像进行按比例放大和对广角图像进行修正和预处理的处理的描述。
图6A包括示出了由数字拍摄装置100对合成图像610放大两倍的示例处理的图。
数字拍摄装置100可以通过合成广角图像和长焦图像来显示广角图像和长焦图像的合成图像610。例如,合成图像610中的ROI可以与广角图像和长焦图像的合成区域相对应,并且除了ROI之外的区域可以等于在放大之前广角图像中的除了ROI之外的区域。
数字拍摄装置100可以通过将合成图像610从原始图像大小逐渐放大来产生2倍放大图像640。
例如,数字拍摄装置100可以在放大合成图像610的处理中执行产生并显示1.2倍放大图像620和1.4倍放大图像630的子处理南宫28官方网站。之后,数字拍摄装置100可以显示最终的2倍放大图像640。
参考图6A,在1.2倍放大图像620和1.4倍放大图像630中,ROI可以与广角图像和长焦图像的合成区域相对应。
根据示例实施例,当在数字拍摄装置100中进行放大之前在长焦图像和广角图像之间存在2倍比例差时,最终的2倍放大图像640可以等于长焦图像。
图6B包括示出了由数字拍摄装置100以各种比例来合成广角图像和长焦图像的示例的图。
例如,根据示例实施例,数字拍摄装置100可以通过在将1倍比例图像放大成2倍比例图像的处理中产生1.2倍放大图像和1.4倍放大图像的子处理,来产生2倍放大图像。根据示例实施例,由数字拍摄装置100产生的2倍放大图像可以等于长焦图像603。
为了在将1倍比例图像放大为2倍比例图像的处理中显示1倍比例和2倍比例之间的各种比例的多比例图像,数字拍摄装置100可以通过以各种比例(多比例)合成广角图像601和长焦图像603,来产生各种比例的多比例合成图像。
图7是示出了通过由数字拍摄装置100合成广角图像和长焦图像而获得的示例合成图像的图。
数字拍摄装置100可以通过合成广角图像和长焦图像来显示广角图像和长焦图像的合成图像710。例如,合成图像710中的R00I可以与广角图像和长焦图像的合成区域相对应,并且除了ROI之外的区域可以等于原始广角图像中的除了ROI之外的区域。
由于合成图像710中的ROI与广角图像和长焦图像的合成区域相对应,因此ROI和除了ROI之外的区域之间可能存在分辨率差。为了自然地显示ROI和除了ROI之外的区域之间的边界701,数字拍摄装置100可以例如对边界701的附近应用阿尔法混合。
在操作S20中,数字拍摄装置100可以在与第一图像不同的光学条件下获取第二图像。
在操作S30中,数字拍摄装置100可以获取拍摄环境信息。根据示例实施例,拍摄环境信息可以包括对象的距离和照度中的一个或多个。
在操作S40中,数字拍摄装置100可以基于拍摄环境信息来确定是否产生合成图像。
在操作S120中,数字拍摄装置100可以获取长焦图像。长焦图像可以指代例如其中广角图像中包括的对象被放大的图像。
在操作S130中,数字拍摄装置100可以基于对象的距离和照度中的一个或多个确定是否产生合成图像。
例如,合成图像可以指代例如通过合成广角图像和长焦图像而获得的图像。此外,对象的照度可以包括由数字拍摄装置100拍摄的主对象的照度和由数字拍摄装置100拍摄的背景的照度。此外,对象的距离可以指代数字拍摄装置100与对象之间的距离。
在操作S220中,数字拍摄装置100可以获取长焦图像。例如,长焦图像可以指代例如广角图像中包括的对象被放大的图像。
在操作S230中,数字拍摄装置100可以确定对象的照度是否小于或等于临界对象照度。
例如,对象的照度可以包括由数字拍摄装置100拍摄的主对象的照度和由数字拍摄装置100拍摄的背景的照度。
此外,临界对象照度可以指代例如在通过由数字拍摄装置100合成广角图像和长焦图像引起的噪声变得大于原始图像中存在的噪声的情况下的照度。
根据示例实施例,当对象的照度小于或等于临界对象照度时,由于与在合成广角图像210和长焦图像220之前的广角图像210和长焦图像220的图像质量相比,合成图像可以具有更低的图像质量,因此数字拍摄装置100可以不产生合成图像,这在数字拍摄装置100的图像质量和功耗方面可以是有利的。
当确定对象的照度小于或等于临界对象照度(在操作S230中)时,在操作S240中,数字拍摄装置100可以确定不产生合成图像。
另一方面,当确定对象的照度大于临界对象照度(在操作S230中)时,在操作S250中,数字拍摄装置100可以确定数字拍摄装置100的拍摄模式是否是远景模式。
当确定数字拍摄装置100处于远景模式(在操作S250中)时,在操作S260中,数字拍摄装置100可以确定产生合成图像。
远景模式范围可以指代例如这样的距离范围:由于与基线的长度相比,数字拍摄装置100与主对象之间的距离足够大,因此不发生遮挡。
另一方面,当确定数字拍摄装置100不处于远景模式(在操作S250中)时,在操作S270中,数字拍摄装置100可以确定不产生合成图像。
根据示例实施例,当数字拍摄装置100与主对象之间的距离不在远景模式范围内时,由于与基线的长度相比,主对象的距离不够大,因此可能发生遮挡。
例如,在广角图像和长焦图像之间,主对象覆盖背景的程度可能大不相同。在该示例中,由于在产生合成图像的处理中出现图像合成误差的概率很高,因此数字拍摄装置100可以确定不产生合成图像。
根据示例实施例,当数字拍摄装置100与对象之间的距离d1在远景模式范围内时,数字拍摄装置100可以确定通过合成广角图像1110和长焦图像1120来产生广角图像1110和长焦图像1120的合成图像。
远景模式范围可以指代例如在数字拍摄装置100和对象之间的这样的距离范围:由于与基线的长度相比,数字拍摄装置100与主对象之间的距离d1足够大,因此不发生遮挡。
当数字拍摄装置100与对象之间的距离d1不处于(或小于)远景模式范围时,数字拍摄装置100可以确定不产生合成图像。
例如,当基线m时,数字拍摄装置100可以确定距离d1处于远景模式范围内。
图12是示出了数字拍摄装置100的拍摄模式是特写拍摄模式的示例情况的图。
当确定数字拍摄装置100不处于远景模式时,数字拍摄装置100可以确定不产生合成图像。不是远景模式的示例可以包括例如是特写拍摄模式或微距模式的示例。
参考图12,数字拍摄装置100可以确定在特写拍摄模式下仅显示广角图像1210。
特写拍摄模式可以指代例如不是微距模式且不处于远景模式范围的情况。根据图12所示的示例实施例,当数字拍摄装置100与主对象1201之间的距离为大约1m时,数字拍摄装置100可以确定数字拍摄装置100处于特写拍摄模式。在该示例中,由于与基线的长度相比,数字拍摄装置100与主对象1201之间的距离不够大,因此可能发生遮挡。
参考图12,广角图像1210中的主对象1201与背景之间的距离11的值可以与长焦图像1220中的主对象与背景之间的距离12的值不同。例如,由于遮挡,广角图像1210中示出(或未覆盖)的背景的一部分可能不同于长焦图像1220中示出的背景的一部分。
根据示例实施例,当数字拍摄装置100的基线m时,由数字拍摄装置100获取的广角图像1210和长焦图像1220之间的主对象1201的视差可以例如是大约200个像素。
因此,当数字拍摄装置100处于特写拍摄模式并且广角图像1210和长焦图像1220中包括的200像素图像彼此不同时,数字拍摄装置100合成广角图像1210和长焦图像1220可能略微低效,并且合成过程中出现误差的概率可能较高。
因此,数字拍摄装置100可以确定在特写拍摄模式下不产生合成图像。此外,当数字拍摄装置100处于特写拍摄模式时,数字拍摄装置100可以考虑到用户的可用性来确定仅显示广角图像1210。
参考图13,数字拍摄装置100可以显示具有较大深度的广角图像1310,并且可以显示具有较小深度的长焦图像1320。例如,广角图像1310可以在整个图像中具有相似的清晰度,并且长焦图像1320可以在聚焦于主对象1301的同时,不清楚地表示除了主对象1301之外的背景部分。
当数字拍摄装置100处于微距模式并且数字拍摄装置100与主对象1301之间的距离d2大于或等于数字拍摄装置100的最小拍摄距离时,数字拍摄装置100可以仅显示长焦图像1320。在微距模式下的最小拍摄距离可以指代用于使长焦光学系统能够聚焦于主对象1301的最近的拍摄。最小拍摄距离的值可以根据数字拍摄装置100的镜头性能和焦距而变化,并且可以在从大约5cm至大约45cm的范围内。
根据图13所示的示例实施例,当数字拍摄装置100处于微距模式并且数字拍摄装置100与主对象1301之间的距离d2大于或等于最小拍摄距离时,数字拍摄装置100可以确定不产生合成图像。此外,在该示例中,数字拍摄装置100可以显示长焦图像1320。
根据示例实施例,当数字拍摄装置100与主对象1301之间的距离d2小于最小拍摄距离时,数字拍摄装置100可以合成广角图像1310和长焦图像1320。
在操作S310中,数字拍摄装置100可以获取彩色图像。例如,数字拍摄装置100可以通过使用包括图像传感器在内的光学系统来获取彩色图像,所述图像传感器包括被配置为识别红色、绿色和蓝色的滤色器。
在操作S320中,数字拍摄装置100可以获取黑白图像。例如,数字拍摄装置100可以通过使用包括图像传感器在内的光学系统来获取黑白图像,所述图像传感器被配置为识别对象的亮度。
在操作S330中,数字拍摄装置100可以基于对象的亮度来确定是否产生合成图像。例如,数字拍摄装置100可以基于对象的照度来确定是否产生彩色图像和黑白图像的合成图像。
例如,当对象的照度是低照度(例如,低于或小于预定阈值)并且彩色图像中的RGB信号数据大于或等于预定值时,数字拍摄装置100可以合成彩色图像和黑白图像。在该示例中,当彩色图像和黑白图像被合成时,可以获取具有降低的噪声的图像。
在操作S410中,数字拍摄装置100可以获取彩色图像。例如,数字拍摄装置100可以通过使用包括图像传感器在内的光学系统来获取彩色图像,所述图像传感器包括被配置为识别红色、绿色和蓝色的滤色器。
在操作S420中,数字拍摄装置100可以获取黑白图像。例如,数字拍摄装置100可以通过使用包括图像传感器在内的光学系统来获取黑白图像,所述图像传感器被配置为识别对象的亮度。
当确定对象的照度不是低照度(在操作S430中)时,在操作S440中,数字拍摄装置100可以确定不合成彩色图像和黑白图像。对象的照度是低照度的情况可以指代对象的照度不够高、并且因此与黑白图像相比彩色图像具有更低的SNR的情况。
在该示例中,数字拍摄装置100可以确定显示彩色图像。当对象的照度不是低照度时,不合成彩色图像和黑白图像的情况在功耗方面可以是高效的。
当确定对象的照度是低照度(在操作S430中)时,在操作S450中,数字拍摄装置100可以确定彩色图像中的RGB信号数据是否大于或等于预定值。
此外,彩色图像中的RGB信号数据大于或等于预定值的情况可以指代红色、绿色和蓝色的数值足以通过数字拍摄装置100来获取对象的颜色的情况。
当确定彩色图像中的RGB信号数据大于或等于预定值(在操作S450中)时,在操作S460中,数字拍摄装置100可以确定合成彩色图像和黑白图像。
在该示例中,数字拍摄装置100可以通过对包括与对象的颜色有关的信息在内的彩色图像和具有极好的SNR的黑白图像进行合成,来获取与彩色图像相比具有更少噪声的图像。
当确定彩色图像中的RGB信号数据小于预定值(在操作S450中)时,在操作S470中,数字拍摄装置100可以确定不合成彩色图像和黑白图像。
然而,当对象的照度是低照度并且不足以从获取彩色图像的RGB光学系统中检测颜色时,彩色图像中包括的与对象的颜色有关的信息可能不准确。在该示例中,当数字拍摄装置100合成彩色图像和黑白图像时,这两个图像的合成图像中的噪声可能被放大。在该示例中,数字拍摄装置100可以不合成彩色图像和黑白图像。
在操作S510中,数字拍摄装置100可以例如向对象发送光,并且接收反射光以获取关于对象的距离信息。
例如,数字拍摄装置100可以使用主动模式来获取对象的距离信息。主动模式可以指代例如这样的模式:主动传感器向对象发射光或电磁波,并且获取从对象反射的光或电磁波,以获取对象的距离信息。通过使用主动传感器获取的深度图可以被称为第一深度图。
在操作S520中,数字拍摄装置100可以获取具有不同视角的第一图像和第二图像。
例如,数字拍摄装置100可以使用双光学系统来获取具有不同视角的第一图像和第二图像。双光学系统可以指代被设置成彼此之间间隔某一距离的两个光学系统。双光学系统可以以不同视角对对象进行拍摄,以获取表示数字拍摄装置100与对象之间的距离的深度图。使用双光学系统获取的深度图可以被称为第二深度图。
在操作S530中,数字拍摄装置100可以确定是否通过合成第一深度图和第二深度图来产生合成深度图。
在操作S610中,数字拍摄装置100可以向对象发送光,并且接收反射光以获取关于对象的距离信息。
在操作S620中,数字拍摄装置100可以获取具有不同视角的第一图像和第二图像。
在操作S630中,数字拍摄装置100可以确定对象的照度是否小于或等于第一照度。
例如,第一照度可以指代例如用于使得主动传感器能够感测被发送到对象并从对象反射的光或电磁波的对象的最大照度。当对象的照度高于第一照度时,主动传感器可能难以感测光或电磁波。
当确定对象的照度小于或等于第一照度(在操作S630中)时,在操作S640中,数字拍摄装置100可以确定不产生合成深度图。
根据示例实施例,当确定对象的照度小于或等于第一照度时,数字拍摄装置100可以确定不产生合成深度图,并且可以基于关于对象的距离信息来获取第一深度图。
当确定对象的照度大于第一照度(在操作S630中)时,在操作S650中,数字拍摄装置100可以确定其拍摄模式是否是室内特写拍摄模式。
当确定拍摄模式不是室内特写拍摄模式(在操作S650中)时,在操作S660中,数字拍摄装置100可以确定不产生合成深度图。
数字拍摄装置100的拍摄模式不是室内特写拍摄模式的情况可以与室外拍摄模式或者数字拍摄装置100拍摄室内远景视图的情况相对应。
根据示例实施例,在拍摄室内远景视图的情况下,数字拍摄装置100可以获取第二深度图。
当数字拍摄装置100与对象之间的距离太大并且因此在由主动传感器感测从对象反射的光的过程中出现很大的误差时,数字拍摄装置100的主动传感器可能不能准确地感测对象的距离信息。在这种情况下,数字拍摄装置100可以确定不产生合成深度图,并且可以获取第二深度图。
在产生合成深度图的处理中,在数字拍摄装置100与对象之间的距离过大、并且因此在通过主动传感器感测从对象反射的光的过程中发生很大误差的情况可以例如被称为远景模式。
根据示例实施例,当数字拍摄装置100的拍摄模式是室外拍摄模式并且照度大于第一照度时,数字拍摄装置100可以获取第二深度图。当室外照度较高时,数字拍摄装置100不产生合成深度图的情况在功耗方面可能是有利的。
当确定拍摄模式是室内特写拍摄模式(在操作S650中)时,在操作S670中,数字拍摄装置100可以确定产生合成深度图。
在操作S710中,数字拍摄装置100可以向对象发送光,并且接收反射光以获取关于对象的距离信息。
在操作S720中,数字拍摄装置100可以获取具有不同视角的第一图像和第二图像。
在操作S730中,数字拍摄装置100可以确定其拍摄模式是否是特写拍摄模式。
当确定拍摄模式不是特写拍摄模式(在操作S730中)时,在操作S740中,数字拍摄装置100可以确定雷达模式是否可用。
当确定雷达模式可用(在操作S740中)时,在操作S750中,数字拍摄装置100可以确定产生合成深度图。
例如,根据示例实施例,当主动传感器是雷达传感器或激光雷达传感器时,即使当对象远离数字拍摄装置100时,数字拍摄装置100也可以获取数字拍摄装置100与对象之间的距离。
当确定雷达模式不可用(在操作S740中)时,在操作S760中,数字拍摄装置100可以确定不产生合成深度图。
根据示例实施例,当确定雷达模式不可用时,数字拍摄装置100可以产生第二深度图。
当确定拍摄模式是特写拍摄模式(在操作S730中)时,在操作S770中,数字拍摄装置100可以确定拍摄模式是否是室内特写拍摄模式。
当确定拍摄模式不是室内特写拍摄模式(在操作S770中)时,在操作S780中,数字拍摄装置100可以确定不产生合成深度图。
当确定拍摄模式是室内特写拍摄模式(在操作S770中)时,在操作S790中,数字拍摄装置100可以确定产生合成深度图。
根据示例实施例,数字拍摄装置100可以包括光学系统1910、传感器1920、主动传感器1927、处理器1930、显示器(例如,包括显示面板)1940和存储器1950。
光学系统1910可以包括例如多个光学系统。光学系统可以包括例如至少一个镜头和图像传感器,并且通过图像传感器来获取图像信号。
光学系统1910可以包括第一光学系统1911和第二光学系统1913,并且第一光学系统1911和第二光学系统1913可以是非对称光学系统。
根据示例实施例,第一光学系统1911和第二光学系统1913可以是包括以下各项的非对称光学系统:被配置为获取广角图像的广角光学系统和被配置为获取对象被变焦的长焦图像的长焦光学系统。
根据另一示例实施例,第一光学系统1911和第二光学系统1913可以是包括以下各项的非对称光学系统:被配置为获取彩色图像的RGB光学系统和被配置为获取黑白图像的单色光学系统。
第一光学系统1911和第二光学系统1913可以是被没置成彼此之间间隔某一距离的双光学系统。
例如,传感器1920可以用于检测拍摄模式和拍摄环境,拍摄环境包括对象的照度和数字拍摄装置100与对象之间的距离。对象的照度可以包括由数字拍摄装置100拍摄的主对象的照度和由数字拍摄装置100拍摄的背景的照度。
传感器1920可以包括例如照度传感器1921、AE传感器1923和AF传感器1925。
照度传感器1921可以检测数字拍摄装置100的外围的照度,以向处理器1930输出控制信号。
AF传感器1925可以在对比度AF模式下输出关于对比度值的信号。此外,为了用于例如相位差操作,AF传感器1925可以在相位差AF模式下向处理器1930输出像素信息。处理器1930的相位差操作可以通过多个像素列信号的相关操作来执行。可以获得焦点的位置或焦点的方向来作为相位差操作的结果。可以通过使用由AF传感器1925检测到的相位差来获取数字拍摄装置100与对象之间的距离。
主动传感器1927可以指代例如被配置为通过使用主动模式来获取对象的距离信息的传感器。
主动模式可以指代这样的模式:主动传感器向对象发射光或电磁波,并且获取从对象反射的光或电磁波,以获取对象的距离信息。使用主动传感器获取的深度图可以被称为第一深度图。例如,主动传感器1927可以由IR传感器、结构化光传感器、TOF传感器、雷达传感器或激光雷达传感器等实现。
处理器1930可以被配置为:基于对象的照度、数字拍摄装置1913和对象之间的距离以及数字拍摄装置1913的拍摄模式中的一个或多个,来确定是否通过对从第一光学系统1911获取的图像和从第二光学系统1913获取的图像进行合成来产生合成图像。此外,处理器1930可以被配置为基于接收到的输入(例如,用户输入)来确定是否产生合成图像。可以基于传感器1920来获取对象的照度、数字拍摄装置100与对象之间的距离、以及拍摄模式。
根据示例实施例,当第一光学系统1911和第二光学系统1913分别是广角光学系统和长焦光学系统时,处理器1930可以被配置为:基于对象的照度、数字拍摄装置100和对象之间的距离、和拍摄模式中的一个或多个,来确定是否通过合成广角图像和长焦图像来产生广角图像和长焦图像的合成图像。
当照度大于临界对象照度时,处理器1930可以被配置为确定通过合成广角图像和长焦图像来产生广角图像和长焦图像的合成图像。临界对象照度可以指代例如在合成广角图像和长焦图像引起的噪声变得大于原始图像中存在的噪声的情况下的照度。
处理器1930可以被配置为:当数字拍摄装置100与对象之间的距离处于远景模式范围内时确定产生合成图像。远景模式范围可以指代例如这样的情况:由于与基线的长度相比,数字拍摄装置100与对象之间的距离足够大,因此不发生遮挡。
根据另一示例实施例,当第一光学系统1911和第二光学系统1913分别是RGB光学系统和单色光学系统时,处理器1930可以被配置为:基于对象的照度,来确定是否通过合成彩色图像和黑白图像来产生彩色图像和黑白图像的合成图像。
当对象的照度是低照度并且彩色图像中包括的RGB数据大于或等于预定值时,处理器1930可以被配置为确定通过合成彩色图像和黑白图像来产生合成图像。对象的照度是低照度的情况可以指代例如对象的照度不够高并且因此与黑白图像相比彩色图像具有更低的SNR的情况。此外南宫28官方网站,彩色图像中包括的RGB信号数据大于或等于预定值的情况可以指代红色、绿色和蓝色的数值足以通过处理器1930来获取对象的颜色的情况。
当第一光学系统1911和第二光学系统1913是被设置成彼此之间间隔某一距离的双光学系统时,处理器1930可以被配置为通过使用在不同视角下从第一光学系统1911和第二光学系统1913获取的图像,来获取表示数字拍摄装置100和对象之间的距离的第二深度图。
基于对象的照度和数字拍摄装置100的拍摄模式中的一个或多个,处理器1930可以被配置为确定是否合成使用主动传感器1927获取的第一深度图和使用第一光学系统1911和第二光学系统1913获取的第二深度图。
例如,当对象的照度大于用于使主动传感器1927能够感测从对象反射的光的第一照度时,主动传感器1927可能不能准确地感测从对象反射的光。在该示例中,处理器1930可以被配置为确定不产生合成深度图,并且可以获取第二深度图。
由于对象的位置太远,因此当主动传感器1927感测从对象反射的光时,可能发生很大的误差。在产生合成深度图的处理中,这种情况可以被称为远景模式。主动传感器1927可能不能在远景模式下准确地感测数字拍摄装置100与对象之间的距离信息。在该示例中,处理器1930可以被配置为确定不产生合成深度图,并且可以获取第二深度图。
处理器1930可以被配置为基于功率模式来确定是否产生合成图像。例如,当数字拍摄装置100处于低功率模式时,处理器1930可以被配置为确定不产生合成图像以便降低功耗。
处理器1930可以被配置为在显示器1940上显示从第一光学系统1911获取的图像、从第二光学系统1913获取的图像、以及这两个图像的合成图像中的至少一个。
例如,存储器1950可以将所获取的图像和合成图像存储为静态图像、全景图像或动态图像。存储器1950可以包括内部存储器或外部存储器。
数字拍摄装置200可以包括例如图19中所示的数字拍摄装置100中的全部元件或一些元件。
根据示例实施例,数字拍摄装置2000可以包括:至少一个主处理器(例如,包括处理电路,其包括应用处理器(AP))210、通信模块(例如,包括通信电路)220、订户标识模块224、存储单元(例如,包括存储器)230、传感器模块(例如,包括至少一个传感器)240、输入没备(例如,包括输入电路)250、显示器(例如,包括显示面板)260、接口(例如,包括接口电路)270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297和电机298。
例如,主处理器210可以被配置为执行操作系统或应用程序以控制与主处理器210连接的多个硬件或软件组件,并且可以被配置为执行各种数据处理和操作。例如,主处理器210可以由片上系统(SoC)来实现。根据示例实施例,主处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。主处理器210可以包括图20中所示的元件中的至少一些(例如,蜂窝模块221)。主处理器210可以被配置为:加载从至少一个其它元件(例如,非易失性存储器)接收的命令或数据;处理所加载的命令或数据;以及将各种数据存储在非易失性存储器中。
通信模块220可以包括例如蜂窝模块221、无线、全球导航卫星系统(GNSS)模块227(例如,GPS模块、格洛纳斯模块、北斗模块或伽利略模块)、近场通信(NFC)模块228、和射频(RF)模块229。
存储单元230可以包括例如内部存储器232或外部存储器234。内部存储器232可以例如包括以下至少一项:易失性存储器(例如,动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步DRAM(SDRAM))和非易失性存储器(例如,一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪存(例如,NAND闪存或NOR闪存)、硬盘驱动器(HDD)或固态驱动器(SSD))等。
外部存储器234可以包括例如闪存驱动器,例如,紧凑型闪存(CF)、安全数字(SD)、微型安全数字(微型-SD)、迷你型安全数字(迷你型-SD)、极限数字(xD)、多媒体卡(MMC)、或存储棒等。外部存储器234可以通过各种接口与数字拍摄装置2000功能连接和/或物理连接。
例如,传感器模块240可以测量物理量或感测数字拍摄装置2000的操作状态,并且将测量到的或感测到的信息转换为电信号。传感器模块240可以包括例如以下一项或多项:手势传感器240A、陀螺仪传感器240B、压力传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如,RGB传感器)、生物测定传感器240I、温度和湿度传感器2403、照度传感器240K和紫外(UV)传感器240M。传感器模块240还可以包括被配置为控制其中包括的至少一个传感器的控制电路。在各种示例实施例中,数字拍摄装置2000还可以包括被配置为控制传感器模块240的处理器,该处理器作为主处理器210的一部分或与主处理器210分离,以在主处理器210处于睡眠状态时控制传感器模块240。
根据示例实施例,陀螺仪传感器240B和/或加速度传感器240E可以用于获取与广角图像和长焦图像的全局运动和局部运动有关的信息。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、按键256或超声输入设备258。触摸面板252可以包括例如以下至少一项:电容式触摸面板、电阻式触摸面板、红外触摸面板和超声触摸面板等。此外,触摸面板252还可以包括控制电路。触摸面板252还可以包括被配置为向用户提供触觉响应的触觉层。
例如,(数字)笔传感器254可以是触摸面板252的一部分,或者可以包括单独的识别片。按键256可以包括例如物理按钮、光学按键或键区。超声输入设备258可以通过麦克风(例如,麦克风288)感测由输入工具产生的超声波,并且检测与所感测的超声波相对应的数据。
显示器260可以包括面板262、全息设备264或投影仪266。例如,面板262可以被实现为柔性的、透明的或可穿戴的。面板262和触摸面板252可以被配置为一个模块。
接口270可以包括例如高清多媒体接口(HDMI)272、通用串行总线或D-超小型(D-SUB)278。
例如,音频模块280可以执行声音和电信号之间的双向转换。例如,音频模块280可以被配置为处理通过扬声器282、听筒284、耳机286或麦克风288输入或输出的声音信息。
例如,相机模块291可以被配置为捕获静态图像和/或动态图像(视频)。根据示例实施例,相机模块291可以包括一个或多个图像传感器(例如,前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如,发光二极管(LED)或氙气灯)等。
相机模块291可以包括多个光学系统。例如,相机模块291可以包括第一光学系统和第二光学系统。
第一光学系统和第二光学系统中的每一个可以包括镜头(未示出)和图像传感器(未示出)。
例如,电力管理模块295可以被配置为管理数字拍摄装置2000的电力。根据示例实施例,电力管理模块295可以包括电力管理集成电路(PMIC)、充电器集成电路(IC)或电池量表或燃料量表。PMIC可以具有有线和/或无线充电模式。例如,电池量表可以被配置为测量电池296的剩余容量、充电电压、电流或温度。
指示器297可以被配置为显示数字拍摄装置2000的全部元件或一些元件(例如,主处理器210)的特定状态(例如,引导状态、消息状态或充电状态)。例如,电机298可以被配置为将电信号转换为机械振动,并且产生振动或触觉效果。
本文中所述的元件可以由一个或多个组件配置,并且元件的名称可以根据数字拍摄装置的类型而改变。根据各种示例实施例,数字拍摄装置可以被配置为包括本文描述的元件中的至少一个,并且可以省略一些元件,或者还可以包括附加元件。此外,根据各种示例实施例,数字拍摄装置的一些元件可以组合成一个实体,以执行与其组合之前的先前的元件相同的功能。
数字拍摄装置2100可以包括例如图19和图20中所示的数字拍摄装置100和2000的全部元件或一些元件。
根据示例实施例,数字拍摄装置2100可以包括:光学系统110、图像信号处理器120、模拟信号处理器121、存储器130、存储/读取控制器140、存储卡142、程序存储单元150、屁示驱动器162、显示单元(例如,包括显示面板)164、控制器(例如,包括处理电路)170、操作单元(例如,包括输入电路)180、和通信单元(例如,包括通信电路)190。
控制器170可以被配置为控制数字拍摄装置2100的整体操作。控制器170可以被配置为提供用于每个元件的操作的控制信号。
光学系统110可以包括第一光学系统2110和被配置为在与第一光学系统2110不同的光学条件下获取图像的第二光学系统2120。根据示例实施例,第一光学系统2110和第二光学系统2120可以是非对称光学系统。
根据示例实施例,第一光学系统2110和第二光学系统2120可以是包括以下各项的非对称光学系统:被配置为获取广角图像的广角光学系统和被配置为获取对象被变焦的长焦图像的长焦光学系统。
根据另一示例实施例,第一光学系统2110和第二光学系统2120可以是包括以下各项的非对称光学系统:被配置为获取彩色图像的RGB光学系统和被配置为获取黑白图像的单色光学系统。
第一光学系统2110和第二光学系统2120可以是被设置成彼此之间间隔某一距离的双光学系统。
第一光学系统2110和第二光学系统2120中的每一个可以包括镜头(未示出)和图像传感器(未示出)。透过镜头的对象光可以在图像传感器的光接收表面上形成对象图像。图像传感器可以是被配置为将光学信号转换为电信号的电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体图像传感器(CIS)等。
例如,模拟信号处理器121可以被配置为对从光学系统110提供的模拟信号执行降噪、增益控制、波形整形和模数转换。
图像信号处理器120可以被配置为对由模拟信号处理器121处理的图像数据信号执行特定功能。例如,为了图像质量改善和特殊效果,图像信号处理器120可以被配置对输入图像数据执行图像信号处理,比如降噪、伽马校正、滤色器阵列插值、颜色矩阵、颜色校正和颜色增强、白平衡、亮度平滑以及颜色阴影。图像信号处理器120可以被配置为将输入图像数据压缩成图像文件,或者从图像文件恢复图像数据。图像压缩格式可以是可逆的或不可逆的。例如,静态图像可以被压缩成联合图像专家组(JPEG)格式或JPEG 2000格式。此外,在记录动态图像(视频)的情况下,可以根据动态图像专家组(MPEG)标准将多个帧压缩成视频文件。例如,可以根据可交换图像文件格式(Exif)标准来产生图像文件。
图像信号处理器120可以被配置为根据由图像传感器产生的成像信号来产生视频文件。成像信号可以是由图像传感器产生并之后被模拟信号处理器121处理的信号。图像信号处理器120可以被配置为根据成像信号产生要包括在视频文件中的帧,根据适当的标准(例如,MPEG4、H.264/AVC、或Windows媒体视频(WMV))对帧进行解码,压缩视频,并且通过使用压缩视频产生视频文件。视频文件可以以各种格式(例如,mpg、mp4、3gpp、avi、asf和mov)产生。
从图像信号处理器120输出的图像数据可以直接或通过存储器130输入到存储/读取控制器140。存储/读取控制器140可以自动地或者根据用户输入的信号将图像数据存储在存储卡142中。此外,存储/读取控制器140可以从存储卡142中存储的图像文件中读取关于图像的数据,并且通过存储器130或另一路径将数据输入到显示驱动器162,以在显示单元164上显示图像。存储卡142可以可拆卸地或永久地附接到数字拍摄装置2100。例如,存储卡142可以是诸如安全数字(SD)卡之类的闪存卡。
例如,图像信号处理器120可以被配置为执行清晰度处理、彩色处理、模糊处理、边缘强调处理、图像解译处理、图像识别处理和图像效果处理。图像识别处理可以包括例如面部识别处理和场景识别处理。此外,图像信号处理器120可以被配置为执行图像信号处理以用于在显示单元164上显示图像数据。例如,图像信号处理器120可以执行亮度级别调整、颜色校正、对比度调整、轮廓强调调整、屏幕分割、字符图像产生和图像合成。
由图像信号处理器120处理的信号可以直接或通过存储器130输入到控制器170。在该示例中,存储器130可以作为数字拍摄装置2100的主存储器来操作,并且可以暂时存储对于图像信号处理器120或控制器170的操作必需的信息。程序存储单元150可以存储诸如用于驱动数字拍摄装置2100的操作系统和应用系统的程序。
数字拍摄装置2100可以包括传感器2130。例如,传感器2130可以用于检测拍摄模式和拍摄环境,拍摄环境包括对象的照度和数字拍摄装置2100与对象之间的距离。对象的照度可以包括由数字拍摄装置2100拍摄的主对象的照度和由数字拍摄装置2100拍摄的背景的照度。
传感器2130可以包括例如照度传感器2131、自动曝光(AE)传感器2133和自动聚焦(AF)传感器2135。
照度传感器2131可以检测数字拍摄装置2100的外围的照度以向控制器170输出控制信号。
AF传感器2135可以在对比度AF模式下输出关于对比度值的信号。此外,为了用于相位差操作,AF传感器2135可以在相位差AF模式下向控制器170输出像素信息。控制器170的相位差操作可以通过多个像素列信号的相关操作来执行。可以获得焦点的位置或焦点的方向来作为相位差操作的结果。可以通过使用由AF传感器2135检测到的相位差来获取数字拍摄装置2100与对象之间的距离。
主动传感器2140可以指代被配置为通过使用主动模式来获取数字拍摄装置2100与对象之间的距离信息的传感器。
主动模式可以指代这样的模式:主动传感器向对象发射光或电磁波,并且获取从对象反射的光或电磁波,以获取对象的距离信息。通过使用主动传感器2140获取的深度图可以被称为第一深度图。例如,主动传感器2140可以由IR传感器、结构化光传感器、TOF传感器、雷达传感器或激光雷达传感器等实现。
此外,数字拍摄装置2100可以包括显示单元164,以显示数字拍摄装置2100的操作状态或由数字拍摄装置2100获取的图像信息。显示单元164可以向用户提供视觉信息和/或听觉信息。为了提供视觉信息,显示单元164可以包括例如液晶显示(LCD)面板或有机发光二极管(OLED)显示面板等。此外,显示单元164可以包括用于识别触摸输入的触摸屏。
控制器170可以被配置为处理输入图像信号,并且基于处理后的图像信号或外部输入信号来控制数字拍摄装置2100的组件。控制器170可以对应于一个或多个处理器。处理器可以由逻辑门阵列来实现,或者可以由通用微处理器和存储在通用微处理器中可执行的程序的存储器的组合来实现。本领域普通技术人员将理解,处理器可以由其它类型的硬件、处理电路等实现,并且可以包括一个或多个内核。
例如,控制器170可以被配置为:通过执行程序存储单元150中存储的程序或通过使用单独的模块以产生用于控制自动聚焦、变焦调整、焦点调整和自动曝光补偿的控制信号,来控制数字拍摄装置2100的元件(比如,快门和闪光仪)的整体操作。
控制器170可以连接到外部监控器并且执行图像信号处理,使得从图像信号处理器120输入的图像信号可以显示在外部监控器上。控制器170可以被配置为向外部监控器发送处理后的图像数据,使得与处理后的图像数据相对应的图像可以显示在外部监控器上。
控制器170可以被配置为:基于对象的照度、数字拍摄装置2100和对象之间的距离、和数字拍摄装置2100的拍摄模式中的一个或多个,来确定是否通过对从第一光学系统2110获取的图像和从第二光学系统2120获取的图像进行合成来产生合成图像。控制器170可以被配置为基于接收到的输入(例如,用户输入)来确定是否产生合成图像。可以基于传感器2130来获取对象的照度、数字拍摄装置2100与对象之间的距离、以及拍摄模式。
根据示例实施例,当第一光学系统2110和第二光学系统2120分别是广角光学系统和长焦光学系统时,控制器170可以被配置为:基于对象的照度、数字拍摄装置2100和对象之间的距离、和拍摄模式中的至少一个,来确定是否通过合成广角图像和长焦图像来产生广角图像和长焦图像的合成图像。
根据另一示例实施例,当第一光学系统2110和第二光学系统2120分别是RGB光学系统和单色光学系统时,控制器170可以被配置为:基于对象的照度,来确定是否通过合成彩色图像和黑白图像来产生彩色图像和黑白图像的合成图像。
当第一光学系统2110和第二光学系统2120是被设置成彼此之间间隔某一距离的双光学系统时,控制器170可以被配置为使用在不同视角下从第一光学系统2110和第二光学系统2120获取的图像,来获取表示数字拍摄装置2100和对象之间的距离的第二深度图。
基于对象的照度和数字拍摄装置2100的拍摄模式中的一个或多个,控制器170可以被配置为确定是否合成使用主动传感器2140获取的第一深度图和通过使用第一光学系统2110和第二光学系统2120获取的第二深度图。
控制器170可以被配置为基于数字拍摄装置2100的功率模式来确定是否产生合成图像。例如,当数字拍摄装置2100处于低功率模式时,控制器170可以被配置为确定不产生合成图像以便降低功耗。
基于对象的位置、对象的照度和输入中的一个或多个,控制器170可以被配置为控制显示单元164显示从第一光学系统2110获取的图像、从第二光学系统2120获取的图像以及其合成图像中的至少一个。
图22是示出了由数字拍摄装置100合成广角图像和长焦图像的示例处理的流程图。
参考图22,在操作S2210中,数字拍摄装置100可以获取长焦图像(其在图22中被称为“长焦图像”)。
在操作S2230中,数字拍摄装置100可以修正长焦图像。例如,数字拍摄装置100可以根据广角图像来修改长焦图像的视角。
在操作S2250中,数字拍摄装置100可以按比例放大广角图像。例如,数字拍摄装置100可以根据长焦图像的大小来放大广角图像的ROI以对广角图像进行调整。
在操作S2260中,数字拍摄装置100可以对修正后的长焦图像进行预处理。例如,数字拍摄装置100可以根据按比例放大的广角图像来调整长焦图像的光亮度、清晰度和对比度。
在操作S2270中,数字拍摄装置100可以对预处理后的长焦图像和按比例放大的广角图像进行配准。
在操作S2280中,数字拍摄装置100可以取得长焦图像的详细信息以便改善合成图像的图像质量。在该示例中,例如,通过使用在配准中产生的统计信息,除了两个图像的详细信息、照度信息和模糊信息之外,数字拍摄装置100还可以取得遮挡信息。
在操作S2290中,数字拍摄装置100可以产生合成图像。例如,数字拍摄装置100可以基于按比例放大的广角图像和原始的广角图像来合成期望比例的图像。
为了自然地显示合成的广角图像部分和非合成的广角图像部分之间的边界,数字拍摄装置100可以对二者之间的边界的附近应用阿尔法混合。
根据各种示例实施例,可以自动地感测拍摄环境,以选择从非对称光学系统获取的两个图像中的一个,或者合成由非对称光学系统获取的图像。
根据各种示例实施例,由于可以自动感测拍摄环境以确定是否执行图像合成,因此可以产生针对拍摄环境优化的输出图像,并且因此可以降低其功耗并可以节省图像处理所花费的时间。
根据示例实施例,操作数字拍摄装置的方法可以存储在计算机可读记录介质中、以程序命令的形式来实现,程序命令可以由各种计算机或处理电路执行。计算机可读记录介质可以单独或组合地包括程序命令、数据文件和数据结构。程序命令可以是专门为本公开设计和配置的程序命令,或者可以是本领域普通技术人员公知且可用的程序命令。计算机可读记录介质的示例可以包括磁记录介质(比如,硬盘、软盘和磁带)、光学记录介质(比如,压缩光盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光记录介质(比如,软光盘)、硬件设备(比如,只读存储器(ROM)、随机存取存储器(RAM))、和被专门配置为存储和执行程序命令的闪存。程序命令的示例可以包括由编译器形成的机器语言代码以及可以由计算机通过使用解译器执行的高级语言代码。
尽管以上已经详细描述了示例性实施例,但是本公开的范围不限于此,并且本领域普通技术人员将理解,在不脱离如由所附权利要求限定的本公开的精神和范围的情况下,可以在其中进行各种修改和改进。
应当理解,本文所描述的示例实施例应当被认为仅是描述性的,而不是为了限制目的。对每个示例实施例中的特征或方面的描述应当典型地被看作是可用于其他示例实施例中的其他类似特征或方面。
尽管已经参考附图描述了一个或多个示例实施例,但本领域普通技术人员将理解,在不脱离由所附权利要求限定的精神和范围的情况下,可以进行形式和细节上的多种改变。