例如,可采用将关注点区域的核心区域按原样设定为主要被摄体的区域的种子这样的手法。 再例如,也可采用将与关注点区域的核心区域内接或外接的矩形区域、或关注点区域的重心或骨骼线等设定为主要被摄体的区域的种子这样的手法。 再例如,也可将显著性低的核心区域、关注点区域以外的矩形区域、或关注点区域以外的区域的重心或骨格线设定为背景区域这样的手法。 另外,如图5A所示,也可以显示整个图像D8来代替叶的样品图像D4。 在未发现规定阈值以上类似度高的花的名称时,如图5B所示,进行“不存在符合条件的花”这样的通知显示D9。 在该状态下,用户无法确定拍摄的花的图像G和显示的花的样品图像D3一致时,通过操作部14的规定的操作,如图4A所示,在显示花的样品图像D3的位置,一并显示变更为与该花对应的叶的图像D4。
为了实现相关的区域分割处理,需要成为主要被摄体的区域和背景区域的样品的标签和种子。 即,CPU7对于与处理对象图像61对应的帧图像数据,例如根据色、方位、亮度等的多种类的特征量的对比度,创建多种类的特征量图。 所谓图割法是将分割(图像的区域分割)问题作为能量最小化问题进行处理的手法之一。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在根据拍摄的花的图像提取花的区域的情况下,拍摄多张的情况下可提高提取精度。 因为拍摄时的花的拍摄角度和数据库110所存储的成为比较对象的花的样品图像的角度未必一致,所以,从不同的角度拍摄的花的图像的情况下能够使检索的概率变高。 另外,对上述实施方式和共通部分赋予共同的符号并省略说明。 基于该提取结果,进行图3B所示的花的样品图像显示(步骤S6)。 花样品图像D3以类似度从高到低的顺序,从左上起依次与花的名称D1一起并列显示。 因此,不是以叶的类似度从高到低的顺序排列叶的候选图像,而是以花的样品图像的类似度从高到低的顺序排列叶的样品图像。
该通信终端10通过移动电话线路或无线LAN等经由因特网500与服务器100连接。 本发明中,数据库将花的样品图像、花的名称、叶的样品图像以及对用于减少花的名称的关注点进行指示的图像与特征信息一起建立对应地存储。 提取部通过对拍摄到的花的图像的特征信息和存储在数据库的特征信息进行比较,从而提取与拍摄到的花的图像类似度高的花的样品图像作为候选图像。 花的名称 控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示,并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。 控制部将多个候选图像变更为对相对应的各自的关注点进行指示的图像,并使其在显示部显示。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
与此相对,通过在图1lB的步骤S86的处理,可求得颜色的特征量图。 花的名称 另外,以下,为了将颜色的特征量图与其他特征量图进行区别,记述为FC。 另外,由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr以及背景区域的事前概率Pr 基于显著性图S的概率,也可以作为图割法的t-link的事前概率来采用。 关注点区域62_r(r是从I至N中的某一个整数值),是在使用规定的阈值Sth_r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。 具体地说,例如,在图6的例子中,关注点区域62-1的估计中所利用的阈值Sth-1被设为70。 关注点区域62-2的估计中所利用的阈值Sth-2被设为90。
另外,对第一实施方式和共通部分赋予共同的符号并省略说明。 所谓各关注像素c∈是指,作为尺度c∈的尺度图像数据I上的运算对象,而被设定的像素。 在步骤S29,CPU7判断处理对象图像数据是否是最后的拍摄图像数据(帧图像数据)。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在这里,假设与上述的例子一致,关注像素c存在3种,周边像素s存在2种。 这种情况下,步骤S101至S105的循环处理的结果,按照每个旋转角θ,求出6种方向性对比度O的特征量图。 例如,作为旋转角θ,在采用0°、45°、90°、135°的四个方向的情况下,求出24种(=6×4种)的方向性对比度O的特征量图。 最终,通过在图11A的步骤S66的处理,可求得亮度的特征量图FI。
这种方法,通常将类似度最高的在先头显示,因此不给用户带来混乱。 另外,在检索步骤S7中,如步骤S5所示,不进行图像识别处理,从数据库110提取对应的叶的样品图像D4。 花的名称 指定“叶”的操作也可以使用“叶”这样的按钮来进行,也可以对显示的拍摄图像G的叶的部分进行触击。 花样品图像D3以类似度从高到低的顺序,从左上起依次与花的名称Dl —起并列显示。 拍摄部11具有对静止图像和连拍或运动图像进行拍摄的功能,在本说明书中连拍和运动图像视为同义而进行处理。 控制部15具有CPU7,控制部15包含存储由用于花检索的通信终端10执行的各种程序的程序存储部8、以及通过执行按照规定的算法的程序进行花检索来提取候选图像的提取部9。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
由此,作为图8的步骤Sf的处理如上述,与处理对象图像数据对应的帧图像,被分(分割)为主要被摄体的区域和背景区域。 2.如权利要求1所述的图像检索装置,其特征在于, 还具有鉴别单元,该鉴别单元在对所述显示部所显示的所述候选图像之一进行选择时,将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象。 花的名称 所述图像检索装置还具有第二通知单元,该第二通知单元在所述提取单元对所拍摄到的所述对象的图像不能按照所述类似度从高到低的顺序提取对象的第一样品图像时,要求起动所述运动图像摄像单元。 本实施方式与以动画形式拍摄被摄体的情况对应,例示出在图7的“剪取花的区域”(步骤S51)的具体的手法。 根据该手法,不仅静止图像,也能够从运动图像中提取花的区域。
控制部15通过对由提取部9的动作所拍摄的花的图像F的特征信息和在数据库110所存储的特征信息D2进行比较,将与拍摄的花的图像F类似度高的花的样品图像D3作为候选图像而提取多个。 即、并列显示包含花的图像F的拍摄图像G、作为候选图像而被提取的多个花的样品图像D3、以及各花的名称D1,还并列显示用于减少花的候选的关注点信息D6。 数据库110将花的样品图像D3、花的名称D1、叶的样品图像D4、以及对用于减少花的名称的关注点进行指示的图像D5与特征信息D2一起建立对应进行存储。 另外,将作为该花的关注点的开花时期、花的大小、花瓣的颜色、叶的形状、身长、生长地区、……等作为用于减少花的候选的关注点信息D6。 还存储有包含从该花的种子、芽、成长、花蕾、开花等的培养向导、以及肥料和水的给予方法等的维护向导的向导信息D7。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
在拍摄图像G中一起拍摄有作为主要被摄体的花的图像F、以及背景B。 此时,也可以选择已经拍摄到的、在存储部13或存储卡16所保存的图像。 D6是根据开花时期和花的大小、身长、叶的形状等知道的信息,用于减少候选的关注点信息的显示。
- 控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示,并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。
- 11.如权利要求10所述的图像检索系统,其特征在于, 所述通信终端具备所述第一显示控制单元以及所述第二显示控制单元,所述服务器具备所述提取单元。
- 即,图1lC的步骤SlOl至S106的各自的处理是图1lA的步骤S61至S66的各自对应的处理,仅是各步骤的处理对象与图1lA不同。
- 由此,在与步骤S5进行同样的检索处理时,因为能减少检索对象,所以检索时间变短。
- 另外,在实施方式中,通信终端通过移动电话线路或无线LAN等经由因特网与服务器相连接的系统为例来进行说明,但也可以在通信终端和服务器近距离的情况下,通过红外线通信或蓝牙(注册商标)进行连接。
- 所述数据库将花的样品图像、花的名称、叶的样品图像、以及对用于减少所述花的名称的关注点进行指示的图像与特征信息建立对应地存储。
- 在步骤S27中,CPU7使用主要被摄体的事前概率Pr和背景区域的事前概率Pr、以及主要被摄体的区域的种子和背景区域的种子,执行基于图割法的区域分割处理。
例如在图8的例子中,合并特征量图Fc、Fh、Fs,可求得显著性图S。 在这里,所谓方向成分是指对亮度成分叠加了高斯滤波器Φ的结果而得到的各方向的振幅成分。 在这里所谓的方向,由作为高斯滤波器Φ的参数而存在的旋转角Θ所示的方向。 例如,作为旋转角Θ,可采用0°、45°、90°、135°的四个方向。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
将花的名称D1作为索引而存储有的花的样品图像D3、叶的样品图像D4等,但在容量允许的范围内,对应一个花的名称而存储有多个花的状态,例如存储有开花前、花蕾的时期、开花中、结果中等的图像。 图6是示出本实施方式的花检索系统的全部动作的流程图,实现前述的显示。 SP,在开始控制部15的程序存储部8所存储的花检索程序时,在显示部12显示最初规定的菜单画面(步骤SI)。 在这里,拍摄花,或是选择已经拍摄并在存储部13的保存部13A所保存的拍摄图像(步骤S2)。 在该状态下,通过操作部14可进行各种各样的操作,在进行检索指示时,进入步骤S5,通过因特网500等的网络,访问服务器100的数据库110,检索并提取花的候选图像(步骤S5)。
第二显示控制步骤,使所述显示部所显示的多个候选图像变更为相对应的各对象的第二样品图像,并在所述显示部显示。 第二显示控制单元,其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的第二样品图像,并在所述显示部显示。 在图11B的颜色的特征量图创建处理与图11A的亮度的特征量图创建处理进行比较时,处理的流程基本相同,处理对象不同。 即,图11B的步骤S81至S86的各处理是与图11A的步骤S61至S66的各个对应的处理,各步骤的处理对象与图11A不同。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
在步骤S142,CPU7按照每个不同的长宽比,求得与矩形区域的颜色直方图和周边轮廓的颜色直方图的二次方距离。 在步骤S143,CPU7求得二次方距离成为最大的矩形区域的颜色直方图。 在步骤S141中,CPU7按照每一不同长宽比,求得矩形区域的颜色直方图、和周边轮廓的颜色直方图。 另外,以下,为了将方向性的特征量图与其他的特征量图进行区别,记述为FO。 即,CPU7用多个阶段的关注点区域62-1至62-N,提取关注点区域的核心区域。
本发明的目地和新颖的特征,从下面的详细描述中结合附图阅读,将更加充分地体现,且能清楚地理解。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
另外,以下,将色调R/G的色调对比度记述为RG (c,s),将色调B/Y的色调对比度记述为BY (c,s)。 在步骤S45中,CPU7将各特征量图以线性和结合,求得显著性图S。 由此,作为图8的步骤Se的处理,如上所述,可得到主要被摄体区域的事前概率Pr 和背景区域的事前概率Pr 。 另外,为了实现步骤Sf的图割法的区域分割处理,需要主要被摄体区域的事前概率Pr 和背景区域的事前概率Pr 。 在该状态下,用户无法确定拍摄的花的图像G和显示的花的样品图像D3—致时,通过操作部14的规定的操作,如图4A所示,在显示花的样品图像D3的位置,一并显示变更为与该花对应的叶的图像D4。 由此,用户不仅能够对比花的形状,还能够对比叶的形状来进行比较。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
与此相对,在本实施方式中,能利用由步骤Sd的处理自动地设定的主要被摄体区域的种子及背景区域的种子。 其结果,如以前一样,不需要用户手动输入种子,另外,也不需要学习。 例如,在图8的例子中,使用显著性图S,从处理对象图像61中估计出多个阶段的关注点区域62-1至62-N(N是1以上的整数值,在图8的例中至少是4以上的整数值)。 图1lC的方向性的特征量图创建处理与图1lA的亮度的特征量图创建处理比较时,处理的流程基本相同,仅是处理对象不同。 即,图1lC的步骤SlOl至S106的各自的处理是图1lA的步骤S61至S66的各自对应的处理,仅是各步骤的处理对象与图1lA不同。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
另外,由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr以及背景区域的事前概率Pr基于显著性图S的概率,也可以作为图割法的t-link的事前概率来采用。 关注点区域62-r(r是从1至N中的某一个整数值),是在使用规定的阈值Sth-r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。 关注点区域62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。 其次,CPU7通过合并多个种类的特征量图,而求得显著性图。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
关于从多帧的花的图像提取花的区域的算法,适用由第二实施方式说明的算法。 因此,在运动图像提取处理结束时,即,图6的步骤S9的处理结束时,如上所述,在步骤S10、S11的处理中,对“运动图像”的运动图像数据等进行压缩编码,将作为其结果所得到的编码图像数据存储到存储卡16等。 7.如权利要求6所述的图像检索装置,其特征在于, 所述分割部根据利用由包含所述关注点区域的规定区域定义了的能量函数的规定算法,将所拍摄到的所述对象的图像分割为所述主要被摄体的区域和所述背景区域。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
即,对于与处理对象图像数据对应的各尺度图像的各像素,分别实施步骤S61至S65的处理,并求得各像素的亮度对比度I(c,s)。 在这里,在设定为各关注像素c∈以及周边像素s=c+δ(例如δ∈)的情况下,在步骤S61至S65的一次的处理中,求得(3种关注像素c)×(2种周边像素s)=6种亮度对比度I(c,s)。 在此,对于规定的c和规定的s求得的亮度对比度I(c,s)的整个图像的集合体在以下称为亮度对比度I的特征量图。 关于亮度对比度I的特征量图,重复步骤S61至S65的循环处理的结果,能够求得6种。 像这样,在求取了6种亮度对比度I的特征量图时,在步骤S65被判定为“否”,处理进入步骤S66。 在步骤S27中,CPU7使用主要被摄体的事前概率Pr和背景区域的事前概率Pr、以及主要被摄体的区域的种子和背景区域的种子,执行基于图割法的区域分割处理。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
另外,在步骤S104的处理中,求出方向性的“中心-周围”尺度间差分,作为方向性对比度。 另外,图1lA的步骤S64处理,求出亮度的“中心-周围”尺度间差分作为亮度对比度I(c,s)。 与此相对,在图1lB的步骤S84的处理中,求出色调(R/G,B/Y)的“中心-周围”尺度间差分作为色调对比度。 另外,在颜色成分中,红色的成分由R表示,绿色的成分由G表示,蓝色成分由B表示,黄色的成分由Y表示。