其结果是，通过旋转校正而得到的输出图像相对于输入图像的视角的减小率变大。 因此，输入图像的宽高比的横向越长或纵向越长，则图像校正部104a将旋转量的最大值设定得越小，由此能降低输出图像相对于输入图像的视角的减小。 在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。 同样地，在输入图像1104的左侧用箭头表示的宽度W3表示从输入图像1104的图像下端到水平线1103的长度，在输入图像1104的右侧用箭头表示的宽度W4表示从输入图像1104的图像下端到水平线1103的长度。 虽然从图像下端到水平线1103的宽度在输入图像1101和1104中在左右都不同，但宽度W3与宽度W4的差比宽度W1与宽度W2的差大。
例如，日之丸式构图中的主要被摄体是重要的，通过检测主要被摄体，评价其位置、大小，能评价是否适合日之丸式构图。 此外，通过检测图像中的直线，并评价直线的倾斜，能进行对于水平度、对角线构图的评价。 图像校正部104通过多个评价指标评价输入图像，确定输出图像的构图，由此能生成适当的构图的图像。 以下，对图像处理装置1b的图像校正部104b进行的校正进行具体说明。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
接着，图像校正部104b针对在步骤S34中确定的旋转轴，对输入图像进行投影变换，生成校正后的输出图像。 控制部7控制在摄像装置1300内所具备的各部，例如基于由操作部4接受到的拍摄指示来控制拍摄部3，或基于由朝向检测部5检测到的摄像装置1300的倾斜来控制显示于显示部2的图像的朝向等。 接着，图像校正部104基于在步骤S13中检测到的被摄体信息和在步骤12中获取到的宽高比信息从输入图像裁剪图像，生成构图被校正后的输出图像。 本发明的一个方案是鉴于上述问题点而完成的，其目的在于实现一种能生成适当的输出图像的新的图像处理装置。 所述图像校正部基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。 接着，图像校正部104a基于在步骤S24中确定的旋转的精度和在步骤S25中检测到的水平方向信息来确定使图像旋转的旋转量。
作为上述记录介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。 此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。 需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。 需要说明的是，这里所谓的“计算机系统”包括OS、周边设备等硬件。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
在此，对图像校正部104a基于宽高比切换输入图像的旋转的精度的情况进行说明。 以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的旋转校正进行具体说明。 例如，在输入图像的宽高比为纵向长的情况下，预想主要被摄体的横向侧的余量(被摄体与图像端之间的距离)小，若大幅裁剪横向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。 此外，在输入图像的宽高比为横向长的情况下，预想主要被摄体的纵向侧的余量小，若大幅地裁剪纵向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。
图13是表示具备本实施方式的图像处理装置1b的摄像装置1300的主要部分构成的框图。 如图13所示，摄像装置1300具备：图像处理装置1b、显示部2、拍摄部3、操作部4、朝向检测部5、存储部6以及控制部7。 花的中心 由此，直线的角度精度越高，则越能生成对直线的倾斜进行了准确地校正的适当的输出图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
所述图像校正部检测所述输入图像中所包括的被摄体信息，基于所述被摄体信息和所述输入图像或输出图像的宽高比来校正所述输入图像。 图像处理装置1、1a以及1b的控制块(特别是图像校正部104、104a以及104b)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(CentralProcessing Unit：中央处理器)通过软件来实现。 接着，宽高比信息获取部102获取与输入图像或输出图像的宽高比有关的信息。 宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104b。 宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104a。
例如，在显示部2是触摸面板的情况下，用户能通过触摸触摸面板来选择被摄体。 花的中心 作为如上所述的校正图像的技术，例如，存在专利文献1所记载的技术。 专利文献1所记载的图像处理装置基于输入图像中关注的关注区域的数量和所述输入图像的场景，设定对应于输入图像的构图图案，以所设定的所述构图图案为基础，确定输入图像中的最佳的裁剪区域。 以往，存在通过图像处理进行图像的旋转和/或裁剪以校正为适当的图像的技术。 通过该技术，例如，旋转该图像，以使图像中所包括的水平线与图像的横向平行，由此能校正为给予观看者具有稳定感的印象的图像。 此外，例如，裁剪该图像，以使图像中所包括的关注被摄体移动至图像中的规定位置，由此能校正为给予观看者平衡良好的印象的图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
而且，图像校正部104a基于已确定的旋转量使输入图像旋转，生成旋转校正后的输出图像。 此外，在一个方案中，在宽高比表示与阈值相比纵向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为两部分的线与将纵向分割为三部分的线的交点上。 花的中心 在一个方案中，在宽高比表示与阈值相比横向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为三部分的线与将纵向分割为两部分的线的交点上。 此外，图像校正部104也可以综合考虑输入图像的像素数等图像信息、拍摄到输入图像时的焦点位置等拍摄信息来评价构图。
- 需要说明的是，“被摄体的代表位置”是指被摄体中的任意一点的位置，例如，在被摄体为人物的情况下是人物的脸部，在被摄体为物体的情况下是物体的中心位置，在被摄体存在多个的情况下是关注被摄体的位置。
- 图像处理装置1、1a以及1b的控制块(特别是图像校正部104、104a以及104b)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(CentralProcessing Unit：中央处理器)通过软件来实现。
- 在此，对图像校正部104b基于宽高比来切换针对输入图像的投影变换的旋转轴的情况进行说明。
如图13所示，图像处理装置1b与实施方式1的图像处理装置1的不同点在于，控制部10b具备图像校正部104b来代替图像校正部104、控制部10b还具备朝向信息获取部103b以及控制部10b代替存储部20而与图像处理装置1b的外部的存储部6连接。 通过采用这样的构成，图像处理装置1b能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换针对输入图像的投影变换的旋转轴。 图像处理装置1a对输入至图像处理装置1a的输入图像进行使图像旋转的图像处理，生成校正后的图像(输出图像)。 如图9所示，图像处理装置1a与实施方式1的图像处理装置1的不同点在于，控制部10a具备图像校正部104a来代替图像校正部104，以及还具备朝向信息获取部103。 通过采用这样的构成，图像处理装置1a能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换输入图像的旋转的精度。 如以上说明的那样，在图像处理装置1b中，考虑到因图像的宽高比的差异引起的拍摄时的摄像装置1300相对于被摄体的朝向，图像校正部104b切换投影变换的旋转轴进行投影变换，由此能生成进行了适合于宽高比的投影变换的输出图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
此外，在另一实施方式中，用户能从以多个旋转量进行投影变换后的候选图像之中选择最佳的图像。 另一方面，在图16的的条件下进行拍摄的情况下，拍摄部3位于比摄像装置1300的中央靠上侧或靠下侧，因此可能会相对于被摄体1602产生上下方向的倾斜。 花的中心 即，在摄像装置1300相对于被摄体1602的朝向可能会发生以x轴为中心的旋转。 因此，在评价拍摄图像1702并选择最佳的构图的情况下，图像校正部104b为了抵消在从上倾斜方向或从下倾斜方向进行拍摄的情况下产生的摄像装置1300的倾斜，包括进行了校正以x轴为中心的旋转的投影变换的图像来进行评价，并选择最适当的构图即可。
例如，在操作部4为触摸面板的情况下，为在显示部2具备操作部4的构成，在显示部2显示有操作画面，接受用户的操作。 操作部4接受的操作可以列举出，例如，拍摄指示、曝光设定等各种拍摄设定、拍摄图像的存储以及删除、图像处理装置1b中的处理的执行指示等。 需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。 本实施方式的图像处理装置是与实施方式3的图像处理装置1a相同的构成，但图像校正部104a的动作不同。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
需要说明的是，投影变换的旋转角度没有特别限定，也可以是分别输出以多个预先确定的角度旋转后的角度。 花的中心 如图16的～所示，在有意识地以被摄体1602位于拍摄图像的中心的方式进行拍摄的情况下，有时在拍摄者1601、摄像装置1300的中心以及被摄体1602位于一条直线上的状态下进行拍摄。 但是，在使用像摄像装置1300这样的在横向保持的情况下拍摄部3不位于中央的摄像装置的情况下，如图16的所示，有时从倾斜方向拍摄被摄体1602。 基于图16的中所示的轴向对此进行说明，在图16的中，摄像装置1300相对于被摄体1602的朝向发生以y轴为中心的旋转。
权利要求1至7中任一项所述的图像处理装置，以所述拍摄部拍摄到的图像作为所述输入图像来生成所述输出图像。 作为考虑到图像的宽高比的构图的校正方法，例如，根据图像的宽高比来提高对特定的构图的评价，由此能使各构图的选择容易度不同。 在一个实施方式中，图像校正部104对基于宽高比以外的基准(例如，被摄体的线对称性等)计算出的得分加上基于宽高比的追加得分，选择得分最高的构图即可。 作为输入图像中的被摄体信息，可以举出例如人物的脸部等关注被摄体、输入图像中所包括的边缘和直线、亮度分布以及颜色分布等多方面的信息。 例如，如果是在检测输入图像中的脸部作为输入图像中的被摄体信息的情况下，则能使用利用从输入图像检测到的肤色区域的信息等现有技术来检测输入图像中的被摄体信息。 本发明并不限定于上述各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。