media: rockchip: rga: fix swizzling for RGB formats
authorMichael Tretter <m.tretter@pengutronix.de>
Fri, 13 Oct 2023 11:00:22 +0000 (13:00 +0200)
committerHans Verkuil <hverkuil-cisco@xs4all.nl>
Thu, 7 Dec 2023 07:56:13 +0000 (08:56 +0100)
commit9e7dc39260edac180c206bb6149595a40eabae3e
treed730c97481199d34a695623b72be98ca53d092ee
parent8016943b5947cd485078e23899945c51e818aa63
media: rockchip: rga: fix swizzling for RGB formats

When using 32 bit RGB formats, the RGA on the rk3568 produces wrong
colors as the wrong color channels are read or written.  The reason is
that the format description for the channel swizzeling is wrong and the
wrong bits are configured. For example, when converting ARGB32 to NV12,
the alpha channel is used as blue channel.. This doesn't happen if the
color format is the same on both sides.

Fix the color_swap settings of the formats to correctly handle 32 bit
RGB formats.

For RGA_COLOR_FMT_XBGR8888, the RGA_COLOR_ALPHA_SWAP bit doesn't have an
effect. Thus, it isn't possible to handle the V4L2_PIX_FMT_XRGB32. Thus,
it is removed from the list of supported formats.

Signed-off-by: Michael Tretter <m.tretter@pengutronix.de>
Signed-off-by: Hans Verkuil <hverkuil-cisco@xs4all.nl>
drivers/media/platform/rockchip/rga/rga.c