Merge branch 'selftests-mptcp-mark-unstable-subtests-as-flaky'
authorJakub Kicinski <kuba@kernel.org>
Tue, 28 May 2024 00:13:01 +0000 (17:13 -0700)
committerJakub Kicinski <kuba@kernel.org>
Tue, 28 May 2024 00:13:01 +0000 (17:13 -0700)
commit6e15774d92056f7e4d226b2fc758124a6c803f99
treeabaac1bd13f422a913f394bdfe3489a5b5386ddc
parent7a8cc96ebefaab3db0477a54b217214ad70990d1
parent38af56e6668b455f7dd0a8e2d9afe74100068e17
Merge branch 'selftests-mptcp-mark-unstable-subtests-as-flaky'

Matthieu Baerts says:

====================
selftests: mptcp: mark unstable subtests as flaky

Some subtests can be unstable, failing once every X runs. Fixing them
can take time: there could be an issue in the kernel or in the subtest,
and it is then important to do a proper analysis, not to hide real bugs.

To avoid creating noises on the different CIs where tests are more
unstable than on our side, some subtests have been marked as flaky. As a
result, errors with these subtests (if any) are ignored.

Note that the MPTCP CI will continue to track these flaky subtests. All
these unstable subtests are also tracked by our bug tracker.

These are fixes for the -net tree, because the instabilities are visible
there. The first patch introducing the flake support has no 'Fixes'
tags, mainly because it requires recent and important refactoring done
in all MPTCP selftests. Backporting that to old versions where the flaky
tests have been introduced would be too difficult, and probably not
worth it. The other patches, adding MPTCP_LIB_SUBTEST_FLAKY=1, have a
Fixes tag, simply to ease the backport of the future fixes removing them
along with the proper fix.
====================

Link: https://lore.kernel.org/r/20240524-upstream-net-20240524-selftests-mptcp-flaky-v1-0-a352362f3f8e@kernel.org
Signed-off-by: Jakub Kicinski <kuba@kernel.org>