net: add sk_wake_async_rcu() helper
authorEric Dumazet <edumazet@google.com>
Thu, 28 Mar 2024 14:40:32 +0000 (14:40 +0000)
committerJakub Kicinski <kuba@kernel.org>
Fri, 29 Mar 2024 22:03:11 +0000 (15:03 -0700)
commit1abe267f173eae7ae76cf56232292e9641eb652f
treeb8f7952bdc3936448e9ee4da907745b2f9c1a7f8
parent612b1c0dec5bc7367f90fc508448b8d0d7c05414
net: add sk_wake_async_rcu() helper

While looking at UDP receive performance, I saw sk_wake_async()
was no longer inlined.

This matters at least on AMD Zen1-4 platforms (see SRSO)

This might be because rcu_read_lock() and rcu_read_unlock()
are no longer nops in recent kernels ?

Add sk_wake_async_rcu() variant, which must be called from
contexts already holding rcu lock.

As SOCK_FASYNC is deprecated in modern days, use unlikely()
to give a hint to the compiler.

sk_wake_async_rcu() is properly inlined from
__udp_enqueue_schedule_skb() and sock_def_readable().

Signed-off-by: Eric Dumazet <edumazet@google.com>
Link: https://lore.kernel.org/r/20240328144032.1864988-5-edumazet@google.com
Signed-off-by: Jakub Kicinski <kuba@kernel.org>
crypto/af_alg.c
include/net/sock.h
net/atm/common.c
net/core/sock.c
net/dccp/output.c
net/ipv4/udp.c
net/iucv/af_iucv.c
net/rxrpc/af_rxrpc.c
net/sctp/socket.c
net/smc/smc_rx.c
net/unix/af_unix.c