rcu: Assume rcu_report_dead() is always called locally
authorFrederic Weisbecker <frederic@kernel.org>
Fri, 8 Sep 2023 20:35:59 +0000 (22:35 +0200)
committerFrederic Weisbecker <frederic@kernel.org>
Wed, 4 Oct 2023 15:35:56 +0000 (17:35 +0200)
rcu_report_dead() has to be called locally by the CPU that is going to
exit the RCU state machine. Passing a cpu argument here is error-prone
and leaves the possibility for a racy remote call.

Use local access instead.

Reviewed-by: Paul E. McKenney <paulmck@kernel.org>
Signed-off-by: Frederic Weisbecker <frederic@kernel.org>
arch/arm64/kernel/smp.c
include/linux/rcupdate.h
kernel/cpu.c
kernel/rcu/tree.c

index 960b98b43506dd2246aac628e2a92ab455f44043..8fa646c90c67ea7e06080b2ee94cf066803af534 100644 (file)
@@ -401,7 +401,7 @@ void __noreturn cpu_die_early(void)
 
        /* Mark this CPU absent */
        set_cpu_present(cpu, 0);
-       rcu_report_dead(cpu);
+       rcu_report_dead();
 
        if (IS_ENABLED(CONFIG_HOTPLUG_CPU)) {
                update_cpu_boot_status(CPU_KILL_ME);
index 5e5f920ade9094bf22222d471883591ebd39d948..aa351ddcbe8d79deca90b0b4be424cd4ff049696 100644 (file)
@@ -122,7 +122,7 @@ static inline void call_rcu_hurry(struct rcu_head *head, rcu_callback_t func)
 void rcu_init(void);
 extern int rcu_scheduler_active;
 void rcu_sched_clock_irq(int user);
-void rcu_report_dead(unsigned int cpu);
+void rcu_report_dead(void);
 void rcutree_migrate_callbacks(int cpu);
 
 #ifdef CONFIG_TASKS_RCU_GENERIC
index 6de7c6bb74eeea98c217374cb5bed57c7b38a452..076e75fed8bb05100e20c1df8806ab5bc27d2032 100644 (file)
@@ -1388,7 +1388,7 @@ void cpuhp_report_idle_dead(void)
        struct cpuhp_cpu_state *st = this_cpu_ptr(&cpuhp_state);
 
        BUG_ON(st->state != CPUHP_AP_OFFLINE);
-       rcu_report_dead(smp_processor_id());
+       rcu_report_dead();
        st->state = CPUHP_AP_IDLE_DEAD;
        /*
         * We cannot call complete after rcu_report_dead() so we delegate it
index 8c2954502e55c4521c05142b10c1cedebc52c740..2e1e7eadf2cc7384add995c7fc8d8b746962097e 100644 (file)
@@ -4560,11 +4560,11 @@ void rcu_cpu_starting(unsigned int cpu)
  * from the outgoing CPU rather than from the cpuhp_step mechanism.
  * This is because this function must be invoked at a precise location.
  */
-void rcu_report_dead(unsigned int cpu)
+void rcu_report_dead(void)
 {
        unsigned long flags;
        unsigned long mask;
-       struct rcu_data *rdp = per_cpu_ptr(&rcu_data, cpu);
+       struct rcu_data *rdp = this_cpu_ptr(&rcu_data);
        struct rcu_node *rnp = rdp->mynode;  /* Outgoing CPU's rdp & rnp. */
 
        /*