bcachefs: rebalance_work
authorKent Overstreet <kent.overstreet@linux.dev>
Fri, 20 Oct 2023 17:33:14 +0000 (13:33 -0400)
committerKent Overstreet <kent.overstreet@linux.dev>
Thu, 2 Nov 2023 01:11:05 +0000 (21:11 -0400)
commitfb3f57bb1177ae4d5550bbb431f90ebf277329e8
treee55c5b2899b5885cdd660914848eec727fcd6f13
parent55c11a159d3ca4ca7f9d5c1275d0768474b12195
bcachefs: rebalance_work

This adds a new btree, rebalance_work, to eliminate scanning required
for finding extents that need work done on them in the background - i.e.
for the background_target and background_compression options.

rebalance_work is a bitset btree, where a KEY_TYPE_set corresponds to an
extent in the extents or reflink btree at the same pos.

A new extent field is added, bch_extent_rebalance, which indicates that
this extent has work that needs to be done in the background - and which
options to use. This allows per-inode options to be propagated to
indirect extents - at least in some circumstances. In this patch,
changing IO options on a file will not propagate the new options to
indirect extents pointed to by that file.

Updating (setting/clearing) the rebalance_work btree is done by the
extent trigger, which looks at the bch_extent_rebalance field.

Scanning is still requrired after changing IO path options - either just
for a given inode, or for the whole filesystem. We indicate that
scanning is required by adding a KEY_TYPE_cookie key to the
rebalance_work btree: the cookie counter is so that we can detect that
scanning is still required when an option has been flipped mid-way
through an existing scan.

Future possible work:
 - Propagate options to indirect extents when being changed
 - Add other IO path options - nr_replicas, ec, to rebalance_work so
   they can be applied in the background when they change
 - Add a counter, for bcachefs fs usage output, showing the pending
   amount of rebalance work: we'll probably want to do this after the
   disk space accounting rewrite (moving it to a new btree)

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>
18 files changed:
fs/bcachefs/bcachefs.h
fs/bcachefs/bcachefs_format.h
fs/bcachefs/buckets.c
fs/bcachefs/compress.c
fs/bcachefs/compress.h
fs/bcachefs/data_update.c
fs/bcachefs/extents.c
fs/bcachefs/extents.h
fs/bcachefs/io_misc.c
fs/bcachefs/io_write.c
fs/bcachefs/rebalance.c
fs/bcachefs/rebalance.h
fs/bcachefs/rebalance_types.h
fs/bcachefs/recovery.c
fs/bcachefs/recovery_types.h
fs/bcachefs/reflink.c
fs/bcachefs/sysfs.c
fs/bcachefs/xattr.c