]> git.proxmox.com Git - zfsonlinux.git/blame - zfs-patches/0006-Reduce-taskq-and-context-switch-cost-of-zio-pipe.patch
projects / zfsonlinux.git / blame
? search:
summary | shortlog | log | commit | commitdiff | tree
blob | blame (incremental) | history | HEAD
update/rebase to spl-0.7.12 with patches from ZOL
[zfsonlinux.git] / zfs-patches / 0006-Reduce-taskq-and-context-switch-cost-of-zio-pipe.patch
CommitLineData
ff03aa2d
SI		 1From 0000000000000000000000000000000000000000 Mon Sep 17 00:00:00 2001
2From: Matthew Ahrens <mahrens@delphix.com>
3Date: Thu, 2 Aug 2018 15:51:45 -0700
4Subject: [PATCH] Reduce taskq and context-switch cost of zio pipe
5
6When doing a read from disk, ZFS creates 3 ZIO's: a zio_null(), the
7logical zio_read(), and then a physical zio. Currently, each of these
8results in a separate taskq_dispatch(zio_execute).
9
10On high-read-iops workloads, this causes a significant performance
11impact. By processing all 3 ZIO's in a single taskq entry, we reduce the
12overhead on taskq locking and context switching. We accomplish this by
13allowing zio_done() to return a "next zio to execute" to zio_execute().
14
15This results in a ~12% performance increase for random reads, from
1696,000 iops to 108,000 iops (with recordsize=8k, on SSD's).
17
18Reviewed by: Pavel Zakharov <pavel.zakharov@delphix.com>
19Reviewed-by: Brian Behlendorf <behlendorf1@llnl.gov>
20Reviewed by: George Wilson <george.wilson@delphix.com>
21Signed-off-by: Matthew Ahrens <mahrens@delphix.com>
22External-issue: DLPX-59292
23Requires-spl: spl-0.7-release
24Closes #7736
25
26(cherry-picked from behlendorf/issue-7736 496657ab3bcfeb638b1786e1759980ccfcacb08e)
27Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>
28---
29 include/sys/zio.h | 4 +-
30 module/zfs/zio.c | 250 +++++++++++++++++++++++++++++-------------------------
31 2 files changed, 137 insertions(+), 117 deletions(-)
32
33diff --git a/include/sys/zio.h b/include/sys/zio.h
34index 4b0eecc2..3618912c 100644
35--- a/include/sys/zio.h
36+++ b/include/sys/zio.h
37@@ -237,7 +237,7 @@ enum zio_child {
38 #define ZIO_CHILD_DDT_BIT ZIO_CHILD_BIT(ZIO_CHILD_DDT)
39 #define ZIO_CHILD_LOGICAL_BIT ZIO_CHILD_BIT(ZIO_CHILD_LOGICAL)
40 #define ZIO_CHILD_ALL_BITS \
41- (ZIO_CHILD_VDEV_BIT | ZIO_CHILD_GANG_BIT | \
42+ (ZIO_CHILD_VDEV_BIT | ZIO_CHILD_GANG_BIT | \
43 ZIO_CHILD_DDT_BIT | ZIO_CHILD_LOGICAL_BIT)
44
45 enum zio_wait_type {
46@@ -375,7 +375,7 @@ typedef struct zio_transform {
47 struct zio_transform *zt_next;
48 } zio_transform_t;
49
50-typedef int zio_pipe_stage_t(zio_t *zio);
51+typedef zio_t *zio_pipe_stage_t(zio_t *zio);
52
53 /*
54 * The io_reexecute flags are distinct from io_flags because the child must
55diff --git a/module/zfs/zio.c b/module/zfs/zio.c
56index 9a465e1b..b08b4747 100644
57--- a/module/zfs/zio.c
58+++ b/module/zfs/zio.c
59@@ -75,9 +75,6 @@ uint64_t zio_buf_cache_frees[SPA_MAXBLOCKSIZE >> SPA_MINBLOCKSHIFT];
60
61 int zio_delay_max = ZIO_DELAY_MAX;
62
63-#define ZIO_PIPELINE_CONTINUE 0x100
64-#define ZIO_PIPELINE_STOP 0x101
65-
66 #define BP_SPANB(indblkshift, level) \
67 (((uint64_t)1) << ((level) * ((indblkshift) - SPA_BLKPTRSHIFT)))
68 #define COMPARE_META_LEVEL 0x80000000ul
69@@ -516,7 +513,8 @@ zio_wait_for_children(zio_t *zio, uint8_t childbits, enum zio_wait_type wait)
70
71 __attribute__((always_inline))
72 static inline void
73-zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait)
74+zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait,
75+ zio_t **next_to_executep)
76 {
77 uint64_t *countp = &pio->io_children[zio->io_child_type][wait];
78 int *errorp = &pio->io_child_error[zio->io_child_type];
79@@ -535,13 +533,33 @@ zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait)
80 ZIO_TASKQ_INTERRUPT;
81 pio->io_stall = NULL;
82 mutex_exit(&pio->io_lock);
83+
84 /*
85- * Dispatch the parent zio in its own taskq so that
86- * the child can continue to make progress. This also
87- * prevents overflowing the stack when we have deeply nested
88- * parent-child relationships.
89+ * If we can tell the caller to execute this parent next, do
90+ * so. Otherwise dispatch the parent zio as its own task.
91+ *
92+ * Having the caller execute the parent when possible reduces
93+ * locking on the zio taskq's, reduces context switch
94+ * overhead, and has no recursion penalty. Note that one
95+ * read from disk typically causes at least 3 zio's: a
96+ * zio_null(), the logical zio_read(), and then a physical
97+ * zio. When the physical ZIO completes, we are able to call
98+ * zio_done() on all 3 of these zio's from one invocation of
99+ * zio_execute() by returning the parent back to
100+ * zio_execute(). Since the parent isn't executed until this
101+ * thread returns back to zio_execute(), the caller should do
102+ * so promptly.
103+ *
104+ * In other cases, dispatching the parent prevents
105+ * overflowing the stack when we have deeply nested
106+ * parent-child relationships, as we do with the "mega zio"
107+ * of writes for spa_sync(), and the chain of ZIL blocks.
108 */
109- zio_taskq_dispatch(pio, type, B_FALSE);
110+ if (next_to_executep != NULL && *next_to_executep == NULL) {
111+ *next_to_executep = pio;
112+ } else {
113+ zio_taskq_dispatch(pio, type, B_FALSE);
114+ }
115 } else {
116 mutex_exit(&pio->io_lock);
117 }
118@@ -1187,7 +1205,7 @@ zio_shrink(zio_t *zio, uint64_t size)
119 * ==========================================================================
120 */
121
122-static int
123+static zio_t *
124 zio_read_bp_init(zio_t *zio)
125 {
126 blkptr_t *bp = zio->io_bp;
127@@ -1221,15 +1239,15 @@ zio_read_bp_init(zio_t *zio)
128 if (BP_GET_DEDUP(bp) && zio->io_child_type == ZIO_CHILD_LOGICAL)
129 zio->io_pipeline = ZIO_DDT_READ_PIPELINE;
130
131- return (ZIO_PIPELINE_CONTINUE);
132+ return (zio);
133 }
134
135-static int
136+static zio_t *
137 zio_write_bp_init(zio_t *zio)
138 {
139
140 if (!IO_IS_ALLOCATING(zio))
141- return (ZIO_PIPELINE_CONTINUE);
142+ return (zio);
143
144 ASSERT(zio->io_child_type != ZIO_CHILD_DDT);
145
146@@ -1244,7 +1262,7 @@ zio_write_bp_init(zio_t *zio)
147 zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
148
149 if (BP_IS_EMBEDDED(bp))
150- return (ZIO_PIPELINE_CONTINUE);
151+ return (zio);
152
153 /*
154 * If we've been overridden and nopwrite is set then
155@@ -1255,13 +1273,13 @@ zio_write_bp_init(zio_t *zio)
156 ASSERT(!zp->zp_dedup);
157 ASSERT3U(BP_GET_CHECKSUM(bp), ==, zp->zp_checksum);
158 zio->io_flags |= ZIO_FLAG_NOPWRITE;
159- return (ZIO_PIPELINE_CONTINUE);
160+ return (zio);
161 }
162
163 ASSERT(!zp->zp_nopwrite);
164
165 if (BP_IS_HOLE(bp) || !zp->zp_dedup)
166- return (ZIO_PIPELINE_CONTINUE);
167+ return (zio);
168
169 ASSERT((zio_checksum_table[zp->zp_checksum].ci_flags &
170 ZCHECKSUM_FLAG_DEDUP) || zp->zp_dedup_verify);
171@@ -1269,7 +1287,7 @@ zio_write_bp_init(zio_t *zio)
172 if (BP_GET_CHECKSUM(bp) == zp->zp_checksum) {
173 BP_SET_DEDUP(bp, 1);
174 zio->io_pipeline |= ZIO_STAGE_DDT_WRITE;
175- return (ZIO_PIPELINE_CONTINUE);
176+ return (zio);
177 }
178
179 /*
180@@ -1281,10 +1299,10 @@ zio_write_bp_init(zio_t *zio)
181 zio->io_pipeline = zio->io_orig_pipeline;
182 }
183
184- return (ZIO_PIPELINE_CONTINUE);
185+ return (zio);
186 }
187
188-static int
189+static zio_t *
190 zio_write_compress(zio_t *zio)
191 {
192 spa_t *spa = zio->io_spa;
193@@ -1303,11 +1321,11 @@ zio_write_compress(zio_t *zio)
194 */
195 if (zio_wait_for_children(zio, ZIO_CHILD_LOGICAL_BIT |
196 ZIO_CHILD_GANG_BIT, ZIO_WAIT_READY)) {
197- return (ZIO_PIPELINE_STOP);
198+ return (NULL);
199 }
200
201 if (!IO_IS_ALLOCATING(zio))
202- return (ZIO_PIPELINE_CONTINUE);
203+ return (zio);
204
205 if (zio->io_children_ready != NULL) {
206 /*
207@@ -1366,7 +1384,7 @@ zio_write_compress(zio_t *zio)
208 zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
209 ASSERT(spa_feature_is_active(spa,
210 SPA_FEATURE_EMBEDDED_DATA));
211- return (ZIO_PIPELINE_CONTINUE);
212+ return (zio);
213 } else {
214 /*
215 * Round up compressed size up to the ashift
216@@ -1459,10 +1477,10 @@ zio_write_compress(zio_t *zio)
217 zio->io_pipeline |= ZIO_STAGE_NOP_WRITE;
218 }
219 }
220- return (ZIO_PIPELINE_CONTINUE);
221+ return (zio);
222 }
223
224-static int
225+static zio_t *
226 zio_free_bp_init(zio_t *zio)
227 {
228 blkptr_t *bp = zio->io_bp;
229@@ -1472,7 +1490,7 @@ zio_free_bp_init(zio_t *zio)
230 zio->io_pipeline = ZIO_DDT_FREE_PIPELINE;
231 }
232
233- return (ZIO_PIPELINE_CONTINUE);
234+ return (zio);
235 }
236
237 /*
238@@ -1541,12 +1559,12 @@ zio_taskq_member(zio_t *zio, zio_taskq_type_t q)
239 return (B_FALSE);
240 }
241
242-static int
243+static zio_t *
244 zio_issue_async(zio_t *zio)
245 {
246 zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE);
247
248- return (ZIO_PIPELINE_STOP);
249+ return (NULL);
250 }
251
252 void
253@@ -1687,14 +1705,13 @@ __attribute__((always_inline))
254 static inline void
255 __zio_execute(zio_t *zio)
256 {
257- zio->io_executor = curthread;
258-
259 ASSERT3U(zio->io_queued_timestamp, >, 0);
260
261 while (zio->io_stage < ZIO_STAGE_DONE) {
262 enum zio_stage pipeline = zio->io_pipeline;
263 enum zio_stage stage = zio->io_stage;
264- int rv;
265+
266+ zio->io_executor = curthread;
267
268 ASSERT(!MUTEX_HELD(&zio->io_lock));
269 ASSERT(ISP2(stage));
270@@ -1736,12 +1753,16 @@ __zio_execute(zio_t *zio)
271
272 zio->io_stage = stage;
273 zio->io_pipeline_trace |= zio->io_stage;
274- rv = zio_pipeline[highbit64(stage) - 1](zio);
275
276- if (rv == ZIO_PIPELINE_STOP)
277- return;
278+ /*
279+ * The zio pipeline stage returns the next zio to execute
280+ * (typically the same as this one), or NULL if we should
281+ * stop.
282+ */
283+ zio = zio_pipeline[highbit64(stage) - 1](zio);
284
285- ASSERT(rv == ZIO_PIPELINE_CONTINUE);
286+ if (zio == NULL)
287+ return;
288 }
289 }
290
291@@ -2215,7 +2236,7 @@ zio_gang_tree_issue(zio_t *pio, zio_gang_node_t *gn, blkptr_t *bp, abd_t *data,
292 zio_nowait(zio);
293 }
294
295-static int
296+static zio_t *
297 zio_gang_assemble(zio_t *zio)
298 {
299 blkptr_t *bp = zio->io_bp;
300@@ -2227,16 +2248,16 @@ zio_gang_assemble(zio_t *zio)
301
302 zio_gang_tree_assemble(zio, bp, &zio->io_gang_tree);
303
304- return (ZIO_PIPELINE_CONTINUE);
305+ return (zio);
306 }
307
308-static int
309+static zio_t *
310 zio_gang_issue(zio_t *zio)
311 {
312 blkptr_t *bp = zio->io_bp;
313
314 if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT, ZIO_WAIT_DONE)) {
315- return (ZIO_PIPELINE_STOP);
316+ return (NULL);
317 }
318
319 ASSERT(BP_IS_GANG(bp) && zio->io_gang_leader == zio);
320@@ -2250,7 +2271,7 @@ zio_gang_issue(zio_t *zio)
321
322 zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
323
324- return (ZIO_PIPELINE_CONTINUE);
325+ return (zio);
326 }
327
328 static void
329@@ -2290,7 +2311,7 @@ zio_write_gang_done(zio_t *zio)
330 abd_put(zio->io_abd);
331 }
332
333-static int
334+static zio_t *
335 zio_write_gang_block(zio_t *pio)
336 {
337 spa_t *spa = pio->io_spa;
338@@ -2349,7 +2370,7 @@ zio_write_gang_block(zio_t *pio)
339 }
340
341 pio->io_error = error;
342- return (ZIO_PIPELINE_CONTINUE);
343+ return (pio);
344 }
345
346 if (pio == gio) {
347@@ -2423,7 +2444,7 @@ zio_write_gang_block(zio_t *pio)
348
349 zio_nowait(zio);
350
351- return (ZIO_PIPELINE_CONTINUE);
352+ return (pio);
353 }
354
355 /*
356@@ -2444,7 +2465,7 @@ zio_write_gang_block(zio_t *pio)
357 * used for nopwrite, assuming that the salt and the checksums
358 * themselves remain secret.
359 */
360-static int
361+static zio_t *
362 zio_nop_write(zio_t *zio)
363 {
364 blkptr_t *bp = zio->io_bp;
365@@ -2471,7 +2492,7 @@ zio_nop_write(zio_t *zio)
366 BP_GET_COMPRESS(bp) != BP_GET_COMPRESS(bp_orig) ||
367 BP_GET_DEDUP(bp) != BP_GET_DEDUP(bp_orig) ||
368 zp->zp_copies != BP_GET_NDVAS(bp_orig))
369- return (ZIO_PIPELINE_CONTINUE);
370+ return (zio);
371
372 /*
373 * If the checksums match then reset the pipeline so that we
374@@ -2491,7 +2512,7 @@ zio_nop_write(zio_t *zio)
375 zio->io_flags |= ZIO_FLAG_NOPWRITE;
376 }
377
378- return (ZIO_PIPELINE_CONTINUE);
379+ return (zio);
380 }
381
382 /*
383@@ -2519,7 +2540,7 @@ zio_ddt_child_read_done(zio_t *zio)
384 mutex_exit(&pio->io_lock);
385 }
386
387-static int
388+static zio_t *
389 zio_ddt_read_start(zio_t *zio)
390 {
391 blkptr_t *bp = zio->io_bp;
392@@ -2540,7 +2561,7 @@ zio_ddt_read_start(zio_t *zio)
393 zio->io_vsd = dde;
394
395 if (ddp_self == NULL)
396- return (ZIO_PIPELINE_CONTINUE);
397+ return (zio);
398
399 for (p = 0; p < DDT_PHYS_TYPES; p++, ddp++) {
400 if (ddp->ddp_phys_birth == 0 || ddp == ddp_self)
401@@ -2553,23 +2574,23 @@ zio_ddt_read_start(zio_t *zio)
402 zio->io_priority, ZIO_DDT_CHILD_FLAGS(zio) |
403 ZIO_FLAG_DONT_PROPAGATE, &zio->io_bookmark));
404 }
405- return (ZIO_PIPELINE_CONTINUE);
406+ return (zio);
407 }
408
409 zio_nowait(zio_read(zio, zio->io_spa, bp,
410 zio->io_abd, zio->io_size, NULL, NULL, zio->io_priority,
411 ZIO_DDT_CHILD_FLAGS(zio), &zio->io_bookmark));
412
413- return (ZIO_PIPELINE_CONTINUE);
414+ return (zio);
415 }
416
417-static int
418+static zio_t *
419 zio_ddt_read_done(zio_t *zio)
420 {
421 blkptr_t *bp = zio->io_bp;
422
423 if (zio_wait_for_children(zio, ZIO_CHILD_DDT_BIT, ZIO_WAIT_DONE)) {
424- return (ZIO_PIPELINE_STOP);
425+ return (NULL);
426 }
427
428 ASSERT(BP_GET_DEDUP(bp));
429@@ -2581,12 +2602,12 @@ zio_ddt_read_done(zio_t *zio)
430 ddt_entry_t *dde = zio->io_vsd;
431 if (ddt == NULL) {
432 ASSERT(spa_load_state(zio->io_spa) != SPA_LOAD_NONE);
433- return (ZIO_PIPELINE_CONTINUE);
434+ return (zio);
435 }
436 if (dde == NULL) {
437 zio->io_stage = ZIO_STAGE_DDT_READ_START >> 1;
438 zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE);
439- return (ZIO_PIPELINE_STOP);
440+ return (NULL);
441 }
442 if (dde->dde_repair_abd != NULL) {
443 abd_copy(zio->io_abd, dde->dde_repair_abd,
444@@ -2599,7 +2620,7 @@ zio_ddt_read_done(zio_t *zio)
445
446 ASSERT(zio->io_vsd == NULL);
447
448- return (ZIO_PIPELINE_CONTINUE);
449+ return (zio);
450 }
451
452 static boolean_t
453@@ -2780,7 +2801,7 @@ zio_ddt_ditto_write_done(zio_t *zio)
454 ddt_exit(ddt);
455 }
456
457-static int
458+static zio_t *
459 zio_ddt_write(zio_t *zio)
460 {
461 spa_t *spa = zio->io_spa;
462@@ -2822,7 +2843,7 @@ zio_ddt_write(zio_t *zio)
463 }
464 zio->io_pipeline = ZIO_WRITE_PIPELINE;
465 ddt_exit(ddt);
466- return (ZIO_PIPELINE_CONTINUE);
467+ return (zio);
468 }
469
470 ditto_copies = ddt_ditto_copies_needed(ddt, dde, ddp);
471@@ -2848,7 +2869,7 @@ zio_ddt_write(zio_t *zio)
472 zio->io_bp_override = NULL;
473 BP_ZERO(bp);
474 ddt_exit(ddt);
475- return (ZIO_PIPELINE_CONTINUE);
476+ return (zio);
477 }
478
479 dio = zio_write(zio, spa, txg, bp, zio->io_orig_abd,
480@@ -2890,12 +2911,12 @@ zio_ddt_write(zio_t *zio)
481 if (dio)
482 zio_nowait(dio);
483
484- return (ZIO_PIPELINE_CONTINUE);
485+ return (zio);
486 }
487
488 ddt_entry_t *freedde; /* for debugging */
489
490-static int
491+static zio_t *
492 zio_ddt_free(zio_t *zio)
493 {
494 spa_t *spa = zio->io_spa;
495@@ -2916,7 +2937,7 @@ zio_ddt_free(zio_t *zio)
496 }
497 ddt_exit(ddt);
498
499- return (ZIO_PIPELINE_CONTINUE);
500+ return (zio);
501 }
502
503 /*
504@@ -2953,7 +2974,7 @@ zio_io_to_allocate(spa_t *spa)
505 return (zio);
506 }
507
508-static int
509+static zio_t *
510 zio_dva_throttle(zio_t *zio)
511 {
512 spa_t *spa = zio->io_spa;
513@@ -2963,7 +2984,7 @@ zio_dva_throttle(zio_t *zio)
514 !spa_normal_class(zio->io_spa)->mc_alloc_throttle_enabled ||
515 zio->io_child_type == ZIO_CHILD_GANG ||
516 zio->io_flags & ZIO_FLAG_NODATA) {
517- return (ZIO_PIPELINE_CONTINUE);
518+ return (zio);
519 }
520
521 ASSERT(zio->io_child_type > ZIO_CHILD_GANG);
522@@ -2979,22 +3000,7 @@ zio_dva_throttle(zio_t *zio)
523 nio = zio_io_to_allocate(zio->io_spa);
524 mutex_exit(&spa->spa_alloc_lock);
525
526- if (nio == zio)
527- return (ZIO_PIPELINE_CONTINUE);
528-
529- if (nio != NULL) {
530- ASSERT(nio->io_stage == ZIO_STAGE_DVA_THROTTLE);
531- /*
532- * We are passing control to a new zio so make sure that
533- * it is processed by a different thread. We do this to
534- * avoid stack overflows that can occur when parents are
535- * throttled and children are making progress. We allow
536- * it to go to the head of the taskq since it's already
537- * been waiting.
538- */
539- zio_taskq_dispatch(nio, ZIO_TASKQ_ISSUE, B_TRUE);
540- }
541- return (ZIO_PIPELINE_STOP);
542+ return (nio);
543 }
544
545 void
546@@ -3013,7 +3019,7 @@ zio_allocate_dispatch(spa_t *spa)
547 zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_TRUE);
548 }
549
550-static int
551+static zio_t *
552 zio_dva_allocate(zio_t *zio)
553 {
554 spa_t *spa = zio->io_spa;
555@@ -3054,18 +3060,18 @@ zio_dva_allocate(zio_t *zio)
556 zio->io_error = error;
557 }
558
559- return (ZIO_PIPELINE_CONTINUE);
560+ return (zio);
561 }
562
563-static int
564+static zio_t *
565 zio_dva_free(zio_t *zio)
566 {
567 metaslab_free(zio->io_spa, zio->io_bp, zio->io_txg, B_FALSE);
568
569- return (ZIO_PIPELINE_CONTINUE);
570+ return (zio);
571 }
572
573-static int
574+static zio_t *
575 zio_dva_claim(zio_t *zio)
576 {
577 int error;
578@@ -3074,7 +3080,7 @@ zio_dva_claim(zio_t *zio)
579 if (error)
580 zio->io_error = error;
581
582- return (ZIO_PIPELINE_CONTINUE);
583+ return (zio);
584 }
585
586 /*
587@@ -3172,7 +3178,7 @@ zio_free_zil(spa_t *spa, uint64_t txg, blkptr_t *bp)
588 * force the underlying vdev layers to call either zio_execute() or
589 * zio_interrupt() to ensure that the pipeline continues with the correct I/O.
590 */
591-static int
592+static zio_t *
593 zio_vdev_io_start(zio_t *zio)
594 {
595 vdev_t *vd = zio->io_vd;
596@@ -3192,7 +3198,7 @@ zio_vdev_io_start(zio_t *zio)
597 * The mirror_ops handle multiple DVAs in a single BP.
598 */
599 vdev_mirror_ops.vdev_op_io_start(zio);
600- return (ZIO_PIPELINE_STOP);
601+ return (NULL);
602 }
603
604 ASSERT3P(zio->io_logical, !=, zio);
605@@ -3269,31 +3275,31 @@ zio_vdev_io_start(zio_t *zio)
606 !vdev_dtl_contains(vd, DTL_PARTIAL, zio->io_txg, 1)) {
607 ASSERT(zio->io_type == ZIO_TYPE_WRITE);
608 zio_vdev_io_bypass(zio);
609- return (ZIO_PIPELINE_CONTINUE);
610+ return (zio);
611 }
612
613 if (vd->vdev_ops->vdev_op_leaf &&
614 (zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE)) {
615
616 if (zio->io_type == ZIO_TYPE_READ && vdev_cache_read(zio))
617- return (ZIO_PIPELINE_CONTINUE);
618+ return (zio);
619
620 if ((zio = vdev_queue_io(zio)) == NULL)
621- return (ZIO_PIPELINE_STOP);
622+ return (NULL);
623
624 if (!vdev_accessible(vd, zio)) {
625 zio->io_error = SET_ERROR(ENXIO);
626 zio_interrupt(zio);
627- return (ZIO_PIPELINE_STOP);
628+ return (NULL);
629 }
630 zio->io_delay = gethrtime();
631 }
632
633 vd->vdev_ops->vdev_op_io_start(zio);
634- return (ZIO_PIPELINE_STOP);
635+ return (NULL);
636 }
637
638-static int
639+static zio_t *
640 zio_vdev_io_done(zio_t *zio)
641 {
642 vdev_t *vd = zio->io_vd;
643@@ -3301,7 +3307,7 @@ zio_vdev_io_done(zio_t *zio)
644 boolean_t unexpected_error = B_FALSE;
645
646 if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) {
647- return (ZIO_PIPELINE_STOP);
648+ return (NULL);
649 }
650
651 ASSERT(zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE);
652@@ -3337,7 +3343,7 @@ zio_vdev_io_done(zio_t *zio)
653 if (unexpected_error)
654 VERIFY(vdev_probe(vd, zio) == NULL);
655
656- return (ZIO_PIPELINE_CONTINUE);
657+ return (zio);
658 }
659
660 /*
661@@ -3366,13 +3372,13 @@ zio_vsd_default_cksum_report(zio_t *zio, zio_cksum_report_t *zcr, void *ignored)
662 zcr->zcr_free = zio_abd_free;
663 }
664
665-static int
666+static zio_t *
667 zio_vdev_io_assess(zio_t *zio)
668 {
669 vdev_t *vd = zio->io_vd;
670
671 if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) {
672- return (ZIO_PIPELINE_STOP);
673+ return (NULL);
674 }
675
676 if (vd == NULL && !(zio->io_flags & ZIO_FLAG_CONFIG_WRITER))
677@@ -3402,7 +3408,7 @@ zio_vdev_io_assess(zio_t *zio)
678 zio->io_stage = ZIO_STAGE_VDEV_IO_START >> 1;
679 zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE,
680 zio_requeue_io_start_cut_in_line);
681- return (ZIO_PIPELINE_STOP);
682+ return (NULL);
683 }
684
685 /*
686@@ -3442,7 +3448,7 @@ zio_vdev_io_assess(zio_t *zio)
687 zio->io_physdone(zio->io_logical);
688 }
689
690- return (ZIO_PIPELINE_CONTINUE);
691+ return (zio);
692 }
693
694 void
695@@ -3477,7 +3483,7 @@ zio_vdev_io_bypass(zio_t *zio)
696 * Generate and verify checksums
697 * ==========================================================================
698 */
699-static int
700+static zio_t *
701 zio_checksum_generate(zio_t *zio)
702 {
703 blkptr_t *bp = zio->io_bp;
704@@ -3491,7 +3497,7 @@ zio_checksum_generate(zio_t *zio)
705 checksum = zio->io_prop.zp_checksum;
706
707 if (checksum == ZIO_CHECKSUM_OFF)
708- return (ZIO_PIPELINE_CONTINUE);
709+ return (zio);
710
711 ASSERT(checksum == ZIO_CHECKSUM_LABEL);
712 } else {
713@@ -3505,10 +3511,10 @@ zio_checksum_generate(zio_t *zio)
714
715 zio_checksum_compute(zio, checksum, zio->io_abd, zio->io_size);
716
717- return (ZIO_PIPELINE_CONTINUE);
718+ return (zio);
719 }
720
721-static int
722+static zio_t *
723 zio_checksum_verify(zio_t *zio)
724 {
725 zio_bad_cksum_t info;
726@@ -3523,7 +3529,7 @@ zio_checksum_verify(zio_t *zio)
727 * We're either verifying a label checksum, or nothing at all.
728 */
729 if (zio->io_prop.zp_checksum == ZIO_CHECKSUM_OFF)
730- return (ZIO_PIPELINE_CONTINUE);
731+ return (zio);
732
733 ASSERT(zio->io_prop.zp_checksum == ZIO_CHECKSUM_LABEL);
734 }
735@@ -3538,7 +3544,7 @@ zio_checksum_verify(zio_t *zio)
736 }
737 }
738
739- return (ZIO_PIPELINE_CONTINUE);
740+ return (zio);
741 }
742
743 /*
744@@ -3581,7 +3587,7 @@ zio_worst_error(int e1, int e2)
745 * I/O completion
746 * ==========================================================================
747 */
748-static int
749+static zio_t *
750 zio_ready(zio_t *zio)
751 {
752 blkptr_t *bp = zio->io_bp;
753@@ -3590,7 +3596,7 @@ zio_ready(zio_t *zio)
754
755 if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT | ZIO_CHILD_DDT_BIT,
756 ZIO_WAIT_READY)) {
757- return (ZIO_PIPELINE_STOP);
758+ return (NULL);
759 }
760
761 if (zio->io_ready) {
762@@ -3636,7 +3642,7 @@ zio_ready(zio_t *zio)
763 */
764 for (; pio != NULL; pio = pio_next) {
765 pio_next = zio_walk_parents(zio, &zl);
766- zio_notify_parent(pio, zio, ZIO_WAIT_READY);
767+ zio_notify_parent(pio, zio, ZIO_WAIT_READY, NULL);
768 }
769
770 if (zio->io_flags & ZIO_FLAG_NODATA) {
771@@ -3652,7 +3658,7 @@ zio_ready(zio_t *zio)
772 zio->io_spa->spa_syncing_txg == zio->io_txg)
773 zio_handle_ignored_writes(zio);
774
775- return (ZIO_PIPELINE_CONTINUE);
776+ return (zio);
777 }
778
779 /*
780@@ -3716,7 +3722,7 @@ zio_dva_throttle_done(zio_t *zio)
781 zio_allocate_dispatch(zio->io_spa);
782 }
783
784-static int
785+static zio_t *
786 zio_done(zio_t *zio)
787 {
788 /*
789@@ -3733,7 +3739,7 @@ zio_done(zio_t *zio)
790 * wait for them and then repeat this pipeline stage.
791 */
792 if (zio_wait_for_children(zio, ZIO_CHILD_ALL_BITS, ZIO_WAIT_DONE)) {
793- return (ZIO_PIPELINE_STOP);
794+ return (NULL);
795 }
796
797 /*
798@@ -3957,7 +3963,12 @@ zio_done(zio_t *zio)
799 if ((pio->io_flags & ZIO_FLAG_GODFATHER) &&
800 (zio->io_reexecute & ZIO_REEXECUTE_SUSPEND)) {
801 zio_remove_child(pio, zio, remove_zl);
802- zio_notify_parent(pio, zio, ZIO_WAIT_DONE);
803+ /*
804+ * This is a rare code path, so we don't
805+ * bother with "next_to_execute".
806+ */
807+ zio_notify_parent(pio, zio, ZIO_WAIT_DONE,
808+ NULL);
809 }
810 }
811
812@@ -3969,7 +3980,11 @@ zio_done(zio_t *zio)
813 */
814 ASSERT(!(zio->io_flags & ZIO_FLAG_GODFATHER));
815 zio->io_flags |= ZIO_FLAG_DONT_PROPAGATE;
816- zio_notify_parent(pio, zio, ZIO_WAIT_DONE);
817+ /*
818+ * This is a rare code path, so we don't bother with
819+ * "next_to_execute".
820+ */
821+ zio_notify_parent(pio, zio, ZIO_WAIT_DONE, NULL);
822 } else if (zio->io_reexecute & ZIO_REEXECUTE_SUSPEND) {
823 /*
824 * We'd fail again if we reexecuted now, so suspend
825@@ -3987,7 +4002,7 @@ zio_done(zio_t *zio)
826 (task_func_t *)zio_reexecute, zio, 0,
827 &zio->io_tqent);
828 }
829- return (ZIO_PIPELINE_STOP);
830+ return (NULL);
831 }
832
833 ASSERT(zio->io_child_count == 0);
834@@ -4023,12 +4038,17 @@ zio_done(zio_t *zio)
835 zio->io_state[ZIO_WAIT_DONE] = 1;
836 mutex_exit(&zio->io_lock);
837
838+ /*
839+ * We are done executing this zio. We may want to execute a parent
840+ * next. See the comment in zio_notify_parent().
841+ */
842+ zio_t *next_to_execute = NULL;
843 zl = NULL;
844 for (pio = zio_walk_parents(zio, &zl); pio != NULL; pio = pio_next) {
845 zio_link_t *remove_zl = zl;
846 pio_next = zio_walk_parents(zio, &zl);
847 zio_remove_child(pio, zio, remove_zl);
848- zio_notify_parent(pio, zio, ZIO_WAIT_DONE);
849+ zio_notify_parent(pio, zio, ZIO_WAIT_DONE, &next_to_execute);
850 }
851
852 if (zio->io_waiter != NULL) {
853@@ -4040,7 +4060,7 @@ zio_done(zio_t *zio)
854 zio_destroy(zio);
855 }
856
857- return (ZIO_PIPELINE_STOP);
858+ return (next_to_execute);
859 }
860
861 /*
ZFS on Linux kernel module and userland packages for Proxmox projects