主页 / coding / 问题 / 79350142
Accepted
mahkitah
Asked: 2025-01-12 23:18:14 +0800 CST

迭代器+多线程在 for 循环中失败

  • 772

我有一个自制的迭代器，我想循环它，在线程池中执行一些昂贵的处理，并按输入顺序收集结果。

我使用这个链：
Iterator > enumerate() > rayon par_bridge() > map()

当我使用此链并将collect()其放入向量中时，没有任何问题，但当我使用 for 循环时，我收到错误，提示某些内容不是迭代器。
我不明白其中的区别。

这是 MRE：

use std::vec::IntoIter;
use rayon::prelude::*;

fn main() {
    // collecting();
    for_loop();
}

fn collecting() {
    let some_vec = (1..100).collect::<Vec<u8>>();
    let x_iter = AA {y: some_vec.into_iter()};
    
    let with_index: Vec<(usize, u8)> = x_iter
        .enumerate()
        .par_bridge()
        .map(|(i, x)| {(i, x - 1)})
        .collect();

    println!("{:?}", with_index);
}

fn for_loop() {
    let some_vec = (1..100).collect::<Vec<u8>>();
    let x_iter = AA {y: some_vec.into_iter()};

    let mut with_index: Vec<(usize, u8)> = Vec::with_capacity(99);
    for x in x_iter
        .enumerate()
        .par_bridge() // with this line commented out it works fine
        .map(|(i, x)| {(i, x - 1)})
    {
        with_index.push(x);
    }
    println!("{:?}", with_index);
}


struct AA {
    y: IntoIter<u8>
}

impl Iterator for AA {
    type Item = u8;

    fn next(&mut self) -> Option<u8> {
        self.y.next()
    }
}

该collecting函数运行正常。
该for_loop函数给出以下错误：

rayon::iter::Map<IterBridgestd::iter::Enumerate<AA>, {closure@src/main.rs:30:14: 30:22}> 不是迭代器

请解释我为什么会收到这个错误。

multithreading

2 个回答

  1. Best Answer

    这里的期望存在错误：编译器抱怨rayon::iter::Map<_>不是迭代器，因此不能在for-循环中使用，因为 - 嗯 -rayon::iter::Map<_>不是迭代器：类型未实现std::iter::IntoIterator，而这需要在 -循环中使用for。它确实实现了rayon::iter::ParallelIterator，但这仅允许使用其rayon自身的方式进行并行迭代。Rust 编译器无法对 进行脱糖rayon::iter::Map<_>，并执行您想要的操作；即使它（以某种方式）做到了，来自rayon迭代器的项目也会以未指定的顺序可用，并在不同的线程上处理，所有这些都需要同时对 进行可变访问with_index，这永远无法工作。

    您可能想看一下rayon::iter::ParallelIterator::for_each()。但即使这样，您仍会注意到，由于上述问题，您无法从给定的闭包中.push()获取单个。Vecfor_each()

    • 2

  2. 正如另一个答案中所述，您不能for在并行迭代器上使用循环，因为for它需要一个迭代器，而迭代器基本上是单线程的。Rayon 的并行迭代器提供了for_each()您可以改用的方法。要创建可行的解决方案，您还需要将向量放在后面Mutex以允许从多个线程推送。（还有其他方法，但这是迄今为止最简单的方法。）例如，这可以编译并按预期工作：

    let with_index: Mutex<Vec<(usize, u8)>> = Mutex::new(Vec::with_capacity(99));
x_iter.enumerate().par_bridge().for_each(|(i, x)| {
    with_index.lock().unwrap().push((i, x - 1));
});
let with_index = with_index.into_inner().unwrap();
println!("{:?}", with_index);

    操场

    • 0

相关问题