AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 79253320
Accepted
Andorrax
Andorrax
Asked: 2024-12-05 11:30:57 +0800 CST2024-12-05 11:30:57 +0800 CST 2024-12-05 11:30:57 +0800 CST

RejectedExecutionException ao usar ManagedBlocker em parallelStreams aninhados

  • 772

Esta é uma continuação desta postagem: Por que os fluxos paralelos internos são mais rápidos com novos pools do que com o commonPool para este cenário?

Desculpas antecipadas pelo muro de texto. Isto é para JDK 17.

Atualmente estou testando métodos com estes cenários:

  • Um externo parallelStreame um interno aninhado parallelStreamque costuma ManagedBlockerchamarThread::sleep
  • Um externo parallelStreame um interno aninhado parallelStreamque usa um FJPool diferente, mas também usa ManagedBlockerpara chamarThread::sleep

Veja como o código se parece:

public class NestedPerf {
  private static final ForkJoinPool sharedInnerPool = new ForkJoinPool();

  public static void main(String[] args){
//    testInnerParallelLoopWithSharedPoolAndManagedBlock(10000);
//    testInnerParallelLoopWithManagedBlock(2);
  }

  public static void testInnerParallelLoopWithSharedPoolAndManagedBlock(int limit){
    Map<Integer, Integer> threads = new ConcurrentHashMap<>();
    boolean threwException = false;
    for(int c = 0; c < limit; c++) {
      try {
        StateData.outerLoop.parallelStream().unordered().forEach(i -> {
          sharedInnerPool.submit(() -> StateData.innerLoop.parallelStream().unordered().forEach(j -> {
            try {
              ForkJoinPool.managedBlock(new SleepManagedBlocker(Duration.ofMillis(5)));
            } catch (InterruptedException e) {
              Thread.currentThread().interrupt();
            }
          })).join();
          int count = sharedInnerPool.getActiveThreadCount();
          threads.put(count, count);
        });
      } catch (Exception e) {
        System.out.println(e.getMessage());
        threwException = true;
        int count = ForkJoinPool.commonPool().getActiveThreadCount();
        threads.clear();
        threads.put(count, count);
        break;
      }
    }
    if(threwException){
      System.out.println("Exception thrown. Max Thread Count = "+  threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    } else {
      System.out.println( "Max Thread Count = " +threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    }
  }

  public static void testInnerParallelLoopWithManagedBlock(int limit){
    Map<Integer, Integer> threads = new ConcurrentHashMap<>();
    boolean threwException = false;
    for(int c = 0; c < limit; c++) {
      try {
        StateData.outerLoop.parallelStream().unordered().forEach(i -> {
          innerParallelLoopWithManagedBlock();
          int count = ForkJoinPool.commonPool().getActiveThreadCount();
          threads.put(count, count);
        });
      } catch (Exception e) {
        System.out.println(e.getMessage());
        threwException = true;
        int count = ForkJoinPool.commonPool().getActiveThreadCount();
        threads.clear();
        threads.put(count, count);
        break;
      }
    }
    if(threwException){
      System.out.println("Exception thrown. Max Thread Count = "+  threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    } else {
      System.out.println( "Max Thread Count = " +threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    }
  }
}

Como o título diz, o testInnerParallelLoopWithManagedBlockmétodo falha com a seguinte exceção:

java.util.concurrent.RejectedExecutionException: java.util.concurrent.RejectedExecutionException: Thread limit exceeded replacing blocked worker

Mas o testInnerParallelLoopWithSharedPoolAndManagedBlockmétodo funciona bem até uma contagem de 10.000 (e provavelmente mais, mas não testei além de 10.000).

Inicialmente, pensei que o problema poderia ser devido às interações entre fluxos paralelos aninhados e ManagedBlockeratuando no mesmo pool. Então, criei outro método de teste onde uso o mesmo FJPool personalizado compartilhado para loops internos e externos:

public static void testBothLoopsWithSharedPoolAndManagedBlock(int limit){
    Map<Integer, Integer> threads = new ConcurrentHashMap<>();
    boolean threwException = false;
    for(int c = 0; c < limit; c++) {
      try {
        sharedInnerPool.submit(()->StateData.outerLoop.parallelStream().unordered().forEach(i -> {
          sharedInnerPool.submit(() -> StateData.innerLoop.parallelStream().unordered().forEach(j -> {
            try {
              ForkJoinPool.managedBlock(new SleepManagedBlocker(Duration.ofMillis(5)));
            } catch (InterruptedException e) {
              Thread.currentThread().interrupt();
            }
          })).join();
          int count = sharedInnerPool.getActiveThreadCount();
          threads.put(count, count);
        })).join();
      } catch (Exception e) {
        System.out.println(e.getMessage());
        threwException = true;
        int count = ForkJoinPool.commonPool().getActiveThreadCount();
        threads.clear();
        threads.put(count, count);
        break;
      }
    }
    if(threwException){
      System.out.println("Exception thrown. Max Thread Count = "+  threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    } else {
      System.out.println( "Max Thread Count = " +threads.keySet().stream().max(Comparator.comparingInt(x->x)).orElse(-1));
    }
  }

Mas este funciona muito bem. Então o problema parece ser especificamente com ForkJoinPool.commonPool().

Alguém tem alguma ideia do que está acontecendo nos bastidores?

java
  • 1 1 respostas
  • 42 Views

1 respostas

  • Voted
  1. Best Answer
    Slaw
    2024-12-05T16:10:25+08:002024-12-05T16:10:25+08:00

    O comum 1 tem um tamanho máximo de pool relativamente baixo:ForkJoinPool

    Os parâmetros usados ​​para construir o pool comum podem ser controlados definindo as seguintes propriedades do sistema:

    • java.util.concurrent.ForkJoinPool.common.parallelism- o nível de paralelismo, um inteiro não negativo
    • java.util.concurrent.ForkJoinPool.common.threadFactory- o nome da classe de um ForkJoinPool.ForkJoinWorkerThreadFactory. O carregador de classes do sistema é usado para carregar esta classe.
    • java.util.concurrent.ForkJoinPool.common.exceptionHandler- o nome da classe de um Thread.UncaughtExceptionHandler. O carregador de classes do sistema é usado para carregar esta classe.
    • java.util.concurrent.ForkJoinPool.common.maximumSpares- o número máximo de threads extras permitidos para manter o paralelismo de destino (padrão 256) [ênfase adicionada] .

    O costume ForkJoinPoolque você está usando é criado chamando o construtor sem argumentos . Esse construtor:

    Cria um ForkJoinPoolcom paralelismo igual a Runtime.availableProcessors(), usando padrões para todos os outros parâmetros (veja ForkJoinPool(int, ForkJoinWorkerThreadFactory, UncaughtExceptionHandler, boolean, int, int, int, Predicate, long, TimeUnit)).

    O construtor vinculado por essa documentação diz o seguinte sobre o tamanho máximo do pool:

    maximumPoolSize- o número máximo de threads permitido. Quando o máximo é atingido, as tentativas de substituir threads bloqueadas falham. (No entanto, como a criação e o término de threads diferentes podem se sobrepor e podem ser gerenciados pela fábrica de threads fornecida, esse valor pode ser excedido temporariamente.) Para organizar o mesmo valor usado por padrão para o pool comum, use 256 mais o nível de paralelismo. (Por padrão, o pool comum permite um máximo de 256 threads sobressalentes.) Usar um valor (por exemplo Integer.MAX_VALUE) maior que o limite total de threads da implementação tem o mesmo efeito que usar esse limite (que é o padrão) [ênfase adicionada] .

    E se você olhar a nota de implementação na classe Javadoc , verá:

    Nota de implementação:

    Esta implementação restringe o número máximo de threads em execução a 32767 [ênfase adicionada] . Tentativas de criar pools com um número maior que o máximo resultam em IllegalArgumentException. Além disso, esta implementação rejeita tarefas enviadas (isto é, lançando RejectedExecutionException) somente quando o pool é desligado ou os recursos internos foram esgotados.

    Em resumo, seu costume ForkJoinPooltem um tamanho máximo de pool muito maior. Você provavelmente pode evitar isso RejectedExecutionExceptioncom o pool comum se aumentar o valor dos spares máximos definindo a java.util.concurrent.ForkJoinPool.common.maximumSparespropriedade do sistema.


    1. Os links são para o Java 23, mas até onde sei a documentação relevante não mudou desde o Java 17.

    • 1

relate perguntas

  • Lock Condition.notify está lançando java.lang.IllegalMonitorStateException

  • Resposta de microsserviço Muitos para Um não aparece no carteiro

  • Validação personalizada do SpringBoot Bean

  • Os soquetes Java são FIFO?

  • Por que não é possível / desencorajado definir um lado do servidor de tempo limite de solicitação?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle?

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Quando devo usar um std::inplace_vector em vez de um std::vector?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Marko Smith

    Estou tentando fazer o jogo pacman usando apenas o módulo Turtle Random e Math

    • 1 respostas
  • Martin Hope
    Aleksandr Dubinsky Por que a correspondência de padrões com o switch no InetAddress falha com 'não cobre todos os valores de entrada possíveis'? 2024-12-23 06:56:21 +0800 CST
  • Martin Hope
    Phillip Borge Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle? 2024-12-12 20:46:46 +0800 CST
  • Martin Hope
    Oodini Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores? 2024-12-12 06:27:11 +0800 CST
  • Martin Hope
    sleeptightAnsiC `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso? 2024-11-09 07:18:53 +0800 CST
  • Martin Hope
    The Mad Gamer Quando devo usar um std::inplace_vector em vez de um std::vector? 2024-10-29 23:01:00 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST
  • Martin Hope
    MarkB Por que o GCC gera código que executa condicionalmente uma implementação SIMD? 2024-02-17 06:17:14 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve