Como evitar que threads de trabalho fiquem ociosos até a próxima notificação de variável de condição

Digamos que eu tenha um monte de threads de trabalho esperando até que haja tarefas na fila.
Geralmente, você faz o produtor chamar a função de produção e, em seguida, notify_onepara que o thread de trabalho possa desbloquear e continuar.
No entanto, digamos que quando o produtor produziu, não há threads esperando no condition_variable. O produtor notificará, o que não fará nada. Então, um consumidor chega no condition_variablee waits, mas perdeu a notificação anterior.
Agora você tem uma tarefa em uma fila até que o produtor chame notificar NOVAMENTE, momento em que haverá duas tarefas na fila.

Minha pergunta é: como posso evitar que haja trabalhos na fila de espera quando há threads disponíveis?

Exemplo:

struct ThreadPool
{
    static inline std::mutex mutex;
    static inline std::condition_variable condition_var;

    static inline int number_of_things_to_consume = 0;

    static void consume()
    {
        std::unique_lock lock{ mutex };

        /* THE WORKER THREAD COULD BE WAITING HERE WITH SOMETHING IN THE QUEUE
        - BECAUSE THE PRODUCER CALLED NOTIFY ONE BUT NO THREAD WAS WAITING YET */
        condition_var.wait(lock, []() {return number_of_things_to_consume > 0; });

        /* CONSUME */
    }

    static void produce()
    {
        std::unique_lock lock{ mutex };
        ++number_of_things_to_consume;
        condition_var.notify_one();
    }
};