Por que aumentar a "resolução" de um cronômetro na verdade diminui a precisão?

Não trabalhei muito com timers no SwiftUI, mas, em geral, você não quer depender de timers para lhe dar o número exato de chamadas que você pede. (Eles ocasionalmente "pulam uma batida" se o sistema estiver ocupado no momento em que o timer deveria disparar.) Você deve usar um Timerpara atualizar sua UI e, em seguida, usar matemática com o objeto current Datee um end Datepara calcular a quantidade de tempo decorrido. (Então, volte para um timer que dispara uma vez por segundo, ou algumas vezes por segundo, mas calcule o número de segundos restantes com base no current Datecada vez que o timer dispara.)

Considere esta variação do seu código, que não perderá segundos:

import SwiftUI

struct ContentView: View {
    @State var startDate = Date()       /// For a countUp timer, the date the timer was started
    @State var endDate = Date()         /// For a count down timer, the Date when the timer will end.
    var totalSeconds: Int               /// For a countdown timer, the number of seconds to count.
    @State var timerSeconds: Int        /// The actual seconds of the timer, being counted down/up
    @State var timerRunning = false     /// Var to set and see if timer is running
    @State var countUp: Bool = false    /// True if the timer is counting up, false if counting down.

    init(totalSeconds: Int, countUp: Bool = false) {
        self.totalSeconds = totalSeconds
        self.countUp = countUp
        if countUp {
            self.timerSeconds = 0
        } else {
            self.timerSeconds = totalSeconds
        }
    }
    
    var body: some View {
        VStack(alignment: .center) {
            Spacer()
            /// For formatting the timer numbers
            let style = Duration.TimeFormatStyle(pattern: .minuteSecond)
            let formTimer = Duration.seconds(timerSeconds).formatted()
            let formTimerShort = Duration.seconds(timerSeconds).formatted(style)
            
            /// The main Timer If there are no hours we hide the hour number and make the timer bigger in this way.
            Text(timerSeconds < 3600 ? "\(formTimerShort)" : "\(formTimer)")
                .font(.system(size: 42))
                .bold()
                .foregroundColor(countUp || timerSeconds > 0 ? .blue : .red)
                .onReceive(Timer.publish(every: 1, on: .main, in: .common).autoconnect()) { _ in
                    if timerRunning {
                        if countUp {
                            timerSeconds = Int(round(Date().timeIntervalSinceReferenceDate) - startDate.timeIntervalSinceReferenceDate)

                        } else {
                            timerSeconds = Int(round(endDate.timeIntervalSinceReferenceDate - Date().timeIntervalSinceReferenceDate))
                            if timerSeconds <= 0 {
                                timerRunning = false
                            } else {
                                timerSeconds = Int(round(endDate.timeIntervalSinceReferenceDate - Date().timeIntervalSinceReferenceDate))
                            }
                        }
                    }
                }
                .onChange(of: countUp) {
                    if countUp {
                        timerSeconds = 0
                    } else {
                        timerSeconds = totalSeconds
                    }
                }
            /// The Start and Pause buttons
            if !timerRunning {
                Button(action: {
                    if countUp {
                        startDate = Date().addingTimeInterval(Double(-timerSeconds))
                    } else {
                        endDate = Date().addingTimeInterval(Double(timerSeconds))
                    }
                    timerRunning = true
                }) {
                    Text("Start")
                        .frame(width: 300, height: 75)
                        .font(.system(size: 60))
                }
            } else {
                Button(action: {
                    timerRunning = false
                }) {
                    Text("Pause")
                        .frame(width: 300, height: 75)
                        .font(.system(size: 60))
                }
            }
            
            Button(action: {
                if countUp {
                    timerSeconds = 0
                    startDate = Date()
                } else {
                    timerSeconds = totalSeconds
                    endDate = Date().addingTimeInterval(Double(timerSeconds))
                }
            }) {
                Text("Reset")
                    .frame(width: 300, height: 75)
                    .font(.system(size: 60))
            }
            Spacer()
            HStack {
                Spacer()
                Toggle("Count up", isOn: $countUp)
                    .frame(width: 150)
                    .disabled(timerRunning)
                Spacer()
            }
        }
    }
}


#Preview {
    ContentView(totalSeconds: 5 * 60, countUp: false)
}

A imprecisão é provavelmente porque o timer é perdido toda vez que dispara e o problema é agravado pelo uso indevido de onChange. Para evitar que ele seja perdido, o publicador do timer precisa ser um estado, por exemplo

@State var timer: Publisher? = Timer.publish(every: 1, on: .main, in: .common).autoconnect()

var isRunning: Bool {
    timer != nil
}

…

.onReceive(timer)

onChange é para ações externas, não para atualizar o estado. O estado já deve ter o valor correto antes de body ser chamado.

Além disso, o if dentro do corpo quebra a identidade do SwiftUIs, causando alocações extras de heap e o deixando lento. Você deve ter uma única declaração de Button e usar if dentro de seus parâmetros.