AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 79566144
Accepted
Ash
Ash
Asked: 2025-04-10 16:41:01 +0800 CST2025-04-10 16:41:01 +0800 CST 2025-04-10 16:41:01 +0800 CST

Como usar corretamente os retornos de chamada de renderização do CoreAudio no Swift

  • 772

Recentemente, voltei a me interessar por áudio gerado, mas estou com um pouco de dificuldade. Tenho seguido este tutorial e convertido para Swift:

https://gist.github.com/gcatlin/0dd61f19d40804173d015c01a80461b8

No entanto, quando reproduzo por áudio, tudo o que obtenho são alguns efeitos de ruído branco bastante desagradáveis, em vez do tom puro que eu esperava. Aqui está o código que estou usando para criar a unidade de tom:

private func createToneUnit() throws {
    // Configure the search parameters to find the default playback output unit
    var outputDesc = AudioComponentDescription()
    outputDesc.componentType = kAudioUnitType_Output
    outputDesc.componentSubType = kAudioUnitSubType_RemoteIO
    outputDesc.componentManufacturer = kAudioUnitManufacturer_Apple
    outputDesc.componentFlags = 0
    outputDesc.componentFlagsMask = 0
    
    // Get the default playback output unit
    guard let output = AudioComponentFindNext(nil, &outputDesc) else {
        throw AudioError.cannotFindOutput
    }
    
    // Create a new unit based on this that we'll use for output
    var error = AudioComponentInstanceNew(output, &toneUnit)
    guard let toneUnit = toneUnit, error == noErr else {
        throw AudioError.cannotCreateComponent
    }
    
    // Set our tone rendering function on the unit
    var callback = AURenderCallbackStruct()
    callback.inputProcRefCon = UnsafeMutableRawPointer(Unmanaged.passUnretained(self).toOpaque())
    callback.inputProc = {
        (userData, actionFlags, timeStamp, busNumber, frameCount, data) -> OSStatus in
        let _self = Unmanaged<MainViewController>.fromOpaque(userData).takeUnretainedValue()
        return _self.renderTone(actionFlags: actionFlags, timeStamp: timeStamp, busNumber: busNumber, frameCount: frameCount, data: data)
    }
    
    error = AudioUnitSetProperty(
        toneUnit,
        kAudioUnitProperty_SetRenderCallback,
        kAudioUnitScope_Input,
        0,
        &callback,
        UInt32(MemoryLayout.size(ofValue: callback))
    )
    
    guard error == noErr else {
        throw AudioError.cannotSetCallback
    }
            
    // Set the format to 32 bit, single channel, floating point, linear PCM
    var streamFormat = AudioStreamBasicDescription()
    streamFormat.mSampleRate = sampleRate
    streamFormat.mFormatID = kAudioFormatLinearPCM
    streamFormat.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked
    streamFormat.mFramesPerPacket = 1
    streamFormat.mChannelsPerFrame = 1
    streamFormat.mBitsPerChannel = 16
    streamFormat.mBytesPerFrame = streamFormat.mChannelsPerFrame * streamFormat.mBitsPerChannel / 8
    streamFormat.mBytesPerPacket = streamFormat.mBytesPerFrame * streamFormat.mFramesPerPacket
    
    error = AudioUnitSetProperty(
        toneUnit,
        kAudioUnitProperty_StreamFormat,
        kAudioUnitScope_Input,
        0,
        &streamFormat,
        UInt32(MemoryLayout<AudioStreamBasicDescription>.size)
    )
    
    guard error == noErr else {
        throw AudioError.cannotSetStreamFormat
    }
}

E aqui está a função render:

func renderTone(
    actionFlags: UnsafeMutablePointer<AudioUnitRenderActionFlags>,
    timeStamp: UnsafePointer<AudioTimeStamp>,
    busNumber: UInt32,
    frameCount: UInt32,
    data: UnsafeMutablePointer<AudioBufferList>?
) -> OSStatus {
    // Get buffer
    let bufferList = UnsafeMutableAudioBufferListPointer(data!)
    let increment = MainViewController.fullCycle * frequency / sampleRate
    
    // Generate samples
    for buffer in bufferList {
        for frame in 0 ..< frameCount {
            if let audioData = buffer.mData?.assumingMemoryBound(to: Float64.self) {
                audioData[Int(frame)] = sin(theta) * amplitude
            }
            
            // Note: this would NOT work for a stereo output
            theta += increment
            while theta > MainViewController.fullCycle {
                theta -= MainViewController.fullCycle
            }
        }
    }
    
    return noErr;
}

Alguém vê algo obviamente ruim nisso? Eu realmente preferiria usar Swift em vez de Obj C, mas não consigo encontrar um exemplo prático de como fazer isso, apenas alguns exemplos parciais (reconhecidamente úteis) sobre como configurar coisas que não executam nenhuma renderização de tom.

  • 1 1 respostas
  • 24 Views

1 respostas

  • Voted
  1. Best Answer
    Gordon Childs
    2025-04-10T18:27:10+08:002025-04-10T18:27:10+08:00

    Você informou à unidade de áudio IO remota que iria fornecer dados inteiros:

    streamFormat.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked
    

    Mas então você deu a ele dados float, o que soa ruim quando interpretado como inteiro (e também sobrecarrega a memória porque Float64s são maiores que Int16s).

    if let audioData = buffer.mData?.assumingMemoryBound(to: Float64.self) {
        audioData[Int(frame)] = sin(theta) * amplitude
    }
    

    Portanto, você deve fazer com que os dois concordem. Uma maneira é fazer com que o retorno de chamada de renderização corresponda ao formato do fluxo, produzindo dados inteiros de 16 bits:

    if let audioData = buffer.mData?.assumingMemoryBound(to: Int16.self) {
       audioData[Int(frame)] = Int16(sin(theta) * amplitude * 32767)
    }
    

    Ou você poderia continuar produzindo dados flutuantes (talvez não flutuantes de 64 bits, não tenho certeza se isso é suportado) e fazer o formato do fluxo corresponder a isso. Você provavelmente precisará de algumas conversões rápidas para corrigir.

    O que me leva a outro problema provável. Tenho quase certeza de que o Swift ainda quebra as regras de áudio em tempo real que você pode ler neste artigo (observação: o artigo é anterior ao Swift), então, ao usar o Swift em um retorno de chamada de renderização ou API semelhante, você pode ouvir cliques/estalos e interrupções.

    • 1

relate perguntas

  • Adicionar número de série para atividade de cópia ao blob

  • A fonte dinâmica do empacotador duplica artefatos

  • Selecione linhas por grupo com 1s consecutivos

  • Lista de chamada de API de gráfico subscritoSkus estados Privilégios insuficientes enquanto os privilégios são concedidos

  • Função para criar DFs separados com base no valor da coluna

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Reformatar números, inserindo separadores em posições fixas

    • 6 respostas
  • Marko Smith

    Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não?

    • 2 respostas
  • Marko Smith

    Problema com extensão desinstalada automaticamente do VScode (tema Material)

    • 2 respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Martin Hope
    Fantastic Mr Fox Somente o tipo copiável não é aceito na implementação std::vector do MSVC 2025-04-23 06:40:49 +0800 CST
  • Martin Hope
    Howard Hinnant Encontre o próximo dia da semana usando o cronógrafo 2025-04-21 08:30:25 +0800 CST
  • Martin Hope
    Fedor O inicializador de membro do construtor pode incluir a inicialização de outro membro? 2025-04-15 01:01:44 +0800 CST
  • Martin Hope
    Petr Filipský Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não? 2025-03-23 21:39:40 +0800 CST
  • Martin Hope
    Catskul O C++20 mudou para permitir a conversão de `type(&)[N]` de matriz de limites conhecidos para `type(&)[]` de matriz de limites desconhecidos? 2025-03-04 06:57:53 +0800 CST
  • Martin Hope
    Stefan Pochmann Como/por que {2,3,10} e {x,3,10} com x=2 são ordenados de forma diferente? 2025-01-13 23:24:07 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve