Como descartar propriedade que está sendo escrita no conversor json?

Para isso, você precisa combinar lógica de conversão personalizada com o tratamento de valores nulos. O problema que você está enfrentando surge porque o valor nulo produzido pelo seu conversor não aciona o comportamento NullValueHandling.Ignore. Isso pode ser resolvido ajustando como você serializa seus objetos.

Conversor personalizado: seu MyJsonConverter deve manipular double.NaN convertendo-o para nulo e formatando doubles válidos usando o formato G3, como você já fez.

Custom Contract Resolver: Para pular propriedades com valores nulos produzidos pelo conversor, você pode usar um custom contract resolver. Este resolver excluirá propriedades com valores nulos do processo de serialização.

Código:

using Newtonsoft.Json;
using Newtonsoft.Json.Serialization;
using System;
using System.Globalization;

public class MyJsonConverter : JsonConverter
{
    public override bool CanConvert(Type objectType) => objectType == typeof(double) || objectType == typeof(double?);

    public override void WriteJson(JsonWriter writer, object? value, JsonSerializer serializer)
    {
        if (value is double input && double.IsFinite(input))
            writer.WriteRawValue(input.ToString("G3", NumberFormatInfo.InvariantInfo));
        else
            writer.WriteNull();
    }

    public override object? ReadJson(JsonReader reader, Type objectType, object? existingValue, JsonSerializer serializer) => throw new NotImplementedException();
}

public class SkipNullPropertyContractResolver : DefaultContractResolver
{
    protected override JsonProperty CreateProperty(System.Reflection.MemberInfo member, MemberSerialization memberSerialization)
    {
        var property = base.CreateProperty(member, memberSerialization);

        // Override the ShouldSerialize method to check if the value is null after applying the converter
        property.ShouldSerialize = instance =>
        {
            var value = property.ValueProvider.GetValue(instance);
            if (value == null)
                return false;

            // Use a dummy JsonWriter to determine if the converter will output null
            using (var writer = new System.IO.StringWriter())
            {
                var jsonWriter = new JsonTextWriter(writer);
                var serializer = new JsonSerializer();
                serializer.Converters.Add(new MyJsonConverter());

                serializer.Serialize(jsonWriter, value);
                var serializedValue = writer.ToString();

                return serializedValue != "null";
            }
        };

        return property;
    }
}

public record A(
    double d,
    double? nd1,
    double? nd2,
    double? nd3,
    double[] da,
    double?[] nda)
{ }

class Program
{
    static void Main(string[] args)
    {
        var test = new A(
            d: 1.23456789,
            nd1: 1.23456789,
            nd2: null,
            nd3: double.NaN,
            da: new[] { 1.23456789 },
            nda: new double?[] { 1.23456789, null, double.NaN });

        var settings = new JsonSerializerSettings
        {
            NullValueHandling = NullValueHandling.Ignore,
            Converters = { new MyJsonConverter() },
            ContractResolver = new SkipNullPropertyContractResolver()
        };

        var json = JsonConvert.SerializeObject(test, settings);
        Console.WriteLine(json);
    }
}

Saída esperada:

{"d":1.23,"nd1":1.23,"da":[1.23],"nda":[1.23,null,null]}

Dessa forma, você garante que propriedades com valores nulos, sejam elas inicialmente nulas ou convertidas em nulas pelo seu conversor personalizado, sejam excluídas da saída JSON.