regex para o padrão de um espaço opcional antes das palavras chinesas em lua

1. Os padrões Lua não são expressões regulares. As expressões regulares possuem características que os padrões Lua não possuem (por exemplo, agrupamento, possivelmente aninhado e escolha), e os padrões Lua possuem características que as expressões regulares (pelo menos no sentido linguístico formal) não possuem (por exemplo, %b, %1).
2. Você está certo: os padrões Lua não operam em "pontos de código", eles operam em bytes. É por isso que \u{4e00}-\u{9FFF}não funciona: o que Lua vê aqui é \228\184\128-\233\191\191equivalente a \184\191\228\128-\233, o que é muito diferente do que você deseja (notavelmente, o intervalo é repentinamente de \128a \233). Considero a interação de -"caracteres" multibyte que aparecem como um único ponto de código nas fontes um pouco como uma arma de fogo.

Como você deseja uma solução Lua pura, e dada a simplicidade do seu padrão, uma solução artesanal é viável:

local codepoints = {}
for _, c in utf8.codes(s) do
    if utf8.char(c):match"^%s$" and codepoints[1] == nil then
        codepoints[1] = c
    elseif c >= 0x4e00 and c <= 0x9FFF then
        table.insert(codepoints, c)
    else
        codepoints = {}
    end
end
local match = utf8.char(table.unpack(codepoints))
if match:match"^%s?$" then match = nil end -- single space or empty string