Como posso forçar o uso do "Gentium Plus" para matemática e proibir completamente a transição para a fonte padrão (seria melhor ter ▯ em vez de símbolos)?

Não parece haver uma fonte matemática Gentium Plus disponível. Você não ficará feliz em escrever matemática se não tiver nenhum símbolo, etc.

Algumas alternativas:

mathastext

Você poderia usar o mathastextpacote para usar letras e números da fonte normal do texto no modo matemático:

% !TeX TS-program = xelatex

\documentclass[12pt]{article}

\usepackage[margin=2cm]{geometry}

\usepackage{amsmath, amssymb, amsthm, thmtools}
\usepackage[no-math]{fontspec} 
\setmainfont{Gentium Plus} 

\usepackage[italic]{mathastext}

\begin{document}

\title{Mathematical text}

\section{Section name}

Lorem ipsum2

abcxyz \itshape abxzyx2

\[
abcxyz2 \alpha + \beta = \gamma + \delta.
\]

\end{document}

mathspec

Você poderia usar o mathspecpacote para carregar o Gentium Plus para letras e dígitos:

% !TeX TS-program = xelatex

\documentclass[12pt]{article}

\usepackage[margin=2cm]{geometry}

\usepackage{amsmath, amssymb, amsthm, thmtools}
\usepackage[no-math]{fontspec} 
\setmainfont{Gentium Plus} 
\usepackage{mathspec} 
\setmathfont(Digits,Latin,Greek){Gentium Plus}
\begin{document}

\title{Mathematical text}

\section{Section name}

Lorem ipsum2

abcxyz \itshape abxzyx2

\[
abcxyz2 \alpha + \beta = \gamma + \delta.
\]

\end{document}

Combine com uma fonte matemática real

Em vez das abordagens Frankenstein acima, você também pode emparelhar sua fonte com uma fonte matemática real, por exemplo, o XCharter pode funcionar bem com ela e você obterá símbolos correspondentes, etc.

% !TeX TS-program = xelatex

\documentclass[12pt]{article}

\usepackage[margin=2cm]{geometry}

\usepackage{amsmath, amssymb, amsthm, thmtools}
\usepackage[no-math]{fontspec} 
\setmainfont{Gentium Plus} 

\usepackage[no-text,Scale=0.93]{xcharter-otf}

\title{Mathematical text}

\begin{document}

\section{Section name}

Lorem ipsum2

abcxyz \itshape abxzyx2

\[
abcxyz2 \sum \int \alpha + \beta = \gamma + \delta.
\]

\end{document}