Veja rapidamente quanta RAM é alocada para o SQL Server?

Você NUNCA poderia confiar no Gerenciador de Tarefas para informar quanta memória o SQL Server está usando (talvez você esteja se lembrando de um sistema de 32 bits com uma quantidade muito pequena de memória). Pare de usar o Gerenciador de Tarefas para isso, ponto final. Use o contador de desempenho - você também pode consultar o contador de desempenho usando DMVs:

SELECT object_name, cntr_value 
  FROM sys.dm_os_performance_counters
  WHERE counter_name = 'Total Server Memory (KB)';

Você pode salvar isso como um atalho de consulta em Ferramentas > Opções > Ambiente > Teclado > Atalhos de consulta e obter resultados precisos em uma janela de consulta muito mais rápido do que obter resultados imprecisos do Gerenciador de tarefas.

Você também pode verificar a pressão da memória (e se pode fazer algo a respeito) usando estas consultas:

SELECT object_name, counter_name, cntr_value
  FROM sys.dm_os_performance_counters
  WHERE counter_name IN 
    ('Total Server Memory (KB)', 'Target Server Memory (KB)');

-- SQL Server 2012:
SELECT physical_memory_kb FROM sys.dm_os_sys_info;

-- Prior versions:
SELECT physical_memory_in_bytes FROM sys.dm_os_sys_info;

EXEC sp_configure 'max server memory';

A resposta de @AaronBertrand é ótima. Aqui está uma variação com um pouco mais de informação daqui

SELECT
(physical_memory_in_use_kb/1024) AS Memory_usedby_Sqlserver_MB,
(locked_page_allocations_kb/1024) AS Locked_pages_used_Sqlserver_MB,
(total_virtual_address_space_kb/1024) AS Total_VAS_in_MB,
process_physical_memory_low,
process_virtual_memory_low
FROM sys.dm_os_process_memory;

Também uma boa postagem no blog sobre por que o TaskManager não está à altura da tarefa aqui .

E para mais desempenho e magia DMV, você não pode ir além do blog SQL Performance de Glenn Berry