Por que o processo ainda pode ser listado depois de matá-los?

Confira man kill:

KILL(1)                         User Commands                        KILL(1)

NAME
       kill - send a signal to a process

SYNOPSIS
       kill [options] <pid> [...]

DESCRIPTION
       The  default signal for kill is TERM.  Use -l or -L to list available
       signals.  Particularly useful signals include HUP, INT,  KILL,  STOP,
       CONT,  and  0.  Alternate signals may be specified in three ways: -9,
       -SIGKILL or -KILL.  Negative PID values may be used to  choose  whole
       process  groups;  see the PGID column in ps command output.  A PID of
       -1 is special; it indicates all processes except the kill process it‐
       self and init.

No topo está escrito: "enviar um sinal para um processo". Isso não significa que o processo será encerrado, apenas que um sinal será enviado a ele.

O sinal padrão é SIGTERM. Segundo man signal.7, SIGTERMé capturável. Isso significa que o programa recebe uma solicitação para parar, então o programa tem a oportunidade de fazer algo a respeito. Se for um banco de dados, talvez salve antes de parar.

Se o programa não manipular SIGTERM, ou optar por fazer algo diferente de parar, você obterá o comportamento que vê.

Existem outros sinais que você pode tentar enviar. SIGINT(2) é a mesma coisa que você envia ao usar CTRL+C no terminal. Um comum, e provavelmente o que você deseja, é SIGKILL(9). SIGKILLé um dos poucos sinais que não será propagado para o processo. Em vez disso, é um sinal para o kernel, pedindo-lhe para encerrar o processo. Nesse caso, não importa se o processo está codificado para manipular SIGTERM, ele será interrompido pelo kernel sem ser notificado. A desvantagem é que se ele precisar salvar seu trabalho ou notificar os pares de que está sendo encerrado, não terá essa oportunidade. O uso é assim:

$ sudo kill -9 14482
or
$ sudo kill -KILL 94471

man signal.7tem mais detalhes. Se a sua máquina não for igual à minha, use a página de manual da sua máquina para referência.

   Standard signals
       Linux supports the standard signals listed below.  The second  column
       of  the table indicates which standard (if any) specified the signal:
       "P1990" indicates that  the  signal  is  described  in  the  original
       POSIX.1-1990 standard; "P2001" indicates that the signal was added in
       SUSv2 and POSIX.1-2001.

       Signal      Standard   Action   Comment
       ───────────────────────────────────────────────────────────────────────
─
       SIGABRT      P1990      Core    Abort signal from abort(3)
       SIGALRM      P1990      Term    Timer signal from alarm(2)
       SIGBUS       P2001      Core    Bus error (bad memory access)
       SIGCHLD      P1990      Ign     Child stopped or terminated
       SIGCLD         -        Ign     A synonym for SIGCHLD
       SIGCONT      P1990      Cont    Continue if stopped
       SIGEMT         -        Term    Emulator trap
       SIGFPE       P1990      Core    Floating-point exception
       SIGHUP       P1990      Term    Hangup detected on controlling terminal
                                       or death of controlling process
       SIGILL       P1990      Core    Illegal Instruction
       SIGINFO        -                A synonym for SIGPWR
       SIGINT       P1990      Term    Interrupt from keyboard
       SIGIO          -        Term    I/O now possible (4.2BSD)
       SIGIOT         -        Core    IOT trap. A synonym for SIGABRT
       SIGKILL      P1990      Term    Kill signal
       SIGLOST        -        Term    File lock lost (unused)
       SIGPIPE      P1990      Term    Broken pipe: write to pipe with no

                                       readers; see pipe(7)
       SIGPOLL      P2001      Term    Pollable event (Sys V);
                                       synonym for SIGIO
       SIGPROF      P2001      Term    Profiling timer expired
       SIGPWR         -        Term    Power failure (System V)
       SIGQUIT      P1990      Core    Quit from keyboard
       SIGSEGV      P1990      Core    Invalid memory reference
       SIGSTKFLT      -        Term    Stack fault on coprocessor (unused)
       SIGSTOP      P1990      Stop    Stop process
       SIGTSTP      P1990      Stop    Stop typed at terminal
       SIGSYS       P2001      Core    Bad system call (SVr4);
                                       see also seccomp(2)
       SIGTERM      P1990      Term    Termination signal
       SIGTRAP      P2001      Core    Trace/breakpoint trap
       SIGTTIN      P1990      Stop    Terminal input for background process
       SIGTTOU      P1990      Stop    Terminal output for background process
       SIGUNUSED      -        Core    Synonymous with SIGSYS
       SIGURG       P2001      Ign     Urgent condition on socket (4.2BSD)
       SIGUSR1      P1990      Term    User-defined signal 1
       SIGUSR2      P1990      Term    User-defined signal 2
       SIGVTALRM    P2001      Term    Virtual alarm clock (4.2BSD)
       SIGXCPU      P2001      Core    CPU time limit exceeded (4.2BSD);
                                       see setrlimit(2)
       SIGXFSZ      P2001      Core    File size limit exceeded (4.2BSD);
                                       see setrlimit(2)
       SIGWINCH       -        Ign     Window resize signal (4.3BSD, Sun)

       The signals SIGKILL and SIGSTOP cannot be  caught,  blocked,  or  ig‐
       nored.