oscarmlage.com

La máquina tenía problemas de espacio, df y du ofrecían información muy distinta. Además, incluso mirando con df -h y df -i (para ver los inodos) nos muestra información bastante dispar.

Después de haber mirado también por toda la estructura de directorios sin encontrar nada raro he comprobado los ficheros “huérfanos” abiertos con lsof, procesos zombies, etc…:

$ lsof +L1 / | grep -i deleted
$ lsof +L1
$ lsof | grep deleted | awk '{print $8}' 
$ find /proc/*/fd -ls | grep deleted
$ for i in `find /proc/*/fd -ls | grep deleted`; do echo > $i; done
$ sync

He probado también a parar dos de los servicios que más consumen:

$ service httpd stop
$ service mariadb stop
$ systemctl disable httpd.service
$ systemctl disable mariadb.service

Pero después de reboot tampoco ha funcionado. Lo que más me preocupa es saber qué software os servicio ha dejado los ficheros tal estado. En mis pruebas todo indica que mysql (mariadb en este caso) aunque yo apostaría a que el software que hace consultas a mysql también tiene algo que ver.

Al final opté por arrancar la máquina en modo single-mode para comprobar la integridad del disco. Para entrar en el single-mode, en el prompt de inicio de CentOs (donde te da a elegir arrancar entre un kernel y otro) hacemos lo siguiente:

• Pulsar la tecla “e”
• Nos movemos hasta la linea que empieza por linux16 /vm… y cambiamos donde pone ro por rw init=/sysroot/bin/sh.
• Pulsamos Ctrl+x para que continúe el arranque con las opciones especificadas.
• Una vez ha acabado de arrancar nos deja en el prompt, ahí he ejecutadolo siguiente (reparamos sda1 y el lvm en sda2):

    $ xfs_repair /dev/sda1
    $ lvm
    lvm> lvscan # si ya salen los lvm perfecto, sino los buscamos:
    lvm> vgscan -v --mknodes
    lvm> vgchange -a y
    lvm> lvscan
      ACTIVE    '/dev/centos/swap'...
      ACTIVE    '/dev/centos/root'...
    lvm> ctrl+c
    $ umount /sysroot/
    $ xfs_repair /dev/centos/root
    $ chroot /sysroot  # (si se quiere comprobar algo más en el propio sistema)
    # reiniciamos

• Hacemos reboot de la máquina
• Borramos todo lo que el xfs_repair ha metido en /lost+found (esos 3.8Gb que faltaban)
• Comprobamos con df que todo funciona adecuadamente.: