Tutorial de un Cluster Beowulf Casero (01)

En mi caso, hice un cluster con 2 computadores, el primero (y mas poderoso) lo llame unix.oz, mientras que el otro se llamo billy.oz:

unix.oz:
AMD ATHLON K7 600 mhz
256 mb RAM
4.1 Gigabytes de DD
SiS 900 PCI (Tarjeta de Red)
Red Hat Linux 7.2
Kernel 2.4.7-14

billy.oz
CYRIX 233 mhz
32 mb RAM
2 Gigabytes de DD
Fast Ethernet 10/100 Genius
Red Hat Linux 7.2
Kernel 2.4.7-14

Como sólo tenía 2 computadores, no necesite un hub o switch, los conecte mediante un cable cruzado.



Un cluster tipo Beowulf funciona con uno de dos librerías de trasnferencia de mensajes: http://www.mcs.anl.gov/mpi/ MPI (Message Passing Interface) o con http://www.epm.ornl.gov/pvm/pvm_home.html PVM (Parallel Virtual Machine).

Cuando son compiladas, estas librerías pasan información o //data// entre las máquinas (o nodos) del cluster. Ambos usan el protocolo de comunicacion TCP/IP. También usan el programa rsh (esto es muy inseguro desafortunadamente pero en un cluster casero no importa tanto) para iniciar las sesiones entra las máquinas. Este comando (rsh) permite correr comandos UNIX remotamente.

Yo preferi tratar con PVM, y lo siguiente se debe hacer para cada computador que se desee paralelizar, voy a usar unix.oz:

~1) Entrar como root al sistema

~2) En ##/etc/hosts##
192.168.1.1 unix.oz unix
192.168.1.2 billy.oz billy

~3) Crear el archivo ##/etc/hosts.equiv##. Este contiene el nombre de las máquinas al que rsh puede acceder unix.oz

billy.oz
~1) Reiniciar y entrar como un usuario "normal".

~2) Probar la red: desde unix.oz hice ping billy.oz.
Si no funciona, deben arreglar la configuracion de su red, si funciona, pasar a paso número 6.

~3) Ahora a probar rsh: desde unix.oz hice rsh usuario_de_billy "ls-l".
Si funciona debería mostrar una lista del directorio de un usuario del otro computador. De lo contrario, es VITAL resolver ese problema.

~4) *Si algo no funciona, no hay que continuar hasta arreglarlo.



Yo usé la versión 3.4 de Parallel Virtual Machine (descargable de http://www.epm.ornl.gov/pvm/pvm_home.html).

~1) La bajé a /home/unixoz y como uso Bash, añadí lo siguente a .bashrc PVM_ROOT=$HOME/pvm3 PVM_DPATH=$PVM_ROOT/lib/pvmd export PVM_ROOT PVM_DPATH * Ojo: Esto puede variar dependiendo de la distro, kernel, etc. Si no usas Bash, ve en el README al descomprimir PVM

~2) Salir del sistema y entrar nuevamente a $HOME (/home/unixoz)

~3) tar zxvf pvm-3.4.tgz

~4) cd pvm3 y luego en $HOME/pvm3 correr make

~5) Si todo sale bien hay que ejecutar pvm Deberías ver pvm> (para salir solo hay que poner halt)

~6) Repetir el proceso con cada computador

~7) Luego puse pvm y para ver cuantos computadores tengo en el cluster puse conf (solo me salió uno, ya que aun debemos agregar los otros)

~8) Para agregar a billy.oz puse add billy.oz y ahora al poner conf me salen unix.oz y billy.oz AHORA YA TENEMOS UN CLUSTER DE TIPO BEOWULF!!!!!!!!



Ahora debes aprender a escribir programas en paralelo o usar PVMPOV, un programa para crea imágenes "super" digitales y diseñado para clusters (http://www.povray.org) Pronto publicaré un tutorial para este, ya que aun no lo manejo del todo bien.