BIGLINUX HPC Cluster de alto desempenho.
tenho tentado criar um forma de configurar o nosso biglinux para ser um supercomputador hpc cluster de alto desempenho
automaticamente criar, estou fazer um script unico automatico e que tem como objetivo em uma pxe boot agregar todos os
recursos computacionais de todos os computadores ligado na rede somandos todos e criando um supercomputadores.
Segue codigo script para alguem poder ajudar. `#!/bin/bash

Execução silenciosa

exec &>/dev/null

Verificação de root

if [ “$(id -u)” -ne 0 ]; then
zenity –error –text=“Este script deve ser executado como root.” –title=“Erro”
exit 1
fi

Função para tocar notas de som como feedback auditivo

play_note() {
local freq=$1
speaker-test -t sine -f “$freq” -c 1 -n 1 &>/dev/null &
}

Função para verificar se o nmap está instalado

check_nmap_installed() {
if ! command -v nmap &>/dev/null; then
zenity –error –text=“O nmap não está instalado. Por favor, instale-o antes de continuar.” –title=“Erro”
exit 1
fi
}

Função para verificar o status do firewall

check_firewall_status() {
if systemctl is-active firewalld &>/dev/null; then
if zenity –question –text=“O firewall (firewalld) está ativo. Você pode desativá-lo temporariamente para permitir a detecção dos nós. Deseja desativá-lo agora?” –title=“Firewall Ativo”; then
sudo systemctl stop firewalld
zenity –info –text=“Firewall desativado.” –title=“Firewall Desativado”
fi
elif systemctl is-active iptables &>/dev/null; then
if zenity –question –text=“O firewall (iptables) está ativo. Você pode desativá-lo temporariamente para permitir a detecção dos nós. Deseja desativá-lo agora?” –title=“Firewall Ativo”; then
sudo systemctl stop iptables
zenity –info –text=“Firewall desativado.” –title=“Firewall Desativado”
fi
else
zenity –info –text=“Nenhum firewall ativo detectado.” –title=“Sem Firewall”
fi
}

Variáveis do sistema

HOSTNAME=$(hostname)
DATE=$(date +“%Y-%m-%d %H:%M:%S”)
OS_VERSION=$(uname -r)

Tela de boas-vindas

zenity –info –text=“Bem-vindo ao instalador de cluster HPC no BigLinux!\n\nSistema: $HOSTNAME\nVersão do OS: $OS_VERSION\nData e Hora: $DATE\n\nDeseja prosseguir com a instalação?” –title=“Instalação HPC”

if [ $? -ne 0 ]; then
zenity –info –text=“Instalação cancelada.” –title=“Cancelado”
exit 0
fi

Início do cronômetro

START_TIME=$(date +%s)

Reproduz som de início

play_note 440 # Nota A4 (Lá) - 440 Hz

Verifica se o nmap está instalado

check_nmap_installed

Verifica o status do firewall

check_firewall_status

Função para verificar pacotes instalados

check_installed_packages() {
local packages=(“slurm” “munge” “nfs-server” “dnsmasq”)
local installed=()

for package in “${packages[@]}”; do
if pacman -Qs “$package” > /dev/null 2>&1; then
installed+=(“$package (INSTALADO)”)
else
installed+=(“$package (NÃO INSTALADO)”)
fi
done

echo “${installed[@]}”
}

Mostra pacotes instalados para o usuário

installed_packages=$(check_installed_packages)
zenity –info –text=“Pacotes verificados:\n\n$installed_packages” –title=“Verificação de Pacotes”

Pergunta se deseja instalar os pacotes essenciais

if zenity –question –text=“Deseja instalar pacotes essenciais (SLURM, MUNGE, etc.)?” –title=“Instalação de Pacotes”; then
(
echo “10” ; sleep 1
if ! sudo bigstore install hpc-cluster performance-tools storage-utils sysadmin-basic network-basic pxe-server cluster-tools; then
zenity –error –text=“Falha ao instalar pacotes essenciais.” –title=“Erro de Instalação”
exit 1
fi
echo “50” ; sleep 1
) | zenity –progress –title=“Instalando pacotes essenciais via BigStore…” –percentage=0 –auto-close
else
zenity –info –text=“Instalação de pacotes essenciais pulada.” –title=“Instalação Pendente”
fi

Sincronizando data e hora com NTP

(
echo “25” ; sleep 1
if ! sudo timedatectl set-ntp true; then
zenity –error –text=“Falha ao sincronizar NTP.” –title=“Erro de Sincronização”
exit 1
fi
echo “35” ; sleep 1
) | zenity –progress –title=“Sincronizando NTP…” –percentage=0 –auto-close

Configurando MUNGE para autenticação

(
echo “60” ; sleep 1
sudo mkdir -p /etc/munge
sudo dd if=/dev/urandom bs=1 count=1024 of=/etc/munge/munge.key
sudo chown munge: /etc/munge/munge.key
sudo chmod 400 /etc/munge/munge.key
if ! sudo systemctl enable –now munge; then
zenity –error –text=“Falha ao habilitar o serviço MUNGE.” –title=“Erro MUNGE”
exit 1
fi
if ! sudo munge -n | unmunge | grep STATUS; then
zenity –error –text=“Falha na configuração do MUNGE.” –title=“Erro de MUNGE”
exit 1
fi
echo “70” ; sleep 1
) | zenity –progress –title=“Configurando MUNGE…” –percentage=0 –auto-close

Configurando o SLURM

(
echo “75” ; sleep 1
sudo mkdir -p /etc/slurm
sudo cp -v /usr/share/defaults/slurm/slurm.conf /etc/slurm
echo “80” ; sleep 1
) | zenity –progress –title=“Configurando SLURM…” –percentage=0 –auto-close

Configurando o ControlMachine no slurm.conf

(
echo “85” ; sleep 1
sudo sed -i ‘s/^{ControlMachine}=.*/ControlMachine=’“$HOSTNAME”‘/g’ /etc/slurm/slurm.conf

CONTROL_ADDR=$(hostname -I | awk ‘{print $1}’)
sudo sed -i ‘/ControlAddr/d’ /etc/slurm/slurm.conf
echo “ControlAddr=$CONTROL_ADDR” | sudo tee -a /etc/slurm/slurm.conf

echo “90” ; sleep 1
) | zenity –progress –title=“Configurando ControlMachine no SLURM…” –percentage=0 –auto-close

Configurando o NFS antes da detecção de nós de trabalho

(
echo “Configurando NFS…”
sudo mkdir -p /srv/nfs
sudo cp -r /path/to/your/live/image /srv/nfs/live-image
sudo systemctl enable –now nfs-server
echo “NFS configurado com sucesso!”
) | zenity –progress –title=“Configurando NFS…” –percentage=0 –auto-close

Detectando nós de trabalho automaticamente após NFS estar configurado

(
echo “95” ; sleep 1

WORKER_NODES=$(nmap -sn 192.168.1.0/24 | grep ‘Nmap scan report for’ | awk ‘{print $5}’ | grep -v “$HOSTNAME” | tr ‘\n’ ‘,’ | sed ‘s/,$//’)

ACTIVE_NODES=""
for NODE in ${WORKER_NODES//,/ }; do
if ping -c 1 -W 1 “$NODE” &>/dev/null; then
ACTIVE_NODES+=“$NODE,”
fi
done
ACTIVE_NODES=${ACTIVE_NODES%,}

if [ -z “$ACTIVE_NODES” ]; then
zenity –error –text=“Nenhum nó ativo encontrado.” –title=“Erro de Detecção”
exit 1
fi

echo “$ACTIVE_NODES” | sudo tee /etc/slurm/worker-nodes-list

zenity –info –text=“Nós de trabalho detectados:\n$ACTIVE_NODES” –title=“Nós Detectados”
) | zenity –progress –title=“Detectando Nós de Trabalho…” –percentage=0 –auto-close

Configurando o PXE

(
echo “Configurando o servidor PXE…”
echo "subnet 192.168.1.0 netmask 255.255.255.0 {
range 192.168.1.10 192.168.1.50;
option routers 192.168.1.1;
option subnet-mask 255.255.255.0;
option domain-name-servers 8.8.8.8;
option broadcast-address 192.168.1.255;
}" | sudo tee /etc/dnsmasq.conf
sudo systemctl enable –now dnsmasq
echo “PXE configurado com sucesso!”
) | zenity –progress –title=“Configurando PXE…” –percentage=0 –auto-close

Início da verificação final

(
echo “Verificando status dos serviços…”
systemctl is-active –quiet munge && echo “MUNGE está ativo.”
systemctl is-active –quiet slurmctld && echo “SLURM Control está ativo.”
systemctl is-active –quiet nfs-server && echo “NFS está ativo.”
systemctl is-active –quiet dnsmasq && echo “DNSMasq está ativo.”
) | zenity –progress –title=“Verificando Status…” –percentage=0 –auto-close

Verificação do initramfs no /boot

(
echo “Verificando arquivo initramfs…”
INITRAMFS=$(ls /boot/initramfs-*.img | sort | tail -n 1)

if [ -f “$INITRAMFS” ]; then
echo “Arquivo initramfs encontrado: $INITRAMFS”
else
zenity –error –text=“Arquivo initramfs não encontrado!” –title=“Erro de Initramfs”
exit 1
fi
) | zenity –progress –title=“Verificando initramfs…” –percentage=0 –auto-close

Fim do cronômetro

END_TIME=$(date +%s)
DIFF_TIME=$((END_TIME - START_TIME))
zenity –info –text=“Instalação concluída!\nTempo total: $(($DIFF_TIME / 60)) minutos e $(($DIFF_TIME % 60)) segundos.” –title=“Concluído”

Reproduz som de finalização

play_note 660 # Nota E4 (Mi) - 660 Hz
`
o script foi projetado para configurar o PXE Boot nos nós do cluster, e essa abordagem geralmente permite que os nós inicializem a partir de uma imagem de sistema armazenada no servidor NFS. Quando os nós são inicializados por meio de PXE, eles carregam essa imagem para rodar como um sistema temporário. Isso significa que:

Preservação do Sistema Original: O sistema operacional original instalado nos nós não é modificado durante o processo de inicialização via PXE. Quando os nós são desligados, eles não perdem suas configurações ou dados.

Uso Normal Após Desconexão: Assim que os nós forem desligados ou desconectados do servidor master, eles podem ser reinicializados normalmente a partir do seu sistema operacional instalado localmente. O PXE Boot apenas permite que você inicie os nós com uma configuração específica (por exemplo, uma imagem live do sistema) enquanto estão conectados à rede, mas não altera a instalação local.

Pacotes Comuns para Configuração de Cluster HPC
SLURM (Simple Linux Utility for Resource Management)

slurm — O gerenciador de recursos e agendador de tarefas.
NFS (Network File System)

nfs-utils — Para configurar o compartilhamento de arquivos via NFS.
DHCP Server (para PXE Boot)

dnsmasq — Um servidor DHCP e TFTP simples que pode ser usado para gerenciar o PXE Boot.
TFTP (Trivial File Transfer Protocol)

tftp-hpa — Para transferir arquivos durante o processo de boot via PXE.
MUNGE (MUNGE Uid ‘N’ Gid Emporium)

munge — Para autenticação de serviços, especialmente útil em ambientes de cluster.
Pacotes de Utilitários de Sistema

curl — Para downloads de arquivos durante a configuração.
wget — Semelhante ao curl, utilizado para transferências de arquivos.
git — Para versionamento de código, caso você esteja gerenciando scripts ou arquivos de configuração.
Ferramentas de Rede

net-tools — Conjunto de utilitários para configuração e monitoramento de rede (por exemplo, ifconfig).
iproute2 — Ferramentas de gerenciamento de rede mais modernas.
Pacotes de Monitoramento (se aplicável)

htop — Para monitoramento do sistema.
nload — Para monitorar a carga de rede.
Exemplos de Instalação no Script
Aqui está um exemplo de como esses pacotes podem ser instalados em um script de configuração:

Exemplo de instalação de pacotes no script

sudo pacman -Syu –noconfirm slurm nfs-utils dnsmasq tftp-hpa munge curl wget git net-tools iproute2 htop nload
Pacotes bigstore ou instalaçao:
Agendadores de Tarefas: SLURM, PBS Pro, Torque estão incluídos e podem ser configurados.
Ferramentas de Compilação: GCC, Intel Compilers, LLVM estão sendo instalados.
Bibliotecas Científicas: OpenMPI, MPICH, PETSc, HDF5 para computação paralela e científica.
Gerenciamento de Nós: Warewulf e xCAT para orquestração de nós no cluster.
Sistemas de Arquivos Paralelos: Lustre e BeeGFS para garantir armazenamento distribuído.
Pacotes adicionais: Numactl, hwloc, blis e fftw foram adicionados para otimização de desempenho em clusters de HPC.
Docker: Ativado para contêineres HPC.
NFS: Ativado para compartilhamento de diretórios entre os nós do cluster.
SSH: Necessário para a comunicação entre os nós.
Firewall: Configurado com portas adequadas para o funcionamento dos serviços SSH e NFS.