Não foi possível enviar o arquivo. Será algum problema com as permissões?
Configuração e uso do CCAD para usuários do LEG

Configuração e uso do CCAD para usuários do LEG

O CCAD - Centro de Computação de Alto Desempenho - disponibiliza recursos computacionais na UFPR em particular para procedimentos intensos com simulações etc.

O sistema disponibiliza várias máquinas com amplos recursos de processamento e de memória.

Este é um sistema alternativo a outro existente na UFPR, o LCPAD com algums configurações e filosofias de uso diferentes.

O CCAD procura estimular/incentivar o uso de programas que rodem em paralelo!!

Informações detalhadas na Página do CCAD

Conta no CCAD

Para ter conta é necessário solicitar e o trabalho deve estar vinculado a um projeto cadastrado. No LEG alguns usuários utilizam o CCAD vinculados a um projeto de PJ.

Acesso

  • as máquinas do CCAD devem ser acessadas remotamente através de outras máquinas via internet (ssh por exemplo)
  • O usuário cadastrado receberá email com login e senha de acesso.
  • o acesso deve ser feito sempre à servidora ccad.ufpr.br
  • O acesso à servidora ccad.ufpr.br pode ser feito por ssh (inclusive gráfico com ssh -X) via programa gráfico de ssh (putty, etc) ou linha de comando com:
    $ ssh LOGIN@ccad.ufpr.br
  • ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD
  • Recomenda-se trocar a senha no primeiro uso com o comando:
    ccad:~> passwd 

Uso

  • O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com comandos básicos do LINUX
  • É possível rodar aplicativos gráficos na servidora ccad.ufpr.br.

Uso do R no CCAD

Rodando o R

IMPORTANTE:
Para rodar o R (em formato interativo sou submetendo jobs) o primeiro passo é digitar:

ccad:~> module load mod_R 

Se voce é um usuário regular do R este comando de carregar o modulo pode ser colocado em seu .bashrc para que seja rodado automaticamente sempre que voce acessar o CCAD.

No momento o modulo do R faz duas coisas:

  1. define o diretório do executável do R no seu PATH
  2. define o camilho de procura de bibliotecas adicionais do R na conta da paulojus (para evitar que todos tenham que instalar os pacotes)
Rodando na forma interativa

Depois de carregar o modulo do R voce poderá usar o programa de forma interativa simplesmente digitando

ccad:~> R
Rodando como em "background" ("BATCH job")

Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH e o comando usual e acompanhamento do andamento do job é feito com:

ccad:~> R CMD BATCH seu_programa.R &
ccad:~> tail -f seu_programa.Rout

  1. No R sugere-se sempre colocar no seu programa comandos print() (por exemplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com
    ccad:~> tail -f seu_programa.Rout
  2. Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux:
    ccad:~> ps -u SEU_LOGIN 
    ccad:~> top
Entretanto, para rodar no CCAD vamos adaptar este procedimento um pouco para seguir os padrões e aproveitar as vantagens do cluster. Ou seja, ao invés de fazer como descrito acima devemos submeter processos R da seguinte forma:

Os passos básicos são (adaptar para suas configurações)

  1. Definir o ambiente de trabalho, basicamente:
    • criar e entrar em um diretório para rodar o seu programa (substituir abaixo o nome deste diretório em SEU_DIRETORIO)
      ccad:~> mkdir SEU_DIRETORIO
      ccad:~> cd SEU_DIRETORIO
    • criar um arquivo de comandos em R (script R) com o que vai rodar tal como código de análise, simulação, etc. (substituir abaixo em seu_programa.R)
  2. Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de run.sh.
    #!/bin/bash
    #PBS -S /bin/bash               
    #PBS -V              
    #PBS -m ae                    
    #PBS -M paulojus@leg.ufpr.br     
    #PBS -l walltime=6:00:00
    cd $PBS_O_WORKDIR
    
    R CMD BATCH seu_programa.R 
  3. Submeter ao cluster
    ccad:~> qsub run.sh 
  4. Monitorar o progresso com
    ccad:~> qstat 
  5. E também monitorar da forma usual o arquivo de saída do R
    ccad:~> tail -f seu_programa.Rout
Não esqueça de carregar o modulo do R como descrito acima quando acessar a sua conta !!!

O CCAD disponibiliza informações adicionais sobre submissão e controle de processos em sua página.
Se tiverem dicas de uso para o R coloquem aqui!!!

Tempo de processamento

Por default o CCAD interrompe os processos após uma (1) hora de processamento. No exemplo de arquivo run.sh acima já modificamos este tempo, para seis (6) horas, incluindo no seu arquivo:

 #PBS -l walltime=6:00:00

Ajuste este tempo de acordo com a sua necessidade.

Pacotes do R

Pacotes adicionais podem ser instalados em sua conta se desejado. Entretanto para evitar replicação de instalações estamos centralizando a instalação de pacotes na conta de PJ. O módulo do R (mod_R) faz este direcionamento.

> .libPaths("/home/paulojus/Rlibs")

Se precisar de algum pacote não instalado solicite por email para PJ.

Agradecimento

Agradecemos ao Prof. Manoel Cunha (CESEC) e Christian (POP) pelo apoio, instruções e soluções para uso do CCAD.

Mais informações

Informações detalhadas na Página do CCAD


QR Code
QR Code dicas:ccad (generated for current page)