Diferenças
Aqui você vê as diferenças entre duas revisões dessa página.
| Próxima revisão | Revisão anterior | ||
| dicas:ccad [2010/05/11 15:27] – criada paulojus | dicas:ccad [2011/10/07 11:32] (atual) – paulojus | ||
|---|---|---|---|
| Linha 1: | Linha 1: | ||
| - | ====== Configuração e uso do LCPAD ====== | + | ====== Configuração e uso do CCAD para usuários do LEG ====== |
| O CCAD - Centro de Computação de Alto Desempenho - | O CCAD - Centro de Computação de Alto Desempenho - | ||
| Linha 7: | Linha 7: | ||
| Este é um sistema alternativo a outro existente na UFPR, o [[dicas: | Este é um sistema alternativo a outro existente na UFPR, o [[dicas: | ||
| + | |||
| + | **O CCAD procura estimular/ | ||
| + | |||
| + | Informações detalhadas na **[[http:// | ||
| ==== Conta no CCAD ==== | ==== Conta no CCAD ==== | ||
| Linha 16: | Linha 20: | ||
| * O usuário cadastrado receberá email com login e senha de acesso. | * O usuário cadastrado receberá email com login e senha de acesso. | ||
| * o acesso deve ser feito sempre à servidora '' | * o acesso deve ser feito sempre à servidora '' | ||
| - | * a partir desta servidora é possível acessar as demais máquinas do LCPAD via o comando '' | ||
| * O acesso à servidora | * O acesso à servidora | ||
| - | % ssh LOGIN@ccad.ufpr.br</ | + | $ ssh LOGIN@ccad.ufpr.br</ |
| * ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD | * ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD | ||
| * Recomenda-se trocar a senha no primeiro uso com o comando:< | * Recomenda-se trocar a senha no primeiro uso com o comando:< | ||
| - | % passwd </ | + | ccad: |
| ==== Uso ==== | ==== Uso ==== | ||
| * O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com [[http:// | * O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com [[http:// | ||
| Linha 27: | Linha 30: | ||
| ==== Uso do R no CCAD ==== | ==== Uso do R no CCAD ==== | ||
| - | O R foi compilado na servidora do CCAD e está em um diretório **não usual**: | ||
| - | / | ||
| - | Portando | + | === Rodando |
| - | / | + | |
| - | Para evitar ter que digitar todo este caminho quando for iniciar | + | **IMPORTANTE: |
| - | alias R="/cluster/ | + | Para rodar o R (em formato interativo sou submetendo jobs) o primeiro passo é digitar:< |
| + | ccad:~> module load mod_R </code> | ||
| + | Se voce é um usuário regular do R este comando de carregar o modulo | ||
| + | No momento o modulo do R faz duas coisas: | ||
| + | - define o diretório do executável do R no seu '' | ||
| + | - define o camilho de procura de bibliotecas adicionais do R na conta da '' | ||
| - | Existem duas versões do programa '' | + | == Rodando |
| - | - Uma versão disponível para acesso **apenas | + | |
| - | % R </ | + | |
| - | e para modo BATCH o comando usual e acompanha o andamento do //job// com:< | + | |
| - | % R CMD BATCH seu_programa.R & | + | |
| - | % tail -f seu_programa.Rout | + | |
| - | </ | + | |
| - | - Nas demais máquinas do LCPAD não é possivel utilizar o R gráfico e foi compilada uma versão sem suporte gráfico do '' | + | |
| - | alias Rnox="nice -n 19 / | + | |
| - | source .bashrc | + | |
| - | source .zshrc | + | |
| - | </ | + | |
| - | Depois disto voce pode rodar processos **em qualquer máquina ** com: | + | |
| - | < | + | |
| - | % Rnox CMD BATCH seu_programa.R & | + | |
| - | </ | + | |
| + | Depois de carregar o modulo do R voce poderá usar o programa de forma interativa simplesmente digitando | ||
| + | ccad:~> R | ||
| - | ==== Processos, logout, interrupções, | + | == Rodando como em " |
| - | **Usando o Z-shell (zsh)** se um processo | + | Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH e o comando usual e acompanhamento do andamento do // |
| - | % Rnox CMD BATCH seu_programa.R & </ | + | ccad:~> R CMD BATCH seu_programa.R & |
| - | ele será interrompido caso se voce se deslogar da máquina. | + | ccad:~> tail -f seu_programa.Rout |
| + | </ | ||
| - | Existem diferentes estratégias para contornar isto: | + | |
| - | | + | ccad:~> tail -f seu_programa.Rout |
| - | | + | |
| - | a02% Rnox CMD BATCH ap.R & | + | |
| - | a02% disown % | + | |
| - | a02% exit | + | |
| </ | </ | ||
| - | e o //job// continua. Ou então:< | + | - Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: < |
| - | a02% nohup Rnox CMD BATCH ap.R & | + | ccad:~> ps -u SEU_LOGIN |
| + | ccad:~> top | ||
| </ | </ | ||
| - | No caso do '' | + | <note warning> Entretanto, para rodar no CCAD vamos adaptar este procedimento um pouco para seguir os padrões e aproveitar as vantagens |
| - | alias Rnox=" | + | |
| - | source .zshrc | + | Os passos básicos são (adaptar para suas configurações) |
| + | - Definir o ambiente de trabalho, basicamente: | ||
| + | * criar e entrar em um diretório para rodar o seu programa (substituir abaixo o nome deste diretório | ||
| + | ccad:~> mkdir SEU_DIRETORIO | ||
| + | ccad:~> cd SEU_DIRETORIO | ||
| </ | </ | ||
| + | * criar um arquivo de comandos em R (//script// R) com o que vai rodar tal como código de análise, simulação, | ||
| + | - Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de '' | ||
| + | #!/bin/bash | ||
| + | #PBS -S / | ||
| + | #PBS -V | ||
| + | #PBS -m ae | ||
| + | #PBS -M paulojus@leg.ufpr.br | ||
| + | #PBS -l walltime=6: | ||
| + | cd $PBS_O_WORKDIR | ||
| - | ==== SHELL ==== | + | R CMD BATCH seu_programa.R </code> |
| - | * O LINUX utiliza '' | + | - Submeter ao cluster |
| - | * O interpretador de comandos talvez mais comum (usado no LEG e instalação padrão de LINUX tais como debian e Ubuntu) é o '' | + | ccad:~> qsub run.sh |
| - | * No LCPAD utiliza-se outro, o '' | + | - Monitorar |
| - | * na servidora principal '' | + | ccad:~> qstat </ |
| - | % chsh </ | + | - E também monitorar da forma usual o arquivo de saída do R< |
| - | | + | ccad:~> tail -f seu_programa.Rout |
| - | a01% /bin/bash </code> E para retornar ao '' | + | |
| - | a01% /bin/zsh</ | + | |
| - | * para fazer esta mudança parmanente e obter o '' | + | |
| - | /bin/bash </ | + | |
| - | * se voce não quiser se preocupar com nada destas configurações pode ainda copiar os arquivos de configuração de PJ:<code> | + | |
| - | % cp ../ | + | |
| - | % cp ../ | + | |
| </ | </ | ||
| + | < | ||
| - | ==== Acompanhando seus processo ==== | ||
| - | - No '' | ||
| - | % tail -f seu_programa.Rout | ||
| - | </ | ||
| - | - Numa náuqina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: < | ||
| - | % ps -u SEU_LOGIN | ||
| - | % top | ||
| - | </ | ||
| - | - O LCPAD disponibiliza ainda comandos para acompanha processos:< | ||
| - | % carga | ||
| - | % carga -u | ||
| - | % carga -U | ||
| - | % carga -j | ||
| - | </ | ||
| - | * A primeira forma mostra o //load// das máquinas. (útil para escolher em qual máquina está menos carregada submeter o próximo //job//), | ||
| - | * a segunda mostra o número total de processos que o usuário está rodando em cada máquina, | ||
| - | * a terceira mostra o número de processos do usuário que efetivamente consomem cpu. | ||
| - | * a quarta sintaxe mostra o nome dos programas daquele usuário rodando em cada máquina. | ||
| - | ==== Finalmente .... ==== | + | O CCAD disponibiliza informações adicionais sobre [[http:// |
| - | Vale insistir: não deixe | + | Se tiverem dicas de uso para o R coloquem aqui!!! |
| - | % normas </code> | + | |
| + | === Tempo de processamento | ||
| + | |||
| + | Por //default// o CCAD interrompe os processos após uma (1) hora de processamento. | ||
| + | No exemplo de arquivo '' | ||
| + | este tempo, para seis (6) horas, incluindo no seu arquivo: | ||
| + | #PBS -l walltime=6: | ||
| + | Ajuste este tempo de acordo com a sua necessidade. | ||
| + | |||
| + | === Pacotes do R === | ||
| + | Pacotes adicionais podem ser instalados em sua conta se desejado. | ||
| + | Entretanto para evitar replicação | ||
| + | O módulo | ||
| + | > .libPaths("/ | ||
| + | |||
| + | Se precisar de algum pacote não instalado solicite por email para PJ. | ||
| ==== Agradecimento ==== | ==== Agradecimento ==== | ||
| - | Agradecemos ao Prof. Carlos Carvalho | + | Agradecemos ao Prof. Manoel Cunha (CESEC) e Christian (POP) pelo apoio, instruções e soluções para uso do CCAD. |
| + | |||
| + | ==== Mais informações ==== | ||
| + | Informações detalhadas na **[[http:// | ||
