Plier dans les nuages avec vast.ai

[Ironman]

Merci, je vais regarder ça

[Maeda]

En effet, merci pour ton analyse c'est bon à savoir.

[JWhy]

Préconisation d'ajouter dans le template un Extra filter 

Code :

disk_bw>=500

Ce critère permet de filtrer les instances qui ont un stockage peu rapide (< 500 Mo/s) 
... sinon, l'instance prendra plus de temps à être créée et cela impactera aussi négativement la lecture/écriture sur disque des WU récupérées, des checkpoints pendant le calcul et des résultats à envoyer

[Maeda]

Merci

[JWhy]

Si vous utilisez des instances VAST avec plus d'un GPU, vous pourriez rencontrer des problèmes de stockage et l'arrêt/blocage de l'instance, avec un message d'erreur, comme ci-après, sur la "carte d'identité" VAST de votre instance : 

• sur une instance avec 8 Go de stockage
  

  Disk quota exceeded: using 8.071430 GB, quota is 8.000000 GB.

• sur une instance avec 16 Go de stockage
  

  Status: Disk quota exceeded: using 16.052782 GB, quota is 16.000000 GB.

Ce souci arrive en particulier avec les p18261 car elles génèrent des fichiers (pour la visualisation 3D des protéines dans l'interface web v8) assez volumineux (33 Mo) pour chaque frame.
Donc avec ces fichiers + la taille de la WU + Logs + ..., on atteint vite 4 Go de données par GPU !
Et avec 2 GPU et 2 p18261, le stockage recommandé de 8Go de l'instance peut être saturé...

Même si la visualisation est désactivée coté client web (vous pouvez voir la ligne dans la log de votre client) , les fichiers sont hélas toujours générés !
J'ai créé un ticket pour le dév. : https://github.com/FoldingAtHome/fah-cli...issues/419

En attendant que cela soit résolu, et si vous souhaitez utiliser ce type d'instance multi-GPU (x2, x4, x8 ou plus) , je vous recommande d' ajouter ces 3 lignes au début  de la zone texte "Bash commands that are invoked whenever your instance starts, see FAQ/Docs for details."

Code :

curl https://raw.githubusercontent.com/JWhyFR/fah-v8/main/cleanup_viewer.sh -o cleanup_viewer.sh
chmod +x cleanup_viewer.sh
nohup ./cleanup_viewer.sh >/dev/null 2>&1 &

Cela lancera en tâche de fond, sur votre instance, une purge automatique toutes les 30 secondes de ces fichiers, s'ils font plus de 1 Mo
... et évitera ainsi à votre instance de planter.

(vous pouvez aussi ajouter ces 3 lignes par sécurité, même si vous ne prenez que des instances avec 1 GPU... ça n'aura pas d'impact négatif, et permettra d'anticiper un prochain problème le jour où ces fichiers de visualisation feront 80+ Mo   )

NB: bien évidemment, avec la purge de ces fichiers, la visualisation ne sera plus fonctionnelle dans le client web.