batch job queue tools?

[Nils Bokermann]

On 16.09.2010 14:22, Florian Lohoff wrote:
>
> Hi,
> ich habe mal wieder einen fall wo batch jobs gequeued werden muessten,
> bisher ein reines gedankenspiel.
>
> cron ist fuer wiederkehrende ereignisse, at fuer einmale ereignisse
> und jetzt suche ich was mit dem ich systemweit jobs queuen kann die
> nacheinander evtl mit definierter parallelitaet abgearbeitet werden
> wuerden.
>
> Gedanken waere sowas wie verschiedene job queues. Beim queuen kann ich
> eine prioritaet und eine queue angeben und das wuerde dann abgearbeitet.
>
> Ggfs koennte man noch parallelitaeten bzw dependencys angeben sowas
> wie cpu bound, diskio bound, networkio bound etc so das ich 2 jobs,
> den einen cpu und den anderen diskio bound parallelisieren kann.
>
> Irgendwie habe ich den fall staendig und jedesmal baue ich mir die welt
> neu mit xargs -P, oder perl wrappern die forken und execen - aber
> irgendsowas wirds doch auch fertig geben oder?
>
> Irgendwie fehlt da ein bischen Host OS/390 z/serie fuer unix ...


Moin Flo,

irgendwie höre ich gerad qsub. Das kann out-of-the box noch nicht alles, 
was du gerne hättest, ist aber wohl ein geeigneter Startpunkt...

http://www.clusterresources.com/products/torque-resource-manager.php
http://gridengine.sunsource.net/

Ich habe die HP-sUX Implementation an der Uni benutzt und kann mich noch 
dunkel dran erinnern, dass es da auch etwas freies gab, was auch unter 
Linux lief. Hab ich aber seit Ewigkeiten nicht mehr gebraucht.

HTH,
	Nils