batch job queue tools?

[Florian Lohoff]

On Sun, Sep 19, 2010 at 12:03:19AM +0200, Frank Guthausen (Club) wrote:
> Hallo Florian,
> hallo LUG OWL.
> 
> On Sat, Sep 18, 2010 at 10:28:48PM +0200, Florian Lohoff wrote:
> > 
> > Verteilt brauche ich gar nicht - ich habe halt so zeugs das auf
> > datenbanken rumnudelt - Standardloesung ist - einfach das eine um 4 uhr
> > morgens - das naechste um 6 das naechste um 8 etc ... Nur wenn ein 
> > job mit einem mal laenger als 2 stunden laeuft kollabiert alles.
> 
> Skript 1 startet am Ende Skript 2 per at, 2 startet 3, 3 startet 1

D.h. user 1 muss in sein script zeugs schreiben das ein script als user 2
ausgefuehrt wird? Ziemlich unpraktikabel - und wenn eins von den scripten stirbt
stirbt die kette? Das sind doch die klassiker hinter denen man staendig
hinterhersucht was wieder schief geht und wo man 12 Stunden prozessieren
nachholen muss -> doof.

> Statt at kann man auch batch verwenden, wenn es lastabhängig ist.
> 
> > Also warum nicht einen job scheduler der das einfach schon
> > nacheinander laufen laesst. Und nein - ein shell script das das
> > nacheinander laufen laesst ist doch murks, vor allem wenn die selbe
> > resource von mehreren usern genutzt werden soll.
> 
> Unter welchen Bedingungen soll überhaupt etwas automatisch laufen?

Na so mein Gedanke war das ich job queues habe in die ein user aehnlich
at jobs einstellen kann - die queues sind einfach benannt. Die queues
werden parallel aber die jobs innerhalb der queues sequentiell
abgearbeitet.

So koennen die jobs stumf gequeued werden und laufen dann schoen nacheinander
durch ... Dann gibts halt eine queue "cpubound" eine "iobound" eine
"networkbound" etc ...

Flo
-- 
Florian Lohoff                                                 f at zz.de
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 827 bytes
Desc: Digital signature
URL: <http://lug-owl.de/pipermail/linux/attachments/20100919/ee9cae05/attachment.sig>