G - Physics – 06 – F
Patent
G - Physics
06
F
G06F 11/08 (2006.01) G06F 9/50 (2006.01) G06F 11/267 (2006.01)
Patent
CA 2240286
Two methods for partitioning the work to be done by a computer program into smaller pieces so that checkpoints may be done more frequently. Initially, a parallel task starts with one or more input data sets having q initial partitions, divides the input data sets into p partitions by some combination of partitioning elements (i.e., partitioners/gatherers), runs an instance of a component program on each of the p partitions of the data, and produces one or more sets of output files, with each set being considered a partitioned data set. The invention is applied to such a task to create a new, "overpartitioned" task as follows: (1) the partitioner is replaced with an "overpartitioner" which divides its q inputs into n* p partitions, for some integer factor n; (2) the component program is run in a series of n execution phases, with p instances of the component program bein run at any time. In each phase, each instance of the component program will read one overpartition of the input data and produce one partition of output data; (3) at the end of each of the n execution phases, the system is quiescent and may be checkpointed. A first embodiment explicitly overpartitions input data by using known partitioner programs, communication channels, and gatherer programs to produce overpartitioned intermediate files. The second embodiment dynamically overpartitions input data by arranging for the component programs to consecutively read contiguous subsets of the original input data.
La présente invention concerne deux procédés permettant de cloisonner le travail devant être effectué par un programme informatique en groupes plus petits afin que des points de reprise puissent être mis en oeuvre plus fréquemment. Au départ, une tâche parallèle commence avec une ou plusieurs séries de données d'entrée ayant q partitions initiales, divise les séries de données d'entrée en p partitions grâce à une certaine combinaison d'éléments de cloisonnement (par ex. cloisonneurs/rassembleurs), réalise une instance d'un programme constituant sur chacune des p partitions des données et produit une ou plusieurs séries de fichiers de sortie, chaque série étant considérée comme une série de données cloisonnée. La présente invention est appliquée à une telle tâche afin de créer une nouvelle tâche surcloisonnée de la manière suivante: (1) le cloisonneur est remplacé par un "surcloisonneur" qui divise ses q entrées en n* p partitions pour un certain facteur entier n; (2) le programme constituant est réalisé dans une série de n phases d'exécution, p instances du programme constituant étant réalisées à n'importe quel moment. Dans chaque phase, chaque instance du programme constituant va lire une surpartition des données d'entrée et produire une partition de données de sortie; (3) à la fin de chacune des n phases d'exécution, le système est quiescent et peut être jalonné de points de reprise. Dans un premier mode de réalisation, les données d'entrée sont explicitement surcloisonnées à l'aide de programmes de cloisonnement, de voies de communication et de programmes rassembleurs connus pour produire des fichiers intermédiaires surcloisonnés. Dans un deuxième mode de réalisation, des données d'entrée sont surcloisonnées de manière dynamique par le fait que les programmes constituants lisent consécutivement des sous-séries contiguës des données d'entrée initiales.
Lasser Cliff
Lordi Robert
Stanfill Craig
Ab Initio Software Corporation
Ab Initio Technology Llc
Mbm Intellectual Property Law Llp
LandOfFree
Overpartitioning system and method for increasing... does not yet have a rating. At this time, there are no reviews or comments for this patent.
If you have personal experience with Overpartitioning system and method for increasing..., we encourage you to share that experience with our LandOfFree.com community. Your opinion is very important and Overpartitioning system and method for increasing... will most certainly appreciate the feedback.
Profile ID: LFCA-PAI-O-1791571