Algoritmi paraleli

Principalele dificultati in proiectarea sistemelor distribuite sunt:Asincronia - timpul absolut (sau chiar relativ) la care au loc evenimentele nu poate fi cunoscut precis;Cunoasterea locala - fiecare entitate de calcul poate dispune doar de informatia pe care o primeste, are doar o imagine locala asupra situatiei globale;

Caderea componentelor (failures) - entitatile de calcul se pot defecta independent lasand anumite componente operationale iar altele nu.Procesarea distibuita isi propune sa realizeze ceea ce Proiectarea si Analiza algoritmilor secventiali a facut pentru calculatoarele secventiale: evidentierea unui cadru general pentru specificarea algoritmilor si compararea performantelor pentru intelegerea limitarilor interne ale acestora.Se doreste indentificarea de probleme fundamentale, abstractizari ale celor ce apar in sisteme distribuite reale, enuntarea acestor probleme in mod precis, proiectarea si analiza unor algoritmi eficienti pentru ele.

In sistemele distribuite exista noi tipuri de masuri de complexitate. Pe langa timpul de executie si spatiul de lucru (ce trebuie definite in mod corespunzator) vom fi interesati in complexitatea de comunicare si in numarul de componente defecte ce pot fi acceptate. Exista numeroase rezultate "negative", margini inferioare si rezultate de imposibilitate. Se poate demonstra ca o problema particulara nu poate fi rezolvata intr-un tip particular de sistem distribuit, sau nu se poate rezolva sub o anumita cantitate dintr-o anumita resursa. (Astfel de rezultate joaca rolul celor de NP-completitudine din algoritmica secventiala.)

2. Legatura cu practica
Daca nu cel mai simplu, cu siguranta cel mai vechi exemplu de sistem distribuit este un sistem de operare pentru calculatoare secventiale conventionale. Procesele de pe acelasi hard comunica utilizand acelasi soft sau prin schimburi de mesaje, sau printr-un spatiu comun de adresare. Partajarea unei singure CPU de catre procese multiple ridica probleme de concurenta (virtuala). Multe dintre problemele ridicate de un sistem de operare apar si in alte sisteme distribuite, ca de exemplu excluderea mutuala, detectarea si prevenirea dead-lockului.

Masinile MIMD cu memorie partajata sunt puternic interconectate (tightly coupled) si sunt numite uneori multiprocesoare. Acestea constau din componente hard separate executand un soft comun. Conectarea se face printr-un bus sau, mai putin frecvent, printr-o retea cu comutatori. Masinile MIMD pot fi si slab interconectate (loosley coupled) si nu au memorie comuna. Ele pot fi o colectie de statii de lucru dintr-o retea locala sau o colectie de procesoare intr-o retea cu comutatori.

Sistemele distribuite si mai putin interconectate pot fi constituite din gazde autonome intr-o retea locala (ca de exemplu Ethernet) sau chiar WAN (cum ar fi Internet). In acest caz, avem componente hard separate executand soft separat desi entitatile interactioneaza prin interfete bine definite ca de exemplu TCP/IP, CORBA sau ale groupware sau middleware.

Intr-un sistem distribuit de tip MP (message passing) procesoarele comunica prin transmiterea de mesaje prin canele de comunicatie, fiecare canal realizand o conexiune bidirectionala intre doua procesoare.

Multimea canalelor de comunicatie formeaza topologia sistemului care poate fi reprezentata printr-un graf (neorientat) in care nodurile sunt procesoarele iar muchiile sunt canalele de comunicatie.
Sistemul fizic de interconectare reprezentat de topologia sistemului este referit si ca retea.

Un algoritm pentru un sistem distribuit de tip MP consta dintr-un program local pentru fiecare procesor din retea. Programul local permite procesarea locala precum si transmiterea si receptionarea de mesaje de la fiecare din procesoarele vecine in topologia data.

Un sistem distribuit de tip MP consta din n procesoare: p0, p1, p2, ..., pn-1.Fiecare procesor pi este modelat ca o masina cu stari, cu multimea starilor Qi (finita sau infinita).Fiecare procesor va fi identificat cu un nod in retea. Muchiile incidente cu procesorul pi sunt numerotate 1, 2, ...,v (v fiind gradul nodului pi).