સમાંતર કમ્પ્યુટરમાં મુખ્ય મેમરી શેર્ડ મેમરી (સિંગલ એડ્રેસ સ્પેસમાં તમામ પ્રોસેસિંગ ઘટકો સાથે હિસ્સેદારી) અથવા ડિસ્ટ્રિબ્યુટેડ મેમરી (જેમાં દરેક પ્રોસેસિંગ ઘટકનો પોતાનો સ્થાનિક એડ્રેસ સ્પેસ હોય છે) હોય છે. ડિસ્ટ્રિબ્યુટેડ મેમરી એ હકીકત દર્શાવે છે કે મેમરી તાર્કિક રીતે વિતરીત થઇ છે, પરંતુ ઘણી વાર દર્શાવે છે કે તેને ભૌતિક રીતે પણ વિતરીત કરવામાં આવી છે. ડિસ્ટ્રિબ્યુટેડ શેર્ડ મેમરી અને મેમરી વર્ચ્યુલાઇઝેશન બે વલણને સંયુક્ત સ્વરૂપ આપે છે જેમાં પ્રોસેસિંગ ઘટકની પોતાની સ્થાનિક મેમરી અને નોન-લોકલ પ્રોસેસર્સ પર મેમરીનું એક્સેસ હોય છે. સ્થાનિક મેમરીને એક્સેસ સામાન્ય રીતે બિન સ્થાનિક મેમરીના એક્સેસ કરતા વધુ ઝડપી હોય છે. 

મુખ્ય મેમરીના દરેક તત્વને જેમાં સમાન લેટન્સી અને બેન્ડવિડ્થ સાથે એક્સેસ કરી શકાય તે કમ્પ્યુટર આર્કિટેક્ચરને યુનિફોર્મ મેમરી એક્સેસ (યુએમએ (UMA)) સિસ્ટમ્સ તરીકે ઓળખવામાં આવે છે. સામાન્ય રીતે તે શેર્ડ મેમરી સિસ્ટમથી જ પ્રાપ્ત કરી શકાય છે જેમાં મેમરી ભૌતિક રીતે ડિસ્ટ્રિબ્યુટેડ હોતી નથી. આવી પ્રોપર્ટી ન હોય તેવી સિસ્ટમ નોન-યુનિફોર્મ મેમરી એક્સેસ (એનયુએમએ (NUMA)) આર્કિટેક્ચર તરીકે ઓળખાય છે. ડિસ્ટ્રિબ્યુટેડ મેમરી સિસ્ટમમાં નોન-યુનિફોર્મ મેમરી એક્સેસ હોય છે. 

કમ્પ્યુટર સિસ્ટમ્સ કેચ - પ્રોસેસરની નજીક આવેલી નાની ઝડપી મેમરીનો ઉપયોગ કરે છે જે મેમરી મૂલ્યની કામચલાઉ નકલનો સંગ્રહ કરે છે. (ભૌતિક અને તાર્કિક દૃષ્ટિએ નજીકમાં) સમાંતર કમ્પ્યુટર સિસ્ટમ્સને કેચિસ સાથે કૂટપ્રશ્ન થઈ શકે છે જે એક કરતા વધુ સ્થળે સમાન મૂલ્યનો સંગ્રહ કરતી હોય, જેમાં ખોટા પ્રોગ્રામ અમલીકરણની શક્યતા રહે છે. આ કમ્પ્યુટર્સને કેચ કોહરન્સી સિસ્ટમની જરૂર પડે છે જે કેચના મૂલ્ય પર નજર રાખે છે અને વ્યૂહાત્મક રીતે તેને શૂદ્ધ કરે છે, જેનાથી યોગ્ય પ્રોગ્રામનો અમલ થાય તેની ખાતરી થાય છે. કયા મૂલ્યને એક્સેસ કરવામાં આવી રહ્યા છે (અને તેથી શુદ્ધ કરવાની જરૂર છે) તેના પર નજર રાખવાની સૌથી સામાન્ય પદ્ધતિ બસ સ્નૂપિંગ છે. વિશાળ, ઉચ્ચ પ્રદર્શન કેચ સાતત્યસભર માળખા ડિસ્ટ્રિબ્યુટેડ મેમરી સિસ્ટમ્સની જેમ સંતુલન સાધતું નથી. પરિણામે, શેર્ડ મેમરી કમ્પ્યુટર આર્કિટેક્ટર ડિસ્ટ્રિબ્યુટેડ મેમરી સિસ્ટમ જેટલા સ્કેલ કરી શકતા નથી.

પ્રોસેસર- પ્રોસેસર અને પ્રોસેસર-મેમરી કોમ્યુનિકેશન વિવિધ રીતે હાર્ડવેરમાં હિસ્સા આધારિત (મલ્ટિપોર્ટેડ અથવા મલ્ટિપ્લેક્સ્ડ) મેમરી, એક ક્રોસબાર સ્વિચ, એક હિસ્સેદારી આધારિત બસ અથવા આંતરિક રીતે સંકળાયેલા સ્ટાર, રિંગ, ટ્રી, હાઇપરક્યુબ, ફેટ હાઇબરક્યુબ (નોડ પર એકથી વધુ પ્રોસેસર ધરાવતું હાઇબરક્યુબ) ટોપોલોજી મારફત અથવા એન-પરિમાણિય જાળથી પણ વિવિધ રીતે લાગુ કરી શકાય છે. 

આંતરિક રીતે સંકળાયેલા નેટવર્ક્સ પર આધારિત સમાંતર કમ્પ્યુટર્સમાં એક બીજા સાથે જોડાયેલા ન હોય તેવા નોડ વચ્ચે સંદેશ પસાર કરવા માટે અમુક પ્રકારના રાઉટિંગની જરૂર પડે છે. પ્રોસેસર્સ વચ્ચે કોમ્યુનિકેશન માટે ઉપયોગમાં લેવાતું માધ્યમ વિશાળ મલ્ટિપ્રોસેસર મશીનમાં ચોક્કસ ક્રમમાં હોઇ શકે છે. 

ફ્લાઇનનું વર્ગીકરણ વિજ્ઞાન
ઓટોમેટિક સમાંતરણ
મેમરી અને કમ્યુનિકેશન
હાર્ડવેર