neprihlásený Streda, 24. apríla 2024, dnes má meniny Juraj
Upgradnutý slovenský superpočítač v obrazoch

Značky: superpočítačeSlovenskoAurelveda a výskum

DSL.sk, 19.11.2014


Výpočtové stredisko Slovenskej akadémie vied v utorok oficiálne predstavilo upgrade najvýkonnejšieho slovenského superpočítača Aurel umiestneného v jeho priestoroch.

Ako sme informovali v minulotýždňovom článku, VS SAV zrealizovalo na jeseň upgrade Aurela zvyšujúci jeho výkon o približne tretinu. Konkrétne sa maximálny teoretický výkon procesorov superpočítača zvýšil zo 94.4 teraflopov / s na 128 teraflopov / s. Výkon jeden teraflop za sekundu znamená zrealizovanie 10 na 12 operácií za sekundu.

Doteraz Aurel pozostával z dvoch skríň, jednej pre samotný superpočítač a druhej pre externé diskové pole. Po rozšírení pribudla ďalšia skriňa, v ktorej sú okrem manažmentu umiestnené nové výpočtové uzly a interné disky.

Aurel je vodou chladeným modelom IBM Power 775 postaveným na 3.84 GHz procesoroch Power7. Na jednej 2U polici sa nachádza osem modulov po štyri procesory s ôsmimi jadrami na procesor, celkovo teda 256 jadier podporujúcich navyše multi-threading. Jeden modul má k dispozícii 256 GB pamäti.

Superpočítač doteraz pozostával z dvanástich políc a spolu tak bol postavený na 3072 jadrách a 24 TB pamäti. Aktuálne pribudli štyri ďalšie police spolu s 1024 jadrami a 8 TB pamäte, Aurel tak má teraz 4096 jadier a 32 TB pamäte.

Zväčšiť Zväčšiť
Aurel spredu (vľavo) a zozadu, kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)

Zväčšiť Zväčšiť
Skriňa s externým diskovým poľom (vľavo) a Aurel spolu s diskovým poľom, kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)



Ani nový zvýšený výkon však v súčasnosti zďaleka nestačí na prebojovanie sa do známeho rebríčka päťsto najvýkonnejších superpočítačov Top500, kde v aktuálne vydanom rebríčku bol na posledné miesto potrebný reálny výkon v benchmarku Linpack 153.4 teraflopov / s. V pôvodnej konfigurácii dosahoval Aurel efektívnosť v Linpacku 81%, jeho súčasný odhadovaný výkon v tomto benchmarku je tak cca 104 teraflopov / s.

Okrem zvýšenia výkonu sa uskutočnili na superpočítači aj dva ďalšie upgrady. Pridané bolo interné diskové úložisko pripojené k internej zbernici superpočítača a systém chladenia bol upravený na redundantnú konfiguráciu.

Zväčšiť Zväčšiť
Otvorený Aurel spredu (vľavo) a zozadu. Nová skriňa sa pri pohľade spredu nachádza napravo. Kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)

Zväčšiť Zväčšiť
Výpočtové uzly v starej skrini (vľavo) a interné disky v novej skrini spredu, kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)

Zväčšiť Zväčšiť
Výpočtové uzly v novej skrini (vľavo) a interné disky pod manažmentom zozadu, kliknite pre zväčšenie, kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)



Aurel doteraz využíval externé diskové pole s kapacitou 600 TB postavené na 2 TB SATA diskoch a pripojené cez Fibre Channel. Nové interné úložisko využívané ako dočasné úložisko pre pracovné dáta s kapacitou 225.6 TB je výrazne rýchlejšie, postavené je na 600 GB SAS diskoch a na cachovanie metadát využíva aj SSD disky. Pri reálnych aplikáciách je podľa informácií Lukáša Demoviča z VS SAV prístup k novému úložisku v niektorých prípadoch efektívne aj desaťkrát rýchlejší.

Počas doterajšej prevádzky neredundantný systém chladenia využívajúci jeden aktívny chladič vody spôsobil viacnásobné prerušenie prevádzky superpočítača kvôli nefunkčnosti chladiča. Nový redundantný systém s dvomi chladičmi má umožniť superpočítaču fungovať v prípade pokazenia jedného chladiča naďalej.

Zväčšiť Zväčšiť
Výpočtové uzly v starej skrini zozadu (vľavo), disky v externom poli, kliknite pre zväčšenie (foto: Pavol Novák, VS SAV)



Spotreba samotného superpočítača, bez chladenia, v súčasnosti po pridaní nových uzlov dosahuje podľa záťaže do cca 220 kW.


      Zdieľaj na Twitteri



Najnovšie články:

HDD zdražia, Western Digital a Seagate to už oznámili veľkým zákazníkom
Po oprave zariadení v EÚ sa predĺži záruka a výrobcovia budú povinní opravovať aj po záruke
Japonská sonda nebola skonštruovaná aby prežila noc na Mesiaci, funguje aj po tretej
Železnice opäť aktualizujú systémy, v noci nebude fungovať internetový predaj lístkov - aktualizácia 1
Vydaná Fedora 40
Samsung spustil výrobu takmer 300-vrstvovej flash pamäte
NASA opravila sondu Voyager 1, aktualizovala softvér aby nevyužíval poškodenú pamäť
Telekom má nové programy Swipe pre mladých, aj s neobmedzenými dátami
Dánsko chce vybudovať minimálne 6 GW veterných elektrární, v mori
Dnes pribudne ďalší vysielač digitálneho rádia


Diskusia:
                               
 

Ukradnutý slovenský superpočítač...
Odpovedať Známka: 8.6 Hodnotiť:
 

Čestne sa priznám, že ja som to tak prečítal :)
Odpovedať Známka: 9.3 Hodnotiť:
 

pretoze najblizsie slova k slovu slovensko je kradnut, ukradnut, sprivatizovat ...
Odpovedať Známka: 8.9 Hodnotiť:
 

zabudol si n "Istota"
Odpovedať Známka: 6.2 Hodnotiť:
 

kolko bytov pre ciganov mohlo by za tuto haraburdu postavenych... Co Vam to ludia je8e na cisto? K comu su nam siuperpocitace ked ciganom padaju zle postavene panelove bytovky na hlavu? boha vasho!
Odpovedať Známka: -1.3 Hodnotiť:
 

naše domy už su "vybývané" chceme nove :D :D
Odpovedať Známka: 10.0 Hodnotiť:
 

to iste
Odpovedať Známka: 10.0 Hodnotiť:
 

To bude asi nejaká epidémia, pretože ja som to sprvu tiež tak prečítal :D
Odpovedať Známka: 8.8 Hodnotiť:
 

keby len epidemia.. citam ze ukradnuty slovensky superpocitac, otvorim clanok a tam kopec fotografii ako vyzera.. Vravim si Kua,, dokonca ho aj hladaju...
Odpovedať Známka: 10.0 Hodnotiť:
 

Kokso, ja som to precital rovnako!
Odpovedať Známka: 9.4 Hodnotiť:
 

Ja tiez!
Odpovedať Známka: 8.6 Hodnotiť:
 

aj ja kua
Odpovedať Známka: 7.4 Hodnotiť:
 

do pici, aj ja
Odpovedať Známka: 7.6 Hodnotiť:
 

Do pice ked uz.
Odpovedať Známka: 5.7 Hodnotiť:
 

Trochu bontónu poprosím, kurva!
Odpovedať Známka: 9.0 Hodnotiť:
 

Presne tak, aj ja kamarátom vždy vysvetľujem, že uvedené slovo sa skloňuje podľa vzoru "ulica".
Odpovedať Známka: 10.0 Hodnotiť:
 

popici sefe
Odpovedať Známka: 8.3 Hodnotiť:
 

No sak ano, po ulici...
Odpovedať Známka: 9.3 Hodnotiť:
 

To je správne, ale tvar do čoho - do ulice.
Odpovedať Známka: 10.0 Hodnotiť:
 

doulice.sk
Odpovedať Známka: 10.0 Hodnotiť:
 

Ako sa hovori: Z ulice, do pice
Odpovedať Známka: 6.7 Hodnotiť:
 

mozok automaticky sugescuje podla denneho vyplachu jojky narkozi a rtvs
Odpovedať Známka: 6.9 Hodnotiť:
 

suge... čo?
Odpovedať Známka: 8.9 Hodnotiť:
 

núka, podsúva, napovedá /vsugerúva ;P /
Odpovedať Hodnotiť:
 

Uprdnuty Slovensky Pocitac... budu na nom hrat tetris
Odpovedať Známka: -4.3 Hodnotiť:
 

nieco taketo som si predstavoval http://www.youtube.com/watch?v=2IRN4nZrDwk
Odpovedať Známka: 10.0 Hodnotiť:
 

akurat som siel napisat koment ze som to cital "ukradnuty"
Odpovedať Hodnotiť:
 

Staci prepojit chladiaci okruh superpocitaca s vykurovacim okruhom arealu SAV a vedci budu mat v kancloch teplucko.
Odpovedať Známka: 10.0 Hodnotiť:
 

tak to teda pevne dufam, ze to nepustaju len tak do vzduchu... teda aspon v zime..
Odpovedať Známka: 10.0 Hodnotiť:
 

Seká na tom Android?
Odpovedať Známka: 8.7 Hodnotiť:
 

nie prasi tam mlade doktorandky
Odpovedať Známka: 9.5 Hodnotiť:
 

Sekanie Androidu je softvérová záležitosť, nie HW... Takže áno.
Odpovedať Známka: 6.6 Hodnotiť:
 

čím viac prúžkov, tým viac aiaiai..
Odpovedať Známka: 7.5 Hodnotiť:
 

to sa asi nedozvieme. predpokladam, ze na tom frcia aixy
Odpovedať Známka: 10.0 Hodnotiť:
 

slovensko robi taku vedu, ze upgrade bol absolutne nevyhnutny. lebo o 20% rychlejsou predpovedou pocasia a ratanim elipsoid obehu planet si to na seba nezarobi.
Odpovedať Známka: 0.8 Hodnotiť:
 

Rychlejsia predpoved pocasia znamena, ze tu predpoved mozu aktualizat pocas dna castejsie. Tym padom bude k dispozicii aj presnejsi odhad vyvoja pocasia.

No kedze planety sa pohybuju po spiralach a nie elipsach, tak tu mame dalsiu zbytocnu investiciu. Skolstva do teba.
Odpovedať Známka: 4.4 Hodnotiť:
 

planety ratal Kepler v 17. storoci dokonca bez kalkulacky a tu sme. Na to Slovensku netreba 100Tfpops PC... Ak na to, dokazu komercne zarobit a teda sa to oplati, preco nie...
Odpovedať Známka: 0.0 Hodnotiť:
 

U nás im nevyjde ani Predpoveď počasia na včera...
Odpovedať Známka: 8.8 Hodnotiť:
 

Siel by na tom Crysis?
Odpovedať Známka: -4.7 Hodnotiť:
 

Vyzera to ako porno, ked sa tam ta skrina tak pomaly otvara
Odpovedať Známka: 9.1 Hodnotiť:
 

ako tam môže byť voda, keď sú otvorené skrine, veď by vytiekla
Odpovedať Známka: 10.0 Hodnotiť:
 

Cez tie drevene dosky, jak je hore ten obluk
Odpovedať Známka: 10.0 Hodnotiť:
 

a fico si moze teraz pocitat udrbane peniazky... este rychlejsie!
Odpovedať Známka: -0.6 Hodnotiť:
 

a co robia chlapci so sav po veceroch, tazia si dogecoiny ci aku kryptomenu?
Odpovedať Známka: 0.8 Hodnotiť:
 

Nie je mi jasne, ci tam ma byt "chlapci so sav" alebo "chlapci zo sav"...nakolko to meni vyznam prispevku :)
Odpovedať Známka: 9.1 Hodnotiť:
 

KVK0hQ http://www.QS3PE5ZGdxC9IoVKTAPT2DBYpPkMKqfz.com
Odpovedať Hodnotiť:
 

to by bolo na SETI kua!
Odpovedať Známka: 5.6 Hodnotiť:
 

co to dokaze? Dufam, ze generovat aspon mp3-jky. :)
Odpovedať Známka: 1.4 Hodnotiť:
 

KRjCvC http://www.QS3PE5ZGdxC9IoVKTAPT2DBYpPkMKqfz.com
Odpovedať Hodnotiť:
 

tak ludze, ako sa cestuje vo vlakoch zadarmo ?
Odpovedať Známka: 1.7 Hodnotiť:
 

moze byt
Odpovedať Známka: -6.7 Hodnotiť:
 

Srande je, ze nas superpocitac su taketo dve"ubohe" skrine.

Superpocitace z prvej top 10 su stovky takych skrin, su na to vyhradene 2-3 podlazia so sumarnou plochou jak fulbalovy stadion + dalsie 1-2 poschodia na personal a chladenie, proste je tomu venovana cela 4-5 poschodova budova a zere to radovo neviem ci desiatky alebo stovky MW.

To nie je vytka, iba konstatovanie. Slovensko nemoze mat superpocitac za miliardu €, aj preto lebo po verejnom obstaravani ("znizujucim" cenu) by bola cena 10 miliard € a celorocny rozpocet SR by bol v pr*eli za par kysien.
Odpovedať Známka: 5.2 Hodnotiť:
 

Vieš čo bude sranda? Ak o pár rokov bude počítadlo takéhoto výkonu taký malý ako malá sirková krabička...

Odpovedať Známka: -2.5 Hodnotiť:
 

:) Raspberry PI Model X :)
Odpovedať Známka: 10.0 Hodnotiť:
 

Alebo Aurelduino :))
Odpovedať Známka: 10.0 Hodnotiť:
 

asi najznamejsi laikom bol Earth simulator s vykonom cca 40 Tflops. Bolo to 640 hentakych skatul a spotreba 13MW. Ten nas ma 127Tflops pri 220kW.. Len pre predstavu, nvidia teraz vydala "graficku kartu" Tesla K80 s vykonom 7/2Tflops a spotrebou 375W. V dvojitej presnosti tak miesto Earth simulatoru mozu mat 20 takychto kariet so spotrebou 7,5kW. Na Aurela by bolo treba 63 kariet a 23kW...
Odpovedať Známka: 8.3 Hodnotiť:
 

TFLOPSy pri GPU a CPU su trocha nieco ine. V zasase GPU mozu sluzit ako vypoctove jednotky pre CPU. Samozrejme existiju superpocitace s GPU, ale celu reziu/riadenie, beh OS, to maju na starosti CPU. Neexistuje superpocitac skladajusi sa jedine z GPU a ani jedineho CPU.

Ako su GPU energeticky 50-nasobne efektivnejsie (ale iba v specifickych ulohach) ako CPU, tak mozme zasnut nad specializovanymi obvodmi s 50x vacsou energetickou efektivitou ako GPU (a teda 2500x vacsou ako CPU), napr. specializovane ASIC cipy na dolovanie BTC alebo odbody (casto sucastou vacsich cipov) na kryptovanie ci multimedialne kodovanie so spotrebou par 100 mW ale uzasnym vykonom ako 20 kusov najnovsieho 8-jadroveho 16-vlaknoveho Ci7 alebo ako 300 W grafika.

Cim ma nieco vyssiu energeticku efektivitu, tym je to menej vseobecne pouzitelne. Je to nepriama umera.
Odpovedať Známka: 7.8 Hodnotiť:
 

A) zoberme si rychlost zaznamoveho media (latencie ci kontinualka) a jeho kapacitu:

1) registre CPU, latencia 1-2 CPU cykly (zlomok ns), rychlost jednotky TB/s, alebo aj viac, kapacita radovo 100 B ci 1 kB
2) L1 cache CPU, dnesne CPU maju taky rychly cache system, ze pred 15 rokmi by sme z toho odpadli, latencia 3-4 cykly (zlomok ns), kontinualne rychlost citanie/zapis radovo stovky GB/s (najnovsie L1 cache Intelu maju kontinualky az 1 TB/s !!!) a kapacita zopar 10 ci zopar 100 kB
3a) L2 cache CPU, latencia 10-12-14 cyklov CPU (cca 10 ns), kontinualny pristup stale aj stovky GB/s, latencia desiatky cyklov CPU (cca 30-50), kapacity radovo MB
3b) L3 cache CPU, latencia desiatky cyklov CPU (stovky ns), kontinualny pristup stale okolo 100 GB/s (ale uz sa v pomalosti blizi k rychosti RAM), latencia desiatky cyklov CPU (cca 30-50), kapacity radovo MB ci 10 MB
Odpovedať Známka: 6.0 Hodnotiť:
 

4) RAM, latencia tisice CPU cyklov (radovo cca 50-100 ns), kontinulany pristup 1 - 30 GB/s od suchej single channel 266 MHz DDR2 po tripple/quad channel DDR4 3200 MHz, kapacita radovo GB ci desiatky GB
5) SSD, latencia statisice CPU cyklov (radovo cca 0,1 mikrosek), kontinualny pristup radovo 100 az 1000 MB/s (30 MB prve SSD az 550 MB/s posledne bezne SSD), kapacita radovo niekolko 100 GB
6) HDD, latencia miliony/desiatky milionov cyklov CPU (radovo 10 milisek), kontinualny pristup radovo 100 MB/s (od 20 MB/s pri suchom 60-80 GB modeli spred 10. rokov po 150-170 MB/s dnesnych diskov), kapacity radovo jednotky TB
7) zalohovacia paska, latencia miliadry/desiatky miliard cyklov CPU (az niekolko desiatok sekund! sa musi pretacat), kontinualny pristup radovo 100 MB/s, kapacity radovo TB, ci az desiatky TB

Krasna nepriama umernost: cim vacsia kapacita, tym nizsie rychlosti (pristupove doby aj kontinualne) a naopak.
Odpovedať Známka: 5.0 Hodnotiť:
 

B) mnozstvo informacia a ich trvacnost:

Vztah nie je samozrejme uplne presny (napr. linearny ci logaritmicky), avsak korelacny koeficient je prilis velky aby sme ho ignorovali. Cim viac informacii na mediu, tym ma mensiu zivotnost, plati to od napisov v kameni z cias stareho egypta spred 3 tisicroci pred Kristom (mnozstvo informacii radovo 1 kB, trvacnost radovo 10000 rokov) az po heliove ci sindlove 8-10 TB HDD. Do minulosti by sme dokonca mohli ist az po zaznam cisel do vestickej vrublovky (kost vlka spred 35 tisic rokov, kde su zaznacene prirodzene cisla do 20 ako zarezy). Vsetka cest niektorym diamantovym super-hyper trvacnym DVD, ktore sa snazia vytrcat od regresnej priamky.

A opat krasna nepriama umernost: cim vacsia kapacita tym mensia trvacnost a naopak. Data na tom 10 TB disku iste nevydrzia 35 tisic rokov, ani 5 tisic, ani tisic ...
Odpovedať Známka: 6.4 Hodnotiť:
 

C) mnozstvo informacii a orientacia/vyhladavanie novych/filtrovanie informacii:

Ich sucinom moze vzniknut nieco ako "efektivita spracovavania a narabania s informaciami" a sucin tychto velicin je cca radovo konstantny (opat vsak len fuzzy priblizne), t.j. ked sa jedna velicina zvacsi (napr. mnozstvo informacii), druha sa zmensi (schopnost orientacie/vyhladavania/filtrovania novych informacii) no a opacne. Nech zije Google, ktory chvalabohu "kazi" toto pravidlo a vytrca mimo regresnej priamky.
Odpovedať Známka: 4.3 Hodnotiť:
 

D) ze by sme zabrdli do kvantovej mechaniky, podla ktorej urcit zaroven presnu polohu a presnu hybnost subatomarnych casti je nemozne? Akoze nam to vyzera princip neurcitosti zapisany rovnickou: (detla_d)*(delta_p) > 2*pi*h .. t.j. nepresnost v urceni polohy KRAT nepresnost v urceni hybnosti je vzdy vacsia ako konstanca 2*pi*h (kde h je planckova konstanta) ... zasa sucin dvoch vecilin: nepresnost v urceni polohy a nepresnost v urceni hybnosti. Chvala panu bohu (ci inej nadprirodzenej entite), ze planckova konstanta je tak mala, inak by boli kvantovo-mechenicke prejavy na poriadku dna aj v makroskopickych meritkach.
Odpovedať Známka: 4.3 Hodnotiť:
 

E) sucin univerzalnosti stroja a jeho spotreby (resp. ak chceme tak aj efektivity v opacnom zmysle) je opat fuzzy konstantny. Cim viac univerzalny stroj/suciastka, tym mensia efektivita a vyssia spotreba. CPU moze mat sice spotrebu 125-130 W (ak ide naplno), ale zato je sakramentsky univerzalny, ze by sa Turing v hrobe obracal. GPU moze mat sice efektivitu 50x vacsiu, ale zato nie vsade, iba pri grafickych operaciach, resp. customizovanych GPGPU vypoctoch, ktore sa nam krkolomne podarilo optimalizovat rozchodit, ale Total Commander ci OS si na GPU nespustim. Moze existovat super-hyper hardverovo specializovany cip s este 100x lepsou efektivitou oproti VGA (spotreba 0,01 W na GFLOP), ale taky cip vie robit len jednu jedinu konktretnu ulohu/vypocet ci triedu uloh (napr. akcelerovat multimedia konkretnymi kodekmi ci akcelerovat patricne kryptograficke algoritmy) a okrem toho bez prepacenia ani h**no (lebo ani OS na nom nenabootoje).
Odpovedať Známka: 5.6 Hodnotiť:
 

Napr. ASIC riesenia (specialne navrhute cipy) na tazenie bitcoinov - len a len a len na ten ucel a ziadny iny.
A opat sucin univerzalnosti a spotreby (resp. ak chceme tak aj efektivity v opacnom zmysle) cipu je cca fuzzy konstantny.

Proste v zivote sa to hemzi nepriamymi umerami, len si to treba uvedomit.
Odpovedať Známka: 1.4 Hodnotiť:
 

Zabudol si obsah a rozloženie strany :D
Odpovedať Známka: 7.1 Hodnotiť:
 

ten nema ani wikipedia :)
Odpovedať Známka: 10.0 Hodnotiť:
 

Syr sa pise s tvrdym Y. Iba ak by si chcel napisat zapalkova
Odpovedať Hodnotiť:
 

ten pocit, ked o desat rokov bude mat tento vykon vas telefon je priceless.
Odpovedať Známka: 3.8 Hodnotiť:
 

Nebude
Odpovedať Hodnotiť:
 

Inak vie niekto prepočítať koľko TH to má? Teda koľko Bitcoinov to dokáže vypočítať za deň ???? :D
Odpovedať Známka: -5.0 Hodnotiť:
 

9
Odpovedať Známka: 7.1 Hodnotiť:
 

ja neviem
Odpovedať Hodnotiť:
 

No vela nie...vies co je to FLOPS?
Odpovedať Hodnotiť:
 

toto ma doma vazne hry by som sa hral na nom nevadi ze by mi ostalo v izbe miesto akurat na stolicku :D

Odpovedať Známka: 6.7 Hodnotiť:
 

No to by sa v Solitare inak karty obracali. Len tak by to svištalo
Odpovedať Známka: 10.0 Hodnotiť:
 

Mňa by zaujímalo aký operačný systém na tom beží a kto na tom čo počíta
Odpovedať Známka: 10.0 Hodnotiť:
 

AIX alebo linux najskor RH. Neviem co budu pocitat tu, ale napriklad v Cesku, ktore zaobstarava tieto superpocitace za tretinu maximalne polovicu ceny a rovnakych vykonoch sa vykon rozdeluje medzi univerzity, vedu a medzi komercne subjekty, ktore si vykon prenajimaju. Z vedy napriklad molekularna chemia, fyzika, simulacie hocijakej picoviny a komercne subjekty napriklad na tvorbu geo a mapovych podkladov (seznam.cz), farma firmy atd.
Odpovedať Známka: 10.0 Hodnotiť:
 

mozem si to prenajat na brute force?
Odpovedať Známka: 10.0 Hodnotiť:
 

Amazon cloud a ides. Len treba peniazky.
Odpovedať Známka: 10.0 Hodnotiť:
 

cesi akurat stavaju 2PFlop za 275 melonov bez dane alias 10M ojro... cojaviem kolko maju dan, tak nech nezerem 12M.
Odpovedať Známka: 10.0 Hodnotiť:
 

Spotreba v kW? Mysleli ste výkon/príkon, alebo ste zabudli, že spotreba elektrickej energie sa počíta vo Wh?
Odpovedať Známka: -7.1 Hodnotiť:
 

netroluj
Odpovedať Hodnotiť:
 

Ano, spotreba. Bežne sa príkonu tak povie.

Odpovedať Hodnotiť:
 

Dá sa z neho tlačiť dokumenty cez wifi?
Odpovedať Známka: 10.0 Hodnotiť:
 

Cableporn
Odpovedať Hodnotiť:

Pridať komentár