Planowanie Centrów Danych

(1)

Planowanie Centrów Danych

Datacenters

Standardy EIA 942

Opublikowany 1 kwietnia 2005 roku

• Architektura

• Zasilanie

(2)

Cel standardu

• Znaczące zmiany w organizacji pamięci masowych ( sieci SAN )

• Odejście od komputerów mainframe w kierunku systemów rozproszonych klastrowych

• Standaryzacja konstrukcji systemów

sieciowych pracujących bez przerwy 24/7

• Określenie typowych wzorów i dobrej praktyki projektowania

Główne obszary zainteresowania

• Wymiary Data Center i wybór miejsca na nie

• Administracja infrastrukturą okablowania

• Względy architektoniczne i konstrukcyjne

• Bezpieczeństwo i ochrona przeciwpożarowa

• Zasilanie, uziemienie i konstrukcje mechaniczne;

• Zalecane odległości i technologie

• Organizacja dostępu do usług zewnętrznych usługodawców, koordynacja i rozdział;

(3)

Zalecane media transmisji

• 100-Ω kabel skrętkowy (ANSI/TIA/EIA-568-B.2);

Category 6 zalecana (ANSI/TIA/EIA-568-B.2-1);

• wielomodowy światłowód 62.5/125-µm lub 50/125- µm (ANSI/TIA/EIA-568-B.3), 50/125-µm 850-nm (ANSI/TIA-568-16-B.3-1);

• jednomodowyświatłowód (ANSI/TIA/EIA-568-B.3);

• Kabel koncentryczny 75-Ω (typ 734 lub 735) (Telcordia Technologies GR-139-CORE) oraz złącza wg (ANSI T1.404).

Te kable i złącza są zalecane dla transmisji w standardach T-3, E-1 i E-3.

(4)

Ograniczenia

• Połączenia do 100 m

• Wyjątek: światłowód backbone max. 300m

• Media transmisji:

– FO 50/125, 62,5/125 i jednomodowe – Miedziane: CAT 6 i koncentryczny 75Ω

• HDA to maximum 2000 połączeń

• ZDA to maximum 288 połączeń

MDA / HDA / (ZDA) / EDA

(5)

DataCenter dużej skali jest HDA i backbone

Mały DataCenter

nie ma HDA, tylko poziome

(6)

Struktura hierarchicznej gwiazdy

Pomieszczenie sprzętu

Sprzęt w umieszczony w szafach powinien być tak

rozmieszczony, aby tworzyć obszary ciepłego i gorącego powietrza

• Szafy ustawiane na przemian

– Zalecane 4 stopy ( minimum 3) z przodu – Zalecane 3 stopy ( minimum 2) z tyłu

(7)

Trzy systemy planowania połączeń

1. Centralny - każdy z każdym

2. Częściowo agregowany End of Row (EoR) 3. Rozproszony aż do szaf Top of Rack (ToR)

(8)

Centralny i dwa z agregacją idea i realizacja

• Any-toAny

• End of Row (EoR)

• Top of Rack (ToR)

System centralny - idea

Przełączniki w jednym miejscu

+ Okablowanie łączy przełączniki z serwerami i pamięcią

+ Najbardziej elastyczny

+ Najlepsze wykorzystanie przełączników, nie ma wolnych portów

+ Połączenie każdy z każdym

- Ogromny wydatek paneli i przewodów

(9)

System centralny - idea

• Każdy serwer i pamięć ma połączenie na centralnym panelu (max 288 połączeń miedzianych EIA-942)

• Panele są w stojaku (po lewej) lub na ścianie (po prawej)

2304 porty i 2304 serwery/NASy

(10)

System EoR - idea

Przełączniki w końcu rzędu (co kilka szaf) + okablowanie łączy przełączniki z

urządzeniami własnego rzędu

• umiarkowanie elastyczny

• umiarkowany wydatek paneli i przewodów - Część portów urządzeń może zostać

nieużyta

EoR - idea

(11)

System ToR - idea

Przełączniki w szczycie szafy,okablowanie łączy przełączniki z urządzeniami własnej szafy

+ minimalny wydatek paneli i przewodów, nie wychodzą poza szafę

- mało elastyczny

- duża liczba portów urządzeń będzie niewykorzystana

ToR - idea

(12)

ToR serwery tradycyjne - schemat

ToR serwery blade - schemat

(13)

ToR -realizacja

• Catalist 4948

– 1Gb do serwerów x48 – 10GB do agregacji x2 – matryca 136-Gbps

• Przekroczone 48 portów  następny

Przykład - wiele serwerów 1U

Wiele serwerów 1RU czyli np. 30

Potrzebne:

(14)

Przykład – rzadka szafa

Mało serwerów 4RU czyli np. 10

• Połączenia SAN i LAN wychodzą do sąsiedniej szafy dając zwiększoną niezawodność

PODSUMOWANIE ToR

Zalety

• Miedź zostaje w szafie “In Rack”. Tylko krótkie połączenia.

• Małe koszty okablowania. Less infrastructure dedicated to cabling and patching.

Cleaner cable management.

• Modular and flexible “per rack” architecture. Easy “per rack” upgrades/changes.

• Future proofed fiber infrastructure, sustaining transitions to 40G and 100G.

• Short copper cabling to servers allows for low power, low cost 1oGE (10GBASE- CX1), 40G in the future.

• Ready for Unified Fabric today.

Wady

• Więcej przełączników do zarządzania. More ports required in the aggregation.

• Potential scalability concerns (STP Logical ports, aggregation switch density).

• More Layer 2 server-to-server traffic in the aggregation.

• Racks connected at Layer 2. More STP instances to manage.

• Unique control plane per 48-ports (per switch), higher skill set needed for switch replacement

(15)

EoR (kable między szafami)

MoRMiddle of Row, wersja EoR

(16)

Porównanie EoR a ToR

End of Row (PLUSY):

• Mniej przełączników do zarządzania. Potentially lower switch costs, lower maintenance costs.

• Mniej portów w agregacji.

• Racki połączone w L1. Fewer STP instances to manage (per row, rather than per rack).

• Dłuższy okres użyteczności, high availability, modular platform for server access.

• Unique control plane per hundreds of ports (per modular switch), lower skill set required to replace a 48-port line card, versus replacing a 48-port switch.

End of Row (MINUSY):

• Wymaga drogiej i złożonej infrastruktury okablowania.

• Wyzwanie dla obsługi okablowania.

• Ogromna liczba połączeń i patch cordów.

• Długie przebiegi miedziane mogą ograniczać szybkość transmisji.

• More future challenged than future proof.

• Less flexible “per row” architecture. Platform upgrades/changes affect entire row.

• Unified Fabric rozwiąże te problemy po 2010.

Użycie Top of Rack Fabric Extender

=

(17)

Rozwiązania do agregacji

• Corning kable trunk

• FCoE

• Unified Fabric

Wiele technologii w DataCenter

(18)

Corning

• Identyfikacja ZDA i MDA na tle układu szaf

(19)

Corning

• Instalacja kabli wielowłóknowych pomiędzy ZDA i MDA

Corning

• Instalacja kabli o małej liczbie włókien pomiędzy ZDA i szafami

(20)

Corning

zastosowanie kabli agregowanych

Typowe technologie w DataCenter

FibreChannel i Ethernet

(21)

FibreChannel over Ethernet

• Kabel miedziany na odcinku do przełącznika (Twinax, CAT6A lub CAT7)

• Przełącznik EDA/ZDA encap/decap FC w Eth

• Redukcja kart sieciowych o połowę

• Redukcja kabli lokalnych

FibreChannel over Ethernet - Etap2 i 3

• Kabel miedziany na odcinku do

przełącznika (Twinax, CAT6A lub CAT7)

• Przełącznik MDA encap/decap FC w Eth

• Redukcja połączeń do obszaru SAN

(22)

Zielony problem

DataCenter to problem ilości ciepła i jego wyprowadzenia

• Staranne rozmieszczenie sprzętu

• Usuwanie ciepła

• Technologie energooszczędne

• Gęstość okablowania

– Kabel światłowodowy np. Φ = 2 cm (216 włókien 108 10G obwodów)

– 108 kabli miedzianych to średnica Φ =12 cm

Miedź a światłowód

Technologie 10GBase-SR

– OC3 w oknie 850 nm przy 2000 MHz•km effective modal bandwidth (EMB) do 300m

– Dalej: 16G/32G FC i 40G/100G Ethernet – SFP zużywa: 0.5-1 W

– Karta sieciowa serwera: 8-10W (300 m)

• Technologia 10GBase-T – 10GBase-T max. 55m i 100m – Dalej: szybciej raczej nigdy nie – SFP zużywa 8-10W

– Karta sieciowa serwera: 34W (30 m) (PCI-Expr max150W)

(23)

• SMC10GPCIe-10BT TigerCard™ 10G 10G PCIe x8 10GbE 10GBASE-T

• Cena około 1000 USD (2009)

• SMC10GPCIe-XF TigerCard™ 10G 10G PCIe 10GbE XFP

• Cena około 600 USD (2009)

10GBase

10GBase-T (S,W,….

(24)

10GBase - XX

• WAN PHY (10GBASE-W) (WAN) na SONET/OC-192

10GBASE-SW, 10GBASE-LW, 10GBASE-EW,10GBASE-ZW

• 10GBASE-SR ("short range")

• 10GBASE-LR ("long range")

• 10GBASE-LRM (Long Reach Multimode) 802.3aq

• 10GBASE-ER ("extended range")

• Enkoder 64/65 przesłane 2 x 32 bity XAUI

• Scrambler tworzy pięćdziesiąt 65-bitowych bloków, 50x65

• LDPC-Block-Codes (wstępna korekcja błędów, FEC )

• 65 + FEC  128-DSQ (Double Square) = 2⁷

• Siedmiobitowe porcje są tworzone z zestawów 4-ro i 3-bitowych

• Prekodery Tomlinsona-Harashimy (THP) odpowiadają za to, by skoki sygnału na wyjściu nie są duże ( małe zakłócenia i moc)

• Moc 2,0 - 3,3 miliwata na parę

• PAM16 daje szesnastopoziomowy sygnał elektryczny x 4 pary

• Układ uzupełniają elementy separacji echa i przesłuchów

10GBase-T

(25)

Scrambler + FEC

(forward error correction)

Sposób kodowania

• 128-DSQ (Double Square) = 2⁷

• Siedmiobitowe porcje są tworzone z zestawów cztero- i trzybitowych

• Prekodery Tomlinsona-Harashimy (THP) dbają, by skoki sygnału na wyjściu były małe ( małe zakłócenia i moc)

• Moc 2,0 - 3,3 miliwata na parę

• PAM16 daje 16-poziomowy sygnał elektryczny

(26)

Wykorzystywane pasmo w 10G Base T

10000 Mb/s 10 Gb/s

64/65  128 2:1 PAM 16 1:4

20 G baud 5 G baud

/ 4 linie

1,25 G baud / linę

Maksymalna częstotliwość podstawowej harmonicznej 625 MHz

CAT5e max. 100MHz (brak możliwości) CAT6 max. 250MHz (55 m)

CAT6a max. 500MHz (100 m)

• W wyniku DSP energia jest skupiona niżej

• Dzięki kodowaniu nadmiarowemu, korekcja błędów

Transmisja i jej zagrożenia

(27)

Zagrożenia a limity techniczne

• CAT6a do 100 metrów

• CAT6(e) do 55 metrów

• Panele z gniazdami „na skos”

Fibre Channel - odmiany

1997 200

1.0625 1GFC

Dostępność Przepływność (MBps)

Sybkość (GBaud) Oznaczenie

Fibre Channel Odmiany

(28)

Planowanie Centrów Danych