5 einfache Regeln für Ethernet in der Gebäudetechnik

Seit meinem Post „Damit der 10G Ethernet Link hoch kommt und stabil steht – auch auf alten Multimode Fasern“ gab es einiges an positiver Reaktion und erfolgreichen Umsetzungen im Feld. In unterschiedlichen Gesprächen hat sich immer wieder heraus kristallisiert, dass die Gebäudeplaner etwas hilflos sind, was die Telecom-/Datacom-Infrastruktur in Gebäuden (einfach gesagt, eure Netzwerkkabel) betrifft. Selbst bei Gebäuden, die in den vergangenen zwei Jahren geplant und gebaut wurden, stößt man bereits jetzt schon an die Längen- und Kapazitätsgrenzen der installierten Multimodefaser!
Warum? Die Art des Netzwerkkabels und die zugehörigen Stecker dürfen nicht als eigenständige Komponenten betrachtet werden - sie sind Teil eines Ökosystems von verfügbaren und geforderten Datenraten, Switchen, Routern, Netzwerkkarten und Transceivern. Nehmen wir IEEE 40GBASE SR als Beispiel. Vor zwei Jahren war diese Technologie bzw. dieser Standard nicht wirklich interessant. Es gab vereinzelte Switche, die diesen Standard unterstützten, Transceiver waren vergleichsweise teuer und 40G Netzwerkkarten waren eher Exoten im Feld. In 2014 änderte sich dieses Bild schlagartig. Auf einmal gab es im Markt bezahlbare Switche mit 48 x 10G SFP+ und 4 x 40G QSFP+ Slots, 40G Transceiver sind im Preis extrem gefallen und Server werden per Default mit 10G oder 40G Netzwerkkarten ausgerüstet. Jetzt kommt das Problem. Viele Gebäudeplaner haben nicht gedacht, dass für 40G BASE SR:
  1. 8 fasern für die 40G benötigt werden (anstelle von 2 fasern für 10G BASE SR)
  2. die maximale Distanz bei einer OM3 Faser auf 100 m eindampft (im Vergleich hierzu liegt die maximale Distanz bei 10G BASE SR noch bei 300 m)
Das Ergebnis sind wilde Konstrukte, bei denen die 40G aus einem MPO Receptacle mit 8 Fasern herauspurzeln und dann mittels einem Fanout-/Breakoutkabel (sieht so aus) auf die Multimode Strecke - im schlimmsten Fall mit SC Steckern terminiert - gehen und auf der Gegenseite mit einem weiteren Breakout wieder zusammengeführt werden. Das kann funktionieren. Troubleshooten würde ich dieses wilde „gepatche“ nicht wollen, denn die Switche liefern einem hierzu nicht viele Möglichkeiten. Ein 40G Link wird als ein Link betrachtet. Fällt ein Faserpaar aus (transportiert lediglich 10G), dann reisst das den gesamten 40G Link runter. Finde jetzt mal raus, bei welchem Faserpaar der Fehler steckt. DDM hilft hier, doch das ist eine andere Geschichte die diesen Beitrag sprengen würde.:
.
                     |------> <-----------> <------|
                    ||------> <-----------> <------||
  QSFP+ SR4  <------||                             ||------>  QSFP SR4
  40G Link          ||------> <-----------> <------||         40G Link
                     |------> <-----------> <------|
      
                MPO nach       8 Fasern        MPO nach
             4 x LC-Duplex      MMF LC      4 x LC-Duplex    
              Breakout Kabel                Breakout Kabel

Ich habe mich daher entschlossen, mein „Netzwerke für Gebäudeplaner - 5 einfache Regeln“ zu veröffentlichen:
5rules_building_structure the basis for the 5 rules building

Regel 1: DAC_line_schema

Verwende Direct Attached Cable innerhalb eines 19“ Schranks. Maximale Länge: 5 m


DACs funktionieren und sind kostengünstig und verbrauchen weniger Strom als Transceiver. Falls einem DACs nicht gefallen und/oder Probleme auftreten (Achtung: wir haben mit DACs eine galvanische Verbindung auf den Highspeed-Lands von zwei Geräten), dann kann man auf SFP+ / QSFP+ SR ausweichen.


Regel 2:Multimode_line_schema

Verwende Multimode OM3 zwischen Schrankreihen in einem Raum (Datacenter). Maximale Länge: 100 m


Das Kabel ist schnell verlegt und schnell ausgewechselt. Deswegen einfach OM3 Fasern / Faserbündel werfen und gut ist. Reicht das mal nicht mehr aus, dann kann man eine neue oder zusätzliche OM4 oder gar OM5,6,7,8,9 [Anmerk.: mir ist derzeit nicht klar, wo die Reise mit der Multimode hingeht] verlegen. Derzeit sind Datenraten von 10/40 Gbit/s mit geeigneten Transceivern über Multimode möglich (Bsp. QSFP+ und MTP).


Regel 3:Multimode_line_schema

Verwende Multimode OM3 auf der selben Stockwerksebene, wenn der gesamte Kabelweg gut zugänglich ist (es darf kein Arbeitsplatz und/oder Maschine unter oder über den Kabelwegen sein). Maximale Länge: 100 m


Gleich wie Regel 2, nur mit dem besonderen Augenmerk, dass man jederzeit an den Kabelweg ran kommt.


Regel 4:

Überlege Dir gut, ob Du für die Arbeitsplatzanbindung Cat.6/7/8 Kabel verlegen willst. Maximale Länge: 90 m


Ein souveräner Planer lässt diese Regel aus. Es wird gänzlich auf die Kupferverkabelung zu den Arbeitsplätzen verzichtet, da sie meist nicht über mehrere Jahre ausreicht oder die Netzwerkdose am falschen Ende des Räumes ist. Beim Umzug innerhalb des Büros werden dann wild Patchkabel am Boden verlegt, im besten Falle mit Paketklebeband verklebt.
Die Alternative ist, dass man jeden Accessswitch für die Arbeitsplätze mit Singlemode anbindet (Regel 5). Die Arbeitsplätze werden direkt auf die Accessswitche gepatcht. Die Accessswitche sind entweder 1G-Kabelkanal-Switche oder 1G Desktop/19“ Switche ohne Lüfter und direkt unter eine Schreibtischgruppe geschraubt. Die Switche sollte typische Layer 2-Funktionen (mind. VLAN und AAA) in einem Management vereinen. Der Kältegerätestecker ist ein IEC-Lock, damit nicht durch wackelnde Stecker unnötige Probleme (Switch Neustart) auftritt. Die Vorteile liegen auf der Hand. Je nach benötigter Portanzahl kann man handelsübliche 1HE 8-port bis 48-port Switche reinsetzen. Reichen diese nicht aus, dann wird gestackt. Der User kann im besten Fall den Anschluss selber patchen und der nicht-vorhandene Access-Schrank (meist in einer Rumpelkammer auf dem Stockwerk zu finden) wird nicht mit nicht-mehr-benötigten Patchkabeln zugemüllt. Diesen Schrank gibt es schlichtweg nicht mehr. Für PoE ist auch gesorgt. PoE mit Fanless Switchen ist realisierbar - schaut euch den Juniper EX2200-C an. Wer den Schrank als "Sicherheitsfeature" behalten möchte, kann dies natürlich gerne tun.


Regel 5:Singlemode_line_schema

Verwende Singlemode zwischen Stockwerken, Gebäuden, Campus, Stadt oder wenn Du dir nicht sicher bist, ob Regel 1 bis 4 zutrifft. Maximale Länge: 60 km+ *


Ist die catch-all Regel. Wenn Regel 1 bis 4 nicht zutrifft, dann gilt diese Regel. Damit machst Du nix falsch, denn sie bietet maximal Flexibilität. Man kann die Faseranzahl deutlich reduzieren - zwei Fasern reichen aus, um mehrere Applikationen (Ethernet, Fibre Channel) parallel zu betreiben oder gar 960 Gbit/s mit geringem Aufwand (Stand Dezember 2014) zu übertragen. Es gibt keine Längen- und Bandbreitenbegrenzung - vor 30 Jahren wurden schon Singlemodefasern im Boden auf vielen Kilometern vergraben, die damals vermutlich ein paar Megabit/s übertragen haben. Die selben Fasern transportieren heute mehrere Terabit/s.
* Singlemode-Spans können mehrere hundert Kilometer lang sein. Dazwischen muss das Signal allerdings verstärkt werden (nicht zu verwechseln mit aktivem Repeaten). Verstärker kommen typischerweise alle 80 bis 100 km zum Einsatz. Ohne Verstärker mittels DWDM und einer Datenrate von 10G pro Wellenlänge sind Längen von ca. 60 km ohne Weiteres überbrückbar.


Ich habe nicht geprüft ob dieses kleine Regelwerk irgendwelchen Standards/Normen entspricht. Es ist auf jeden Fall sehr pragmatisch und einfach zu realisieren und flexibel für die Zukunft. Dieses Regelwerk beruht auf der Tatsache, dass die einzelnen Teile des "Ökosystem Netzwerk" unterschiedliche Nutzungsdauern haben. Die passive Verkablung soll 15 Jahre und mehr überdauern. Der Technologiewechsel in der aktiven Technik ist meist bei 5 bis 7 Jahren. Die Bandbreitenanforderungen können sich innerhalb weniger Monate schlagartig ändern. Wir selbst haben bei unserer Verkabelung Regel 1 und 5 angewendet. Ein Schrank von dem mehrere Duplex-Singlemodefasern weggehen und mittels LC-Stecker terminiert sind. Die Access-Switche sind Redundant mittels BIDI SFP angebunden. Fast fertig (den Aspekt von Wireless LAN noch ausgenommen).
Gerne kalkuliere ich zusammen mit einem Planer dieses Regelwerk an einem konkreten Projekt durch. Ich würde gerne diese 5 Regeln gegen eine heute typische OM4 Backbone-Verkabelung mit Cat.7 Arbeitsplatzverkablung für eine Datenrate von 1Gbit/s pro Arbeitsplatz (ich gehe von einer maximalen Überbuchung von 1:10 aus) vergleichen. Bitte kontaktiert mich.

2 comments

Jens Link Jens Link December 4, 2014 at 10:45

Das mit den "kleinen" Switchen für den Arbeitsplatz hab ich letztes Jahr bei einem Kunden gesehen. Die hatten beim Bau der Gebäude auch nur Glas in die Räume gelegt. Jetzt hatten sie > 2000 Cisco 8 Port Switche. Und bei all diesen Switchen fehlten sämtliche IPv6 First Hop Security Features.

Reply

Replies

Thomas Weible Thomas Weible December 5, 2014 at 12:51

Hi Jens,

danke für den Hinweis. Das ist natürlich unschön und sollte vermieden werden. Kannst du die IPv6 First Hop Security Features etwas genau beschreiben ?

Thomas

Reply

Replies

Jens Link Jens Link December 8, 2014 at 12:27

Für Cisco findet man das hier recht gut dokumentiert: http://docwiki.cisco.com/wiki/FHS

Juniper hat für die EX-Switche jetzt wohl auch etwas in die Richtung.

Reply

Replies

Stefan Reuel Stefan Reuel December 23, 2014 at 10:23

Wir setzen hier als Desktop-Switche die Cisco 500er-Serie ein, die es bis 28 GBit Ports ohne Lüfter gibt. Die haben wohl auch ganz oder teilweise FHS (habe ich auf die schnelle nicht geprüft): http://www.cisco.com/c/en/us/products/collateral/switches/small-business-500-series-stackable-managed-switches/c78-695646_data_sheet.html

Reply

Gert Döring Gert Döring December 5, 2014 at 11:48

Moin,

ich würde mir das mit dem OM3 nochmal überlegen - Singlemode-SFP+ kosten jetzt nicht mehr deutlich viel mehr als Multimode, aber der Ärger mit langen MM-Strecken ist vorprgrammiert.

Daher haben wir für uns entschieden "sobald ein 10G-Link einen Raum verlässt, nur noch SM".

Innerhalb des Raumes kann man schon MM nehmen, handelt sich aber doppelte Ersatzteil-Vorhaltung ein, statt "es gibt hier einfach keine 10G-Strecken auf MM, alle SFP+ sind immer richtig"...

Reply

Replies

Thomas Weible Thomas Weible December 5, 2014 at 12:54

Hi Gert,

stehe voll hinter deiner Aussage:
Innerhalb des Raumes kann man schon MM nehmen, handelt sich aber doppelte Ersatzteil-Vorhaltung ein, statt “es gibt hier einfach keine 10G-Strecken auf MM, alle SFP+ sind immer richtig
Singlemode ist definitiv flexibler. Wenn man aber heute im 40G Umfeld schaut, dann ist der Invest für die LR Optiken einfach noch deutlich höher als im Vergleich dazu SR. Bei SFP+ (10G) ist das mittlerweile kaum noch zu spüren.

ich würde mir das mit dem OM3 nochmal überlegen – Singlemode-SFP+ kosten jetzt nicht mehr deutlich viel mehr als Multimode, aber der Ärger mit langen MM-Strecken ist vorprgrammiert.
+1

Reply

Eine Antwort hinterlassen

Deine E-Mailadresse wird nicht veröffentlicht.
* Erforderliches Feld
Deine Daten werden gesammelt und verarbeitet gemäß unserer Datenschutzbestimmungen.