ASR 5000/5500 Series problemen oplossen bij poort/NPU-gerelateerde problemen
Inhoud
Inleiding
Opdrachten voor probleemoplossing Vergoedingsacties
Problemen oplossen bij voorbeeld
Stand-by PGW Inter Chassis Session Restore (ICSR) knooppunt ontvangt groot volume verkeer vanaf Juniper MX-960
Ontbrekende pakketten tussen datalink en npu-tellers Datalink TX Pauze en RX OVF op ASR 5000
Verhoogde TX ERR door verkeerd aangepaste poortinstellingen op ASR 5500 beheerpoort Groeiende slechte frames en TX-indelingen op beheerpoort vanwege een half duplex Onverwachte LAG-switch - LAG Port 23/1 probleem
Onverklaarbare poortfouten op Juniper-router uitgevoerd met XGLC-poort 27/1 (effect op abonnee)
De LAG-omschakeling viel niet te plakken vanwege het falen van XGLC Gerelateerde Cisco Support Community-discussies
Inleiding
Dit artikel bevat ideeën over hoe problemen kunnen worden opgelost bij verschillende poortgerelateerde problemen, zoals ASR 5000 en 5500 platforms, inclusief problemen met betrekking tot de Network Processing Unit (NPU), en gaat ook in op problemen met Link
Aggregation (LAG). Deze technieken zijn geen raketwetenschap en staan in feite meestal bekend bij ingenieurs, maar vaak kunnen een of meer worden overgeslagen in het proces van het
opsporen en verhelpen van problemen, eenvoudigweg door toezicht in de snelle stappen naar een mogelijke oplossing. Het artikel begint eerst met de gezondheidscontroles in de haven.
Vervolgens worden alle benaderingen in een bepaalde methodische volgorde uiteengezet. Ten slotte biedt het een reeks echte voorbeelden die verder gaan dan het oplossen van havens voor hen die diep willen graven.
Opdrachten voor probleemoplossing
geschiedenis van snuisterij
Zoek naar patronen van PortLinkUp en PortLinkDown. Overweeg:
- hoe vaak het gebeurt en in welke periode
- meerdere poorten of slechts één poort of een ander patroon
- onderhoudswerkzaamheden waarvan de technici al dan niet op de hoogte zijn
alle poorttabellen tonen
- geeft aan of de links omhoog of omlaag zijn
- Link Aggregation (LAG) - bevestig dat poorten in de juiste toestand verkeren, ofwel + (distribueren/actief) of ~ (overeengekomen/standby). Andere staten * of - behoeven nader onderzoek.
informatie over poorten weergeven
- diverse informatie zoals verbindingsstatus, poortmodus, poortinstellingen, Link Aggregation (LAG) instellingen, SFP-module, enz.
kaartdichting
- fundamentele diagnostische informatie, meestal niet zo nuttig RTT-stats tonen [breedband]
- volgt alle PSC/DPC/SMC/MIO-activiteit (overschakelingen, migratie, sluitingen enz.) sinds het opstarten
tabel met poortgebruik tonen
- is de productie die op het tijdstip van de dag wordt verwacht;
- ECMP-poorten (Gelijke kosten voor meerdere paden) en LAG-poorten moeten redelijk gelijkmatig worden verzonden
- RX-bandbreedte is onder controle van het andere uiteinde tabel met logisch-poorts gebruik tonen
- onderbreekt het poortgebruik door VLAN-id
- als de nummers klein zijn in vergelijking met de tabel met poortgebruik, betekent dit dat pakketten niet naar de NPU worden verplaatst vanaf de poort
Tellers voor poortgegevens tonen <sleuf/poort>
- meldt pakkettellingen op de fysieke poorten zelf
- de verschillende mislukkingslokalen te controleren om na te gaan of er meer zijn en tegen welk percentage
-Belangrijk: Dit is een van de weinige opdrachten die TWICE in een SSD-document verzameld wordt, en die heel waardevol kunnen zijn voor het vergroten van de pakkettelling in een relatief korte periode
Tellers van poort nr. <sleuf/poort> [VLAN <VLAN>] tonen
- alle poorten worden aangesloten op de rest van het systeem via de Network Processor Unit (NPU), ofwel op de aangesloten Packet Services Card (PSC, ASR 5000) (of de PSC direct is aangesloten of in kaart is gebracht via de Redundantie Crossbar Cards (RCC)) of op de Management Input-uitgang (MIO) (ASR 5500) waar de poort ook is gevestigd.
- de verschillende mislukkingslokalen te controleren om na te gaan of er meer zijn en tegen welk
percentage
- voor de invoering van LAG worden er tellers gerapporteerd voor de kapitein-haven die de totalen in alle havens van de LAG-groep opneemt, zodat er geen enkele manier is om te weten welke haven de tekortkomingen veroorzaakt. In dat geval, voor ASR 5000, "show port npu stats debug all_pacs" meldt het aantal mislukkingen op het PSC # niveau dat hopelijk helpt om naar de schuldige kaart te wijzen.
- Er zijn problemen gezien waar de toename in aantal loketten van deze opdracht wordt
veroorzaakt door een storing op de lijnkaart, waar de "show port datalink tellers" het probleem niet toont.
- niet alle NPU-problemen worden met deze opdracht meegenomen. Er zijn alleen andere
opdrachten van de NPU technische ondersteuning (bijvoorbeeld Npu stats debug all_pacs, show npu stats sf all_pacs, enz.) die pakketjes afdrukken wat niet hier wordt behandeld, weergeven.
-Belangrijk: Dit is een van de weinige opdrachten die TWICE in een SSD-document verzameld wordt, en die heel waardevol kunnen zijn voor het vergroten van de pakkettelling in een relatief korte periode
amusementsprogramma's
- alle vermeldingen met betrekking tot de havens op te zoeken, met inbegrip van de faciliteiten npu, npuctrl, enz.
toon poorttransceiver (alleen ASR 5500)
- op zoek naar lichtniveaus die in alle havens consistent zijn
Vergoedingsacties
Controleer tussen elk van de volgende stappen de uitvoer van de bovenstaande opdrachten, zoals van toepassing, om enige verbetering en/of verandering in gedrag te detecteren. Als het om een sporadische kwestie gaat, kan een passende wachttijd nodig zijn voordat het succes/de
mislukking wordt verklaard.
Dit is niet bedoeld als een harde en snelle lijst die in de order moet worden uitgevoerd of zelfs maar volledig. Er zijn te veel variabelen die een rol spelen bij het oplossen van dergelijke problemen en dit is dus bedoeld als richtlijn, zodat de probleemoplossing op zijn minst toegang heeft tot alle mogelijke opties. Degenen met veel jaren ervaring zijn waarschijnlijk vertrouwd met een aantal van deze benaderingen, omdat ze van toepassing zijn op andere platforms, maar een controlelijst voor herinneringen is altijd een goed idee, en degenen die niet op de hoogte zijn van het platform zijn misschien niet vertrouwd met sommige van de platform-specifieke benaderingen en/of beschikbare opdrachten.
Onthoud: elk scenario is anders en de stappen voor het oplossen van problemen zullen nieuwe informatie onthullen die toekomstige stappen zal dicteren die tussen scenario's zullen verschillen.
Dit is slechts een richtlijn.
De stappen die worden overwogen en de order die worden genomen, zullen verschillen afhankelijk van de ernst van het probleem, het mogelijke effect van de abonnee en het klantgevoel.
Overschakelen naar de redundante poort of LAG
- Noodzaak om rekening te houden met het feit dat de haven die lastig is nu met verkeer omgaat of niet met verkeer omgaat
- ASR 5000: volle lijnkaarten zijn nu aangesloten op een andere PSC (NPU), terwijl een halve lijnkaart op dezelfde PSC zal blijven worden aangesloten
- het overschakelen verandert niets aan de bekabeling, en daardoor zal het waarschijnlijker zijn dat dit geen verschil maakt in een scenario dat gericht is op het blokkeren van havens, maar in ieder geval, als het probleem zich in de actieve poort bevond, zal de impact tot een minimum worden beperkt, omdat het nu een stand-by poort is
Swap-kabelverbindingen met redundante poort
- Afhankelijk van welke kabel eerst wordt getrokken, zou de laatste actieve poort een van beide poorten kunnen zijn, zodat de poort mogelijk moet worden teruggeschakeld om terug te keren naar de startlay-out
- indien het probleem zich blijft voordoen bij de problematische haven, dan moet u die haven van de ASR nader bekijken
- als het probleem overschakelt naar de andere poort, dan wordt de verbinding van die haven aan het uiterste eind nader bekeken
Reinige vezels
- als de schoongemaakte haven actief is, moet deze na de reiniging worden teruggezet - de reiniging van vezels is zeker een activiteit die vaak problemen oplost;
Vervang elementen in het pad, waaronder Ethernet-kabel/vezel/patchpaneel/interconnects/taps - als de haven die wordt gereinigd actief is, moet deze na de reiniging worden teruggezet
- het zou verrassend kunnen zijn te ontdekken hoe vaak deze stap kwesties oplost Small form-factor pluggable (SFP) vervanging aan beide zijden van de verbinding - de SFP's kunnen afzonderlijk worden geordend
- Op ongebruikte SFP’s controleren voor testdoeleinden
—
alleen ASR 5000:
Linecard Rebooten Linecard Reseten
- Herhaling biedt een vervanging voor herstart en is opdringeriger en het is de moeite waard om te proberen
PSC-migratie
- De PSC is aangesloten op de lijnkaart die de probleempoort biedt (kaartmappingen /
toonkaarttabel alle)
PSC-herstart PSC herhalen
- Een PSC-migratie zal resulteren in het opnieuw instellen van de PSC, maar niet in een herstart - Op dezelfde manier is een PSC-reset opdringeriger dan een PSC-herstart
- Als de PSC opnieuw wordt opgestart, zal de PSC in één stap opnieuw worden opgestart
- In al het bovenstaande zou, indien het probleem wordt opgelost, een migratie naar een actieve PSC nodig zijn om te bevestigen of het probleem volledig is opgelost (ervan uitgaande dat de PSC-activiteit de havenblokkering heeft opgelost). Merk op dat, afhankelijk van de kaartlay-out en de startkaartconfiguratie (d.w.z. is de lijnkaart die de kwestie fysiek achter de aangesloten PSC heeft?, enz.), het terugschakelen van de PSC op actief kan resulteren in dezelfde PSC <->
lijnkaartmapping zoals vóór de activiteit het geval was.
System Management Card (SMC)-omschakeling SMC-herstart
SMC-herhalen alleen ASR 5500:
MIO-omschakeling
- dit is anders dan een poort of LAG-omschakeling. Alle actieve poorten op de MIO die worden overgeschakeld, worden stand-by. Als de problempoort al actief is op de Standby MIO, dan verandert de MIO-omschakeling de poortstatus niet, maar is het nog steeds een geldige stap
—
Herladen van chassis
- hoewel onwaarschijnlijk, is het altijd mogelijk dat er een soort anomalie is die alleen kan worden opgelost door herbelasting
Hardware vervanging op aangrenzende switch
Hardware vervanging op ASR 5x00 (PSC, LC, MIO, SMC of RCC)
Opdrachtreferentie voor verstelstappen:
kaartmigratie van <x> naar <y> - migratie van PSC/DPC
- Als het optillen van de hendel een andere manier is, doe dat dan niet EN trek de kaart of sluit de resultaten
kaartschakelaar van <x> naar <y> - SMC/MIO/LC/RCC-omschakeling Poortschakelaar naar <x> - niet-LAG poortomschakeling
Link-aggregation poortswitch naar <x> - LAG-omschakeling
- X moet de hoofdpoort van de LAG zijn of het paar van de kapitein, afhankelijk van de richting rebooten met kaart
- het opnieuw instellen van de kaart is een andere optie, maar herstart wordt aanbevolen
Problemen oplossen bij voorbeeld
Stand-by PGW Inter Chassis Session Restore (ICSR) knooppunt ontvangt groot volume verkeer vanaf Juniper MX-960
Dit voorbeeld toont de actieve LAG-poorten die aanzienlijk verkeer ontvangen, zelfs al dachten ze dat het chassis Service Redundancy Protocol (SRP) Standby was, in welk geval de
doorvoersnelheid bijna nul zou zijn. De waarde van de volgende twee commando's die samen worden gebruikt, is dat de poorten een aanzienlijk verkeer laten zien dat wordt ontvangen, maar de NPU laat geen verkeer zien. Dat betekent dat het verkeer wordt teruggebracht voordat het de NPU bereikt, mogelijk rechtstreeks in de havens zelf. De "show port datalink tellers" en "show port npu tellers" coördineren dit omdat de NPU tellers nauwelijks stijgen terwijl de datalink tellers snel groeien.
[local]PGW-ICSR> show port utilization table Sunday July 26 00:13:32 UTC 2015
--- Average Port Utilization (in mbps) --- Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx --- --- --- --- --- --- --- --- 5/1 1000 Ethernet 0 0 0 0 0 0 5/10 10G Ethernet 0 0 0 0 0 0 5/11 10G Ethernet 0 0 0 0 0 0 5/15 10G Ethernet 0 0 0 0 0 0 5/16 10G Ethernet 0 0 0 0 0 0 5/28 10G Ethernet 105 13 105 13 105 13 5/29 10G Ethernet 0 0 0 0 0 0 6/1 1000 Ethernet 0 0 0 0 0 0 6/10 10G Ethernet 4214 0 4121 0 3993 0 6/11 10G Ethernet 4089 0 4103 0 3995 0 6/15 10G Ethernet 4166 0 4172 0 3996 0 6/16 10G Ethernet 4163 0 4174 0 3997 0 6/28 10G Ethernet 0 0 0 0 0 0 6/29 10G Ethernet 1 0 1 0 1 0
[local]PGW-ICSR> show logical-port utilization table Sunday July 26 00:13:45 UTC 2015
--- Average Port Utilization (in mbps) --- Slot/Port vlan Current 5min 15min
Rx Tx Rx Tx Rx Tx --- --- --- --- --- --- --- 5/10 2427 0 0 0 0 0 0
5/10 2407 0 0 0 0 0 0 5/10 2011 0 0 0 0 0 0 5/10 2405 0 0 0 0 0 0 5/10 2015 0 0 0 0 0 0 5/10 2455 0 0 0 0 0 0 6/10 2427 0 0 0 0 0 0 6/10 2407 0 0 0 0 0 0 6/10 2011 0 0 0 0 0 0 6/10 2405 0 0 0 0 0 0 6/10 2015 0 0 0 0 0 0 6/10 2455 0 0 0 0 0 0 6/29 31 0 0 0 0 0 0
[local]PGW-ICSR> clear port npu counters all Saturday July 25 01:44:38 UTC 2015
[local]PGW-ICSR> clear port data count all
Saturday July 25 01:44:43 UTC 2015
[local]PGW-ICSR> show port data counters 6/10 Saturday July 25 01:45:30 UTC 2015
rt npu counteCounters for port 6/10:
Line Card 10 Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- ---
RX Bytes 20310895783 | TX Bytes 9746
RX Unicast frames 25564965 | TX Unicast frames 41
RX Multicast frames 85 | TX Multicast frames 48
RX Broadcast frames 0 | TX Broadcast frames 0
RX Size 64 frames 338598 | TX Size 64 frames 9
RX Size 65 .. 127 fr 6881254 | TX Size 65 .. 127 fr 32
RX Size 128 .. 255 fr 4151284 | TX Size 128 .. 255 fr 48
RX Size 256 .. 511 fr 761933 | TX Size 256 .. 511 fr 0
RX Size 512 .. 1023 fr 599377 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 12678554 | TX Size 1024 .. 1518 fr 0
RX Size 1519 .. 1522 fr 154050 | TX Size 1519 .. 1522 fr 0
[local]PGW-ICSR> show port npu counters 6/10 Saturday July 25 01:45:31 UTC 2015 Counters for port 6/10 Counter Rx Frames Rx Bytes Tx Frames Tx Bytes --- --- --- --- Unicast 147 11716 150 12234
Multicast 870 73376 416 51584
Broadcast 4 240 0 0
IPv4 unicast 66 4436 66 4550
IPv4 non-unicast 238 15232 0 0
IPv6 unicast 83 7400 84 7684
IPv6 non-unicast 632 8144 0 0
Fragments received 0 0 n/a n/a Packets reassembled 0 0 n/a n/a Fragments to kernel 0 0 n/a n/a HW error 0 0 n/a n/a Port non-operational 0 0 0 0 SRC MAC is multicast 0 0 n/a n/a Unknown VLAN tag 0 0 n/a n/a Other protocols 97 8240 n/a n/a Not IPv4 399 36472 n/a n/a Bad IPv4 header 0 0 n/a n/a
Ontbrekende pakketten tussen datalink en npu-tellers
Dit voorbeeld voor ASR 5000 toont uitvoer die datalink en npu tellers vergelijkt. In dit geval passen de multicast en broadcast-pakketten tussen opdrachten, maar de Rx-telling voor npu is minder dan voor datalink. De opdracht "show npu stats debug" kan het verschil mogelijk verklaren, maar niet in alle gevallen, zoals hier het geval is waar geen van de tellers van die opdracht de
verschillen kan verklaren.
[local]DO-HSGW> clear port npu counters all Thursday August 06 02:05:51 UTC 2015
[local]DO-HSGW> clear port datalink counters all Thursday August 06 02:05:52 UTC 2015
[local]DO-HSGW> show npu stats debug all-pacs clear Thursday August 06 02:05:52 UTC 2015
[local]DO-HSGW> show card table Thursday August 06 02:18:59 UTC 2015
Slot Card Type Oper State SPOF Attach --- --- --- ---- --- 5: PSC Packet Services Card 3 Active No 21 37
[local]DO-HSGW> show port npu count 21/1 Thursday August 06 02:13:52 UTC 2015 Counters for port 21/1
sCounter Rx Frames Rx Bytes Tx Frames Tx Bytes --- --- --- --- ---
Unicast 2502 289800 1726 308932
Multicast 1091 92000 0 0
Broadcast 1231 79781 0 0
IPv4 unicast 2400 283272 1624 304240
IPv4 non-unicast 534 34176 0 0
IPv6 unicast 0 0 0 0
IPv6 non-unicast 539 52982 0 0
Fragments received 0 0 n/a n/a Packets reassembled 0 0 n/a n/a Fragments to kernel 0 0 n/a n/a HW error 0 0 n/a n/a Port non-operational 0 0 0 0
SRC MAC is multicast 0 0 n/a n/a Unknown VLAN tag 0 0 n/a n/a Other protocols 50 7850 n/a n/a Not IPv4 0 0 n/a n/a Bad IPv4 header 0 0 n/a n/a IPv4 MRU exceeded 0 0 n/a n/a TCP tiny fragment 0 0 0 0
No ACL match 0 0 0 0
Filtered by ACL 0 0 0 0
TTL expired 0 0 n/a n/a Flow lookup twice 0 0 n/a n/a Unknown IPv4 class 0 0 n/a n/a Too short: IP 0 0 n/a n/a Too short: ICMP 0 0 0 0
Too short: IGMP 0 0 0 0
Too short: TCP 0 0 0 0
Too short: UDP 0 0 0 0
Too short: IPIP 0 0 n/a n/a Too short: GRE 0 0 n/a n/a Too short: GRE key 0 0 n/a n/a Don't frag discards n/a n/a 0 0
Fragment packets n/a n/a 0 0
Fragment fragments n/a n/a 0 0
IPv4VlanMap dropped 0 0 n/a n/a IPSec NATT keep alive 0 0 n/a n/a MPLS Flow not found 0 0 n/a n/a MPLS unicast 0 0 0 0
Size < 17 0 0 0 0
Size 17 .. 64 1834 117376 102 4692
Size 65 .. 127 1385 113948 36 2520
Size 128 .. 255 1589 225633 1191 170710
Size 256 .. 511 16 4624 397 131010
Size 512 .. 1023 0 0 0 0
Size 1024 .. 2047 0 0 0 0
Size 2048 .. 4095 0 0 0 0
Size 4096 .. 4500 0 0 0 0
Size > 4500 0 0 0 0 [local]DO-HSGW> show port data counters 21/1
Thursday August 06 02:13:52 UTC 2015
how npu Counters for port 21/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- ---
RX Unicast frames 5555 | TX Unicast frames 1726
RX Multicast frames 1091 | TX Multicast frames 0
RX Broadcast frames 1233 | TX Broadcast frames 0
RX Size 64 frames 0 | TX Size 64 frames 102
RX Size 65 .. 127 fr 4219 | TX Size 65 .. 127 fr 36
RX Size 128 .. 255 fr 1681 | TX Size 128 .. 255 fr 1191
RX Size 256 .. 511 fr 49 | TX Size 256 .. 511 fr 397
RX Size 512 .. 1023 fr 1828 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 18 | TX Size 1024 .. 1518 fr 0
RX Size > 1518 frames 84 | TX Size > 1518 frames 0
RX Bytes OK 1934599 | TX Bytes OK 317264
RX Bytes BAD 0 | TX Bytes BAD 0
RX SHORT OK 0 | TX PAUSE 0
RX SHORT CRC 0 | TX ERR 0
RX OVF 0 |
RX NORM CRC 0 |
RX LONG OK 0 |
RX LONG CRC 0 |
RX PAUSE 0 |
RX FALS CRS 0 |
RX SYM ERR 0 |
RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0
RX FIFO UNREC ECC ERR 0 | TX FIFO UNREC ECC ERR 0
RX Disc frames 0 | TX Disc frames 0
RX Disc bytes 0 | TX Disc bytes 0
RX ERR frames 0 | TX ERR frames 0
--- --- + --- --- [local]DO-HSGW> show npu stats debug slot 5 Thursday August 06 02:13:53 UTC 2015 NPU debug stats for slot 5 Total number of NPU debug stat counters: 267 WARN: --- lc-rx-drop (id: 234) 50
INFO: --- csix-idle-cnt (id: 29) 36268853
npu-resent-fc-msg (id: 45) 951
npu-tx-fc-cframe (id: 46) 44701
npu-rx-sf-xon (id: 60) 13316
cp2npu-unk-mac-drop-cnt (id: 153) 177255
ipv6-unk-nexthdr (id: 155) 262
rx-cp-sft-pkt (id: 164) 33439
rx-sf0-sft-pkt (id: 165) 33439
rx-sf1-sft-pkt (id: 166) 33439
lc-rx-arp-slowpath (id: 316) 70
flow-notfound-done-slowpath (id: 325) 1233
flow-lkup-done-slowpath (id: 326) 3473
Datalink TX Pauze en RX OVF op ASR 5000
TX Pauze geeft aan dat deze poort op een bepaald moment een pieklading heeft bereikt en een
PAUSE frame naar de peer schakelaar heeft gestuurd, zodat peer schakelaar het verkeer naar
deze poort geleidelijk kan verminderen. Het lijkt er echter op dat de peer schakelaar niet is
ingeschakeld met debietcontrole en dat er daarom een aantal tellers op de lijnkaart zijn die op
sommige overflow-druppels in de poort wijzen.
Zelfs als het gemiddelde havengebruik niet de piekwaarde (zoals 6 GBPS) bereikt kan de haven een plotselinge piek van verkeer ontvangen die tot TX PAUSE kan leiden. Daarom is het
raadzaam de stroomregeling altijd in het geval van een peer-schakelaar aan te passen.
show port datalink counters
Counters for port 21/1: Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data --- --- --- + --- --- RX Unicast frames 11562820841545 | TX Unicast frames 8643405785924 RX Multicast frames 401729121 | TX Multicast frames 0 RX Broadcast frames 16900986 | TX Broadcast frames 0 RX Size 64 frames 2562649224215 | TX Size 64 frames 5324800463761 RX Size 65 .. 127 fr 1827916995441 | TX Size 65 .. 127 fr 1921108746736 RX Size 128 .. 255 fr 527160156402 | TX Size 128 .. 255 fr 377388275894 RX Size 256 .. 511 fr 384674712910 | TX Size 256 .. 511 fr 285180922294 RX Size 512 .. 1023 fr
335734722295 | TX Size 512 .. 1023 fr 248088896685 RX Size 1024 .. 1518 fr 5894848662488 | TX Size 1024 .. 1518 fr 486837840991 RX Size > 1518 frames 29836364100 | TX Size > 1518 frames 0 RX Bytes OK 9248285853715092 | TX Bytes OK 1491301613652484 RX Bytes BAD 5358 | TX Bytes BAD 0 RX SHORT OK 0 | TX PAUSE 639563
RX SHORT CRC 0 | TX ERR 0
RX OVF 12768 | RX NORM CRC 0 |
RX LONG OK 0 |
RX LONG CRC 0 |
RX PAUSE 0 |
RX FALS CRS 0 |
RX SYM ERR 0 |
RX SPI FRAME COUNT 11555373252519 | TX SPI FRAME COUNT 8637801817136
RX SPI LEN ERR 0 | TX SPI LEN ERR 0
RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0
RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0
RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0
RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0
SPI EOP/ABORT 0 |
RX FRAGMENTS COUNT 0 |
RX MAC ERR 26 |
RX JABBER COUNT 0 |
Een opdracht op zeer laag niveau (alleen technische ondersteuning kan van de SSD worden opgeroepen) is "Toon de sleuf X voor gegevenscongestie". In dit voorbeeld wordt de hoge congestie op sleuf 5 (standaard aangesloten op XCLC 21/1) aangegeven op de NPU-interface (Switch Fabric SF). In het bijzonder bevestigt een hoog aantal berichten van het stroomregelsysteem van het switchfabric naar de NPU, samen met een hoog aantal pakketdruppels in dezelfde richting, de kwestie.
******** Data-path congestion information for slot 5 ******** NPU Percentage of Frames Dropped: Subsystem | 5 Sec | 5 Min | 15 Min | Total Frames and Drops ---|---|---|---|--- LC Top rx | 0.00% | 0.00% | 0.00% | Frames: 715193480189| | | | Drops: 0
LC Top tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC Bot rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC Bot tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC1 rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC1 tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC2 rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC2 tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
CPU rx | 0.00% | 0.00% | 0.00% | Frames: 121566003797
| | | | Drops: 0
CPU tx | 0.00% | 0.00% | 0.00% | Frames: 59870967969
| | | | Drops: 35226625
SF A rx | 0.00% | 0.00% | 0.00% | Frames: 224008179
| | | | Drops: 0
SF A tx | 0.01% | 0.00% | 0.00% | Frames: 378241304254 | | | | Drops: 274645028 SF B rx | 0.00% | 0.00% | 0.00% | Frames: 656009419
| | | | Drops: 0
SF B tx | 0.00% | 0.00% | 0.00% | Frames: 392219947264 | | | | Drops: 320394097 EDC rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
EDC tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
NPU Received Flow Control Events: Event | 5 Sec | 5 Min | 15 Min | Total Event Count ---|---|---|---|--- rx-sf-xoff | 21668 | 843417 | 2358340 | 828378025 rx-sf-xon | 21811 | 851786 | 2383440 | 873518866 rx-lc-xoff | 0 | 0 | 0 | 0
rx-lc-xon | 0 | 0 | 0 | 0
rx-cp-xoff | 53 | 5021 | 15176 | 17316366
rx-cp-xon | 53 | 5021 | 15176 | 17316366
rx-edc-xoff | 0 | 0 | 0 | 0
rx-edc-xon | 0 | 0 | 0 | 0
Verhoogde TX ERR door verkeerd aangepaste poortinstellingen op ASR 5500 beheerpoort
In dit voorbeeld begonnen de kaartverkoop te worden geopend op basis van een verhoging van
de TX ERR-loketten in haven 5/1, de beheerpoort op ASR 5500. Op één site was het probleem
pas "opgemerkt" nadat een MOP was uitgevoerd met de creatie en generatie van bestanden met
gebeurtenissen uit het verleden, een onderdeel van de "Enhance Charging Service". Er kon geen
verband worden gelegd tussen het implementeren van die functie en een plotselinge toename van
deze tekortkomingen, behalve dat er ook een plotselinge toename was van de doorvoersnelheid
voor de beheerpoort, die alleen beheersverkeer zou moeten hebben op 12/30 toen de wijziging
werd doorgevoerd. Hier worden variabele tekstpakketten van schema PORTSch1 gegraveerd die
de verhoging tonen:
Een controle van het netwerk toonde aan dat het probleem op veel knooppunten aan de gang was, bijvoorbeeld hier is slechts een klein fragment van de controle:
*************** ALPR-DXGW-ICSR ***************
show port datalink counters 5/1 | grep "TX ERR"
Monday January 04 03:33:14 UTC 2016
RX SHORT CRC 0 | TX ERR 2038860
*************** ANJT-PGW ***************
show port datalink counters 5/1 | grep "TX ERR"
Monday January 04 03:33:14 UTC 2016
RX SHORT CRC 0 | TX ERR 1975169
*************** AZUS-PGW-00 ***************
show port datalink counters 5/1 | grep "TX ERR"
Monday January 04 03:33:15 UTC 2016
RX SHORT CRC 0 | TX ERR 1709395
*************** AZUSPND-PGW-00 ***************
show port datalink counters 5/1 | grep "TX ERR"
Monday January 04 03:33:15 UTC 2016
RX SHORT CRC 0 | TX ERR 1211060
Terugkomend op oude SSD's (aangezien alleen de basistellers worden gevolgd door Bulkstats) kan men zien dat de fout langzaam tot 12/30 gebeurde, maar na de uitvoering van de MOP gebeurde de fout in een veel hoger tempo:
Thursday November 19 13:41:44 UTC 2015 Counters for port 5/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX SHORT CRC 0 | TX ERR 5927969 Monday November 30 13:35:45 UTC 2015
Counters for port 5/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX SHORT CRC 0 | TX ERR 6116249
Tuesday December 01 13:39:26 UTC 2015 Counters for port 5/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX SHORT CRC 0 | TX ERR 6130958
Counters cleared ...
[local]ASR5500-PGW> show port datalink counters 5/1 Monday January 04 02:41:29 UTC 2016
Counters for port 5/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX Unicast frames 171008921 | TX Unicast frames 221976127 RX SHORT CRC 0 | TX ERR 5852770 ******** show port datalink counters *******
Tuesday January 05 13:38:51 UTC 201
Rx Counter Data | Tx Counter Data --- --- + --- --- RX Unicast frames 216450269 | TX Unicast frames 8080952673 RX SHORT CRC 0 | TX ERR 11497275
******** show port info *******
Tuesday January 05 13:33:07 UTC 2016 Port: 5/1
Port Type : 1000 Ethernet Configured Duplex : Auto
Configured Speed : Auto Link State : Up Link Duplex : Half Link Speed : 100 Mb
Issue fixed ...
Wednesday January 06 14:29:28 UTC 2016 Counters for port 5/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX SHORT CRC 0 | TX ERR 0
[local]PGW> show port info 5/1
Wednesday January 06 12:58:50 UTC 2016 Port: 5/1
Port Type : 1000 Ethernet Role : Management Port Configured Duplex : Auto
Configured Speed : Auto Link State : Up Link Duplex : Full Link Speed : 1000 Mb
Het bleek een probleem te zijn in de poortinstellingen tussen de ASR 5500 en de nieuwe switch waarmee deze zich verbindt, de Nexus 7000. De oplossing was om havens aan beide kanten in te stellen om te onderhandelen. ASR 5500 was al ingesteld op auto, terwijl de Nexus handmatig werd ingesteld op full duplex. Het verschil:
ASR 5500 (already set to this) port ethernet 5/1
medium speed 1000 duplex full no shutdown
bind interface 5/1-MGMT local #exit
Nexus 7K (needed to be set to this) interface Ethernet152/1/11
description MGMT-PORT-5/01 switchport
switchport access vlan 10 spanning-tree port type edge no snmp trap link-status no shutdown
Het blijkt dat de kwestie zich altijd al voordeed maar nooit werd opgemerkt omdat de enige indicator de TX ERR teller was, die niet iets is dat kan worden gemeten door elke
geautomatiseerde rapportage, aangezien er geen bulkstatvariabelen zijn voor iets anders dan de basis port tellers (Tx/Rx pakketten/bytes, enz.). Maar de kwestie werd ernstig verergerd toen de MOP werd uitgevoerd en aangezien Tx/Rx-pakketten door Bulkstats worden opgenomen en een KPI is die door de klant wordt gemeten, werd het toen opgemerkt.
Dus de volgende vraag was wat de oorzaak was van de plotselinge toename van het verkeer?
Onderzoek van de verandering toont de volgende instelling genaamd "via lokale context", die specificeert met behulp van de lokale contextpoort (5/1 of 6/1) voor het nieuwe-eventverkeer in plaats van haven 5/29 in de ECS-context, waar het bestaande Event Data Record (EDR)
factureringsverkeer altijd is (en verder) uitgezonden naar de bestaande haven 5/29 in die context.
Dit was GEEN voor de hand liggende vondst aangezien die setting zelden in enige klantconfiguratie gebruikt wordt.
context ECS
interface 5/29-ECS
ip address 10.192.102.75 255.255.255.0 #exit
session-event-module
file name evt-repo rotation volume 40000000 rotation time 120 storage-limit 500000000 exclude-checksum-record time-stamp rotated-format compression gzip
event transfer-mode push primary encrypted-url +A19y2j... via local-context module-only
edr-module active-charging-service
file name FDR70 rotation volume 40000000 rotation time 300 storage-limit 500000000 headers reset-indicator edr-format-name trap-on-file-delete charging-service-name omit compression gzip file-sequence-number rulebase-seq-num
cdr use-harddisk
cdr remove-file-after-transfer
cdr transfer-mode push primary encrypted-url +A0d2...
Groeiende slechte frames en TX-indelingen op beheerpoort vanwege een half
duplex
De interface 24/1 en 25/1 die de 24/1-MGMT-interface vormen, ervaren "slechte frames", "TX- botsingen" en "TX-late botsingen".
Ga voor meer informatie naar:
******** show port datalink counters *******
Friday January 03 14:14:59 UTC 2014
Counters for port 25/1:
SPIO 10/100/1000 Ethernet port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX Bytes 12808872101 | TX Bytes 20451927433 RX BAD frames 0 | TX BAD frames 1403971
RX Runt frames 0 | TX Runt frames 0 RX Oversize frames 0 | TX Oversize frames 0 RX Good frames 95621882 | TX Good frames 39395979 RX Multicast frames 6686008 | TX Collisions 1501475
RX Broadcast frames 56656415 | TX Excessive collis 0 RX Code ERROR 0 | TX Late Collisions 1403968
RX CRC ERROR 0 | TX CRC ERROR 0 RX length ERROR 0 | TX ABORT 3 RX Align ERROR 0 |
--- --- + --- ---
Let een beetje later op de toename in Slechte frames en botsingen/laattijdige botsingen:
[local]DO-HSGW> show port datalink counters 25/1 Friday January 03 14:26:04 UTC 2014
Counters for port 25/1:
SPIO 10/100/1000 Ethernet port
Rx Counter Data | Tx Counter Data --- --- + --- --- RX Bytes 12809750383 | TX Bytes 20456667635 RX BAD frames 0 | TX BAD frames 1404930
RX Runt frames 0 | TX Runt frames 0 RX Oversize frames 0 | TX Oversize frames 0 RX Good frames 95628788 | TX Good frames 39400838 RX Multicast frames 6686366 | TX Collisions 1502503
RX Broadcast frames 56659440 | TX Excessive collis 0 RX Code ERROR 0 | TX Late Collisions 1404927
RX CRC ERROR 0 | TX CRC ERROR 0 RX length ERROR 0 | TX ABORT 3 RX Align ERROR 0 |
--- --- + --- ---
Dit is gewoonlijk een aanwijzing voor een configuratie mismatch op één van beide eind van de Ethernet interface. Beide beheerhavens hebben als halfduplex onderhandeld:
[local]DO-HSGW> show port info 24/1
Friday January 03 14:33:19 UTC 2014 Port: 24/1
Port Type : 1000 Ethernet Dual Media Role : Management Port
Description : (None Set)
Controlled By Card : 8 (System Management Card) Redundancy Mode : Port Mode
Framing Mode : Unspecified Redundant With : 25/1
Preferred Port : Non-Revertive Physical ifIndex : 402718720 Administrative State : Enabled Configured Duplex : Auto Configured Speed : Auto Media Selection : RJ45
MAC Address : 00-05-47-02-5D-EE Link State : Up
Link Duplex : Half Link Speed : 100 Mb Link Aggregation Group : None Logical ifIndex : 402718721 Operational State : Down, Standby
SFP Module : Present (1000BASE-SX, M5, M610G SFP+Cu)
Het andere uiteinde van de verbinding, Cisco Catalyst 6500, werd ingesteld op Speed = 100 en duplex = volledig. Om het probleem te repareren moet ASR 5000 ook op een harde code worden gecodeerd om het volledig te laten zijn:
port ethernet 24/1
medium speed 100 duplex full no shutdown
bind interface 24/1-MGMT local
Of stel beide kanten op om automatisch te onderhandelen.
Maar het hebben van één kant als auto en de andere kant als vol zou kunnen resulteren in een half-duplex establishment.
Onverwachte LAG-switch - LAG Port 23/1 probleem
Het volgende werd waargenomen wanneer haven 23/1 in het LAG werd vastgehouden in een door LAG gesloten staat na een onverwachte overschakeling op LAG:
2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification 1205 (LAGGroupUp) card:19, port:1, partner:(007F,64-87-88-66-F7-C0,0016) 2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification 1204 (LAGGroupDown) card:19, port:1, partner:(007F,64-87-88-67-87-C0,0016)
2015-May-15+16:47:40.410 [lagmgr 179050 warning] [1/0/13147 <lagmgr:0>
lagmgr_state.c:1314] [software internal system critical-info syslog] LAG group 50 (global) with master port 19/1 has changed partner
from (007F,64-87-88-67-87-C0,0016) on 17/1, 19/1, 23/1, 27/1, 29/1 to (007F,64-87-88-66-F7-C0,0016) on 18/1, 20/1, 26/1, 28/1, 30/1
[local]PDSN> show port table | grep LA 17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1 20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA* 19/1
26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 [local]PDSN> show port info 23/1
Port: 23/1
Port Type : 10G Ethernet Role : Service Port
Description : Ingress-Egress Line Card Controlled By Card : 7 (Packet Services Card 3) Redundancy Mode : Port Mode
Framing Mode : Unspecified Redundant With : Not Redundant Preferred Port : Non-Revertive Physical ifIndex : 385941504 Administrative State : Enabled Configured Duplex : Auto Configured Speed : Auto Configured Flow Control : Enabled
MAC Address : 00-05-47-02-A6-96 Link State : Up
Link Duplex : Full Link Speed : 10 Gb Flow Control : Enabled
Link Aggregation Group : 50 (global, member) Link Aggregation LACP : Active, Short, Auto Link Aggregation Master : 19/1
Link Aggregation State : Agreed with LACP peer
Link Aggregation Actor : (8000,00-05-47-02-B1-97,001A,8000,1701) Link Aggregation Peer : (007F,64-87-88-67-87-C0,0016,007F,0013) Logical ifIndex : 385941505
Operational State : Up, Active
SFP Module : Present (10G Base SR)
[local]PDSN>show card diag 23
Card 23:
Counters:
In Service Date : Tue Aug 24 06:58:31 2010 (Estimated) Status:
IDEEPROM Magic Number : Good Card Diagnostics : Pass Current Failure : None Last Failure : None Card Usable : Yes Current Environment:
Temperature: Card : 48 C (limit 90 C) Temperature: LM87 : 49 C (limit 85 C) Temperature: PHY : 48 C (limit 90 C)
Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V) Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V) Voltage: 2.5V : 2.522 V (min 2.375 V, max 2.625 V) Voltage: 3.3V : 3.285 V (min 3.135 V, max 3.465 V) Voltage: 1.8V : 1.805 V (min 1.710 V, max 1.890 V)
De datalink-tellers lieten geen problemen zien:
[local]PDSN# show port datalink counters 23/1 Counters for port 23/1:
Line Card 10 Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data --- --- + --- ---
RX Unicast frames 3782 | TX Unicast frames 6043
RX Multicast frames 3782 | TX Multicast frames 0
RX Broadcast frames 0 | TX Broadcast frames 0
RX Size 64 frames 0 | TX Size 64 frames 0
RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6043
RX Size 128 .. 255 fr 3782 | TX Size 128 .. 255 fr 0
RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0
RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0
RX Size > 1518 frames 0 | TX Size > 1518 frames 0
RX Bytes OK 483456 | TX Bytes OK 748092
RX Bytes BAD 0 | TX Bytes BAD 0
RX SHORT OK 0 | TX PAUSE 0
RX SHORT CRC 0 | TX ERR 0
RX OVF 0 |
RX NORM CRC 0 |
RX LONG OK 0 |
RX LONG CRC 0 |
RX PAUSE 0 |
RX FALS CRS 0 |
RX SYM ERR 0 |
SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0
SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0
SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0
RX MAC ERR CNT 0 |
RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0
RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0
RX Disc frames 0 | TX Disc frames 0
RX Disc Bytes 0 | TX Disc Bytes 0
RX ERR frames 0 | TX ERR frames 0
RX SPI FRAME COUNT 3782 | TX SPI FRAME COUNT 6044
RX SPI LEN ERR 0 | TX SPI LEN ERR 0
RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0
RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0
RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0
RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0
SPI EOP/ABORT 0 |
RX FRAGMENTS COUNT 0 |
RX MAC ERR 0 |
RX JABBER COUNT 0 |
--- --- + --- ---
Ook de NPU-tellers waren in orde. Hier zijn port 23/1 tellers een paar seconden later en niets
slechts neemt toe:
[local]PDSN# show port datalink counters 23/1 Counters for port 23/1: Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data --- --- + --- --- RX Unicast frames 3802 | TX Unicast frames 6066RX Multicast frames 3802 | TX Multicast frames 0
RX Broadcast frames 0 | TX Broadcast frames 0
RX Size 64 frames 0 | TX Size 64 frames 0
RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6066
RX Size 128 .. 255 fr 3802 | TX Size 128 .. 255 fr 0
RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0
RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0
RX Size > 1518 frames 0 | TX Size > 1518 frames 0
RX Bytes OK 486016 | TX Bytes OK 750944
RX Bytes BAD 0 | TX Bytes BAD 0
RX SHORT OK 0 | TX PAUSE 0
RX SHORT CRC 0 | TX ERR 0
RX OVF 0 |
RX NORM CRC 0 |
RX LONG OK 0 |
RX LONG CRC 0 |
RX PAUSE 0 |
RX FALS CRS 0 |
RX SYM ERR 0 |
SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0
SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0
SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0
RX MAC ERR CNT 0 |
RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0
RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0
RX Disc frames 0 | TX Disc frames 0
RX Disc Bytes 0 | TX Disc Bytes 0
RX ERR frames 0 | TX ERR frames 0
RX SPI FRAME COUNT 3802 | TX SPI FRAME COUNT 6067
RX SPI LEN ERR 0 | TX SPI LEN ERR 0
RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0
RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0
RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0
RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0
SPI EOP/ABORT 0 |
RX FRAGMENTS COUNT 0 |
RX MAC ERR 0 |
RX JABBER COUNT 0 |
Maar de opdracht "show lag event" van technische ondersteuning toonde doorlopende
gebeurtenissen op port 23/1. Dit is de beste manier om het gerapporteerde probleem te zien.
[local]PDSN> show lag event
lagmgr event history [4096/4096]
May 15 18:36:57.222 50 23/01 New MUX State: DETACHED May 15 18:36:57.222 50 23/01 SYNC cleared
May 15 18:36:57.222 50 23/01 COLL disabled
May 15 18:36:58.212 50 23/01 New MUX State: WAITING
May 15 18:36:58.223 50 23/01 LACP State Change: 0x07:ACTV:TIMO:AGGR ...
Volgende onderhoudsvenster is door Cisco gecontacteerd en er is een PSC-migratie gedaan om de kaart in kaart te brengen naar de standaardopmaak (zodat de PSC fysiek achter de lijnkaart is geplaatst: 7 + 16 = 23), omdat er een migratie is uitgevoerd voordat u contact opneemt met Cisco.
[local]PDSN card migrate from 16 to 7 Are you sure? [Yes|No]: yes
[local]PDSN# show port table | grep LA
17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1 20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
[local]PDSN# show rct stats
RCT stats Details (Last 8 Actions)
Action Type From To Start Time Duration --- --- ---- ---- --- --- Migration Planned 10 15 2015-Jan-12+07:02:33.842 32.911 sec Shutdown N/A 10 0 2015-Jan-12+07:08:35.098 0.218 sec Migration Planned 16 10 2015-Jan-12+07:19:40.842 32.451 sec Shutdown N/A 1 16 2015-Mar-19+05:00:54.430 1.368 sec Migration Planned 16 1 2015-Mar-27+06:05:48.902 19.085 sec Shutdown N/A 16 0 2015-Mar-27+06:13:00.397 0.027 sec Migration Planned 7 16 2015-May-16+07:04:51.264 37.629 sec Migration Planned 16 7 2015-May-16+08:39:48.761 Unfinished
RCT stats Summary ---
Migrations = 5, Average time = 30.519 sec Switchovers = 0
Migration Planned 16 7 2015-May-16+08:39:48.761 43.248 sec
Sat May 16 08:40:33 2015 Internal trap notification 1257 (MigrateComplete) from card 16 to card 7
Lijnkaart 23 is opnieuw opgestart:
[local]PDSN# card reboot 23 Are you sure? [Yes|No]: yes
Sat May 16 08:41:38 2015 Internal trap notification 4 (CardRebootRequest) card 23 type 10 Gig Ethernet Line Card
Sat May 16 08:41:44 2015 Internal trap notification 1025 (PortUp) card 23 port 1 port type 10G Ethernet
Sat May 16 08:41:44 2015 Internal trap notification 1502 (EntStateOperEnabled) Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm"
Sat May 16 08:41:44 2015 Internal trap notification 55 (CardActive) card 23 type 10 Gig Ethernet Line Card
De haven is nu in goede staat:
[local]PDSN# show port table | grep LA
17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1
20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
Maar de Juniper-zijde had nog steeds fouten (geen output hier getoond).
Het probleem bleef onopgelost aan de kant van Juniper.
De vezel werd verplaatst van 23/1 naar 17/1 en de fout bleef bij 23/1 en verhuisde naar een andere haven aan de kant Juniper.
Sat May 16 08:46:28 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:46:28 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:46:31 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:46:31 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card
Sat May 16 08:46:33 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:46:33 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:46:40 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet Sat May 16 08:46:40 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card
De vezels werden teruggebracht naar de oorspronkelijke locatie en het probleem was nog steeds met haven 23/1 (dit is allemaal vanuit het perspectief van Juniper, omdat, zoals hierboven
vermeld, de kwestie niet meer werd gezien op de ASR 5000 na het herstarten van lijnkaart 23).
Sat May 16 08:51:53 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:51:53 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:51:57 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:51:57 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:51:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:51:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:51:59 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet
Sat May 16 08:51:59 2015 Internal trap notification 55 (CardActive) card 17 type 10 Gig Ethernet Line Card
Het inruilen van SFP's tussen 23/1 en 17/1 heeft niets veranderd.
Sat May 16 08:52:50 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:52:50 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:52:58 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:52:59 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:53:46 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet Sat May 16 08:53:46 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card Sat May 16 08:53:53 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:53:53 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Een hergebruik van lijnkaart 23/1 gaf het probleem op de Juniper-zijde vrij.
Sat May 16 08:55:39 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:55:39 2015 Internal trap notification 35 (PortLinkDown) ifindex
385941505 adminstate Disabled operstate Down Sat May 16 08:55:39 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Offline Sat May 16 08:55:39 2015 Internal trap notification 60 (CardDown) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:55:39 2015 Internal trap notification 1503 (EntStateOperDisabled)
Card(23) Admin state:"Locked", Alarm severity:"Critical" Sat May 16 08:55:39 2015 Internal trap notification 140 (CardSPOFClear) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:55:40 2015 Internal trap notification 84 (ServiceLossLC) Slots 23
and 39 has configured for card type 10 Gig Ethernet Line Card, but neither active Sat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFF Sat May 16 08:55:41 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Empty Sat May 16 08:55:41 2015 Internal trap notification 7 (CardRemoved) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:55:41 2015 Internal trap notification 1507 (CiscoFruRemoved) FRU
entity Card : 23 removed Sat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFF Sat May 16 08:56:19 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power ON Sat May 16 08:56:21 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to Offline Sat May 16 08:56:21 2015 Internal trap notification 8 (CardInserted) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:56:21 2015 Internal trap notification 1506 (CiscoFruInserted) FRU
entity Card : 23 inserted Sat May 16 08:56:23 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to Ready Sat May 16 08:56:23 2015 Internal trap notification 5 (CardUp) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:56:23 2015 Internal trap notification 1502 (EntStateOperEnabled)
Card(23) Admin state:"Unlocked", Alarm severity:"No active alarm" Sat May 16 08:56:25 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Active Sat May 16 08:56:25 2015 Internal trap notification 55 (CardActive) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:56:26 2015 Internal trap notification 1111 (ServiceLossLCClear)
Slots 23 and 39 has configured for card type 10 Gig Ethernet Line Card, one of
them is active now Sat May 16 08:56:26 2015 Internal trap notification 93 (CardStandby) card 23 type 10 Gig Ethernet Line Card Sat May 16 08:56:28 2015 Internal trap notification 1025 (PortUp)
card 23 port 1
port type 10G Ethernet Sat May 16 08:56:28 2015 Internal trap notification 1502 (EntStateOperEnabled)
Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm" Sat May 16 08:56:28 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Onverklaarbare poortfouten op Juniper-router uitgevoerd met XGLC-poort 27/1 (effect op abonnee)
Dit volgende voorbeeld heeft veel van dezelfde stappen voor het oplossen van problemen toegepast en is het bestuderen waard. Het begon met het melden van een onbekend
waarschuwingslogbestand van resmgr 14537 samen met een 25/1-aanval van de poort, maar ontwikkelde zich tot een 27/1-probleem van de poort en meer fouten in de callSetup.
2015-May-03+05:29:21.083 [resmgr 14537 warning] [8/0/4643 <rmmgr:80>
_resource_cpu.c:4974] [software internal system critical-info syslog] The CPU 8/0's network i/f cpeth0 is receiving 803.7 Mbit/sec over the past 5 min.
Het havengebruik was ongelijk in haven 27/1:
[local]PDSN# show port utilization table Monday May 04 17:49:02 UTC 2015
--- Average Port Utilization (in mbps) --- Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx --- --- --- --- --- --- --- --- 19/1 10G Ethernet 1058 1049 1034 1050 1022 1042 20/1 10G Ethernet 0 0 0 0 0 0 23/1 10G Ethernet 1108 1064 1114 1033 1102 1032 26/1 10G Ethernet 0 0 0 0 0 0 27/1 10G Ethernet 1002 2472 989 2456 981 2440 28/1 10G Ethernet 0 0 0 0 0 0
Op de Juniper MX-960 zijde van de PDSN-interface in kwestie waren de invoerfouten gestaag toegenomen:
show interfaces xe-0/1/2 extensive | grep Error BPDU Error: None, MAC-REWRITE Error: None, Loopback: None, Input errors: Errors: 2432742, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432742, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0 Output errors: Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0,
FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0 Bit errors 0 Errored blocks 1 CRC/Align errors 0 0 FIFO errors 0 0 Total errors 0 0 Output packet error count 0 {master} show interfaces xe-0/1/2 extensive | grep Error BPDU Error: None, MAC-REWRITE Error:
None, Loopback: None, Input errors: Errors: 2432851, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432851, L2 channel errors: 0, L2 mismatch timeouts: 0, FIFO errors: 0, Resource errors: 0 Output errors: Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged
packets: 0, FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0 Bit errors 0 Errored blocks 1 CRC/Align errors 0 0 FIFO errors 0 0 Total errors 0 0 Output packet error count 0
De havens op het PDSN werden schoongemaakt en als gevolg daarvan was er sprake van een
LAG-omschakeling en de onevenwichtigheid in de haven werd weggewerkt op de pas actieve
(zelfs genummerde) havens, samen met de fouten aan de Juniper-zijde die stopte. Voorzichtig
gezien fouten van CHAP en LCP met betrekking tot Mobiele IP call stappen ook gestopt.
[local]PDSN# show port utilization table Thursday May 07 15:27:46 UTC 2015
--- Average Port Utilization (in mbps) --- Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx --- --- --- --- --- --- --- ---
19/1 10G Ethernet 0 0 0 0 0 0 20/1 10G Ethernet 908 875 901 879 904 884 23/1 10G Ethernet 0 0 0 0 0 0 26/1 10G Ethernet 916 857 922 856 929 861 27/1 10G Ethernet 0 0 0 0 0 0 28/1 10G Ethernet 835 883 838 880 844 889 37/1 1000 Ethernet 0 0 0 0 0 0 [local]PDSN# show port table
Thursday May 07 15:22:11 UTC 2015
Port Role Type Admin Oper Link State Pair Redundant
--- ---- --- --- ---- ---- --- --- ---- 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1
20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 21/1 Srvc 1000 Ethernet Enabled - Up - 37/1 L2 Link 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1
24/1 Mgmt 1000 Ethernet Dual Media Enabled Up Up Active 25/1 L2 Link 24/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Active 25/2 L2 Link 24/3 Mgmt RS232 Serial Console Enabled Down Down Active 25/3 L2 Link 24/4 Mgmt BITS T1/E1 Timing Disabled Down Down Active 25/4 L2 Link 25/1 Mgmt 1000 Ethernet Dual Media Enabled Down Up Standby 24/1 L2 Link 25/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Standby 24/2 L2 Link 25/3 Mgmt RS232 Serial Console Enabled Down Down Standby 24/3 L2 Link 25/4 Mgmt BITS T1/E1 Timing Disabled Down Down Standby 24/4 L2 Link 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 37/1 Srvc 1000 Ethernet Enabled - Up - 21/1 L2 Link
Nadat de havenstatistieken opnieuw waren ingesteld en de LAG niet meer terug was naar de oneven havens, begonnen de invoerfouten op de Juniper opnieuw te toenemen. Aangezien het pad al is gereinigd, werd besloten het gehele bestaande pad volledig te omzeilen, waarbij beide SFP's (poort 0/1/2 op de Juniper en poort 27/1 op de PDSN) werden vervangen en een vezel rechtstreeks tussen de knooppunten werd uitgevoerd. Zodra het verkeer werd teruggebracht naar de oneven LAG bleven de invoerfouten precies stijgen zoals bij het bestaande pad was gezien.
Het havengebruik is ook weer onevenwichtig geworden in haven 27.
show interfaces xe-0/1/2 extensive | grep Error
BPDU Error: None, MAC-REWRITE Error: None, Loopback: None, Input errors:
Errors: 2898, Drops: 0, Framing errors: 114, Runts: 0, Policed discards: 0, L3 incompletes: 2784, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0
Omdat zowel SFP's als de vezels volledig nieuw waren en het pad een rechte opname tussen de knooppunten was, lijken de invoerfouten stroomopwaarts van de vezels te beginnen, mogelijk in de PDSN XCLC 27. Het verkeer was naar de zelfs havens teruggelopen om de impact voorlopig te stoppen voordat er werd beslist over de volgende stappen. Juniper heeft slechte IPv4/IPv6- pakketten van ASR poort 27 bevestigd.
Op een later onderhoudsvenster werden de vezels omgewisseld tussen poorten 23 en 27:
Mon May 11 05:33:52 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Mon May 11 05:33:52 2015 Internal trap notification 93 (CardStandby)
card 23
type 10 Gig Ethernet Line Card Mon May 11 05:34:12 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:34:12 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:34:13 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernetalarm" Mon May 11 05:34:13 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 05:34:14 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:34:14 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:34:20 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 05:34:21 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 05:34:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Mon May 11 05:34:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Na een LAG-switchingpoort 27 bleven fouten en poortonevenwichtigheid doorgeven.
Mon May 11 05:37:20 2015 Internal trap notification 1204 (LAGGroupDown) card:19, port:1, partner:(007F,2C-21-72-5E-57-C0,0016) Mon May 11 05:37:20 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) [local]NWBLWICZPN2 DO-PDSN> show port utilization table
Monday May 11 05:40:06 UTC 2015
--- Average Port Utilization (in mbps) --- Port Type Current 5min 15min
Rx Txx Rx Tx Rx Tx
--- --- --- --- --- --- --- ---- 19/1 10G Ethernet 357 386 137 138 45 46
20/1 10G Ethernet 0 0 178 168 314 301 23/1 10G Ethernet 346 349 173 185 57 61 26/1 10G Ethernet 0 0 197 189 324 316 27/1 10G Ethernet 404 1921 147 701 49 233
28/1 10G Ethernet 0 0 207 226 299 318
Mon May 11 05:40:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:41:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:41:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:42:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:49:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:50:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:52:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:53:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:54:29 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) Mon May 11 05:54:29 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016)
De vezels werden teruggedraaid:
Mon May 11 05:59:38 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Mon May 11 05:59:38 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Mon May 11 05:59:43 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:59:43 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:59:46 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Mon May 11 05:59:46 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Mon May 11 05:59:54 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 05:59:54 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
XCLC 27 werd opnieuw ingesteld:
Mon May 11 06:02:02 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 06:02:02 2015 Internal trap notification 60 (CardDown) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:02:04 2015 Internal trap notification 7 (CardRemoved) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:03:04 2015 Internal trap notification 8 (CardInserted) card 27
type 10 Gig Ethernet Line Card Mon May 11 06:03:06 2015 Internal trap notification 5 (CardUp) card 27 type 10
Gig Ethernet Line Card Mon May 11 06:03:08 2015 Internal trap notification 55 (CardActive) card 27 type 10 Gig Ethernet Line Card Mon May 11 06:03:09 2015 Internal trap notification 93
(CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 06:03:11 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 06:03:11 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
De LAG werd weer actief gemaakt en de kwestie werd nog steeds gezien.
Mon May 11 06:08:21 2015 Internal trap notification 1204 (LAGGroupDown) card:19, port:1, partner:(007F,2C-21-72-5E-57-C0,0016) Mon May 11 06:08:21 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) Mon May 11 06:12:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:13:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 06:14:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:15:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)