Khắc phục lỗi bộ thu phát quang (SFP Module): link down, link flap, CRC và không nhận diện

Module quang (SFP, SFP+, SFP28, QSFP...) chuyển tín hiệu điện của thiết bị thành tín hiệu quang để truyền qua sợi cáp, nên một sự cố ở lớp vật lý có thể đến từ nhiều chỗ: chính module, dây nhảy, đầu nối bẩn, đường truyền suy hao, cấu hình hai đầu không khớp hoặc cổng của thiết bị. Nếu thay đồ ngẫu nhiên, bạn dễ tốn thời gian và không biết thật sự lỗi nằm ở đâu.

Bài này đưa ra một quy trình theo thứ tự cố định, từ việc xác nhận triệu chứng trong log đến đọc DDM và hoán đổi từng thành phần để cô lập lỗi. Các lệnh minh hoạ lấy từ Cisco Catalyst 9000 (IOS XE); nguyên tắc áp dụng được cho các nền tảng khác, chỉ khác cú pháp lệnh.

⚡ Điểm nhanh

• Thứ tự kiểm tra: log → module có được hỗ trợ không → hai đầu có khớp không → vệ sinh đầu nối → DDM → hoán đổi từng thành phần → thay thế hoặc bảo hành.
• Năm lệnh dùng nhiều nhất: show logging | include changed, show interfaces <cổng>, show interfaces <cổng> transceiver detail, show idprom interface <cổng>, show interfaces counters errors.
• Hai đầu phải khớp: tốc độ, loại sợi (SMF/MMF), bước sóng, kiểu mài đầu nối (UPC/APC), FEC và cách đấu TX sang RX.
• Công suất thu (Rx) ra ngoài ngưỡng cảnh báo là vấn đề, dù thấp quá hay cao quá. Ngưỡng nằm ngay trong output và khác nhau theo từng loại module.
• Module bị báo không hỗ trợ: tra Cisco Optics-to-Device Compatibility Matrix trước; lệnh service unsupported-transceiver chỉ là phương án cuối và Cisco có thể từ chối hỗ trợ khi sự cố liên quan đến module bên thứ ba.
• Nguyên tắc cô lập lỗi: mỗi lần chỉ đổi một thứ (module, dây nhảy, cổng), rồi xem lỗi đi theo thành phần nào.

Triệu chứng và nguyên nhân thường gặp

Quy trình 7 bước khắc phục lỗi module quang

Bước 1: Xác nhận triệu chứng trong log

Trước khi đổi bất cứ thứ gì, hãy xác nhận lỗi là hiện tượng thật và ghi lại thời điểm xảy ra:

show logging | include changed

Một chuỗi thông báo %LINK-3-UPDOWN và %LINEPROTO-5-UPDOWN lặp lại trên cùng một cổng trong thời gian ngắn là dấu hiệu của link flap. Hãy đối chiếu thời điểm với các sự kiện khác (khởi động lại thiết bị đầu xa, thay đổi cấu hình, cắm rút cáp) để loại trừ trường hợp flap là bình thường. Các lệnh bổ sung giúp xác định mức độ:

show platform pm interface-flaps <cổng>
show interfaces counters errors
show errdisable flap-values

Lệnh đầu tiên cho biết số lần cổng bị down, thời điểm flap gần nhất và khoảng thời gian cổng ở trạng thái down/up trước đó; lệnh cuối cho biết số lần flap được phép trước khi cổng bị err-disabled. Sau khi sửa, dùng clear counters để xoá bộ đếm và xem lỗi còn tăng hay không.

Bước 2: Kiểm tra module có được thiết bị hỗ trợ

Nên dùng transceiver được nền tảng hỗ trợ: module không tương thích hoặc của bên thứ ba có thể cho hành vi khó đoán và độ ổn định của liên kết không được đảm bảo. Kiểm tra theo ba cách:

• Tra theo đúng model switch và phiên bản IOS XE trên Cisco Optics-to-Device Compatibility Matrix. Bản IOS XE tối thiểu để một module hoạt động cũng được ghi ở đó.
• Xem danh sách transceiver mà thiết bị hỗ trợ: show interfaces transceiver supported-list.
• Xem module đang cắm là loại gì: show idprom interface <cổng> | include PID.

Cũng cần lưu ý chuẩn SFP có thể khác nhau giữa các cổng trên cùng một thiết bị (ví dụ dòng C9500-32QC), nên việc module có trong ma trận chưa đủ để kết luận nó chạy được ở mọi cổng. Hãy đối chiếu thêm với ghi chú lắp đặt của model.

Khi module bị báo không hỗ trợ. Trên Catalyst 3850, SFP của bên thứ ba thường gây ra các log như sau:

%PLATFORM_PM-6-MODULE_ERRDISABLE: The inserted SFP module with interface name Gix/y/z is not supported
%PM-4-ERR_DISABLE: gbic-invalid error detected on Gix/y/z, putting Gix/y/z in err-disable state

Cách xử lý theo thứ tự: kiểm tra tính tương thích giữa SFP, thiết bị và phiên bản phần mềm; nâng lên bản IOS XE khuyến nghị nếu đang chạy bản lỗi thời; nếu vẫn cần dùng module này, cấu hình hai lệnh sau, rồi rút module, shutdown/no shutdown cổng và cắm lại:

configure terminal
 no errdisable detect cause gbic-invalid
 service unsupported-transceiver

Cần biết ba điều trước khi dùng: lệnh này là lệnh ẩn ở nhiều bản IOS, có thể không có hoặc không hiệu lực trên một số nền tảng và phiên bản; thiết bị sẽ in cảnh báo rằng Cisco có thể từ chối hỗ trợ theo bảo hành hoặc hợp đồng nếu sự cố được xác định liên quan đến transceiver bên thứ ba; và lệnh áp dụng cho toàn bộ thiết bị chứ không riêng một cổng. Với hệ thống production, nên chọn module có xác nhận tương thích với đúng model và phiên bản phần mềm, thay vì dựa vào lệnh này.

Bước 3: Khớp thông số hai đầu liên kết

Phần lớn sự cố "cắm vào không lên" là hai đầu không khớp nhau ở một trong các điểm dưới đây.

Về kiểu mài đầu nối, mức phản xạ ngược cho phép của từng loại là khoảng −30 dB (Flat), −35 dB (PC), −55 dB (UPC) và −65 dB (APC). Vì thang dB là logarit, đấu dây PC vào module chỉ chịu được UPC nghĩa là module phải chịu mức phản xạ cao gấp khoảng 100 lần mức thiết kế. Nhẹ thì link chập chờn và tăng lỗi lớp 1; nặng thì có thể hỏng module. Các loại UPC, PC, Flat không phải lúc nào cũng phân biệt được bằng mắt, nên cần đọc thông số trên nhãn hoặc tài liệu của nhà sản xuất dây.

Với liên kết 25G trở lên, FEC thường được bật mặc định theo loại module mà thiết bị nhận diện. Hai đầu phải dùng cùng thuật toán FEC thì link mới lên, nên khi đầu kia là thiết bị khác hãng hoặc đang cấu hình cố định, hãy đối chiếu cả hai phía. Cú pháp cấu hình trên cổng:

interface TwentyFiveGigE1/0/1
 fec ?
  auto   Enable FEC Auto-Neg
  cl108  Enable clause108 with 25G
  cl74   Enable clause74 with 25G
  off    Turn FEC off

Với các tuyến ngắn trong cùng tủ rack hoặc giữa các tủ gần nhau, DAC và AOC là phương án thay thế giúp loại bỏ đầu nối quang rời, nên cũng bớt đi rủi ro đầu nối bẩn.

Bước 4: Kiểm tra và vệ sinh đầu nối quang

Đầu nối bẩn là nguyên nhân rất hay gặp của Rx thấp, CRC tăng và link chập chờn, nhưng lại hay bị bỏ qua. Bụi li ti, dầu từ tay, màng cặn ngưng tụ từ hơi nước trong không khí hoặc cặn bột để lại sau khi dung môi bay hơi đều làm suy giảm tín hiệu. Hạt bụi nằm giữa hai mặt sợi còn có thể làm trầy mặt kính, và phản xạ ngược mạnh gây mất ổn định cho laser.

Quy tắc khi thao tác với đầu nối quang:

• Luôn kiểm tra, làm sạch rồi kiểm tra lại đầu nối trước mỗi lần cắm.
• Luôn đậy nắp bảo vệ cho đầu nối và cổng khi không cắm.
• Không chạm vào mặt đầu sợi; không dùng lại giấy lau, tăm bông hoặc cuộn băng lau đã dùng.
• Không để cồn tự bay hơi chậm trên đầu ferrule vì cặn còn lại sẽ bám vào lõi và lớp bọc sợi.
• Làm sạch cả đầu dây nhảy lẫn đầu nối bên trong module.

An toàn laser: không nhìn trực tiếp vào đầu sợi hoặc cổng quang khi thiết bị đang hoạt động. Tạp chất ở mặt sợi còn có thể bị đốt cháy dính vào mặt kính khi laser công suất cao đang chạy, gây hư hỏng không thể làm sạch được.

Bước 5: Đọc DDM để biết thông số thực của module

Nhiều module hỗ trợ DDM (Digital Diagnostic Monitoring, còn gọi là DOM; không phải module nào cũng có), cho phép đọc nhiệt độ, điện áp nguồn, dòng bias của laser, công suất phát (Tx) và công suất thu (Rx). Nếu chưa thấy số liệu, bật giám sát cho mọi loại transceiver:

configure terminal
 transceiver type all
  monitoring

Xem thông số bằng lệnh:

show interfaces <cổng> transceiver detail

Output hiển thị giá trị hiện tại và bốn ngưỡng cho mỗi thông số: High Alarm, High Warn, Low Warn, Low Alarm. Ví dụ từ tài liệu Cisco cho một module 25G:

Ở ví dụ này Rx là −2,0 dBm, nằm trong khoảng cho phép. Giá trị thấp hơn −14,1 dBm hoặc cao hơn 0,5 dBm (hai ngưỡng Warn) được coi là có vấn đề, có thể ảnh hưởng chất lượng dữ liệu và gây link flap. Đây chỉ là ngưỡng của một module cụ thể; mỗi loại module (SR, LR, ER, ZR, BiDi...) có ngưỡng riêng, nên luôn đọc ngưỡng ngay trong output của module đang kiểm tra hoặc đối chiếu datasheet của nó.

Cách diễn giải:

Thiết bị cũng ghi log khi giá trị vượt ngưỡng, ví dụ:

%SFF8472-3-THRESHOLD_VIOLATION: Te7/3: Temperature high alarm; Operating value: 88.7 C, Threshold value: 74.0 C.
%SFF8472-5-THRESHOLD_VIOLATION: Te1/1: Rx power low warning; Operating value: -13.8 dBm, Threshold value: -9.9 dBm.

Lưu ý khi link vừa down: giá trị DOM lúc cổng đang up có thể bình thường nhưng lại khác hẳn ngay thời điểm cổng rớt, và thiết bị không phải lúc nào cũng cảnh báo kịp. Để bắt đúng thời điểm, có thể dùng EEM ghi lại DOM mỗi khi cổng down (trên Catalyst 9000, cấu hình EEM cần đăng ký Cisco DNA). Mẫu tham khảo, hãy thử ở môi trường lab và đổi tên cổng cho đúng:

event manager applet DOM_KHI_LINK_DOWN authorization bypass
 event syslog pattern "Line protocol on Interface TenGigabitEthernet1/0/1, changed state to down" maxrun 10
 action 010 file open logs flash:dom_log.txt a+
 action 020 cli command "enable"
 action 030 cli command "terminal length 0"
 action 040 cli command "show clock"
 action 050 file write logs "$_cli_result"
 action 060 cli command "show interfaces tenGigabitEthernet 1/0/1 transceiver detail"
 action 070 file write logs "$_cli_result"
 action 080 file close logs

Bước 6: Hoán đổi để cô lập lỗi

Khi các bước trên chưa chỉ ra thủ phạm, hãy hoán đổi từng thành phần với một thành phần chắc chắn tốt, mỗi lần chỉ đổi một thứ và ghi lại kết quả:

Loopback giúp tách lỗi cục bộ khỏi lỗi đường truyền: dùng dây nhảy quang nối TX của module sang RX của chính nó, hoặc nối hai cổng cùng loại trên cùng thiết bị bằng hai module và dây nhảy. Nếu link lên và CRC không tăng, module và cổng nhiều khả năng ổn, lỗi nằm ở đường truyền hoặc thiết bị đầu xa. Với module tầm xa (LR, ER, ZR), tín hiệu phát nối thẳng vào đầu thu có thể vượt ngưỡng Rx cao nên có thể cần bộ suy hao quang phù hợp; hãy xem Rx trong DDM so với ngưỡng High Warn và High Alarm.

Khi show interfaces báo CRC hoặc input errors tăng, nguyên nhân có thể là cáp, SFP, cổng, NIC đầu xa hoặc duplex không khớp. Trên liên kết quang chạy full-duplex, hãy ưu tiên kiểm tra đầu nối, độ suy hao, module và cổng. Lệnh show controllers ethernet-controller <cổng> cho thêm chi tiết như SymbolErr (thường chỉ ra lỗi lớp 1) và FcsErr.

Bước 7: Thay thế module hoặc gửi bảo hành

• Lỗi đi theo module khi đổi sang cổng và dây tốt: thay module mới. Nếu module hư hỏng vật lý (đầu nối trầy xước, vỏ biến dạng, thông số DDM bất thường liên tục), giải pháp duy nhất là thay.
• Lỗi nằm ở cổng (module tốt cắm cổng này vẫn lỗi, cắm cổng khác thì chạy tốt): chuyển sang cổng dự phòng và làm thủ tục bảo hành cho thiết bị.
• Lỗi nằm ở đường truyền: đo suy hao tổng của tuyến bằng máy đo công suất quang hoặc OTDR, sửa hoặc thay đoạn cáp, đầu nối và patch panel lỗi.
• Chỉ dùng lệnh debug khi sự cố vẫn tiếp diễn và nên làm trong khung thời gian tái hiện lỗi rồi tắt ngay. Các lệnh như debug platform pm link-status, debug pm port, debug interface state có thể ảnh hưởng đến mạng đang chạy, chỉ nên dùng trong lab hoặc khi đã hiểu rõ tác động.

Nếu cần module thay thế, bạn có thể xem module quang SFP, module SFP+ và SFP28 hoặc module 40G, 100G, 400G, 800G, và phụ kiện mạng quang.

Cổng đã UP nhưng không truyền được dữ liệu

Nếu DDM bình thường, Rx và Tx trong ngưỡng, CRC không tăng mà vẫn không có lưu lượng, lỗi nhiều khả năng không nằm ở module mà ở lớp trên:

• Kiểm tra VLAN: cổng có đúng VLAN access, hoặc trunk có cho phép VLAN cần thiết không.
• Kiểm tra STP: cổng có đang ở trạng thái blocking không (show spanning-tree interface <cổng>).
• Kiểm tra MTU: nếu một đầu đặt jumbo frame còn đầu kia để 1500 byte, khung lớn sẽ bị loại; hai đầu nên cùng MTU.
• Xem bộ đếm show interfaces <cổng>: nếu số gói nhận và gửi không tăng, kiểm tra tiếp cấu hình đầu xa.

Câu hỏi thường gặp

Rx power bao nhiêu thì bình thường? Không có một con số chung. Mỗi loại module có dải Rx cho phép riêng, hiển thị ngay trong output show interfaces <cổng> transceiver detail dưới dạng bốn ngưỡng. Rx nằm giữa hai ngưỡng Warn là ổn; thấp hơn Low Warn hoặc cao hơn High Warn cần kiểm tra.

Vì sao link lên nhưng CRC cứ tăng? Thường do đầu nối bẩn hoặc xước, suy hao tuyến cao, dây nhảy bị bẻ gập, module lão hoá, hoặc hai đầu không khớp về FEC hay tốc độ. Làm sạch đầu nối, đọc DDM, rồi hoán đổi dây nhảy và module để cô lập.

Có cắm module SMF vào cáp MMF được không? Không nên. Module và sợi phải cùng loại (cùng SMF hoặc cùng MMF). Trộn lẫn sẽ khiến link không lên hoặc chập chờn, kèm lỗi lớp 1.

Cắm module xong cổng bị err-disabled, phải làm sao? Xem log và show interfaces status err-disabled, tra ma trận tương thích với đúng model và phiên bản IOS XE. Nếu module không nằm trong danh sách hỗ trợ, dùng module khác hoặc cân nhắc lệnh service unsupported-transceiver (kèm rủi ro về hỗ trợ như đã nêu ở Bước 2), sau đó rút module, shutdown/no shutdown cổng và cắm lại.

Làm sao biết module đang xuống cấp? Theo dõi DDM định kỳ và so với giá trị lúc mới lắp. Nếu dòng bias tăng dần hoặc Tx power giảm dần dù đường truyền không đổi, laser nhiều khả năng đang xuống cấp và nên chuẩn bị thay.

Khi nào nên thay module thay vì tiếp tục chẩn đoán? Khi lỗi đi theo module qua cả cổng và dây nhảy khác, hoặc các giá trị Tx, nhiệt độ, điện áp, dòng bias ngoài ngưỡng liên tục. Cần hỗ trợ chọn module đúng model, bạn có thể liên hệ VNExperts.

Thông tin liên quan

• So sánh SFP vs SFP+ vs SFP28 vs QSFP vs QSFP28: Nên chọn module quang nào?
• Module SFP 10G Cisco S-Class và Non-S-Class
• Module quang
• Direct Attach Cables (DAC)
• Active Optical Cables (AOC)
• Phụ kiện mạng quang
• Dịch vụ bảo hành Cisco, Fortinet

Nguồn tham khảo

• Cisco, Troubleshoot Fiber Links on Catalyst 9000 Series Switches (tương thích SFP, tốc độ, kiểu mài đầu nối, SMF/MMF, bước sóng, Tx/Rx, điện áp và dòng, NRZ/PAM4, FEC, EEM)
• Cisco, Troubleshoot Port Flaps on Catalyst 9000 Switches (nhận diện link flap, bộ đếm lỗi, DOM, log THRESHOLD_VIOLATION, lệnh debug)
• Cisco, Inspection and Cleaning Procedures for Fiber-Optic Connections (kiểm tra và vệ sinh đầu nối, an toàn laser)
• Cisco, Troubleshoot Unsupported Transceiver in Catalyst 3850 Switch Sub-module (log gbic-invalid, lệnh service unsupported-transceiver)
• Cisco, Optics-to-Device Compatibility Matrix
• Cisco, Understanding FEC and Its Implementation in Cisco Optics

Phạm vi bài viết: lệnh và output minh hoạ lấy từ Catalyst 9000 chạy IOS XE; cú pháp trên Nexus, IOS XR hoặc thiết bị hãng khác có thể khác. Các ngưỡng DDM trong bảng chỉ là ví dụ của một module 25G, không áp dụng cho mọi module. Phần loopback kèm bộ suy hao, cách diễn giải CRC trên liên kết quang, quy trình hoán đổi và dấu hiệu laser xuống cấp là tổng hợp kinh nghiệm vận hành, không trích từ các tài liệu trên.