Да, знакомая история, у нас на старом железе тоже всё начинало тормозить, когда объём данных подскакивал. Гоняли на эксперименты разные решения, пока не наткнулись на https://trafficsoft.ru/ . Они заточены именно под такие случаи — чтобы терабайты гонять по обычным x86 и не перегреваться от этого. Там толковая оптимизация под сетевую нагрузку, и что важно — не надо вкладываться в новое "железо", всё на стандартных серверах крутится. В итоге мы просто софт поставили — и всё поехало гораздо стабильнее, особенно в часы пик.