Дык пробуйте на обычном серверном железе, побольше ядер, libx264 посвежее и современные сетевые платы с разгрузкой... Многое зависит от того, скольких нужно выводить на экран одновременно. Если всю сотню, то получите прямоугольники 128*72 — вряд ли именно такой результат требуется. Исходящие потоки мцу кэширует неплохо, главное чтобы терминалы подключились с одинаковыми настройками, аудио для начала лучше выбрать простое, типа g711, потом подтянете, если хватит ресурсов процессоров. Мониторить можно через top - 1, увидите, что загрузка более 50% по большинству ядер — значит, достигнут для данной платформы потолок. Но есть основания полагать, что сеть просядет раньше: для такого количества терминалов потребуется подключение центральной точки на скорости не менее 100 мбит/с с нормально организованной очередью (так-то, казалось бы, меньше, но будут частые запросы опорных кадров при единичных потерях пакетов, которые съедят полосу даже при установке лимита).