Para instalar mods en el servidor, es muy sencillo, lo primero es instalar forge, hay varios métodos de instalar forge.
Se recomienda para mods un plan de 3GB de ram o mas como minimo.
Primer método muy fácil, es instalar una versión directamente desde el panel web con esta guía: https://w3.gamehost.cl/index.php?rp=/knowledgebase/15/iComo-instalar-Forge-desde-el-Panel-Metodo-Facil.html
También puede instalar otra versión de forge que no se encuentre en el panel web con esta guía: https://w3.gamehost.cl/index.php?rp=/knowledgebase/8/iComo-instalar-forge-en-el-servidor.html
Una vez tenga forge instalado, encienda el servidor para que se generen los datos de forge y el mapa.
Luego apague el servidor.
Ahora su servidor se encuentra listo para instalar mods.
Valla a Gestión de Archivos, luego a la carpeta mods y suba el mod asegurándose que corresponda a la versión de Minecraft.
Suba el mod pinchando donde muestra la imagen, lado derecho de su pantalla superior (Arriba)
Recuerde que tanto forge como el mod tienen que estar instalados en su pc (todos los que jueguen) para conectar a jugar.