В режиме службы если не найден файл конфигурации (перемещен) - служба запускается и останавливается, все верно.
Но при этом она пытается вывести окно предупреждения в GUI (как при запуске в режиме приложения) и процесс остается в памяти. Запустить потом к примеру уже как приложение, для указания корректного пути к файлу конфигурации - невозможно. Надо через менеджер задач снять процесс.
Надо бы исправить - в режиме службы не выводить окон, оставлять сообщение только в журнале службы
