Возможно имена в utf-8 не поддерживаются на сервере.
Все возможные проблемы с кодировкой utf-8, зависящие от TYPO3 попытался собрать в приложенном документе.
Актуальная версия здесь:
http://wiki.typo3.org/wiki/UTF-8_support
Еще есть такая настройка:
[SYS][UTF8filesystem]. Булева переменная. Если истина и [BE][forceCharset] установлено в utf-8, то TYPO3 использует utf-8, для сохранения имен файлов. Это учитывает латинские символы с диакритическим знаком, а также любые другие нелатинские символы, такие как кириллица и китайский язык.