Решилось так.
Изменил PHP 5.6 на PHP 7 и запустил установку. Вроде обновился. Причем возврат обратно на PHP 5.6 выдает варнинги и ошибки в бекенде.
также после обновления вылезла такая проблема
http://typo3.3.n7.nabble.com/1294585...-td279141.html
Установил чистую Typo3 7.6 и перенес папку typo3 в мой сайт. Вот так.
Можно ли удалить папку t3lib?