Одновременное использование TYPO3 и другой системы
 

Что-то не придумаю, с какой стороны подступиться. Задача — организовать работу магазина и сайта на TYPO3 в рамках одного домена.
Т.е., TYPO3 рулит основным контентом (обычный сайт, с realurl) и дополнительно необходимо заставить работать скрипт магазина на том же домене. Соответственно, часть меню работает на TYPO3, часть на сторонней CMS.
Для простоты считаем, что интеграции никакой нет, условно кликаем в меню «Статьи» — попадаем на контент тайпо, «Магазин» — в магазин :). Панели управления независимые.
Раньше делал похожую схему несколько раз, но как-то так получалось, что сайт и допсайт разносились по поддоменам.

Просто настроить htaccess/realurl чтобы realurl не перехватывал часть запросов? Виртуальные хосты?

А почему не в отдельную реальную папку магазин не положить?
Ну и генерить меню при помощи TYPO3 вставляя его в шаблон магазина где нужно?
Насколько помню Валерий таким образом объединял TYPO3 и VBulletin и писал об этом тут на форуме. Еще лет 10 назад.