Собственно, обычно ajax состоит из двух частей: javascript-библиотеки и серверной части, предоставляющей этой библиотеке данные. JS-библиотеку вы можете использовать любую, с подключением их в тайпу проблем нет... хоть jQuery, хоть mooTools, хоть ещё что.
О второй части, серверной. В TYPO3 есть два подхода к созданию неких данных в особом формате, не связанных с текущим HTML. Первый - создание нового PAGE-объекта с другим typeNum. В этом случае содержимое будет отдаваться при указании index.php?id=id_страницы&type=этот_typenum. Пример использования можно посмотреть в tt_news (генерация RSS), в расширении cal (генерация ICS), в различных расширениях для работы с Flash (генерация XML).
Есть второй подход, на основе eID-скриптов. В случае его использования генерация ответа становится быстрее, но программист ограничен в возможностях. Примеры можно посмотреть
здесь или в расширении whiteboard.