Я давно не лазил в код TYPO3 и тем более tinyrte, но:  
1) вам нужно создать таблицы. читайте мануалы по созданию расширений и ext_tables.php 
2) любой вменяемый визуальный редактор должен иметь хуки для внедрения в себя плагинов в виде кнопок. То есть необходимости лазить куда-то там и править исходники tinyrte быть не должно 
3) срабатывать во фронтэнде конечно можно, надо воспользоваться одним из хуков TYPO3.
		 
		
		
		
		
		
		
			
		
		
		
		
	 |