Gründe:

I. Der Kläger und Antragsteller (Antragsteller) meldete unter dem 2. Januar 2001 die "X-GmbH in Gründung" bei der Gemeinde Z gewerberechtlich an. Mit Datum vom 31. Juli 2001 wurde die Firma "wegen vollständiger Aufgabe des gesamten Betriebes" wieder abgemeldet. In seinen Umsatzsteuervoranmeldungen erklärte der Antragsteller für die "X-GmbH" verbleibende Vorsteuer-Überschüsse in unterschiedlicher Höhe. Der Beklagte und Beschwerdegegner (das Finanzamt --FA--) erkannte diese letztlich nicht an, weil die Existenz des Unternehmens nach Auffassung des FA nicht nachgewiesen war. Die gegen die Rückforderungsbescheide über erstattete Vorsteuern erhobenen Einsprüche nahm der Antragsteller zurück.

Nachdem zwischenzeitlich bekannt geworden war, dass der Antragsteller seit Ende 2001 den Schwerpunkt seiner geschäftlichen Aktivitäten in den örtlichen Zuständigkeitsbereich des FA A verlagert hatte, wurde er umsatzsteuerrechtlich nur noch dort geführt. Das FA A erließ im Oktober 2003 einen Umsatzsteuer-Jahresbescheid 2001 und setzte die Umsatzsteuer auf 3 911,89 EUR fest. Der Einspruch des Antragstellers blieb ohne Erfolg. Im Dezember 2004 erhob er insoweit eine Klage beim Finanzgericht (FG) des Landes Brandenburg (jetzt FG Berlin-Brandenburg).