Gründe:

I. Die Klägerin und Beschwerdegegnerin (Klägerin) meldete am 29. Juni 1999 Hühner mit Hals und Innereien der Marktordnungswarenlistennummer 0207 1290 9990 zur Ausfuhr in die Vereinigten Arabischen Emirate an und legte eine Ausfuhrlizenz für Grillhähnchen ohne Hals und Innereien der Marktordnungswarenlistennummer 0207 1290 9190 vor. Das Zollamt B fertigte die Ausfuhrsendung ohne Beschau ab.

Mit Schreiben vom 3. August 1999 übersandte die Klägerin dem Beklagten und Beschwerdeführer (Hauptzollamt --HZA--) ihren Zahlungsantrag und wies unter Hinweis auf ein an das Zollamt B gerichtetes Schreiben vom 7. Juli 1999 darauf hin, dass in ihrer Ausfuhranmeldung die Warenbezeichnung und Marktordnungswarenlistennummer unzutreffend eingetragen worden seien. Das HZA setzte mit Bescheid vom 12. November 1999 Ausfuhrerstattung für Waren der Marktordnungswarenlistennummer 0207 1290 9190 fest. Nach einer Überprüfung kam das HZA zu dem Ergebnis, dass die Ausfuhrerstattung zu Unrecht festgesetzt worden sei, weil die vorgelegte Ausfuhrlizenz nicht für die in der Ausfuhranmeldung bezeichneten Waren habe verwendet werden dürfen. Es forderte deshalb die Ausfuhrerstattung mit Bescheid vom 3. Mai 2000 zurück.