Gründe:

I. Die Klägerin und Beschwerdegegnerin (Klägerin) beantragte am 2. Dezember 1993 die vorschussweise Zahlung der Ausfuhrerstattung für 20 000 kg Sprüh-Vollmilchpulver, das nach ihren Angaben im Kontrollexemplar zur Ausfuhr nach der Türkei abgefertigt worden war. Der Beklagte und Beschwerdeführer (das Hauptzollamt --HZA--), entsprach dem Antrag und gewährte der Klägerin Ausfuhrerstattung im Wege der vorschussweisen Zahlung nach Art. 22 der Verordnung (EWG) Nr. 3665/87 (VO Nr. 3665/87) der Kommission vom 27. November 1987 über gemeinsame Durchführungsvorschriften für Ausfuhrerstattungen bei landwirtschaftlichen Erzeugnissen (Amtsblatt der Europäischen Gemeinschaften Nr. L 351/1) in Höhe von ... DM. Mit Schreiben vom 11. April 1995 teilte die Klägerin dem HZA mit, dass das --bisher beim HZA nicht eingetroffene-- fragliche Kontrollexemplar bei der italienischen Ausgangszollstelle in Triest vorgelegt worden sei. Außerdem habe sie nunmehr u.a. für dieses Kontrollexemplar ein entsprechendes Duplikat beantragt. Mit Bescheid vom ... 1995 forderte das HZA die vorschussweise gewährte Ausfuhrerstattung zuzüglich eines 15 %igen Zuschlags zurück. Die Vorlage des Original-Duplikats des Kontrollexemplars hielt das HZA für verspätet, so dass es den Einspruch gegen den Rückforderungsbescheid zurückwies (Einspruchsentscheidung vom ... 1996).