Fehlerhafte Datensätze aus einer CSV Datei filtern.

[Giant0040]

Hi @ all

Ich habe eine csv Datei die als Trennzeichen das Semikolon hat.

Innerhalb dieser Datei gibt es Felder in denen frei Text eingegeben werden kann.

Nun kommt es gelegentlich vor, dass jemand bei der freien Texteingabe ein Semikolon verwendet, was dann die Datenstruktur für das nachfolgende Programm durcheinander würfelt.

Gibt es mit Talend eine einfache Möglichkeit diese Datensätze herauszufiltern, damit nur die mit der korrekten Satzstruktur weiterverarbeitet werden können ?

Ich bin für jede Hilfe dankbar.

[Giant0040]

Hi,

ich habe es selbst hinbekommen.
Mit tSchemaComplianceCheck war es ganz einfach.

closed

[wg1]

Hi Giant,

eine andere Möglichkeit wäre mittels einem tFileInputFullRow die Daten
Satz für Satz zu lesen und in einem Mapper dann mittels der Funktion
StringHandling.COUNT(<STRUCT>.line,";") die Anzahl der ";" zu ermitteln.
Die Anzahl könnte dann als Filterbedingung dienen.
   

wg

[Giant0040]

Hi wg1,

das ist auch eine gute Idee.

Ich probier mal aus welche Lösung performanter ist.

thx.

Also bei ca. 30 Mio Datensätzen braucht die Lösung:
tSchemaComplianceCheck ca. 25 Min
StringHandling.COUNT ca. 10 Min