awk
awk ist eine Programmiersprache zur Bearbeitung und Auswertung beliebiger Textdaten, u. a. auch CSV-Dateien. Der zugehörige Interpreter ist eher als Compiler zu betrachten, weil der Programmtext zuerst komplett kompiliert und dann ausgeführt wird. awk wurde primär als Reportgenerator konzipiert und war eines der ersten Werkzeuge, das in der Version 3 von Unix erschien. Man kann awk als Weiterentwicklung oder Ergänzung des Streameditors sed betrachten, sie teilen gewisse syntaktische Elemente wie etwa reguläre Ausdrücke. Im Unterschied zu sed stehen in awk aber C-ähnliche Strukturen (if .. then .. else, verschiedene Schleifen, C-Formate …) zur Verfügung, die einen wesentlich leichteren Programmaufbau erlauben. In der Minimalanwendung wird awk in Shell-Skripten eingesetzt, um als Filter zum Beispiel Dateinamen zusammenzusetzen. Mit ausführlicheren Programmen gelingt es, Textdateien zu bearbeiten, umzuformen oder auszuwerten. Dazu stehen neben den üblichen Stringfunktionen aber auch mathematische Grund-Funktionen zur Verfügung. Der Name "awk" ist aus den Anfangsbuchstaben der Nachnamen ihrer drei Autoren Alfred V. Aho, Peter J. Weinberger und Brian W. Kernighan zusammengesetzt.
Eine Version von awk ist heute in fast jedem unixähnlichen System zu finden und oft bereits vorinstalliert. Ein vergleichbares Programm ist aber auch für fast alle anderen Betriebssysteme verfügbar.
Die Sprache arbeitet fast ausschließlich mit dem Datentyp Zeichenkette (englisch string). Daneben sind assoziative Arrays (d. h. mit Zeichenketten indizierte Arrays, auch Hashes genannt) und reguläre Ausdrücke grundlegende Bestandteile der Sprache.
Die Leistungsfähigkeit, Kompaktheit, aber auch die Beschränkungen der awk- und sed-Skripte regten Larry Wall zur Entwicklung der Sprache Perl an.
Aufbau eines Programms
Die typische Ausführung eines awk-Programms besteht darin, Operationen – etwa Ersetzungen – auf einem Eingabetext durchzuführen. Dafür wird der Text zeilenweise eingelesen und anhand eines gewählten Trenners – üblicherweise eine Serie von Leerzeichen und/oder Tabulatorzeichen – in Felder aufgespalten. Anschließend werden die awk-Anweisungen auf die jeweilige Zeile angewandt.
awk-Anweisungen haben folgende Struktur:
Bedingung { Anweisungsblock }
Für die eingelesene Zeile wird ermittelt, ob sie die Bedingung (oft ein Regulärer Ausdruck) erfüllt. Ist die Bedingung erfüllt, wird der Code innerhalb des von geschweiften Klammern umschlossenen Anweisungsblocks ausgeführt. Abweichend davon kann ein Statement auch nur aus einer Aktion
{ Anweisungsblock }
oder nur aus einer Bedingung
Bedingung
bestehen. Fehlt die Bedingung, so wird die Aktion für jede Zeile ausgeführt. Fehlt die Aktion, so wird als Standardaktion das Schreiben der ganzen Zeile ausgeführt, sofern die Bedingung erfüllt ist.
Variablen und Funktionen
Der Benutzer kann Variablen innerhalb von Anweisungsblöcken durch Referenzierung definieren, eine explizite Deklaration ist nicht notwendig. Der Gültigkeitsbereich der Variablen ist global. Eine Ausnahme bilden hier Funktionsargumente, deren Gültigkeit auf die sie definierende Funktion beschränkt ist.
Funktionen können an beliebiger Stelle definiert werden, die Deklaration muss dabei nicht vor der ersten Nutzung erfolgen. Falls es sich um Skalare handelt, werden Funktionsargumente als Wertparameter übergeben, ansonsten als Referenzparameter. Die Argumente bei Aufruf einer Funktion müssen nicht der Funktionsdefinition entsprechen, überzählige Argumente werden als lokale Variablen behandelt, ausgelassene Argumente mit dem speziellen Wert uninitialized – numerisch Null und als Zeichenkette den Wert des leeren Strings – versehen.
Funktionen und Variablen aller Art bedienen sich des gleichen Namensraums, so dass gleiche Benennung zu undefiniertem Verhalten führt.
Neben benutzerdefinierten Variablen und Funktionen stehen auch Standardvariablen und Standardfunktionen zur Verfügung, beispielsweise die Variablen $0 für die gesamte Zeile, $1, $2 … für das jeweils i-te Feld der Zeile und FS (von engl. field separator) für den Feldtrenner, sowie die Funktionen gsub(), split() und match().
Befehle
Die Syntax von awk ähnelt derjenigen der Programmiersprache C. Elementare Befehle sind Zuweisungen an Variablen, Vergleiche zwischen Variablen sowie Schleifen oder bedingte Befehlsausführungen (if-else). Daneben gibt es Aufrufe sowohl zu fest implementierten als auch zu selbst programmierten Funktionen.
Ausgeben von Daten auf der Standardausgabe ist durch den „print“-Befehl möglich. Um etwa das zweite Feld einer Eingabezeile auszudrucken, wird der Befehl
print $2
benutzt.
Bedingungen
Bedingungen sind in awk-Programmen entweder von der Form
Ausdruck Vergleichsoperator Ausdruck
oder von der Form
Ausdruck Matchoperator /reguläres Suchmuster/
Reguläre Suchmuster werden wie beim grep-Befehl gebildet, und Matchoperatoren sind ~ für "Muster gefunden" und !~ für "Muster nicht gefunden". Als Abkürzung für die Bedingung „$0 ~ /reguläres Suchmuster/“ (also die ganze Zeile erfüllt das Suchmuster) kann „/reguläres Suchmuster/“ verwendet werden.
Als spezielle Bedingungen gelten die Worte BEGIN und END, bei denen die zugehörigen Anweisungsblöcke vor dem Einlesen der ersten Zeile bzw. nach Einlesen der letzten Zeile ausgeführt werden.
Darüber hinaus können Bedingungen mit logischen Verknüpfungen zu neuen Bedingungen zusammengesetzt werden, z. B.
$1 ~ /^E/ && $2 > 20 { print $3 }
Dieser awk-Befehl bewirkt, dass von jeder Zeile, die mit E beginnt und deren zweites Feld eine Zahl größer 20 ist, das dritte Feld ausgegeben wird.
Versionen, Dialekte
Die erste awk-Version aus dem Jahr 1977 erfuhr 1985 eine Überarbeitung durch die ursprünglichen Autoren, die als nawk („new awk“) bezeichnet wurde. Sie bietet die Möglichkeit, eigene Funktionen zu definieren, sowie eine größere Menge von Operatoren und vordefinierten Funktionen. Der Aufruf erfolgt zumeist dennoch über „awk“, seit eine Unterscheidung zwischen beiden Versionen obsolet geworden ist.
Das GNU-Projekt der Free Software Foundation stellt unter dem Namen gawk eine nochmals erweiterte freie Variante zur Verfügung.
Eine weitere freie Implementierung ist mawk von Mike Brennan. mawk ist kleiner und schneller als gawk, was allerdings durch einige Einschränkungen erkauft wird.
Auch BusyBox enthält eine kleine awk-Implementierung.
Literatur
- Alfred V. Aho, Brian W. Kernighan, and Peter J. Weinberger: The AWK Programming Language. Addison-Wesley, 1988, ISBN 0-201-07981-X.
- Dale Dougherty and Arnold Robbins: sed & awk O’Reilly & Associates, 1997, ISBN 1-56592-225-5.
- Helmut Herold: awk und SED, 3. Auflage, Addison-Wesley, 2003, ISBN 3-8273-2094-1.
- Arnold Robbins: GAWK: Effective AWK Programming: A User’s Guide for GNU Awk O’Reilly, 2001, ISBN 0-596-00070-7. (aktuelle Version online)
- Jürgen Peters: Programmieren mit awk, Oldenbourg, 1990, ISBN 3-486-21504-3.
- Reinhold Kalteis: awk – Die Programmiersprache für UNIX und DOS, Franzis, 1991, ISBN 3-7723-4231-0.
- Gottfried Staubach: UNIX-Werkzeuge zur Textmusterverarbeitung, Springer, 1989, ISBN 3-540-51232-2 und ISBN 0-387-51232-2.
Weblinks
awk(1): pattern-directed scanning and processing language – OpenBSD General Commands Manualawk(P): pattern scanning and processing language – Debian POSIX Programmer's Manual- GNU awk-Website
- http://www.ostc.de/awk.pdf – Ausführliche Beschreibung auf Deutsch (PDF, 340 kB)