어휘 분석 ( lexical analysis )

어휘 분석(Lexical Analysis)
  - 원시 프로그램을 읽어서 토큰(token, 의미있는 문법단위)으로 분리하는 작업

토큰(token)
  - 의미있는 문법적 단위. 식별자/상수/예약어/연산자/구분자 등

어휘 분석기 설계(순서)
  1. 정규문법이 주어져야 함
  2. 주어진 문법에 대한 토큰표 작성
  3. NFA작성
  4. NFA->DFA변환
  5. DFA최적화

어휘 분석기 구현
  - 문법이 어떻게 주어지는지 명확하게 정의
  - 토큰 사용빈도를 확률개념으로 분석해야 함
  - 구문분석과 어휘 분석의 선후관계 결정
  - 구현방법 예 : 프로그래밍 언어를 이용하여 직접 구현하거나 자동화도구 사용

어휘분석기 생성기
  - 컴파일러 생성기 또는 컴파일러-컴파일러의 일부분
  - 어휘분석기를 자동생성하는 도구
     LEX, FLEX, ScanGen, PCLEX, POISON, JLEX 등이 있음