[컴파일러 이론] Tokenizer, Lexer, Parser 컴파일러는 소스코드를 기계어로 바꿔주는 역할을 합니다. 이 때 구문분석 -> 최적화 -> 코드생성 -> 링킹 의 과정이 진행됩니다. 구문분석 과정에서 소스코드는 Tokenizer, Lexer, Parser 를 차례대로 지나가며 구문분석을 진행하게 되는데, 오늘은 이 부분에 대해 알아보도록 하겠습니다. Tokenizer Tokenizer 는 말 그대로 어떤 구문을 토큰화 하는 역할을 합니다. 여기서 토큰이란 어휘 분석의 단위를 뜻하며 단어, 단어구, 문자열 등 의미있는 단위로 정해집니다. 토큰은 어떤 요소들을 구조적으로 표현할 수 있도록 도와줍니다. Lexer Lexer 는 Tokenizer 로 인해 쪼개진 토큰들의 의미를 분석하는 역할을 합니..
