Advertisement
axyd

tokenized.txt

May 22nd, 2022
904
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. ==============================
  2.    Lexeme      ||     Token
  3. ==============================
  4. int            ||  PRIM_DTYPE
  5. main           ||  IDENTIFIER
  6. (              ||  L_PAREN
  7. )              ||  R_PAREN
  8. {              ||  L_BRACE
  9. int            ||  PRIM_DTYPE
  10. a              ||  IDENTIFIER
  11. ,              ||  SEPARATOR
  12. b              ||  IDENTIFIER
  13. ;              ||  SEMI_COLON
  14. a              ||  IDENTIFIER
  15. +=             ||  ADD_ASSIGN
  16. 21             ||  IDENTIFIER
  17. ;              ||  SEMI_COLON
  18. b              ||  IDENTIFIER
  19. =              ||  ASSIGN
  20. 42             ||  IDENTIFIER
  21. /              ||  DIV
  22. a              ||  IDENTIFIER
  23. ;              ||  SEMI_COLON
  24. for            ||  KEYWORD
  25. (              ||  L_PAREN
  26. size_t         ||  PRIM_DTYPE
  27. i              ||  IDENTIFIER
  28. =              ||  ASSIGN
  29. 0              ||  NUMERIC
  30. ;              ||  SEMI_COLON
  31. i              ||  IDENTIFIER
  32. <              ||  LESS_THAN
  33. b              ||  IDENTIFIER
  34. ;              ||  SEMI_COLON
  35. ++             ||  INCREMENT
  36. i              ||  IDENTIFIER
  37. )              ||  R_PAREN
  38. {              ||  L_BRACE
  39. while          ||  KEYWORD
  40. (              ||  L_PAREN
  41. b              ||  IDENTIFIER
  42. !=             ||  LOGIC_INEQ
  43. 0              ||  NUMERIC
  44. )              ||  R_PAREN
  45. {              ||  L_BRACE
  46. if             ||  KEYWORD
  47. (              ||  L_PAREN
  48. a              ||  IDENTIFIER
  49. <              ||  LESS_THAN
  50. b              ||  IDENTIFIER
  51. )              ||  R_PAREN
  52. cout           ||  LIB_OBJ
  53. <<             ||  INSERTION
  54. a              ||  IDENTIFIER
  55. <<             ||  INSERTION
  56. endl           ||  LIB_OBJ
  57. ;              ||  SEMI_COLON
  58. else           ||  KEYWORD
  59. cout           ||  LIB_OBJ
  60. <<             ||  INSERTION
  61. b              ||  IDENTIFIER
  62. <<             ||  INSERTION
  63. endl           ||  LIB_OBJ
  64. ;              ||  SEMI_COLON
  65. --             ||  DECREMENT
  66. b              ||  IDENTIFIER
  67. ;              ||  SEMI_COLON
  68. }              ||  R_BRACE
  69. }              ||  R_BRACE
  70. string         ||  KEYWORD
  71. str            ||  IDENTIFIER
  72. ;              ||  SEMI_COLON
  73. switch         ||  KEYWORD
  74. (              ||  L_PAREN
  75. b              ||  IDENTIFIER
  76. )              ||  R_PAREN
  77. {              ||  L_BRACE
  78. case           ||  KEYWORD
  79. 3              ||  NUMERIC
  80. :              ||  SCOPE_RES
  81. case           ||  KEYWORD
  82. 2              ||  NUMERIC
  83. :              ||  SCOPE_RES
  84. case           ||  KEYWORD
  85. 1              ||  NUMERIC
  86. :              ||  SCOPE_RES
  87. break          ||  KEYWORD
  88. ;              ||  SEMI_COLON
  89. default        ||  KEYWORD
  90. :              ||  SCOPE_RES
  91. str            ||  IDENTIFIER
  92. =              ||  ASSIGN
  93. str            ||  IDENTIFIER
  94. +              ||  ADD
  95. to_string      ||  LIB_OBJ
  96. (              ||  L_PAREN
  97. a              ||  IDENTIFIER
  98. )              ||  R_PAREN
  99. ;              ||  SEMI_COLON
  100. break          ||  KEYWORD
  101. ;              ||  SEMI_COLON
  102. }              ||  R_BRACE
  103. auto           ||  KEYWORD
  104. *              ||  MUL_OR_DEREF
  105. strPtr         ||  IDENTIFIER
  106. =              ||  ASSIGN
  107. &              ||  AND
  108. str            ||  IDENTIFIER
  109. ;              ||  SEMI_COLON
  110. cout           ||  LIB_OBJ
  111. <<             ||  INSERTION
  112. "string size:" ||  STRING_LIT
  113. <<             ||  INSERTION
  114. strPtr         ||  IDENTIFIER
  115. ->             ||  MEMBER_PTR
  116. length         ||  IDENTIFIER
  117. (              ||  L_PAREN
  118. )              ||  R_PAREN
  119. <<             ||  INSERTION
  120. endl           ||  LIB_OBJ
  121. ;              ||  SEMI_COLON
  122. double         ||  PRIM_DTYPE
  123. dbl            ||  IDENTIFIER
  124. =              ||  ASSIGN
  125. 66.666         ||  NUMERIC
  126. ;              ||  SEMI_COLON
  127. cout           ||  LIB_OBJ
  128. <<             ||  INSERTION
  129. dbl            ||  IDENTIFIER
  130. <<             ||  INSERTION
  131. endl           ||  LIB_OBJ
  132. ;              ||  SEMI_COLON
  133. string         ||  KEYWORD
  134. xxxxxx         ||  IDENTIFIER
  135. =              ||  ASSIGN
  136. "blahd"        ||  STRING_LIT
  137. ;              ||  SEMI_COLON
  138. int            ||  PRIM_DTYPE
  139. testcin        ||  IDENTIFIER
  140. ;              ||  SEMI_COLON
  141. cin            ||  LIB_OBJ
  142. >>             ||  EXTRACTION
  143. testcin        ||  IDENTIFIER
  144. ;              ||  SEMI_COLON
  145. cout           ||  LIB_OBJ
  146. <<             ||  INSERTION
  147. testcin        ||  IDENTIFIER
  148. <<             ||  INSERTION
  149. endl           ||  LIB_OBJ
  150. ;              ||  SEMI_COLON
  151. return         ||  KEYWORD
  152. 0              ||  NUMERIC
  153. ;              ||  SEMI_COLON
  154. }              ||  R_BRACE
  155.  
Advertisement
RAW Paste Data Copied
Advertisement