Ëàáîðàòîðíàÿ ðàáîòà 5 ¾Ëåêñè åñêèé ðàñïîçíàâàòåëü Ñêîðîáîãàòîâ Ñ. Þ., Êîíîâàëîâ À. Â. 29 ìàðòà Öåëü ðàáîòû Öåëüþ äàííîé ðàáîòû ÿâëÿåòñÿ èçó åíè

Bản ghi

1 Ëàáîðàòîðíàÿ ðàáîòà 5 ¾Ëåêñè åñêèé ðàñïîçíàâàòåëü Ñêîðîáîãàòîâ Ñ. Þ., Êîíîâàëîâ À. Â. 29 ìàðòà Öåëü ðàáîòû Öåëüþ äàííîé ðàáîòû ÿâëÿåòñÿ èçó åíèå èñïîëüçîâàíèÿ äåòåðìèíèðîâàííûõ êîíå íûõ àâòîìàòîâ ñ ðàçìå åííûìè çàêëþ èòåëüíûìè ñîñòîÿíèÿìè (ëåêñè åñêèõ ðàñïîçíàâàòåëåé) äëÿ ðåøåíèÿ çàäà è ëåêñè åñêîãî àíàëèçà. 2 Èñõîäíûå äàííûå Ïóñòü ëåêñè åñêàÿ ñòðóêòóðà ìîäåëüíîãî ÿçûêà ñîñòîèò èç øåñòè ëåêñè åñêèõ äîìåíîâ: 1. ïðîáåëû íåïóñòûå ïîñëåäîâàòåëüíîñòè ïðîáåëüíûõ ñèìâîëîâ (ïðîáåë, ãîðèçîíòàëüíàÿ òàáóëÿöèÿ, ìàðêåðû êîíöà ñòðîêè); 2. èäåíòèôèêàòîðû íåïóñòûå ïîñëåäîâàòåëüíîñòè ëàòèíñêèõ áóêâ è äåñÿòè íûõ öèôð, íà èíàþùèåñÿ ñ áóêâû; 3. öåëî èñëåííûå ëèòåðàëû íåïóñòûå ïîñëåäîâàòåëüíîñòè äåñÿòè íûõ öèôð; 4. êëþ åâûå ñëîâà (âàðèàíòû êëþ åâûõ ñëîâ ïåðå èñëåíû â òàáëèöàõ 1, 2 è 3); 5. çíàêè îïåðàöèé (âàðèàíòû çíàêîâ îïåðàöèé ïåðå èñëåíû â òàáëèöàõ 1, 2 è 3); 6. êîììåíòàðèè èëè ñòðîêîâûå ëèòåðàëû (âàðèàíòû ïåðå èñëåíû â òàáëèöàõ 1, 2 è 3). òîáû íå óñëîæíÿòü ëåêñè åñêèé àíàëèçàòîð, ðàçðåøèì èäåíòèôèêàòîðàì ïðèìûêàòü ñïðàâà ê öåëî èñëåííûì ëèòåðàëàì. 3 Çàäàíèå Âûïîëíåíèå ëàáîðàòîðíîé ðàáîòû ñîñòîèò èç ïÿòè ýòàïîâ: 1. îïèñàíèå ëåêñè åñêèõ äîìåíîâ ìîäåëüíîãî ÿçûêà â âèäå ðåãóëÿðíûõ âûðàæåíèé; 2. ïîñòðîåíèå íåäåòåðìèíèðîâàííîãî ëåêñè åñêîãî ðàñïîçíàâàòåëÿ äëÿ ìîäåëüíîãî ÿçûêà; 3. äåòåðìèíèçàöèÿ ïîñòðîåííîãî ëåêñè åñêîãî ðàñïîçíàâàòåëÿ è ôàêòîðèçàöèÿ åãî àëôàâèòà; 1

2 4. ïîñòðîåíèå ìàññèâà îáîáù¼ííûõ ñèìâîëîâ, ìàòðèöû ïåðåõîäîâ è ìàññèâà çàêëþ èòåëüíûõ ñîñòîÿíèé äëÿ ïîëó åííîãî äåòåðìèíèðîâàííîãî ëåêñè åñêîãî ðàñïîçíàâàòåëÿ ñ ôàêòîðèçîâàííûì àëôàâèòîì; 5. ðàçðàáîòêà ëåêñè åñêîãî àíàëèçàòîðà, ðàáîòàþùåãî íà îñíîâå èíòåðïðåòàöèè ïîñòðîåííûõ ñòðóêòóð äàííûõ. Âõîäíîé ïîòîê äëÿ ëåêñè åñêîãî àíàëèçàòîðà äîëæåí çàãðóæàòüñÿ èç ôàéëà (â ASCII).  ðåçóëüòàòå ðàáîòû ïðîãðàììû â ñòàíäàðòíûé ïîòîê âûâîäà äîëæíû âûäàâàòüñÿ îïèñàíèÿ ðàñïîçíàííûõ ëåêñåì â ôîðìàòå Òåã (êîîðäèíàòû_ôðàãìåíòà): èçîáðàæåíèå_ëåêñåìû Ïðè ýòîì ëåêñåìû, ïðèíàäëåæàùèå äîìåíó ïðîáåëîâ, äîëæíû îòáðàñûâàòüñÿ. Ëåêñè åñêèé àíàëèçàòîð äîëæåí èìåòü ïðîãðàììíûé èíòåðôåéñ äëÿ âçàèìîäåéñòâèÿ ñ ïàðñåðîì. Ðåêîìåíäóåòñÿ ðåàëèçîâûâàòü åãî êàê ìåòîä nexttoken() äëÿ èìïåðàòèâíûõ ÿçûêîâ èëè ôóíêöèþ, âîçâðàùàþùóþ ñïèñîê ëåêñåì, äëÿ ôóíêöèîíàëüíûõ ÿçûêîâ. Âõîäíîé ôàéë ìîæåò ñîäåðæàòü îøèáêè, ïðè îáíàðóæåíèè êîòîðûõ ëåêñè åñêèé àíàëèçàòîð äîëæåí âûäàâàòü ñîîáùåíèå ñ óêàçàíèåì êîîðäèíàòû, âîññòàíàâëèâàòüñÿ è ïðîäîëæàòü ðàáîòó.  ëàáîðàòîðíîé ðàáîòå ðàçðåøàåòñÿ èñïîëüçîâàòü ëþáîé ÿçûê ïðîãðàììèðîâàíèÿ, ïîääåðæèâàþùèé ìàññèâû ñ îïåðàöèåé äîñòóïà ê ýëåìåíòó ïî èíäåêñó, ðàáîòàþùåé çà êîíñòàíòíîå âðåìÿ. 2

3 Òàáëèöà 1: Íàáîðû êëþ åâûõ ñëîâ è çíàêîâ îïåðàöèé ïî âàðèàíòàì 1 if, then, else, (, ), êîììåíòàðèè îãðàíè åíû çíàêàìè {, } ìîãóò ïåðåñåêàòü 2 do, while, <, >, <>, ñòðîêîâûå ëèòåðàëû îãðàíè åíû àïîñòðîôàìè, íå ìîãóò ïåðåñåêàòü 3 begin, end, >, >=, êîììåíòàðèè íà èíàþòñÿ ñî çíàêà # è ïðîäîëæàþòñÿ äî êîíöà 4 for, range, ==,!=, ñòðîêîâûå ëèòåðàëû îãðàíè åíû äâîéíûìè êàâû êàìè, íå ìîãóò ïåðåñåêàòü 5 while, wend, <, <=, êîììåíòàðèè íà èíàþòñÿ ñî çíàêà -- è ïðîäîëæàþòñÿ äî êîíöà 6 if, fi, do, od, {, }, ñòðîêîâûå ëèòåðàëû îãðàíè åíû îáðàòíûìè êàâû êàìè, ìîãóò ïåðåñåêàòü 7 case, break, +, ++, êîììåíòàðèè îãðàíè åíû çíàêàìè (*, *) ìîãóò ïåðåñåêàòü 8 class, super, -, ->, ñòðîêîâûå ëèòåðàëû îãðàíè åíû äâîéíûìè êàâû êàìè, ìîãóò ñîäåðæàòü escape-ïîñëåäîâàòåëüíîñòè âèäà \x, ãäå x ëþáîé ñèìâîë, íå ìîãóò ïåðåñåêàòü 9 struct, type, =, ==, êîììåíòàðèè íà èíàþòñÿ ñ // è ïðîäîëæàþòñÿ äî êîíöà 10 def, val, var, [, ], ñòðîêîâûå ëèòåðàëû îãðàíè åíû îäèíàðíûìè êàâû êàìè, äëÿ âêëþ åíèÿ îäèíàðíîé êàâû êè â ñòðîêó îíà óäâàèâàåòñÿ, íå ìîãóò ïåðåñåêàòü 11 int, float, <, <<, êîììåíòàðèè îãðàíè åíû ìîãóò ïåðåñåêàòü ãðàíèöû 12 fun, let, in, :, ::, ñòðîêîâûå ëèòåðàëû îãðàíè åíû îáðàòíûìè êàâû êàìè, ìîãóò ñîäåðæàòü escape-ïîñëåäîâàòåëüíîñòè \n, \\, \` (îñòàëüíûå íåäîïóñòèìû), íå ìîãóò ïåðåñåêàòü 13 select, from, :), :(, êîììåíòàðèè îãðàíè åíû çíàêàìè [ è ], íå ìîãóò ïåðåñåêàòü 14 ford, forward, &&,, ñòðîêîâûå ëèòåðàëû îãðàíè åíû äâîéíûìè êàâû êàìè, äëÿ âêëþ åíèÿ êàâû êè â ñòðîêîâîé ëèòåðàë îíà ïðåäâàðÿåòñÿ çíàêîì ¾\ (íî çíàê ¾\ áåç ïîñëåäóþùåé êàâû êè îøèáêîé íå ÿâëÿåòñÿ), ìîãóò ïåðåñåêàòü ãðàíèöû 15 real, longreal, >=, :=, êîììåíòàðèè íà èíàþòñÿ ñ :: è ïðîäîëæàþòñÿ äî êîíöà 3

4 Òàáëèöà 2: Íàáîðû êëþ åâûõ ñëîâ è çíàêîâ îïåðàöèé ïî âàðèàíòàì 16 uint8t, uint128t, (*, *), ñòðîêîâûå ëèòåðàëû îãðàíè åíû çíàêàìè /, äîïóñòèìû escape-ïîñëåäîâàòåëüíîñòè âèäà \x, ãäå x ëþáîé ñèìâîë, ìîãóò ïåðåñåêàòü 17 goto, gosub, \(, \), êîììåíòàðèè íà èíàþòñÿ ñ \\ è çàêàí èâàþòñÿ â êîíöå 18 delete, decltype, ->, <-, ñòðîêîâûå ëèòåðàëû îãðàíè åíû àïîñòðîôàìè, ìîãóò ïåðåñåêàòü ãðàíèöû ñòðîê òåêñòà, äëÿ âêëþ åíèÿ àïîñòðîôà âíóòðü ñòðîêè îí óäâàèâàåòñÿ. 19 if, elif, *, /, êîììåíòàðèè îãðàíè åíû çíàêàìè /*, */ ìîãóò ïåðåñåêàòü ãðàíèöû 20 lambda, quote, +, =, +=, ñòðîêîâûå ëèòåðàëû îãðàíè åíû äâîéíûìè êàâû êàìè, íå ìîãóò ïåðåñåêàòü 21 get, set,, +, êîììåíòàðèè íà èíàþòñÿ ñ + è çàêàí èâàþòñÿ íà +, ìîãóò ïåðåñåêàòü ãðàíèöû ñòðîê òåêñòà, ïîñëåäîâàòåëüíîñòü çíàêîâ + âíóòðè êîììåíòàðèÿ ÿâëÿåòñÿ ñèíòàêñè åñêîé îøèáêîé. 22 signed, unsigned,.,.., ñòðîêîâûå ëèòåðàëû îãðàíè åíû çàïÿòûìè, ìîãóò ïåðåñåêàòü 23 plus, minus, >=, <=, ==, êîììåíòàðèè íà èíàþòñÿ ñ àïîñòðîôà è ïðîäîëæàþòñÿ äî êîíöà 24 eq, neq, +-, -+, ñòðîêîâûå ëèòåðàëû îãðàíè åíû çíàêàìè :, äëÿ âêëþ åíèÿ äâîåòî èÿ â ñòðîêó îíî óäâàèâàåòñÿ, íå ìîãóò ïåðåñåêàòü 25 key, val, ~~, êîììåíòàðèè îãðàíè åíû çíàêàìè ~, ìîãóò ïåðåñåêàòü ãðàíèöû ñòðîê òåêñòà. 26 write, read, ^_^, ^ ^, ñòðîêîâûå ëèòåðàëû îãðàíè åíû äâîéíûìè êàâû êàìè, êàâû êó â êîíöå ñòðîêè äîïóñòèìî íå ñòàâèòü. 27 exit, exist,!,!~, êîììåíòàðèè íà èíàþòñÿ ñî çíàêà ~ è ïðîäîëæàþòñÿ äî êîíöà 28 set, unset, (), ñòðîêîâûå ëèòåðàëû íà èíàþòñÿ ñ (, çàêàí èâàþòñÿ íà ), íå ìîãóò ñîäåðæàòü âíóòðè êðóãëûå ñêîáêè è íå ìîãóò ïåðåñåêàòü 29 ax, eax, rax, [, ], êîììåíòàðèè íà èíàþòñÿ ñî çíàêà ; èëè # è ïðîäîëæàþòñÿ äî êîíöà 30 begin, end, {, }, ñòðîêîâûå ëèòåðàëû îãðàíè åíû çíàêàìè $, äîïóñòèìû escape-ïîñëåäîâàòåëüíîñòè âèäà \x, ãäå x ëþáîé ñèìâîë, íå ìîãóò ïåðåñåêàòü 4

5 Òàáëèöà 3: Íàáîðû êëþ åâûõ ñëîâ è çíàêîâ îïåðàöèé ïî âàðèàíòàì 31 def, return, (, ), :, êîììåíòàðèè îãðàíè åíû çíàêàìè """, ìîãóò ïåðåñåêàòü 32 mov, jmp, ->, $, ñòðîêîâûå ëèòåðàëû íà èíàþòñÿ ñî çíàêà # è îêàí èâàþòñÿ çíàêîì h, íå ìîãóò ïåðåñåêàòü 33 switch, case, :, {, }, êîììåíòàðèè íà èíàþòñÿ ñî çíàêà! è ïðîäîëæàþòñÿ äî êîíöà 34 open, close, <<, >>, ñòðîêîâûå ëèòåðàëû îãðàíè åíû îäèíàðíûìè êàâû êàìè, äëÿ âêëþ åíèÿ êàâû êè â ñòðîêîâîé ëèòåðàë îíà ïðåäâàðÿåòñÿ çíàêîì ¾\, ìîãóò ïåðåñåêàòü 35 Integer, Float, ::, ->, =, êîììåíòàðèè îãðàíè åíû çíàêàìè {-, -}, ìîãóò ïåðåñåêàòü 36 all, clean, :,!!, ñòðîêîâûå ëèòåðàëû íà èíàþòñÿ ñî çíàêà # è ïðîäîëæàþòñÿ äî êîíöà ñòðîêè, è åñëè ïîñëåäíèì ñèìâîëîì â ñòðîêå ÿâëÿåòñÿ çíàê \, òî ñëåäóþùàÿ ñòðîêà òàêæå ñ èòàåòñÿ àñòüþ ñòðîêîâîãî ëèòåðàëà, èíà å ñòðîêîâûé ëèòåðàë çàêàí èâàåòñÿ. 37 define, typedef, #, ;, êîììåíòàðèè îãðàíè åíû çíàêàìè %, äîïóñòèìû escape-ïîñëåäîâàòåëüíîñòè âèäà \x, ãäå x ëþáîé ñèìâîë, ìîãóò ïåðåñåêàòü 38 update, where, ==,!=, ñòðîêîâûå ëèòåðàëû íà èíàþòñÿ ñî çíàêà /\ è ïðîäîëæàþòñÿ äî êîíöà ñòðîêè, è åñëè ïîñëåäíèì ñèìâîëîì â ñòðîêå ÿâëÿåòñÿ çíàê \, òî ñëåäóþùàÿ ñòðîêà òàêæå ñ èòàåòñÿ àñòüþ ñòðîêîâîãî ëèòåðàëà, èíà å ñòðîêîâûé ëèòåðàë çàêàí èâàåòñÿ. 39 title, body, <, >, </, />, êîììåíòàðèè îãðàíè åíû çíàêàìè <!--, -->, ìîãóò ïåðåñåêàòü 40 new, delete, =, (, ), ñòðîêîâûå ëèòåðàëû îãðàíè åíû çíàêàìè -, äëÿ âêëþ åíèÿ çíàêà - â ñòðîêó îí óäâàèâàåòñÿ, íå ìîãóò ïåðåñåêàòü 5