Sintaxis y Semantica de Lenguajes2013

Gramáticas y Reconocimiento de Lenguajes

El problema de la traducción

El problema de la traducción

Reconocimiento de código fuente Program a escrito en algún lenguaje

Análisis Léxico tokens

 U n i    d   a  d    

Análisis Sintáctico árboles

Análisis Semántic o

 !raductor  !raductor

Unidad 

Programa en lenguaje de má"uina

#escripción de lenguajes Lenguajes de programación



◦

◦

◦

Programas Lenguajes de alto ni$el % de má"uina  !raductores 



Especi&caciones gramaticales % semánticas

Lenguajes formales ◦

◦

Alfabeto Palabras

Sintaxis



◦



Reglas de formación de palabras % frases

Semántica ◦

Signi&cado de las palabras % frases

'onceptos sobre lenguajes

S(mbolos Alfabeto) Σ * +a, b, c, ---. 'adenas o palabras Σn con n /* 0 Σ0 * +λ. 1$ac(o λ, ε, ∆, ∅2 Σ3 * Σ0 ∪ Σ4 ∪ Σ5 ∪ --Σ6 * Σ4 ∪ Σ5 ∪ --- * Σ3 7 +λ. Uni$erso de un alfabeto 81 Σ2 Lenguaje sobre un alfabeto L1Σ2 ⊂ 81Σ2 

9peraciones 'on palabras



Concatenación: X.Y Potencia: X i Reflexión: X -1 o XR

'on lenguajes



Unión: L1 ∪ L2 Intersección: L1 ∩ L2 Resta:L1 – L2 Concatenación: L1 • L2 Potencia: Li Clausura: L+ = Ui=1 Li Cierre: L!=L+ U "λ# Reflexión: L-1

Reglas de producción N

R : 1elemento a de&nir2 generación2 

Sean) $

 ;

R 1patrón de

donde $, ; ∈ Σ3



Derivación directa: v  w Derivación: v  v 1  v 2  … 







 w



Regla compresora N

 R  |N| > |R|



Ej: 101

 11



#eri$ación por i<"uierda % por derec=a Sea la palabra 00044 % las reglas a2 04



Por izq: 00011->  10011->  11011->  11111  40  b b a 

Por dcha: 00011-> 00111-> 01111->  11111 a a  a

44 b2 00

>ramáticas formales #e&nición) > * +Σ, Σt, S, P. Σ alfabeto 1Σt U Σn2 Σn * $ariables Σt conjunto de símbolos



terminales aioma ! S

∈ Σ n

Lenguaje generado) L1>2 conjunto P conjunto &nito de re"las de de todas las palabras o cadenas  #roducción generadas por la gramática E"ui$alencia) L1>42 * L1>52 

>ramáticas formales P={S>aSb,S>aSbb,S>b} Σt={S} Σn={a,b} ¿Quégener a? Dados∑t={ S,T} ∑n={ a,b} r Obt enerPpar aL={a  b /r>0} S>aS S>aT S>b  T>aT  T>b

'

S aSb aSbb  b aabbbb

S>aS S>aT  T>b

Dados∑t={ S,T}y∑n={ a,b,c} Obt enerPpar a S>aSc r L={a  b cr  /r>0} S>b

'

S>aSc S>T  T>b

 ?erar"u(a de gramáticas 1'=oms@%2 rrestrictas 1>02

> 1regulares2 Regular x i<"uierda

Regular x derec=a

S −>  C0 C −>  C0 | D1 | 1

S −>  1A

 D −>  D1 | 1

 A −>  1A | 0B | 0  B −>  0B | 0

Ambas generan 11000

>5 1independientes de contexto2 >4 1no estricta2

>5 1estricta2

S −>  AB

S −>  AB | A | B | λ

 A −>  0A1 | λ

 A −>  0A1 | 01

 B −>  2B | λ

 B −>  2B | 2

Ambas generan 0  1 2   con n, m ≥ 0  n

n

m

G1 no es estricta ya que incluye reglas nulas asociadas a símbolos que no son el axioma

Brbol de deri$ación Sea G = {

t,

n, S, P }

t

= { 0, 1, [, ], +, * }

n

= { E }

S= E P = {E[EE+],E[EE*],E0, E1}

Para a cadena: [0[01*]+]

Brbol de deri$ación % ambigCedad

Sea: S  S a S | S b S | c ¿ Qué pasa para cbcac ? Necesidad de reglas de precedencia 

◦

Sea: E

 E+E | E*E | E^E | id |(E)

E!"re#i$n: ! + % & z & ' * (

)erarqa: 1) &

2) *

3) +

 #ociati'idad: * + (izq-dcha)

^ (dcha-

izq)

Ambiguedad en lenguaje !r"ran



Brbol de deri$ación % ambigCedad )assi*n+  )id+ : )exr+ )id+ ./ 0/  )exr+  )exr+  )exr+ / )exr+ 3 )exr+ / 4 )exr+ 5 / )id+ 





Para 6 0 : 0  . 3  4am7i*ua5

Para 6 0 : 0  4 . 3  5

Para 6  : 40  5 3 4. : 05

:otación D: % ED: Es un meta7lenguaje, para especi&cación sintáctica de uso casi uni$ersal BNF (Jon Ba!us, "eter Naur Normal Form # 1$%$& 'no terminal )a* )+* - ( & . /emlo 'dígito - )0* . )1* .  . )$*  'n3mero - 'dígito 'n3mero 'n3mero - 'dígito /BNF (/xtended BNF& 4 56 o 45 4 5+ 7 8  /emlo 'dígito - )0* . )1* .  . )$*  'n3mero - 'dígito 4'dígito56 

#iagramas sintácticos

D: F ED: F #iagramas 

./:

 e!"r> ::= e!"r> +2 ter3> 4  e!"r> -2 ter3> 4 ter3>  

E./:

 e!"r> ::= ter3> { 5+2 4 -26 ter3> }



7ia8ra3a #int9ctico expr  term term

 -

:otaciones 

n;i


Po#t;i


Pre;i
Infja

a6d3g7= C

a*a6 b

Postfja

adg36=7 PostScript

Ga a b add def 

Prefja

 6 a 3 d g =

-

Lisp

1setf a 16 a b22

Autómatas (máquinas abstractas o de estados)

Autómatas Permiten simular procesos para tratar información



◦

◦

◦

◦

la información se codi&ca en cadenas de s(mbolos son Hdispositi$osI "ue manipulan cadenas de s(mbolos procesan cadenas de entrada % producen cadenas de salida reciben los s(mbolos de entrada secuencialmente

El s(mbolo de salida, en un instante dado depende de



◦

◦

◦

el último s(mbolo de entrada la secuencia o cadena, "ue =a recibido =asta ese instante el estado en "ue se encuentra

Estados de un autómata



en un instante de tiempo dado, sólo puede estar en un estado estados iniciales % estados &nales ormas de descripción) "r$%ca& matricial& 'uncional ◦

◦

Se usan como reconocedores de lenguajes Existen distintos tipos de autómatas 

Já"uina de Jeal% 

M = ( e, s, , !, g" Σe) alfabeto de

entrada Σs) alfabeto de salida K) conjunto de estados ≠ ∅ f) K x Σe  K g) K x Σe Σs 





(ransiciones     )   *   donde ◦

◦

   es el símbolo de entrada  *  es el símbolo de salida

+a salida de#ende del estado actual * de la entrada



Já"uina de Joore 00



10

Σe)



00/0

10/0

A# $

M = ( e, s, , !, g" alfabeto de entrada Σs) alfabeto de salida K) conjunto de estados ≠ ∅ f) K x Σe  K g) K Σs

10

A

00

%# &

10/1

C# $

0/11



%

1/11

C

0

1

A

0/00 %

00/0

A#&&

1/01

C

0

%#$$

1

C#$&

+a salida de#ende sólo del estado actual ,ara el mismo #roceso& suelen tener m$s estados -ue las m$-uinas de .eal*  

Autómata &nito determinista A' = ( , )$, , ', ! " Σ)

alfabeto de entrada  "0) estado inicial ∈K  K) estados ≠ ∅  ) estados &nales ⊂ K  f) K x Σ  K  

8, 2

a

a 7, 8, 2

0

2

a, 2

8

2

4

7

1 7

3

8

a, 7

!unciona" Notaci*notación matricial a f(1, b a)+ 2  f(1, b)  3 & 2 f(2, / a)  2    2 f(3,  b)  2   f(3, $)  4  2 $)  4  f(4,  f(4,2) .     3 /

Algoritmo de implementación

9abitualmente s:lo se reresentan las transiciones que conducen al reconocimiento de alguna cadena, consider;ndose imlícito un
Autómata &nito no7 determinista A'N = ( , )$, , ', ! " Σ)

alfabeto de entrada  "0) estado inicial ∈K  K) estados ≠ ∅  ) estados &nales ⊂ K  f) K x 1Σ ∪ +λ.2  P1K2  

1

" 4

1

" 0

(,1 9,1

1

0

(

" 5

9

" 

1

0

0



>ramáticas > % autómatas >ramática regular



 & ' 

%

 & 'A , S

N

- & ' S ./ A A ./ S A ./ , , ./  , ./   

Autómata



Expresión regular $.%$.$&!.1.%1'$&

Expresiones regulares ntroducidas por Mleene 14NO2



◦

#escriben má"uinas de estados &nitos

9peradores



Unión Q  6 'oncatenación / 'ierre 1Mleene23 'ierre 1positi$o2 6

Sea a.(b|c*).d  cuál es el AE % la gramática



Propiedades de las ER Sea 0 & 'a b c* ¿ S!n e1ui2alen"es: c*3c | c* * c* ? 6) 5)

4) )

Expresiones regulares % AE Reglas de transformación



a|b

a.b

"i

"i

Sea: 4x / y35;3<

a

"f 

7 a

"

7

@

"f 

y

a a* 

"i

E

" @

E

"0

"f 

Algoritmos formales



Jc:aug=ton7Tamada7  !=ompson

◦

; x

"4

<

"5

Algoritmo de transformación rs

ε

a r3 rQ s ER $s AE

Por ejemplo sea 14 Q 0234 se obtiene un A:#



Luego se lle$a a un A# % se minimi
E"ui$alencia de autómatas A'N



A'

Un A# es un caso particular de A:# :*1, " , K, , f2 e"ui$ale a #*1, +"V ., 0 0 KV, V, fV2 Es decir : * # G L1#2*L1:2 Si se cumple) 

◦

◦



KV * 5QKQ 1conjunto potencia P1K2 2 

 



"Vi * W"i , X, "f Y */ +"i , X, "f . ⊂ KV

"V0 * +"0. V * + "V ∈ KV G "V Z  [ \ . 1al menos uno sea &nal2 fV1"V, a2 * +] "∈"V f1", a2. G " ∈ K ^ a ∈ 

E"ui$alencia de autómatas

Se basa en la construcción de subconjuntos A cada estado del A# le corresponde un conjunto de estados del A:# Algoritmo) 

◦

◦

◦

◦

Para cada estado del A:# % cada s(mbolo de entrada, anali
E"ui$alencia de autómatas A:#



A#) estados alcan


 'ómo se obtiene 

Algoritmo de minimiV12 % >VV1K F 2 2. ∀ > de P 1Q>Q / 12 obtener nue$a Pn de modo "ue)  ∀ "i, "j ∈ >i `*/ ∀ α ∈ G f1"i, α2, f1"j, α2  >i  sustituir > en Pn por el nue$o conjunto de subgrupos - si Pn* P entonces P&nal )* P e ir a 12 sino P )* Pn e ir a 152 - inalmente  elegir en cada grupo un "i como representante del grupo  eliminar estados pasi$os 1HsumiderosI no &nales2 

Jinimi


a



7



a



7





7

a



K

7



K4

KO

7



a



K5

K5

a



a



K5

7



K

7



K

KO

7



KO

7



A# reconoce L * a|b34abb

Por "ué en > no se separó K4 si tiene un arco con aV "ue sale P4)* >4+KO. 6 >5+K4,K5,K,K. =acia >5 P )* +KO. % 1K4, K5, K2 x b >5 % Por"ue K x b tanto >4 K4 como K transiciones con aV =acia P5 )* >4+KO. 6 >5+K4, K5, K. tienen 6 >+K. luego forman misma 9troun enfo"ue si ,n 5 , entonces , :6 ,n * re#ite el>5, #roceso partición P )* +KO. 6 +K. % +K4, K. x b >5 % K5 x bde e"ui$alencia > 

    o      d     o      t      $      #







P )* >4+KO. 6 >5+K. 6 >+K4, K. 6 >+K5. +ue"o , :6 ,n& #ero ,n 6 , entonces P&nal )* P % se eli"e 71 re#resenta 8/

Autómatas de pila AP = ( Σ, Γ , Q, a0, q0, F, f ) Σ: alfabeto de entrada Γ : alfabeto de pila q0: estado inicial Q: conjunto de estados F: estados finales Q =×><( Σ ∪ {ε}) a0: símbolo inicial pila f: x,  !ransición   ( x,h/w)donde: × Γ → Q × Γ 

 x=est adoact ual h=sí mbol ol eí dodel aci madel api l a  w =sí mbol oescr i t oenl api l a

"

"ara cada gram;tica G indeendiente del contexto, existe un aut:mata de  ila > tal que ?(G&-?(>& ?os símbolos en la ila se ordenan en sentido cima base (con@enci:n&

#escripción de autómatas de pila (, ε  ?

1, ?



" 0

, ε  8 ε 

" 4

,ε ε



ε



ε

" 5

,8 ε



ε

" 

#escripción funcional #escripción tabular f ( q0xεxε )   q1x$ f (q1xεxε )   q2xε f (q1x0xε)   q1x# f (q2xεx$)   q3xε f (q2x1x#)   q2xε 



Es t ado

Ent r ada

Pi l a Tr ans i ci ón

q0

ε

ε

e1, $

q1

ε

ε

e2, ε

q1

0

ε

e1, #

q2

ε

$

e3, ε

q2

1

#

e2, ε







ormas de reconocimiento Reconocimiento por $aciado de pila



+v#.36 9w ;4 ) -0& w& a03  # 7=

 #& <& <3&



Reconocimiento por alcan


+e'.369w ;4) -0& w& a03  # ?&  Γ 4=

 #& <& 3&



L$p % Lef reconocidos pueden ser diferentes



Autómatas de pila determinista Es determinista si cum#le



1- 7 @ A B 3 si |'-& <& A3|>0 Ca ;& '-& a& A36 1- 7 @ A B @ a ;F 9<= 3& |'-& a& A3|G2

'onstrucción de un AP# 1, , K, a0, "0, f, 2



◦

◦

#ados) *+a, b, c., Γ *+, , h ., a0 * , "0*, K*+, T, ., * +.

 f  para reconocer) L * + a n b cn64 G n / 0 .

AP `*/ >5



%

Autómatas de pila % gramáticas

>ramática libre de contexto

Autómata de Pila

Σ ={ a,b} ΣN  ={ S}  T 

Γ   :{ #,$,a}

P={S>aSb|λ}

Q:{ e0, e1, e2, e3} a0:$

Σ:{ a,b}

q0:e0 F:{ e3}

L1={  b an n  /n>0} a, λ

 a

7, a



e 0

λ, 8

 8



e 4

7, a



λ



e 5

λ λ, 8

 8



Ejemplo

e 

Autómatas de pila % gramáticas Representar 0 con AP ◦

Si AP (

Σ, Γ , Q, a0, q0, F, f ) entonces construir  A,ND6 ;& ;F N& 9-=& !& -& %& f 3

El reconocimiento es por $aciado de pila si AHw  , entonces -& w3  '-& <& A3 si a  ; entonces -& <3  '-& a& a3 Sea P * + !H0!1& !Hc = entonces '-& <& A36 9-& 0!13& -& c3= '-& 0& 036 '-&1&136 '-& c& c36 9-& <3= 

◦

Algoritmo para con$ertir >5 en AP Gr amát i caG2 a,b,z} t={ S,M,N} ,S,P) n={ SzMNz MaMa Mz N  bNb Nz

 Aut ómat adepi l a Σ ={ a,b,z}   ={ a,b,z,S,M,N,#} Q ={ i ,p,q,fi} a0=# q0=i F=fi

@eAinir  15  con t 25 con t  n  & 5 ' como i, , B y Ai  .*re*ar transiciones !5 (i   p &) "5 (p   q *) #5 (q  q+) n $5 (q x x q ) t %5 (q  & !i )

Ejemplo

Autómatas Linealmente Acotados  ALA=( Q,∑,Γ ,δ,e0,b,F)

dondeb=bl anco

l ongi t udcinta =  l ongi t udcadena

Q:conj unt ofini t oest ados ∑ :al f abet odeent r ada;∑⊆ Γ  ( i nput ) Γ  :∑ ∪ { ot r ossí mbol os,b∉ ∑ ( b}∪  out put ) δ:Q xΓ  → Q xΓ   x{ D,I ,N} e0:est adoi ni ci al∈ Q cinta

F:est adosfinal es⊆ Q estados

ontroC

Já"uinas de !uring Γ ,Σ,b,Q,q0,F,f  AP=( ) Σ:al f abet odeent r ada⊂ Σc Γ :al f abe t odel aci nt a  b:bl anco∈  Σc,∉ Σe Q:conj unt odees t ados q0:es t adoi ni ci al∈ Q F:est adosfinal es⊂ Q f :Q xΣc   Q xΣcx{ I ,D,P} 

, estados

cinta

ontroC

,

Lenguajes, gramáticas % autómatas  Ti po3:

#áquinas y Lenguajes

Análisis léxico Scanner



◦

◦

◦

Recibir caracteres de entrada Agruparlos según la > para reconocer lexemas % generar to@ens #etectar algunos signi&cados % errores 

◦

◦

◦

identi&car los to@ens % e$aluarlos

ntroducir información adicional descripti$a Eliminar separadores innecesarios Sustituir macros

Análisis léxico

Análisis léxico Cexema

nunciado index  2 3 count  1$

Lexemas

-o.ens

index  2 3 count  1$ E

identiAier  eBuaCDsi*n intDCiteraC muCtDo identiAier  CusDo intDCiteraC semicoCon

Análisis sintáctico Parser



◦

◦

Recibir to@ens suministrados por el scanner Agrupar to@ens 

  ◦

◦

de acuerdo a #roducciones especi&cadas por la >5 para reconocer 'rases determinar si son sintácticamente correctas establecer la estructura sub%acente

#etectar errores sintácticos >enerar árboles sintácticos

Análisis sintáctico Proceso de análisis



 !o@eni
Anali
Reglas de producci ón

Anali
Brbol

Análisis sintáctico Brboles de sintaxis



'oncreta) sir$e para el análisis sintáctico Abstracta) sir$e para el análisis semántico Sea) S  if e#r  t=en A endif k ◦

◦



'oncreta Abstracta 1AS!2

Análisis sintáctico Anali


cada no7terminal tiene asociada una rutina de análisis, creada a partir de las reglas gramaticales  scan de i<"uierda a derec=a 

Estrategias de análisis



◦

#ES'E:#E:!E1!op7#o;n2  

◦

constru%e el árbol desde la ra(< 1S2 =acia las =ojas problemas con recursi$idad a i<"uierda

AS'E:#E:!E1Dottom7Up2 

constru%e el árbol desde las =ojas =acia la ra(< 1S2

Anali * 1:, !, S, P2 con



: * +A, S., ! * +a, b, c., P * +S  aAc, A  Ab Q  . L * +a bn c G n / 0.Se "uiere reconocer) abbc ◦

◦

◦

,

Anali * 1:, !, S, P2 con



: * +A, S., ! * +a, b, c., P * +S  aAc, A   Q Ab. L * +a bn c G n/*0.Se "uiere reconocer) abbc ◦

◦

◦



Anali


◦

◦

:o puede procesarla Se debe eliminar

Recursi$idad por i<"uierda inmediata



A → A α Q β

Eliminación de recursi$idad por i<"uierda



◦

Se trabaja con el término β 1"ue no es R2 A β D

Eliminación recursi$idad i<"uierda Sea por ejemplo el siguiente caso



S → Aa Q b A → Ac Q Sd Q f  Reempla
◦

◦

◦

S → Aa Q b A → bdI Q f I I → cI Q adI Q ε

Problema Pr oblema del retr retroceso oceso Sea) > * 1:, !, S, P2 donde : * +`PR9>RAJA/, `#E'LARA'9:ES/, `PR9'E#JE:!9S/ .  ! * +module, d, p, k, end. end. S * `PR9>RAJA/ `PR9>RAJA/ El conjunto P de reglas de producción es) `PR9>RAJA/ ))* module `#E'LARA'9:ES/k `PR9'E#JE:!9S/ `PR9'E#JE:!9S/ end `#E'LARA'9:ES/ ))* d Q dk `#E'LARA'9:ES/ `PR9'E#JE:!9S/ `PR9'E#JE:!9S/ ))* p Q pk `PR9'E#JE:!9S/ `PR9'E#JE:!9S/ Análisis aplicando deri$aciones +e'tmost: mo12le 1 3 1 3 p 3 p en1

 D 

>ramáticas LL1@2 % anali


◦

◦

◦

Permiten el análisis descendente sin retroceso, retroceso, usando un subconjunto de las >5 L * reconocimiento de la cadena de entrada de i<"uierda a derec=a L * toman las deri$aciones más =acia la i<"uierda 1+e'tmostJ3 con sólo mirar los K toKens situados a continuación de donde se =alla 

◦

si @*4 se =abla de gramáticas LL142

Posibilitan la construcción de anali
>ramáticas LR1@2 % anali


◦

◦

◦

◦

E&ciente análisis ascendente sin retroceso #etectan errores sintácticos rápidamente L * lee entrada +e'ttori"t  R 6 aplican deri$aciones Ri"tmost en sentido in$erso 

◦

◦

@ * número de s(mbolos de entrada por delante 1looKaeads3 -ue lee el analiLador "ram$tica LR1@22

Pueden construirse para la ma%or(a de las >5 'omplicados de construir

Anali


◦

◦

◦

Producción) E?E+E4E*E45E64-E4id  Enunciado) id+id*id  #eri$aciones por i<"uierda o por derec=a

Anali
3rbo"

ntradaReg"a

*emántica de Lenguajes

ases de análisis su  aCto3anc=oE

análisis léxico 4id,su54asi*nador54id,aCto54oMuCt54id,anc=o54searador5

análisis sintáctico 4asi*nador5 4id,su5

4oMuCt5

4id,aCto5

4id,anc=o5

análisis semántico

#$todos in!orma"es y !orma"es

Semánticas La sintaxis es insu&ciente para describir lenguajes



int Ak léxica % sintácticamente correcto pero "ué signi&ca

Utilidad de las semánticas



◦

◦

◦

#e&nir H"ué deben =acerI los enunciados de un lenguaje mplementar correctamente el lenguaje #esarrollar técnicas % =erramientas de 

◦

Análisis % optimi
A%udar a Hra
Semántica estática Se calcula en tiempo de compilación Ejemplos de aspectos "ue controla 

◦

◦

◦

◦

◦

◦

◦

'orrespondencia de la si"natura de funciones Accesos a $ariables consistentes con su declaración Kue identi&cadores % expresiones sean e$aluables Kue el Left7side sea asignable 'ompatibilidad de expresiones % operadores Accesibilidad de las $ariables según su alcance Uso de identi&cadores únicos

Semántica dinámica 

'iertos signi&cados se detectan en la ejecución ◦

◦

◦

◦



Punteros con referencias nulas alores l(mites de sub(ndices de arreglos 'onsistencia en el pasaje de argumentos 9tros) x )* < G % si % ** 0

Errores de HlógicaI "ue cambian la semántica de un enunciado, :9 S9: #E!E'!ADLES x )* < G % si lo "ue se "uer(a escribir era x )* < 3%



Ejemplo de semántica dinámica en ?S ◦

◦

Si < * HOIk entonces < 6 O * OO Si < * Ok entonces < 6 O * O0

Especi&cación de la semántica Es deseable satisfacer caracter(sticas como) 

◦

◦

◦

◦

◦

◦

◦

:o ambigCedad) facilitar la creación de descripciones rigurosas #emostración) permitir la posterior demostración de propiedades de los programas escritos en el lenguaje especi&cado Prototipado) posibilitar obtener prototipos ejecutables de los lenguajes "ue se disean de forma automática Jodularidad) reali