e99fd7b868449461206a8e03c255ef9cccc9e172
1 Substitution versus Environment-based Semantics
2 -----------------------------------------------
4 Let's step back and consider the semantics we've assumed so far for our lambda calculi. We've been doing this:
6         (\x. M) N ~~> M {x <- N}
8 where `M {x <- N}` is the result of substituting N in for free occurrences of `x` in `M`.
10 What do I mean by calling this a "semantics"? Wasn't this instead part of our proof-theory? Haven't we been neglected to discuss any model theory for the lambda calculus?
12 Well, yes, that's right, we haven't much discussed what computer scientists call *denotational semantics* for the lambda calculus. That's what philosophers and linguists tend to think of as "semantics."
14 But computer scientists also recognize what they call *operational semantics* and *axiomatic semantics*. The former consists in the specification of an "abstract machine" for evaluating complex expressions of the language. The latter we won't discuss.
16 When it comes down to it, I'm not sure what difference there is between an operational semantics and a proof theory; though it should be noted that the operational semantics generally *don't* confine themselves to only using abstract machines whose transitions are identical to the ones licensed in the formal system being interpreted. Instead, any viable algorithm for reducing expressions to some sort of normal form (when they can be so reduced) would be entertained.
18 If we think of the denotations of lambda terms as sets of inter-convertible terms, and let the sets which have normal forms use that normal form as their
19 representative, then operational semantics can be thought of as algorithms for
20 deriving what a formula's denotation is. But it's not necessary to think of the denonations of lambda terms in that way; and even if we do, matters are complicated by the presence of non-normalizing terms.
22 In any case, the lambda evaluator we use on our website does evaluate expressions using the kind of operational semantics described above. We can call that a "substitution-based" semantics.
24 Let's consider a different kind of operational semantics. Instead of substituting `N` in for `x`, why don't we keep some extra data-structure on the side, where we note that `x` should now be considered to evaluate to whatever `N` does? In computer science jargon, such a data-structure is called an **environment**. Philosophers and linguists would tend to call it an **assignment** (though there are some subtleties about whether these are the same thing, which we'll discuss).
26 [Often in computer science settings, the lambda expression to be evaluated is first translated into **de Bruijn notation**, which we discussed in the first week of term. That is, instead of:
28         \x. x (\y. y x)
30 we have:
32         \. 1 (\. 1 2)
34 where each argument-occurrence records the distance between that occurrence and the `\` which binds it. This has the advantage that the environment can then just be a stack, with the top element of the stack being what goes in for the outermost-bound argument, and so on.
36 Some students have asked: why do we need de Bruijn notation to represent environments that way? Can't we just assume our variables are of the form <code>x<sub>1</sub>, x<sub>2</sub>, x<sub>3</sub></code>, and so on? And then the values that get assigned to those variables could just be kept in a stack, with the first value understood to be assigned to <code>x<sub>1</sub></code>, and so on. Yes, we could do that. But the advantage of the de Bruijn notation is that we don't have to keep track of which variable is associated with which lambda binder. In the de Bruijn framework, the outermost binder always goes with the top-most member of the stack. In the proposed alternative, that's not so: we could have:
38 <pre><code>\x<sub>2</sub>. x (\x<sub>8</sub>. x<sub>8</sub> x<sub>2</sub>)
39 </code></pre>
41 In any event, though, we won't make use of de Bruijn notation because, though it makes the semantic algorithms more elegant, it also adds an extra level of conceptual complexity, which we don't want to do.]
43 Now with the environment-based semantics, instead of evaluating terms using substitution, like this:
45         (\x. M) N ~~> M {x <- N}
47 we'll instead evaluate them by manipulating their environment. (To intepret `(\x. M) N` in environment `e`, we'll interpret `M` in an environment like `e {x:= N}` where `x` may have been changed to now be assigned to `N`.
49 A few comments. First, what the environment associates with the variable `x` will be expressions of the lambda calculus we're evaluating. If we understand the evaluation to be call-by-name, these expressions may be complexes of the form `N P`. If on the other hand, we understand the evaluation to be call-by-value, then these expressions will always be fully evaluated before being inserted into the environment. That means they'll never be of the form `N P`; but onlu of the form `y` or `\y. P`. The latter kinds of expressions are called "values." But "values" here are just certain kinds of expressions. (They could be the denotations of lambda expressions, if one thinks of the lambda expressions as all having (preferably) normal-form lambda terms as their denotations.)
51 Second, there is a subtlety here we haven't yet discussed. Consider what should be the result of this:
53         let x = 1
54         in let f = \y. x
55         in let x = 2
56         in f 0
58 If we interpret the `x` in `\y. x` by the value it had where that function was being declared, and bound to `f`, then this complex expression should return `1`. If on other hand we interpret the `x` to have the value it has where that function is given an argument and reduced, then the complex should return `2`.
60 There is no right or wrong behavior here. Both are reasonable. The former behavior is called **lexical scoping**, and it's what we get in the untyped lambda calculus, for example. It's also what's most common in functional programming languages. It's easier for programmers to reason about.
62 The latter behavior is called **dynamic scoping**. Often it's easier for language-designers to implement. It is also useful in certain settings. But we will assume we're dealing with lexical scoping.
64 To implement lexical scoping, you can't just associate the bare formula `\y. x` to the variable `f` in an environment. You also have to keep track of what is the value in that context of all the free variables in the formula. This combination of a function expression together with the values of its free variables is called a **function closure**. There are different techniques for handling these. The technique we'll use here is conceptually simple: it just stashes away both the formula `\y. x` and a copy of the current environment. So even if we're later asked to evaluate `f` in a different environment, we have the original environment to use to lookup values for`f`'s free variables. This is conceptually simple---but inefficient, because it stashes a copy of the entire current environment, when really we only need that part of the environment relevant to a few free variables. If you care to read up more about
65 operational semantics for the lambda calculus, or the underpinnings of how Scheme or OCaml interpreters work under the hood, you can learn about other more elegant techniques. Here we'll keep things conceptually simple.
67 With these ideas settled, then, we can present an environment-based operational semantics for the untyped lambda calculus. Here is a call-by-value version, which assumes that expressions are always fully evaluated before being inserted into the environment.
69 1.      When `e` assigns some term `v` to `x`, then `x`reduces in environment `e` to `v`. We write that as: `(e |- x) ==> v`.
71 2.      `(e |- \x. M) ==> closure(e, \x. M)`, where a closure is some data-structure (it might just be a pair of the data-structure `e` and the formula `\x. M`).
73 3.      If `(e |- M) ==> closure(e2, \x. M2)` and `(e |- N) ==> v` and `(e2 {x:=v} |- M2) ==> u`, then `(e |- M N) ==> u`. Here `e {x:=v}` is the environment which is just like `e` except it assigns `v` to `x`.
76 Explicitly manipulating the environment
77 ---------------------------------------
79 In the machinery we just discussed, the environment handling was no part of the language being interpreted. It all took place in the interpreting algorithm. Sometimes, though, it's convenient to explicitly manipulate the environment in your program; or at least, some special portion of the environment, set aside to be manipulated in that way.
81 For example, a common programming exercise when students are learning languages like OCaml is to implement a simple arithmetic calculator. You'll suppose you're given some expressions of the following type:
83         type term = Constant of int | Multiplication of (term * term) | Addition of (term*term) | Variable of char | Let of (char*term*term);;
85 and then you'd evaluate it something like this:
87         let rec eval (t : term) = match t with
88                   Constant x -> x
89                 | Multiplication (t1,t2) -> (eval t1) * (eval t2)
90                 | Addition (t1,t2) -> (eval t1) + (eval t2)
91                 | Variable c -> ... (* we'll come back to this *)
92                 | Let (c,t1,t2) -> ... (* this too *)
94 With that in hand, you could then evaluate complex terms like `Addition(Constant 1, Multiplication(2, 3))`.
96 But then how should you evaluate terms like `Let('x',Constant 1,Addition(Variable 'x', Constant 2))`? We'd want to carry along an environment that recorded that 'x' had been associated with the term `Constant 1`, so that we could retrieve that value when evaluating `Addition(Variable 'x', Constant 2)`.
98 We'll work with a simple model of environments. They'll just be lists. So the empty environment is `[]`. To modify an environment `e` like this: `e {x:=1}`, we'll use:
100         ('x', 1) :: e
102 that is, `e` is a list of pairs, whose first members are `char`s, and whose second members are evaluation results. To lookup a value `'x'` in `e`, we can use the `List.assoc` function, which behaves like this:
104         # List.assoc 'x' [('x',1); ('y',2)];;
105         - : int = 1
106         # List.assoc 'z' [('x',1); ('y',2)];;
107         Exception: Not_found.
109 Then we should give our `eval` function an extra argument for the environment:
111         let rec eval (t : term) (e: (char * int) list) = match t with
112                   Constant x -> x
113                 | Multiplication (t1,t2) -> (eval t1 e) * (eval t2 e)
114                 | Addition (t1,t2) -> (eval t1 e) + (eval t2 e)
115                 | Variable c ->
116                         (* lookup the value of c in the current environment
117                            This will fail if c isn't assigned anything by e *)
118                   List.assoc c e
119                 | Let (c,t1,t2) ->
120                         (* evaluate t2 in a new environment where c has been associated
121                            with the result of evaluating t1 in the current environment *)
122                   eval t2 ((c, eval t1 e) :: e)
124 Great! Now we've built a simple calculator with let-expressions.
128 -------------
130 As the calculator gets more complex though, it will become more tedious and unsatisfying to have all the clauses like:
132                 | Addition (t1,t2) -> (eval t1 e) + (eval t2 e)
134 have to explicitly pass around an environment that they're not themselves making any use of. Would there be any way to hide that bit of plumbing behind the drywall?
136 Yes! You can do with a monad, in much the same way we did with our checks for divide-by-zero failures.
138 Here we'll use a different monad. It's called the **reader monad**. We define it like this:
140         (* we assume we've settled on some implementation of the environment *)
141         type env = (char * int) list;;
144         type 'a reader = env -> 'a;;
146         (* here's our unit operation; it creates a reader-monad value that
147            ignores the environment and returns x *)
148         let unit x = fun (e : env) -> x;;
150         (* here's our bind operation; how does it work? *)
152                 fun (e : env) -> f (u e) e
154         (* we also define two special-purpose operations on our reader-monad values *)
156         (* evaluate a reader-monad value in a shifted environment; how does this work? *)
157         let shift (c : char) (v : int reader) (u : 'a reader) =
158                 fun (e : env) -> u ((c, v e) :: e)
160         (* lookup the value of c in the current environment
161            this will fail if c isn't assigned anything by that environment
162            a fuller solution would return an int option instead of
163            returning an int or failing *)
164         let lookup (c : char) : int reader =
165                 fun (e : env) -> List.assoc c e
168 With this in hand, we can then do our calculator like this. Instead of `int`s, evaluating a term now returns an `int reader`, a monadic value of our new reader-monad type:
170         let rec eval (t : term) = match t with
171                   Constant x -> unit x
172                 | Multiplication (t1,t2) -> lift2 ( * ) (eval t1) (eval t2)
173                 | Addition (t1,t2) -> lift2 ( + ) (eval t1) (eval t2)
174                 | Variable c -> lookup c
175                 | Let (c,t1,t2) -> shift c (eval t1) (eval t2);;
177 Now if we try:
179         # let result = eval (Let('x',Constant 1,Addition(Variable 'x',Constant 2)));;
180         - : int reader = <fun>
182 Now how do we see what integer that evaluates to? Well, it's an int-reader monad, which is a function from an `env` to an `int`, so we need to give it some `env` to operate on. We can give it the empty environment:
184         # result [];;
185         - : int = 3
187 Great! Now our calculator uses a monad, so it's much higher-tech.
190 Ummm...and why is this useful?
191 ------------------------------
193 I guess you haven't you been paying close enough attention, or you don't have much practical experience in linguistics yet.
195 In Heim and Kratzer's textbook <cite>Semantics in Generative Grammar</cite>, the interpretation of complex phrases like \[[interprets complex phrases]] are trees that look like this:
198                 VP
199               /    \
200              /      \
201             /        \
202            /          \
203           /            \
204          /              NP
205         /              /  \
206        /              /    \
207        V             /      \
208        |            /        \
209  \[[interprets]]    AP         N
210                   / \         |
211               \[[complex]] \[[phrases]]
214 Now the normal way in which the nodes of such trees are related to each other is that the semantic value of a parent node is the result of applying the functional value of one of the daughter nodes to the value of the other daughter node. (The types determine which side is the function and which side is the argument.) One exception to this general rule is when multiple adjectives are joined together, as happens in \[[interprets complex English phrases]]. We'll ignore that though.
216 Another exception is that Heim and Kratzer have to postulate a special rule to handle lambda abstraction. (This is their "Predicate Abstraction Rule.") Not only is it a special rule, but it's arguably not even a compositional rule. The basic idea is this. The semantic value of:
218         \[[man who(i): Alice spurned i]]
220 is the result of combining \[[man]], an `e->t` type predicate value, with the adjective-type value of \[[who(i): Alice spurned i]]. As I said, we'll ignore complexities about their treatment of adjectives. But how is \[[who(i): Alice spurned i]] derived? Heim and Kratzer say this is defined only relative to an
221 assignment g, and it's defined to be a function from objects x in the domain to the value \[[Alice spurned i]] has relative to shifted assignment g{i:=x}, which is like g except for assigning object x to variable i. So this is not the result of taking some value \[[who(i)]], and some separate value \[[Alice spurned i]], and supplying one of them to the other as argument to function.
223 Getting any ideas?
225 Yes! We can in fact implement this as a reader monad. And in doing so, we *will* get a value \[[who(i)]] which is a function, and another value \[[Alice spurned i]], to be its argument. So the semantics in the first place again becomes compositional, and in the second place doesn't need any special rule for how \[[who(i): Alice spurned i]] is derived. It uses the same composition rule as other complex expressions.
227 How does this work?
233 We have to lift the semantic values of predicates into the reader-monad. So if before we were taking the semantic value of "spurned" to be a function `S` of type `e -> e -> t`, now we set \[[spurned]] = lift2 S.
235 Finally, we set \[[who(i)]] to be:
238                 fun (g : env) -> u (g{i:=v g})
240 That is, it takes as arguments a clause-type reader-monad `u`, and an entity-type reader-monad `v`, and returns a reader-monad that evaluates `u` in an environment that's modified to assign `v`'s value in that environment to the variable `i`. In other words, this is:
242         fun (u : bool reader) (v : entity reader) -> shift i v u
244 You can trace through what happens then if we apply \[[who(i)]] to (\[[spurned]] applied to \[[Alice]] and \[[i]]):
246         [[Alice spurned i]] = [[spurned]] [[Alice]] [[i]]
247                 = (lift2 S) (unit Alice) (lookup i)
248                 = bind (unit Alice) (fun x -> bind (lookup i) (fun y -> unit (S x y)))
250 because of the left-identity rule for `unit`, this is the same as:
252                 = bind (lookup i) (fun y -> unit (S Alice y))
254 Substituting in the definition of `bind` for the reader-monad, this is:
256                 = fun e -> (fun y -> unit (S Alice y)) (lookup i e) e
257                 = fun e -> unit (S Alice (lookup i e)) e
259 Substituting in the definition of `unit`, this is:
261                 = fun e -> S Alice (lookup i e)
263 And now supplying \[[Alice spurned i]] as an argument to \[[who(i)]], we get:
265         [[who(i): Alice spurned i]] = [[who(i)]] [[Alice spurned i]]
266                 = (fun u v -> shift i v u) (fun e -> S Alice (lookup i e))
267                 = fun v -> shift i v (fun e -> S Alice (lookup i e))
269 Substituting in the definition of `shift`, this is:
271                 = fun v -> (fun c v u e -> u ((c, v e) :: e)) i v (fun e -> S Alice (lookup i e))
272                 = fun v -> (fun u e -> u ((i, v e) :: e)) (fun e -> S Alice (lookup i e))
273                 = fun v -> (fun e -> (fun e -> S Alice (lookup i e)) ((i, v e) :: e))
274                 = fun v -> (fun e -> S Alice (lookup i ((i, v e) :: e)) )
275                 = fun v -> (fun e -> S Alice (v e) )
277 In other words, it's a function from entity reader monads to a function from assignment functions to the result of applying S to Alice and the value of that entity reader-monad under that assignment function. Essentially the same as Heim and Kratzer's final value, except here we work with monadic values, such as functions from assignments to entities, rather than bare entities. And our derivation is completely compositional and uses the same composition rules for joining \[[who(i)]] to \[[Alice spurned i]] as it uses for joining \[[spurned]] to \[[Alice]] and \[[i]].
279 What's not to like?
281 Well, some of our semantic values here are assignment-shifters:
283         \[[who(i)]] = fun u v -> shift i v u
285 and some philosophers count assignment-shifters as "monsters" and think there can't be any such thing. Clearly they're wrong.
287 Later, techniques parallel to what we do here can be used to implement semantics for mutation and dynamic predicate logic. And then again, parallel techniques can be used to implement the "coordinated" semantics that Kit Fine and Jim Pryor favor. We just need different monads in each case.
289 Want more right now? Then let's look at doing the same thing for [Intensionality](/intensionality_monad).