abff58772490a32a8919a3cfbfd2aeffda86ecfd
1 [[!toc]]
3 The seminar is now going to begin talking about more **imperatival** or **effect**-like elements in programming languages. The only effect-like element we've encountered so far is the possibility of divergence, in languages that permit fixed point combinators and so have the full power of recursion. What it means for something to be effect-like, and why this counts as an example of such, will emerge.
5 Other effect-like elements in a language include: printing (recall the [[damn]] example at the start of term); continuations (also foreshadowed in the [[damn]] example) and exceptions (foreshadowed in our discussion of abortable list traversals in [[week4]]); and **mutation**. This last notion is our first topic.
8 ## Mutation##
10 What is mutation? It's helpful to build up to this in a series of fragments. For pedagogical purposes, we'll be using a made-up language that's syntactically similar to, but not quite the same as, OCaml.
12 Recall from earlier discussions that the following two forms are equivalent:
14         [A] let x be EXPRESSION in
15                   BODY
17                 (lambda (x) -> BODY) (EXPRESSION)
19 This should seem entirely familiar:
21         [B] let x be 1 + 2 in
22                   let y be 10 in
23                         (x + y, x + 20)       ==> (13, 23)
25 In fragment [B], we bound the variables `x` and `y` to `int`s. We can also bind variables to function values, as here:
27         [C] let f be (lambda (x, y) -> x + y + 1) in
28                   (f (10, 2), f (20, 2))
29                                                                   ==> (13, 23)
31 If the expression that evaluates to a function value has a free variable in it, like `y` in the next fragment, it's interpreted as bound to whatever value `y` has in the surrounding lexical context:
33         [D] let y be 3 in
34                   let f be (lambda (x) -> x + y) in
35                         (f (10), f (20))
36                                                                   ==> (13, 23)
38 Other choices about how to interpret free variables are also possible (you can read about "lexical scope" versus "dynamic scope"), but what we do here is the norm in functional programming languages, and seems to be easiest for programmers to reason about.
40 In our next fragement, we re-use a variable that had been bound to another value in a wider context:
42         [E] let x be 4 in
43                   let x be 3 in
44                         (x + 10, x + 20)      ==> (13, 23)
46 As you can see, the narrowest assignment is what's effective. This is just like in predicate logic: consider <code>&exist;x (Fx and &exist;x Gx)</code>. The computer-science terminology to describe this is that the narrower assignment of `x` to the value 3 **shadows** the wider assignment to 4.
48 I call attention to this because you might casually describe it as "changing the value that x is assigned to." What we'll go on to see is a more exotic phenomenon that merits that description better.
50 Sometimes the shadowing is merely temporary, as here:
52         [F] let y be 2 in
53                   let f be (lambda (x) ->
54                         let y be 3 in
55                           ; here the most local assignment to y applies
56                           x + y
57                   ) in
58                         ; here the assignment of 3 to y has expired
59                         (f (10), y, f (20))   ==> (13, 2, 23)
61 OK, now we're ready for our main event, **mutable variables.** We'll introduce new syntax to express an operation where we're not shadowing a wider assignment, but *changing* the original assignemnt:
63         [G] let y be 2 in
64                   let f be (lambda (x) ->
65                         change y to 3 then
66                           x + y
67                   ) in
68                         ; here the change in what value y was assigned *sticks*
69                         ; because we *updated* the value of the original variable y
70                         ; instead of introducing a new y with a narrower scope
71                         (f (10), y, f (19))   ==> (13, 3, 23)
73 In languages that have native syntax for this, there are two styles in which it can be expressed. The *implicit style* is exemplified in fragment [G] above, and also in languages like C:
75         {
76                 int y = 2;    // this is like "let y be 2 in ..."
77                 ...
78                 y = 3;        // this is like "change y to 3 then ..."
79                 return x + y; // this is like "x + y"
80         }
82 A different possibility is the *explicit style* for handling mutation. Here we explicitly create and refer to new "reference cells" to hold our values. When we change a variable's value, the variable stays associated with the same reference cell, but that reference cell's contents get modified. The same thing happens in the semantic machinery underlying implicit-style mutable variables, but there it's implicit. The reference cells aren't themselves explicitly referred to in the object language. In explicit-style mutation, they are. OCaml has explicit-style mutation. It looks like this:
84         let ycell = ref 2       (* this creates a new reference cell *)
85         ...
86         in let () = ycell := 3  (* this changes the contents of that cell to 3; the return value of doing so is () *)
87                                                         (* other return values could also be reasonable: such as the old value of ycell, the new value, an arbitrary int, and so on *)
88         in x + !ycell;;                 (* the !ycell operation "dereferences" the cell---it retrieves the value it contains *)
90 Scheme is similar. There are various sorts of reference cells available in Scheme. The one most like OCaml's `ref` is a `box`. Here's how we'd write the same fragment in Scheme:
92         (let ([ycell (box 2)])
93                 ...
94                 (set-box! ycell 3)
95                 (+ x (unbox ycell)))
97 When dealing with explicit-style mutation, there's a difference between the types and values of `ycell` and `!ycell` (or `(unbox ycell)`). The former has the type `int ref`: the variable `ycell` is assigned a reference cell that contains an `int`. The latter has the type `int`, and has whatever value is now stored in the relevant reference cell. In an implicit-style framework though, we only have the resources to refer to the contents of the relevant reference cell. `y` in fragment [G] or the C snippet above has the type `int`, and only ever evaluates to `int` values.
100 ##Controlling order##
102 When we're dealing with mutable variables (or any other kind of effect), order matters. For example, it would make a big difference whether I evaluated "let z = !ycell" before or after evaluating "ycell := !ycell + 1". Before this point, order never mattered except with respect to sometimes avoiding divergence.
104 OCaml does not however guarantee what order expressions will be evaluated in arbitrary contexts. For example, in the following fragment, you cannot rely on `expression_a` being evaluated before `expression_b` before `expression_c`:
106         let triple = (expression_a, expression_b, expression_c)
108 OCaml does however guarantee that different let-expressions are evaluated in the order they lexically appear. So in the following fragment, `expression_a` *will* be evaluated before `expression_b` and that before `expression_c`:
110         let a = expression_a
111                 in let b = expression_b
112                         in expression_c
114 Scheme does the same. (*If* you use Scheme's `let*`, but not if you use its `let`. I agree this is annoying.)
116 If `expression_a` and `expression_b` evaluate to (), for instance if they're something like `ycell := !ycell + 1`, that can also be expressed in OCaml as:
118         let () = expression_a
119                 in let () = expression_b
120                         in expression_c
122 And OCaml has a syntactic shorthand for this form, namely to use semi-colons:
124         expression_a; expression_b; expression_c
126 This is not the same role that semi-colons play in list expressions, like `[1; 2; 3]`. To be parsed correctly, these semi-colon'ed complexes sometimes need to be enclosed in parentheses or a `begin ... end` construction:
128         (expression_a; expression_b; expression_c)
130         begin expression_a; expression_b; expression_c end
132 Scheme has a construction similar to the latter:
134         (begin (expression_a) (expression_b) (expression_c))
136 Though often in Scheme, the `(begin ...)` is implicit and doesn't need to be explicitly inserted, as here:
138         (lambda (x) (expression_a) (expression_b) (expression_c))
140 Another way to control evaluation order, you'll recall from [[week6]], is to use **thunks**. These are functions that only take the uninformative `()` as an argument, such as this:
142         let f () = ...
144 or this:
146         let f = fun () -> ...
148 In Scheme these are written as functions that take 0 arguments:
150         (lambda () ...)
152 or:
154         (define (f) ...)
156 How could such functions be useful? Well, as always, the context in which you build a function need not be the same as the one in which you apply it to some arguments. So for example:
158         let ycell = ref 1
159         in let f () = ycell := !ycell + 1
160         in let z = !ycell
161         in f ()
162         in z;;
164 We don't apply (or call or execute or however you want to say it) the function `f` until after we've extracted `ycell`'s value and assigned it to `z`. So `z` will get assigned to 1. If on the other hand we called `f ()` before evaluating `let z = !ycell`, then `z` would have gotten assigned a different value.
166 In languages with mutable variables, the free variables in a function definition are usually taken to refer back to the same *reference cells* they had in their lexical contexts, and not just their original value. So if we do this for instance:
168         let factory (starting_value : int) =
169                 let free_var = ref starting_value
170                 in let getter () =
171                         !free_var
172                 in let setter (new_value : int) =
173                         free_var := new_value
174                 in (getter, setter)
175         in let (getter1, setter1) = factory 1
176         in let first = getter1 ()
177         in let () = setter1 2
178         in let second = getter1 ()
179         in let () = setter1 3
180         in let third = getter1 ()
181         in (first, second, third)
183 At the end, we'll get `(1, 2, 3)`. The reference cell that gets updated when we call `setter1` is the same one that gets fetched from when we call `getter1`. This should seem very intuitive here, since we're working with explicit-style mutation. When working with a language with implicit-style mutation, it can be more surprising. For instance, here's the same fragment in Python, which has implicit-style mutation:
185         def factory (starting_value):
186                 free_var = starting_value
187                 def getter ():
188                         return free_var
189                 def setter (new_value):
190                         # the next line indicates that we're using the
191                         # free_var from the surrounding function, not
192                         # introducing a new local variable with the same name
193                         nonlocal free_var
194                         free_var = new_value
195                 return getter, setter
196         getter1, setter1 = factory (1)
197         first = getter1 ()
198         setter1 (2)
199         second = getter1 ()
200         setter1 (3)
201         third = getter1 ()
202         (first, second, third)
204 Here, too, just as in the OCaml fragment, all the calls to getter1 and setter1 are working with a single mutable variable `free_var`.
206 If however you called `factory` twice, you'd have different `getter`/`setter` pairs, each of which had their own, independent `free_var`. In OCaml:
208         let factory (starting_val : int) =
209         ... (* as above *)
210         in let (getter1, setter1) = factory 1
211         in let (getter2, setter2) = factory 1
212         in let () = setter1 2
213         in getter2 ()
215 Here, the call to `setter1` only mutated the reference cell associated with the `getter1`/`setter1` pair. The reference cell associated with `getter2` hasn't changed, and so `getter2 ()` will still evaluate to 1.
217 Notice in these fragments that once we return from inside the call to `factory`, the `free_var` mutable variable is no longer accessible, except through the helper functions `getter` and `setter` that we've provided. This is another way in which a thunk like `getter` can be useful: it still has access to the `free_var` reference cell that was created when it was, because its free variables are interpreted relative to the context in which `getter` was built, even if that context is otherwise no longer accessible. What `getter ()` evaluates to, however, will very much depend on *when* we evaluate it---in particular, it will depend on which calls to the corresponding `setter` were evaluated first.
219 ##Referential opacity##
221 In addition to order-sensitivity, when you're dealing with mutable variables you also give up a property that computer scientists call "referential transparency." It's not obvious whether they mean exactly the same by that as philosophers and linguists do, or only something approximately the same. What they do mean is a kind of substitution principle, illustrated here:
223         let x = 1
224                 in (x, x)
226 should evaluate the same as:
228         let x = 1
229                 in (x, 1)
231 or:
233         (1, 1)
235 Notice, however, that when mutable variables are present, the same substitution patterns can't always be relied on:
237         let ycell = ref 1
238                 in ycell := 2; !ycell
239         (* evaluates to 2 *)
241         (ref 1) := 2; !(ref 1)
242         (* evaluates to 1 *)
245 ##How to implement explicit-style mutable variables##
247 -- FIXME --
249 ##How to implement implicit-style mutable variables##
251 -- FIXME --
253 ##How to implicit mutation with a State monad##
255 -- FIXME --
257 ##Aliasing or Passing by reference##
259 -- FIXME --
261     [H] ; *** aliasing ***
262         let y be 2 in
263           let x be y in
264             let w alias y in
265               (y, x, w)           ==> (2, 2, 2)
267     [I] ; mutation plus aliasing
268         let y be 2 in
269           let x be y in
270             let w alias y in
271               change y to 3 then
272                 (y, x, w)         ==> (3, 2, 3)
274     [J] let f be (lambda (y) -> BODY) in  ; a
275           ... f (EXPRESSION) ...
277         (lambda (y) -> BODY) EXPRESSION
279         let y be EXPRESSION in            ; b
280           ... BODY ...
282     [K] ; *** passing "by reference" ***
283         let f be (lambda (alias w) ->     ; ?
284           BODY
285         ) in
286           ... f (y) ...
288         let w alias y in                  ; d
289           ... BODY ...
291     [L] let f be (lambda (alias w) ->
292           change w to 2 then
293             w + 2
294         ) in
295           let y be 1 in
296             let z be f (y) in
297               ; y is now 2, not 1
298               (z, y)              ==> (4, 2)
300     [M] ; hyper-evaluativity
301         let h be 1 in
302           let p be 1 in
303             let f be (lambda (alias x, alias y) ->
304               ; contrast here: "let z be x + y + 1"
305               change y to y + 1 then
306                 let z be x + y in
307                   change y to y - 1 then
308                     z
309             ) in
310               (f (h, p), f (h, h))
311                                   ==> (3, 4)
313     Notice: h, p have same value (1), but f (h, p) and f (h, h) differ
316 ##Five grades of mutation involvement##
318 -- FIXME --
320     0. Purely functional languages
321     1. Passing by reference
322        need primitive hyper-evaluative predicates for it to make a difference
323     2. mutable variables
324     3. mutable values
325         - numerically distinct but indiscernible values
326         - two equality predicates
327         - examples: closures with currently-indiscernible but numerically distinct
328           environments, mutable lists
329     4. "references" as first-class values
330         - x not the same as !x, explicit deref operation
331         - can not only be assigned and passed as arguments, also returned (and manipulated?)
332         - can be compared for qualitative equality
333     5. structured references
334         (a) if `a` and `b` are mutable variables that uncoordinatedly refer to numerically the same value
335             then mutating `b` won't affect `a` or its value
336         (b) if however their value has a mutable field `f`, then mutating `b.f` does
337             affect their shared value; will see a difference in what `a.f` now evaluates to
340 ##Miscellany##
342 *       When using mutable variables, programmers will sometimes write using *loops* that repeatedly mutate a variable, rather than the recursive techniques we've been using so far. For example, we'd define the factorial function like this:
344                 let rec factorial n =
345                         if n = 0 then 1 else n * factorial (n - 1)
347         or like this:
349                 let factorial n =
350                         let rec helper n sofar =
351                                 if n = 0 then sofar else helper (n - 1) (n * sofar)
352                         in helper n 1
354         (The second version is more efficient than the first; so you may sometimes see this programming style. But for our purposes, these can be regarded as equivalent.)
356         When using mutable variables, on the other hand, this may be written as:
358                 let factorial n =
359                         let current = ref n
360                         in let total = ref 1
361                         in while !current > 0 do
362                                 total := !total * !current; current := !current - 1
363                         done; !total
366 *       Mutable variables also give us a way to achieve recursion, in a language that doesn't already have it. For example:
368                 let fact_cell = ref None
369                 in let factorial n =
370                         if n = 0 then 1 else match !fact_cell with
371                                 | Some fact -> n * fact (n - 1)
372                                 | None -> failwith "can't happen"
373                 in let () = fact_cell := Some factorial
374                 in ...
376         We use the `None`/`Some factorial` option type here just as a way to ensure that the contents of fact_cell are of the same type both at the start and the end of the block.
379 <!--
380 Fine and Pryor on "coordinated contents" (see, e.g., [Hyper-Evaluativity](http://www.jimpryor.net/research/papers/Hyper-Evaluativity.txt))
381 -->