e3f0fb956068b0e6c33b07ce9a8ef0e247b98d66
1 [[!toc]]
3 #Q: How do you know that every term in the untyped lambda calculus has a fixed point?#
5 A: That's easy: let `T` be an arbitrary term in the lambda calculus.  If
6 `T` has a fixed point, then there exists some `X` such that `X <~~>
7 TX` (that's what it means to *have* a fixed point).
9 <pre><code>
10 let L = \x. T (x x) in
11 let X = L L in
12 X &equiv; L L &equiv; (\x. T (x x)) L ~~> T (L L) &equiv; T X
13 </code></pre>
15 Please slow down and make sure that you understand what justified each
16 of the equalities in the last line.
18 #Q: How do you know that for any term `T`, `YT` is a fixed point of `T`?#
20 A: Note that in the proof given in the previous answer, we chose `T`
21 and then set `X = WW = (\x.T(xx))(\x.T(xx))`.  If we abstract over
22 `T`, we get the Y combinator, `\T.(\x.T(xx))(\x.T(xx))`.  No matter
23 what argument `T` we feed Y, it returns some `X` that is a fixed point
24 of `T`, by the reasoning in the previous answer.
26 #Q: So if every term has a fixed point, even `Y` has fixed point.#
28 A: Right:
30     let Y = \T.(\x.T(xx))(\x.T(xx)) in
31     Y Y = \T.(\x.T(xx))(\x.T(xx)) Y
32         = (\x.Y(xx))(\x.Y(xx))
33         = Y((\x.Y(xx))(\x.Y(xx)))
34         = Y(Y((\x.Y(xx))(\x.Y(xx))))
35         = Y(Y(Y(...(Y(YY))...)))
37 #Q: Ouch!  Stop hurting my brain.#
39 A: Let's come at it from the direction of arithmetic.  Recall that we
40 claimed that even `succ`---the function that added one to any
41 number---had a fixed point.  How could there be an X such that X = X+1?
42 That would imply that
44     X = succ X = succ (succ X) = succ (succ (succ (X))) = succ (... (succ X)...)
46 In other words, the fixed point of `succ` is a term that is its own
47 successor.  Let's just check that `X = succ X`:
49     let succ = \n s z. s (n s z) in
50     let X = (\x.succ(xx))(\x.succ(xx)) in
51     succ X
52       = succ ((\x.succ(xx))(\x.succ(xx)))
53       = succ (succ ((\x.succ(xx))(\x.succ(xx))))
54       = succ (succ X)
56 You should see the close similarity with YY here.
58 #Q. So `Y` applied to `succ` returns a number that is not finite!#
60 A. Yes!  Let's see why it makes sense to think of `Y succ` as a Church
61 numeral:
63       [same definitions]
64       succ X
65       = (\n s z. s (n s z)) X
66       = \s z. s (X s z)
67       = succ (\s z. s (X s z)) ; using fixed-point reasoning
68       = \s z. s ([succ (\s z. s (X s z))] s z)
69       = \s z. s ([\s z. s ([succ (\s z. s (X s z))] s z)] s z)
70       = \s z. s (s (succ (\s z. s (X s z))))
72 So `succ X` looks like a numeral: it takes two arguments, `s` and `z`,
73 and returns a sequence of nested applications of `s`...
75 You should be able to prove that `add 2 (Y succ) <~~> Y succ`,
76 likewise for `mult`, `minus`, `pow`.  What happens if we try `minus (Y
77 succ)(Y succ)`?  What would you expect infinity minus infinity to be?
78 (Hint: choose your evaluation strategy so that you add two `s`s to the
79 first number for every `s` that you add to the second number.)
81 This is amazing, by the way: we're proving things about a term that
82 represents arithmetic infinity.
84 It's important to bear in mind the simplest term in question is not
85 infinite:
87      Y succ = (\f.(\x.f(xx))(\x.f(xx)))(\n s z. s (n s z))
89 The way that infinity enters into the picture is that this term has
90 no normal form: no matter how many times we perform beta reduction,
91 there will always be an opportunity for more beta reduction.  (Lather,
92 rinse, repeat!)
94 #Q. That reminds me, what about [[evaluation order]]?#
96 A. For a recursive function that has a well-behaved base case, such as
97 the factorial function, evaluation order is crucial.  In the following
98 computation, we will arrive at a normal form.  Watch for the moment at
99 which we have to make a choice about which beta reduction to perform
100 next: one choice leads to a normal form, the other choice leads to
101 endless reduction:
103     let prefac = \f n. isZero n 1 (mult n (f (pred n))) in
104     let fac = Y prefac in
105     fac 2
106        = [(\f.(\x.f(xx))(\x.f(xx))) prefac] 2
107        = [(\x.prefac(xx))(\x.prefac(xx))] 2
108        = [prefac((\x.prefac(xx))(\x.prefac(xx)))] 2
109        = [prefac(prefac((\x.prefac(xx))(\x.prefac(xx))))] 2
110        = [(\f n. isZero n 1 (mult n (f (pred n))))
111           (prefac((\x.prefac(xx))(\x.prefac(xx))))] 2
112        = [\n. isZero n 1 (mult n ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred n)))] 2
113        = isZero 2 1 (mult 2 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred 2)))
114        = mult 2 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] 1)
115        ...
116        = mult 2 (mult 1 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] 0))
117        = mult 2 (mult 1 (isZero 0 1 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred 0))))
118        = mult 2 (mult 1 1)
119        = mult 2 1
120        = 2
122 The crucial step is the third from the last.  We have our choice of
123 either evaluating the test `isZero 0 1 ...`, which evaluates to `1`,
124 no matter what the ... contains;
125 or we can evaluate the `Y` pump, `(\x.prefac(xx))(\x.prefac(xx))`, to
126 produce another copy of `prefac`.  If we postpone evaluting the
127 `isZero` test, we'll pump out copy after copy of `prefac`, and never
128 realize that we've bottomed out in the recursion.  But if we adopt a
129 leftmost/call-by-name/normal-order evaluation strategy, we'll always
130 start with the `isZero` predicate, and only produce a fresh copy of
131 `prefac` if we are forced to.
133 #Q.  You claimed that the Ackerman function couldn't be implemented using our primitive recursion techniques (such as the techniques that allow us to define addition and multiplication).  But you haven't shown that it is possible to define the Ackerman function using full recursion.#
135 A. OK:
137 <pre>
138 A(m,n) =
139     | when m == 0 -> n + 1
140     | else when n == 0 -> A(m-1,1)
141     | else -> A(m-1, A(m,n-1))
143 let A = Y (\A m n. isZero m (succ n) (isZero n (A (pred m) 1) (A (pred m) (A m (pred n))))) in
144 </pre>
146 For instance,
148     A 1 2
149     = A 0 (A 1 1)
150     = A 0 (A 0 (A 1 0))
151     = A 0 (A 0 (A 0 1))
152     = A 0 (A 0 2)
153     = A 0 3
154     = 4
156 A 1 x is to A 0 x as addition is to the successor function;
157 A 2 x is to A 1 x as multiplication is to addition;
158 A 3 x is to A 2 x as exponentiation is to multiplication---
159 so A 4 x is to A 3 x as hyper-exponentiation is to exponentiation...
161 #Q. What other questions should I be asking?#
163 *    What is it about the variant fixed-point combinators that makes
164      them compatible with a call-by-value evaluation strategy?
166 *    How do you know that the Ackerman function can't be computed
167      using primitive recursion techniques?
169 *    What *exactly* is primitive recursion?
171 *    I hear that `Y` delivers the *least* fixed point.  Least
172      according to what ordering?  How do you know it's least?
173      Is leastness important?
177 #Sets#
179 You're now already in a position to implement sets: that is, collections with
180 no intrinsic order where elements can occur at most once. Like lists, we'll
181 understand the basic set structures to be *type-homogenous*. So you might have
182 a set of integers, or you might have a set of pairs of integers, but you
183 wouldn't have a set that mixed both types of elements. Something *like* the
184 last option is also achievable, but it's more difficult, and we won't pursue it
185 now. In fact, we won't talk about sets of pairs, either. We'll just talk about
186 sets of integers. The same techniques we discuss here could also be applied to
187 sets of pairs of integers, or sets of triples of booleans, or sets of pairs
188 whose first elements are booleans, and whose second elements are triples of
189 integers. And so on.
191 (You're also now in a position to implement *multi*sets: that is, collections
192 with no intrinsic order where elements can occur multiple times: the multiset
193 {a,a} is distinct from the multiset {a}. But we'll leave these as an exercise.)
195 The easiest way to implement sets of integers would just be to use lists. When
196 you "add" a member to a set, you'd get back a list that was either identical to
197 the original list, if the added member already was present in it, or consisted
198 of a new list with the added member prepended to the old list. That is:
200         let empty_set = empty  in
201         ; see the library for definitions of any and eq
202         let make_set = \new_member old_set. any (eq new_member) old_set
203                                                 ; if any element in old_set was eq new_member
204                                                 old_set
205                                                 ; else
206                                                 make_list new_member old_set
208 Think about how you'd implement operations like `set_union`,
209 `set_intersection`, and `set_difference` with this implementation of sets.
211 The implementation just described works, and it's the simplest to code.
212 However, it's pretty inefficient. If you had a 100-member set, and you wanted
213 to create a set which had all those 100-members and some possibly new element
214 `e`, you might need to check all 100 members to see if they're equal to `e`
215 before concluding they're not, and returning the new list. And comparing for
216 numeric equality is a moderately expensive operation, in the first place.
218 (You might say, well, what's the harm in just prepending `e` to the list even
219 if it already occurs later in the list. The answer is, if you don't keep track
220 of things like this, it will likely mess up your implementations of
221 `set_difference` and so on. You'll have to do the book-keeping for duplicates
222 at some point in your code. It goes much more smoothly if you plan this from
223 the very beginning.)
225 How might we make the implementation more efficient? Well, the *semantics* of
226 sets says that they have no intrinsic order. That means, there's no difference
227 between the set {a,b} and the set {b,a}; whereas there is a difference between
228 the *list* `[a;b]` and the list `[b;a]`. But this semantic point can be respected
229 even if we *implement* sets with something ordered, like list---as we're
230 already doing. And we might *exploit* the intrinsic order of lists to make our
231 implementation of sets more efficient.
233 What we could do is arrange it so that a list that implements a set always
234 keeps in elements in some specified order. To do this, there'd have *to be*
235 some way to order its elements. Since we're talking now about sets of numbers,
236 that's easy. (If we were talking about sets of pairs of numbers, we'd use
237 "lexicographic" ordering, where `(a,b) < (c,d)` iff `a < c or (a == c and b <
238 d)`.)
240 So, if we were searching the list that implements some set to see if the number
241 `5` belonged to it, once we get to elements in the list that are larger than `5`,
242 we can stop. If we haven't found `5` already, we know it's not in the rest of the
243 list either.
245 This is an improvement, but it's still a "linear" search through the list.
246 There are even more efficient methods, which employ "binary" searching. They'd
247 represent the set in such a way that you could quickly determine whether some
248 element fell in one half, call it the left half, of the structure that
249 implements the set, if it belonged to the set at all. Or that it fell in the
250 right half, it it belonged to the set at all. And then the same sort of
251 determination could be made for whichever half you were directed to. And then
252 for whichever quarter you were directed to next. And so on. Until you either
253 found the element or exhausted the structure and could then conclude that the
254 element in question was not part of the set. These sorts of structures are done
255 using **binary trees** (see below).
258 #Aborting a search through a list#
260 We said that the sorted-list implementation of a set was more efficient than
261 the unsorted-list implementation, because as you were searching through the
262 list, you could come to a point where you knew the element wasn't going to be
263 found. So you wouldn't have to continue the search.
265 If your implementation of lists was, say v1 lists plus the Y-combinator, then
266 this is exactly right. When you get to a point where you know the answer, you
267 can just deliver that answer, and not branch into any further recursion. If
268 you've got the right evaluation strategy in place, everything will work out
269 fine.
271 But what if you're using v3 lists? What options would you have then for
272 aborting a search?
274 Well, suppose we're searching through the list `[5;4;3;2;1]` to see if it
275 contains the number `3`. The expression which represents this search would have
276 something like the following form:
278         ..................<eq? 1 3>  ~~>
279         .................. false     ~~>
280         .............<eq? 2 3>       ~~>
281         ............. false          ~~>
282         .........<eq? 3 3>           ~~>
283         ......... true               ~~>
284         ?
286 Of course, whether those reductions actually followed in that order would
287 depend on what reduction strategy was in place. But the result of folding the
288 search function over the part of the list whose head is `3` and whose tail is `[2;
289 1]` will *semantically* depend on the result of applying that function to the
290 more rightmost pieces of the list, too, regardless of what order the reduction
291 is computed by. Conceptually, it will be easiest if we think of the reduction
292 happening in the order displayed above.
294 Well, once we've found a match between our sought number `3` and some member of
295 the list, we'd like to avoid any further unnecessary computations and just
296 deliver the answer `true` as "quickly" or directly as possible to the larger
297 computation in which the search was embedded.
299 With a Y-combinator based search, as we said, we could do this by just not
300 following a recursion branch.
302 But with the v3 lists, the fold is "pre-programmed" to continue over the whole
303 list. There is no way for us to bail out of applying the search function to the
304 parts of the list that have head `4` and head `5`, too.
306 We *can* avoid *some* unneccessary computation. The search function can detect
307 that the result we've accumulated so far during the fold is now `true`, so we
308 don't need to bother comparing `4` or `5` to `3` for equality. That will simplify the
309 computation to some degree, since as we said, numerical comparison in the
310 system we're working in is moderately expensive.
312 However, we're still going to have to traverse the remainder of the list. That
313 `true` result will have to be passed along all the way to the leftmost head of
314 the list. Only then can we deliver it to the larger computation in which the
315 search was embedded.
317 It would be better if there were some way to "abort" the list traversal. If,
318 having found the element we're looking for (or having determined that the
319 element isn't going to be found), we could just immediately stop traversing the
320 list with our answer. **Continuations** will turn out to let us do that.
322 We won't try yet to fully exploit the terrible power of continuations. But
323 there's a way that we can gain their benefits here locally, without yet having
324 a fully general machinery or understanding of what's going on.
326 The key is to recall how our implementations of booleans and pairs worked.
327 Remember that with pairs, we supply the pair "handler" to the pair as *an
328 argument*, rather than the other way around:
330         pair (\x y. add x y)
332 or:
334         pair (\x y. x)
336 to get the first element of the pair. Of course you can lift that if you want:
338 <pre><code>extract_fst &equiv; \pair. pair (\x y. x)</code></pre>
340 but at a lower level, the pair is still accepting its handler as an argument,
341 rather than the handler taking the pair as an argument. (The handler gets *the
342 pair's elements*, not the pair itself, as arguments.)
344 >       *Terminology*: we'll try to use names of the form `get_foo` for handlers, and
345 names of the form `extract_foo` for lifted versions of them, that accept the
346 lists (or whatever data structure we're working with) as arguments. But we may
347 sometimes forget.
349 The v2 implementation of lists followed a similar strategy:
351         v2list (\h t. do_something_with_h_and_t) result_if_empty
353 If the `v2list` here is not empty, then this will reduce to the result of
354 supplying the list's head and tail to the handler `(\h t.
355 do_something_with_h_and_t)`.
357 Now, what we've been imagining ourselves doing with the search through the v3
358 list is something like this:
361         larger_computation (search_through_the_list_for_3) other_arguments
363 That is, the result of our search is supplied as an argument (perhaps together
364 with other arguments) to the "larger computation". Without knowing the
365 evaluation order/reduction strategy, we can't say whether the search is
366 evaluated before or after it's substituted into the larger computation. But
367 semantically, the search is the argument and the larger computation is the
368 function to which it's supplied.
370 What if, instead, we did the same kind of thing we did with pairs and v2
371 lists? That is, what if we made the larger computation a "handler" that we
372 passed as an argument to the search?
374         the_search (\search_result. larger_computation search_result other_arguments)
376 What's the advantage of that, you say. Other than to show off how cleverly
377 you can lift.
379 Well, think about it. Think about the difficulty we were having aborting the
380 search. Does this switch-around offer us anything useful?
382 It could.
384 What if the way we implemented the search procedure looked something like this?
386 At a given stage in the search, we wouldn't just apply some function `f` to the
387 head at this stage and the result accumulated so far (from folding the same
388 function, and a base value, to the tail at this stage)...and then pass the result
389 of that application to the embedding, more leftward computation.
391 We'd *instead* give `f` a "handler" that expects the result of the current
392 stage *as an argument*, and then evaluates to what you'd get by passing that
393 result leftwards up the list, as before.
395 Why would we do that, you say? Just more flamboyant lifting?
397 Well, no, there's a real point here. If we give the function a "handler" that
398 encodes the normal continuation of the fold leftwards through the list, we can
399 also give it other "handlers" too. For example, we can also give it the underlined handler:
402         the_search (\search_result. larger_computation search_result other_arguments)
403                            ------------------------------------------------------------------
405 This "handler" encodes the search's having finished, and delivering a final
406 answer to whatever else you wanted your program to do with the result of the
407 search. If you like, at any stage in the search you might just give an argument
408 to *this* handler, instead of giving an argument to the handler that continues
409 the list traversal leftwards. Semantically, this would amount to *aborting* the
410 list traversal! (As we've said before, whether the rest of the list traversal
411 really gets evaluated will depend on what evaluation order is in place. But
412 semantically we'll have avoided it. Our larger computation  won't depend on the
413 rest of the list traversal having been computed.)
415 Do you have the basic idea? Think about how you'd implement it. A good
416 understanding of the v2 lists will give you a helpful model.
418 In broad outline, a single stage of the search would look like before, except
419 now f would receive two extra, "handler" arguments.
421         f 3 <result of folding f and z over [2; 1]> <handler to continue folding leftwards> <handler to abort the traversal>
423 `f`'s job would be to check whether `3` matches the element we're searching for
424 (here also `3`), and if it does, just evaluate to the result of passing `true` to
425 the abort handler. If it doesn't, then evaluate to the result of passing
426 `false` to the continue-leftwards handler.
428 In this case, `f` wouldn't need to consult the result of folding `f` and `z` over `[2;
429 1]`, since if we had found the element `3` in more rightward positions of the
430 list, we'd have called the abort handler and this application of `f` to `3` etc
431 would never be needed. However, in other applications the result of folding `f`
432 and `z` over the more rightward parts of the list would be needed. Consider if
433 you were trying to multiply all the elements of the list, and were going to
434 abort (with the result `0`) if you came across any element in the list that was
435 zero. If you didn't abort, you'd need to know what the more rightward elements
436 of the list multiplied to, because that would affect the answer you passed
437 along to the continue-leftwards handler.
439 A **version 5** list encodes the kind of fold operation we're envisaging here, in
440 the same way that v3 (and [v4](/advanced/#index1h1)) lists encoded the simpler fold operation.
441 Roughly, the list `[5;4;3;2;1]` would look like this:
444         \f z continue_leftwards_handler abort_handler.
445                 <fold f and z over [4;3;2;1]>
446                 (\result_of_fold_over_4321. f 5 result_of_fold_over_4321  continue_leftwards_handler abort_handler)
447                 abort_handler
449         ; or, expanding the fold over [4;3;2;1]:
451         \f z continue_leftwards_handler abort_handler.
452                 (\continue_leftwards_handler abort_handler.
453                         <fold f and z over [3;2;1]>
454                         (\result_of_fold_over_321. f 4 result_of_fold_over_321 continue_leftwards_handler abort_handler)
455                         abort_handler
456                 )
457                 (\result_of_fold_over_4321. f 5 result_of_fold_over_4321  continue_leftwards_handler abort_handler)
458                 abort_handler
460         ; and so on
462 Remarks: the `larger_computation` handler should be supplied as both the
463 `continue_leftwards_handler` and the `abort_handler` for the leftmost
464 application, where the head `5` is supplied to `f`; because the result of this
465 application should be passed to the larger computation, whether it's a "fall
466 off the left end of the list" result or it's a "I'm finished, possibly early"
467 result. The `larger_computation` handler also then gets passed to the next
468 rightmost stage, where the head `4` is supplied to `f`, as the `abort_handler` to
469 use if that stage decides it has an early answer.
471 Finally, notice that we don't have the result of applying `f` to `4` etc given as
472 an argument to the application of `f` to `5` etc. Instead, we pass
474         (\result_of_fold_over_4321. f 5 result_of_fold_over_4321 <one_handler> <another_handler>)
476 *to* the application of `f` to `4` as its "continue" handler. The application of `f`
477 to `4` can decide whether this handler, or the other, "abort" handler, should be
478 given an argument and constitute its result.
481 I'll say once again: we're using temporally-loaded vocabulary throughout this,
482 but really all we're in a position to mean by that are claims about the result
483 of the complex expression semantically depending only on this, not on that. A
484 demon evaluator who custom-picked the evaluation order to make things maximally
485 bad for you could ensure that all the semantically unnecessary computations got
486 evaluated anyway. We don't have any way to prevent that. Later,
487 we'll see ways to *semantically guarantee* one evaluation order rather than
488 another. Though even then the demonic evaluation-order-chooser could make it
489 take unnecessarily long to compute the semantically guaranteed result. Of
490 course, in any real computing environment you'll know you're dealing with a
491 fixed evaluation order and you'll be able to program efficiently around that.
493 In detail, then, here's what our v5 lists will look like:
495         let empty = \f z continue_handler abort_handler. continue_handler z  in
496         let make_list = \h t. \f z continue_handler abort_handler.
497                 t f z (\sofar. f h sofar continue_handler abort_handler) abort_handler  in
498         let isempty = \lst larger_computation. lst
499                         ; here's our f
500                         (\hd sofar continue_handler abort_handler. abort_handler false)
501                         ; here's our z
502                         true
503                         ; here's the continue_handler for the leftmost application of f
504                         larger_computation
505                         ; here's the abort_handler
506                         larger_computation  in
507         let extract_head = \lst larger_computation. lst
508                         ; here's our f
509                         (\hd sofar continue_handler abort_handler. continue_handler hd)
510                         ; here's our z
511                         junk
512                         ; here's the continue_handler for the leftmost application of f
513                         larger_computation
514                         ; here's the abort_handler
515                         larger_computation  in
516         let extract_tail = ; left as exercise
518 These functions are used like this:
520         let my_list = make_list a (make_list b (make_list c empty) in
521         extract_head my_list larger_computation
523 If you just want to see `my_list`'s head, the use `I` as the
524 `larger_computation`.
526 What we've done here does take some work to follow. But it should be within
527 your reach. And once you have followed it, you'll be well on your way to
528 appreciating the full terrible power of continuations.
530 <!-- (Silly [cultural reference](http://www.newgrounds.com/portal/view/33440).) -->
532 Of course, like everything elegant and exciting in this seminar, [Oleg
533 discusses it in much more
534 detail](http://okmij.org/ftp/Streams.html#enumerator-stream).
536 *Comments*:
538 1.      The technique deployed here, and in the v2 lists, and in our implementations
539         of pairs and booleans, is known as **continuation-passing style** programming.
541 2.      We're still building the list as a right fold, so in a sense the
542         application of `f` to the leftmost element `5` is "outermost". However,
543         this "outermost" application is getting lifted, and passed as a *handler*
544         to the next right application. Which is in turn getting lifted, and
545         passed to its next right application, and so on. So if you
546         trace the evaluation of the `extract_head` function to the list `[5;4;3;2;1]`,
547         you'll see `1` gets passed as a "this is the head sofar" answer to its
548         `continue_handler`; then that answer is discarded and `2` is
549         passed as a "this is the head sofar" answer to *its* `continue_handler`,
550         and so on. All those steps have to be evaluated to finally get the result
551         that `5` is the outer/leftmost head of the list. That's not an efficient way
552         to get the leftmost head.
554         We could improve this by building lists as left folds when implementing them
555         as continuation-passing style folds. We'd just replace above:
557                 let make_list = \h t. \f z continue_handler abort_handler.
558                         f h z (\z. t f z continue_handler abort_handler) abort_handler
560         now `extract_head` should return the leftmost head directly, using its `abort_handler`:
562                 let extract_head = \lst larger_computation. lst
563                                 (\hd sofar continue_handler abort_handler. abort_handler hd)
564                                 junk
565                                 larger_computation
566                                 larger_computation
568 3.      To extract tails efficiently, too, it'd be nice to fuse the apparatus developed
569         in these v5 lists with the ideas from [v4](/advanced/#index1h1) lists.
570         But that also is left as an exercise.