1 [[!toc]]
3 #Q: How do you know that every term in the untyped lambda calculus has a fixed point?#
5 A: That's easy: let `T` be an arbitrary term in the lambda calculus.  If
6 `T` has a fixed point, then there exists some `X` such that `X <~~>
7 TX` (that's what it means to *have* a fixed point).
9 <pre><code>let L = \x. T (x x) in
10 let X = L L in
11 X &equiv; L L &equiv; (\x. T (x x)) L ~~> T (L L) &equiv; T X
12 </code></pre>
14 Please slow down and make sure that you understand what justified each
15 of the equalities in the last line.
17 #Q: How do you know that for any term `T`, `Y T` is a fixed point of `T`?#
19 A: Note that in the proof given in the previous answer, we chose `T`
20 and then set `X = L L = (\x. T (x x)) (\x. T (x x))`.  If we abstract over
21 `T`, we get the Y combinator, `\T. (\x. T (x x)) (\x. T (x x))`.  No matter
22 what argument `T` we feed `Y`, it returns some `X` that is a fixed point
23 of `T`, by the reasoning in the previous answer.
25 #Q: So if every term has a fixed point, even `Y` has fixed point.#
27 A: Right:
29 <pre><code>let Y = \T. (\x. T (x x)) (\x. T (x x)) in
30 Y Y &equiv; \T. (\x. T (x x)) (\x. T (x x)) Y
31 ~~> (\x. Y (x x)) (\x. Y (x x))
32 ~~> Y ((\x. Y (x x)) (\x. Y (x x)))
33 ~~> Y (Y ((\x. Y (x x)) (\x. Y (x x))))
34 ~~> Y (Y (Y (...(Y (Y Y))...)))</code></pre>
36 #Q: Ouch!  Stop hurting my brain.#
38 A: Is that a question?
40 Let's come at it from the direction of arithmetic.  Recall that we
41 claimed that even `succ`---the function that added one to any
42 number---had a fixed point.  How could there be an X such that X = X+1?
43 That would imply that
45     X <~~> succ X <~~> succ (succ X) <~~> succ (succ (succ (X))) <~~> succ (... (succ X)...)
47 In other words, the fixed point of `succ` is a term that is its own
48 successor.  Let's just check that `X = succ X`:
50 <pre><code>let succ = \n s z. s (n s z) in
51 let X = (\x. succ (x x)) (\x. succ (x x)) in
52 succ X
53 &equiv; succ ( (\x. succ (x x)) (\x. succ (x x)) )
54 ~~> succ (succ ( (\x. succ (x x)) (\x. succ (x x))))
55 &equiv; succ (succ X)</code></pre>
57 You should see the close similarity with `Y Y` here.
59 #Q. So `Y` applied to `succ` returns a number that is not finite!#
61 A. Yes!  Let's see why it makes sense to think of `Y succ` as a Church
62 numeral:
64       [same definitions]
65       succ X
66       = (\n s z. s (n s z)) X
67       = \s z. s (X s z)
68       = succ (\s z. s (X s z)) ; using fixed-point reasoning
69       = \s z. s ([succ (\s z. s (X s z))] s z)
70       = \s z. s ([\s z. s ([succ (\s z. s (X s z))] s z)] s z)
71       = \s z. s (s (succ (\s z. s (X s z))))
73 So `succ X` looks like a numeral: it takes two arguments, `s` and `z`,
74 and returns a sequence of nested applications of `s`...
76 You should be able to prove that `add 2 (Y succ) <~~> Y succ`,
77 likewise for `mult`, `minus`, `pow`.  What happens if we try `minus (Y
78 succ)(Y succ)`?  What would you expect infinity minus infinity to be?
79 (Hint: choose your evaluation strategy so that you add two `s`s to the
80 first number for every `s` that you add to the second number.)
82 This is amazing, by the way: we're proving things about a term that
83 represents arithmetic infinity.
85 It's important to bear in mind the simplest term in question is not
86 infinite:
88      Y succ = (\f. (\x. f (x x)) (\x. f (x x))) (\n s z. s (n s z))
90 The way that infinity enters into the picture is that this term has
91 no normal form: no matter how many times we perform beta reduction,
92 there will always be an opportunity for more beta reduction.  (Lather,
93 rinse, repeat!)
95 #Q. That reminds me, what about [[evaluation order]]?#
97 A. For a recursive function that has a well-behaved base case, such as
98 the factorial function, evaluation order is crucial.  In the following
99 computation, we will arrive at a normal form.  Watch for the moment at
100 which we have to make a choice about which beta reduction to perform
101 next: one choice leads to a normal form, the other choice leads to
102 endless reduction:
104     let prefac = \f n. iszero n 1 (mult n (f (pred n))) in
105     let fac = Y prefac in
106     fac 2
107        = [(\f.(\x.f(xx))(\x.f(xx))) prefac] 2
108        = [(\x.prefac(xx))(\x.prefac(xx))] 2
109        = [prefac((\x.prefac(xx))(\x.prefac(xx)))] 2
110        = [prefac(prefac((\x.prefac(xx))(\x.prefac(xx))))] 2
111        = [(\f n. iszero n 1 (mult n (f (pred n))))
112           (prefac((\x.prefac(xx))(\x.prefac(xx))))] 2
113        = [\n. iszero n 1 (mult n ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred n)))] 2
114        = iszero 2 1 (mult 2 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred 2)))
115        = mult 2 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] 1)
116        ...
117        = mult 2 (mult 1 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] 0))
118        = mult 2 (mult 1 (iszero 0 1 ([prefac((\x.prefac(xx))(\x.prefac(xx)))] (pred 0))))
119        = mult 2 (mult 1 1)
120        = mult 2 1
121        = 2
123 The crucial step is the third from the last.  We have our choice of
124 either evaluating the test `iszero 0 1 ...`, which evaluates to `1`,
125 no matter what the ... contains;
126 or we can evaluate the `Y` pump, `(\x.prefac(xx))(\x.prefac(xx))`, to
127 produce another copy of `prefac`.  If we postpone evaluting the
128 `iszero` test, we'll pump out copy after copy of `prefac`, and never
129 realize that we've bottomed out in the recursion.  But if we adopt a
130 leftmost/call-by-name/normal-order evaluation strategy, we'll always
131 start with the `iszero` predicate, and only produce a fresh copy of
132 `prefac` if we are forced to.
134 #Q.  You claimed that the Ackerman function couldn't be implemented using our primitive recursion techniques (such as the techniques that allow us to define addition and multiplication).  But you haven't shown that it is possible to define the Ackerman function using full recursion.#
136 A. OK:
138 <pre>
139 A(m,n) =
140     | when m == 0 -> n + 1
141     | else when n == 0 -> A(m-1,1)
142     | else -> A(m-1, A(m,n-1))
144 let A = Y (\A m n. iszero m (succ n) (iszero n (A (pred m) 1) (A (pred m) (A m (pred n))))) in
145 </pre>
147 For instance,
149     A 1 2
150     = A 0 (A 1 1)
151     = A 0 (A 0 (A 1 0))
152     = A 0 (A 0 (A 0 1))
153     = A 0 (A 0 2)
154     = A 0 3
155     = 4
157 A 1 x is to A 0 x as addition is to the successor function;
158 A 2 x is to A 1 x as multiplication is to addition;
159 A 3 x is to A 2 x as exponentiation is to multiplication---
160 so A 4 x is to A 3 x as hyper-exponentiation is to exponentiation...
162 #Q. What other questions should I be asking?#
164 *    What is it about the variant fixed-point combinators that makes
165      them compatible with a call-by-value evaluation strategy?
167 *    How do you know that the Ackerman function can't be computed
168      using primitive recursion techniques?
170 *    What *exactly* is primitive recursion?
172 *    I hear that `Y` delivers the *least* fixed point.  Least
173      according to what ordering?  How do you know it's least?
174      Is leastness important?
178 #Sets#
180 You're now already in a position to implement sets: that is, collections with
181 no intrinsic order where elements can occur at most once. Like lists, we'll
182 understand the basic set structures to be *type-homogenous*. So you might have
183 a set of integers, or you might have a set of pairs of integers, but you
184 wouldn't have a set that mixed both types of elements. Something *like* the
185 last option is also achievable, but it's more difficult, and we won't pursue it
186 now. In fact, we won't talk about sets of pairs, either. We'll just talk about
187 sets of integers. The same techniques we discuss here could also be applied to
188 sets of pairs of integers, or sets of triples of booleans, or sets of pairs
189 whose first elements are booleans, and whose second elements are triples of
190 integers. And so on.
192 (You're also now in a position to implement *multi*sets: that is, collections
193 with no intrinsic order where elements can occur multiple times: the multiset
194 {a,a} is distinct from the multiset {a}. But we'll leave these as an exercise.)
196 The easiest way to implement sets of integers would just be to use lists. When
197 you "add" a member to a set, you'd get back a list that was either identical to
198 the original list, if the added member already was present in it, or consisted
199 of a new list with the added member prepended to the old list. That is:
201         let empty_set = empty  in
202         ; see the library for definitions of any and eq
203         let make_set = \new_member old_set. any (eq new_member) old_set
204                                                 ; if any element in old_set was eq new_member
205                                                 old_set
206                                                 ; else
207                                                 make_list new_member old_set
209 Think about how you'd implement operations like `set_union`,
210 `set_intersection`, and `set_difference` with this implementation of sets.
212 The implementation just described works, and it's the simplest to code.
213 However, it's pretty inefficient. If you had a 100-member set, and you wanted
214 to create a set which had all those 100-members and some possibly new element
215 `e`, you might need to check all 100 members to see if they're equal to `e`
216 before concluding they're not, and returning the new list. And comparing for
217 numeric equality is a moderately expensive operation, in the first place.
219 (You might say, well, what's the harm in just prepending `e` to the list even
220 if it already occurs later in the list. The answer is, if you don't keep track
221 of things like this, it will likely mess up your implementations of
222 `set_difference` and so on. You'll have to do the book-keeping for duplicates
223 at some point in your code. It goes much more smoothly if you plan this from
224 the very beginning.)
226 How might we make the implementation more efficient? Well, the *semantics* of
227 sets says that they have no intrinsic order. That means, there's no difference
228 between the set {a,b} and the set {b,a}; whereas there is a difference between
229 the *list* `[a;b]` and the list `[b;a]`. But this semantic point can be respected
230 even if we *implement* sets with something ordered, like list---as we're
231 already doing. And we might *exploit* the intrinsic order of lists to make our
232 implementation of sets more efficient.
234 What we could do is arrange it so that a list that implements a set always
235 keeps in elements in some specified order. To do this, there'd have *to be*
236 some way to order its elements. Since we're talking now about sets of numbers,
237 that's easy. (If we were talking about sets of pairs of numbers, we'd use
238 "lexicographic" ordering, where `(a,b) < (c,d)` iff `a < c or (a == c and b <
239 d)`.)
241 So, if we were searching the list that implements some set to see if the number
242 `5` belonged to it, once we get to elements in the list that are larger than `5`,
243 we can stop. If we haven't found `5` already, we know it's not in the rest of the
244 list either.
246 This is an improvement, but it's still a "linear" search through the list.
247 There are even more efficient methods, which employ "binary" searching. They'd
248 represent the set in such a way that you could quickly determine whether some
249 element fell in one half, call it the left half, of the structure that
250 implements the set, if it belonged to the set at all. Or that it fell in the
251 right half, it it belonged to the set at all. And then the same sort of
252 determination could be made for whichever half you were directed to. And then
253 for whichever quarter you were directed to next. And so on. Until you either
254 found the element or exhausted the structure and could then conclude that the
255 element in question was not part of the set. These sorts of structures are done
256 using **binary trees** (see below).
259 #Aborting a search through a list#
261 We said that the sorted-list implementation of a set was more efficient than
262 the unsorted-list implementation, because as you were searching through the
263 list, you could come to a point where you knew the element wasn't going to be
264 found. So you wouldn't have to continue the search.
266 If your implementation of lists was, say v1 lists plus the Y-combinator, then
267 this is exactly right. When you get to a point where you know the answer, you
268 can just deliver that answer, and not branch into any further recursion. If
269 you've got the right evaluation strategy in place, everything will work out
270 fine.
272 But what if you're using v3 lists? What options would you have then for
273 aborting a search?
275 Well, suppose we're searching through the list `[5;4;3;2;1]` to see if it
276 contains the number `3`. The expression which represents this search would have
277 something like the following form:
279         ..................<eq? 1 3>  ~~>
280         .................. false     ~~>
281         .............<eq? 2 3>       ~~>
282         ............. false          ~~>
283         .........<eq? 3 3>           ~~>
284         ......... true               ~~>
285         ?
287 Of course, whether those reductions actually followed in that order would
288 depend on what reduction strategy was in place. But the result of folding the
289 search function over the part of the list whose head is `3` and whose tail is `[2;
290 1]` will *semantically* depend on the result of applying that function to the
291 more rightmost pieces of the list, too, regardless of what order the reduction
292 is computed by. Conceptually, it will be easiest if we think of the reduction
293 happening in the order displayed above.
295 Well, once we've found a match between our sought number `3` and some member of
296 the list, we'd like to avoid any further unnecessary computations and just
297 deliver the answer `true` as "quickly" or directly as possible to the larger
298 computation in which the search was embedded.
300 With a Y-combinator based search, as we said, we could do this by just not
301 following a recursion branch.
303 But with the v3 lists, the fold is "pre-programmed" to continue over the whole
304 list. There is no way for us to bail out of applying the search function to the
305 parts of the list that have head `4` and head `5`, too.
307 We *can* avoid *some* unneccessary computation. The search function can detect
308 that the result we've accumulated so far during the fold is now `true`, so we
309 don't need to bother comparing `4` or `5` to `3` for equality. That will simplify the
310 computation to some degree, since as we said, numerical comparison in the
311 system we're working in is moderately expensive.
313 However, we're still going to have to traverse the remainder of the list. That
314 `true` result will have to be passed along all the way to the leftmost head of
315 the list. Only then can we deliver it to the larger computation in which the
316 search was embedded.
318 It would be better if there were some way to "abort" the list traversal. If,
319 having found the element we're looking for (or having determined that the
320 element isn't going to be found), we could just immediately stop traversing the
321 list with our answer. **Continuations** will turn out to let us do that.
323 We won't try yet to fully exploit the terrible power of continuations. But
324 there's a way that we can gain their benefits here locally, without yet having
325 a fully general machinery or understanding of what's going on.
327 The key is to recall how our implementations of booleans and pairs worked.
328 Remember that with pairs, we supply the pair "handler" to the pair as *an
329 argument*, rather than the other way around:
331         pair (\x y. add x y)
333 or:
335         pair (\x y. x)
337 to get the first element of the pair. Of course you can lift that if you want:
339 <pre><code>extract_fst &equiv; \pair. pair (\x y. x)</code></pre>
341 but at a lower level, the pair is still accepting its handler as an argument,
342 rather than the handler taking the pair as an argument. (The handler gets *the
343 pair's elements*, not the pair itself, as arguments.)
345 >       *Terminology*: we'll try to use names of the form `get_foo` for handlers, and
346 names of the form `extract_foo` for lifted versions of them, that accept the
347 lists (or whatever data structure we're working with) as arguments. But we may
348 sometimes forget.
350 The v2 implementation of lists followed a similar strategy:
352         v2list (\h t. do_something_with_h_and_t) result_if_empty
354 If the `v2list` here is not empty, then this will reduce to the result of
355 supplying the list's head and tail to the handler `(\h t.
356 do_something_with_h_and_t)`.
358 Now, what we've been imagining ourselves doing with the search through the v3
359 list is something like this:
362         larger_computation (search_through_the_list_for_3) other_arguments
364 That is, the result of our search is supplied as an argument (perhaps together
365 with other arguments) to the "larger computation". Without knowing the
366 evaluation order/reduction strategy, we can't say whether the search is
367 evaluated before or after it's substituted into the larger computation. But
368 semantically, the search is the argument and the larger computation is the
369 function to which it's supplied.
371 What if, instead, we did the same kind of thing we did with pairs and v2
372 lists? That is, what if we made the larger computation a "handler" that we
373 passed as an argument to the search?
375         the_search (\search_result. larger_computation search_result other_arguments)
377 What's the advantage of that, you say. Other than to show off how cleverly
378 you can lift.
380 Well, think about it. Think about the difficulty we were having aborting the
381 search. Does this switch-around offer us anything useful?
383 It could.
385 What if the way we implemented the search procedure looked something like this?
387 At a given stage in the search, we wouldn't just apply some function `f` to the
388 head at this stage and the result accumulated so far (from folding the same
389 function, and a base value, to the tail at this stage)...and then pass the result
390 of that application to the embedding, more leftward computation.
392 We'd *instead* give `f` a "handler" that expects the result of the current
393 stage *as an argument*, and then evaluates to what you'd get by passing that
394 result leftwards up the list, as before.
396 Why would we do that, you say? Just more flamboyant lifting?
398 Well, no, there's a real point here. If we give the function a "handler" that
399 encodes the normal continuation of the fold leftwards through the list, we can
400 also give it other "handlers" too. For example, we can also give it the underlined handler:
403         the_search (\search_result. larger_computation search_result other_arguments)
404                            ------------------------------------------------------------------
406 This "handler" encodes the search's having finished, and delivering a final
407 answer to whatever else you wanted your program to do with the result of the
408 search. If you like, at any stage in the search you might just give an argument
409 to *this* handler, instead of giving an argument to the handler that continues
410 the list traversal leftwards. Semantically, this would amount to *aborting* the
411 list traversal! (As we've said before, whether the rest of the list traversal
412 really gets evaluated will depend on what evaluation order is in place. But
413 semantically we'll have avoided it. Our larger computation  won't depend on the
414 rest of the list traversal having been computed.)
416 Do you have the basic idea? Think about how you'd implement it. A good
417 understanding of the v2 lists will give you a helpful model.
419 In broad outline, a single stage of the search would look like before, except
420 now f would receive two extra, "handler" arguments.
422         f 3 <result of folding f and z over [2; 1]> <handler to continue folding leftwards> <handler to abort the traversal>
424 `f`'s job would be to check whether `3` matches the element we're searching for
425 (here also `3`), and if it does, just evaluate to the result of passing `true` to
426 the abort handler. If it doesn't, then evaluate to the result of passing
427 `false` to the continue-leftwards handler.
429 In this case, `f` wouldn't need to consult the result of folding `f` and `z` over `[2;
430 1]`, since if we had found the element `3` in more rightward positions of the
431 list, we'd have called the abort handler and this application of `f` to `3` etc
432 would never be needed. However, in other applications the result of folding `f`
433 and `z` over the more rightward parts of the list would be needed. Consider if
434 you were trying to multiply all the elements of the list, and were going to
435 abort (with the result `0`) if you came across any element in the list that was
436 zero. If you didn't abort, you'd need to know what the more rightward elements
437 of the list multiplied to, because that would affect the answer you passed
438 along to the continue-leftwards handler.
440 A **version 5** list encodes the kind of fold operation we're envisaging here, in
441 the same way that v3 (and [v4](/advanced/#index1h1)) lists encoded the simpler fold operation.
442 Roughly, the list `[5;4;3;2;1]` would look like this:
445         \f z continue_leftwards_handler abort_handler.
446                 <fold f and z over [4;3;2;1]>
447                 (\result_of_fold_over_4321. f 5 result_of_fold_over_4321  continue_leftwards_handler abort_handler)
448                 abort_handler
450         ; or, expanding the fold over [4;3;2;1]:
452         \f z continue_leftwards_handler abort_handler.
453                 (\continue_leftwards_handler abort_handler.
454                         <fold f and z over [3;2;1]>
455                         (\result_of_fold_over_321. f 4 result_of_fold_over_321 continue_leftwards_handler abort_handler)
456                         abort_handler
457                 )
458                 (\result_of_fold_over_4321. f 5 result_of_fold_over_4321  continue_leftwards_handler abort_handler)
459                 abort_handler
461         ; and so on
463 Remarks: the `larger_computation` handler should be supplied as both the
464 `continue_leftwards_handler` and the `abort_handler` for the leftmost
465 application, where the head `5` is supplied to `f`; because the result of this
466 application should be passed to the larger computation, whether it's a "fall
467 off the left end of the list" result or it's a "I'm finished, possibly early"
468 result. The `larger_computation` handler also then gets passed to the next
469 rightmost stage, where the head `4` is supplied to `f`, as the `abort_handler` to
470 use if that stage decides it has an early answer.
472 Finally, notice that we don't have the result of applying `f` to `4` etc given as
473 an argument to the application of `f` to `5` etc. Instead, we pass
475         (\result_of_fold_over_4321. f 5 result_of_fold_over_4321 <one_handler> <another_handler>)
477 *to* the application of `f` to `4` as its "continue" handler. The application of `f`
478 to `4` can decide whether this handler, or the other, "abort" handler, should be
479 given an argument and constitute its result.
482 I'll say once again: we're using temporally-loaded vocabulary throughout this,
483 but really all we're in a position to mean by that are claims about the result
484 of the complex expression semantically depending only on this, not on that. A
485 demon evaluator who custom-picked the evaluation order to make things maximally
486 bad for you could ensure that all the semantically unnecessary computations got
487 evaluated anyway. We don't have any way to prevent that. Later,
488 we'll see ways to *semantically guarantee* one evaluation order rather than
489 another. Though even then the demonic evaluation-order-chooser could make it
490 take unnecessarily long to compute the semantically guaranteed result. Of
491 course, in any real computing environment you'll know you're dealing with a
492 fixed evaluation order and you'll be able to program efficiently around that.
494 In detail, then, here's what our v5 lists will look like:
496         let empty = \f z continue_handler abort_handler. continue_handler z  in
497         let make_list = \h t. \f z continue_handler abort_handler.
498                 t f z (\sofar. f h sofar continue_handler abort_handler) abort_handler  in
499         let isempty = \lst larger_computation. lst
500                         ; here's our f
501                         (\hd sofar continue_handler abort_handler. abort_handler false)
502                         ; here's our z
503                         true
504                         ; here's the continue_handler for the leftmost application of f
505                         larger_computation
506                         ; here's the abort_handler
507                         larger_computation  in
508         let extract_head = \lst larger_computation. lst
509                         ; here's our f
510                         (\hd sofar continue_handler abort_handler. continue_handler hd)
511                         ; here's our z
512                         junk
513                         ; here's the continue_handler for the leftmost application of f
514                         larger_computation
515                         ; here's the abort_handler
516                         larger_computation  in
517         let extract_tail = ; left as exercise
519 These functions are used like this:
521         let my_list = make_list a (make_list b (make_list c empty) in
524 If you just want to see `my_list`'s head, the use `I` as the
525 `larger_computation`.
527 What we've done here does take some work to follow. But it should be within
528 your reach. And once you have followed it, you'll be well on your way to
529 appreciating the full terrible power of continuations.
531 <!-- (Silly [cultural reference](http://www.newgrounds.com/portal/view/33440).) -->
533 Of course, like everything elegant and exciting in this seminar, [Oleg
534 discusses it in much more
535 detail](http://okmij.org/ftp/Streams.html#enumerator-stream).
539 1.      The technique deployed here, and in the v2 lists, and in our implementations
540         of pairs and booleans, is known as **continuation-passing style** programming.
542 2.      We're still building the list as a right fold, so in a sense the
543         application of `f` to the leftmost element `5` is "outermost". However,
544         this "outermost" application is getting lifted, and passed as a *handler*
545         to the next right application. Which is in turn getting lifted, and
546         passed to its next right application, and so on. So if you
547         trace the evaluation of the `extract_head` function to the list `[5;4;3;2;1]`,
548         you'll see `1` gets passed as a "this is the head sofar" answer to its
550         passed as a "this is the head sofar" answer to *its* `continue_handler`,
551         and so on. All those steps have to be evaluated to finally get the result
552         that `5` is the outer/leftmost head of the list. That's not an efficient way
553         to get the leftmost head.
555         We could improve this by building lists as left folds when implementing them
556         as continuation-passing style folds. We'd just replace above:
558                 let make_list = \h t. \f z continue_handler abort_handler.
559                         f h z (\z. t f z continue_handler abort_handler) abort_handler
561         now `extract_head` should return the leftmost head directly, using its `abort_handler`:
563                 let extract_head = \lst larger_computation. lst
564                                 (\hd sofar continue_handler abort_handler. abort_handler hd)
565                                 junk
566                                 larger_computation
567                                 larger_computation
569 3.      To extract tails efficiently, too, it'd be nice to fuse the apparatus developed
570         in these v5 lists with the ideas from [v4](/advanced/#index1h1) lists.
571         But that also is left as an exercise.