tweak wrapper for delimcc
[lambda.git] / topics / week3_combinatory_logic.mdwn
index d24e6c1..60cb3da 100644 (file)
@@ -34,16 +34,17 @@ over the first two arguments.
 
 >   **T** is defined to be: `\x y. y x`. (So `C` and `T` both reorder arguments, just in different ways.)
 
->   **W** is defined to be: `\f x . f x x`. (So `W f` accepts one argument and gives it to `f` twice. What is the meaning of `W multiply`?) <!-- \x. multiply x x === \x. square x -->
+>   **W** is defined to be: `\f x . f x x`. (So `W f` accepts one argument and gives it to `f` twice. What is the meaning of `W multiply`?) <!-- \x. multiply x x  \x. square x -->
 
->   **ω** (that is, lower-case omega) is defined to be: `\x. x x`. Sometimes this combinator is called **M**. It and `W` both duplicate arguments, just in different ways. <!-- L is \uv.u(vv) -->
+>   **ω** (that is, lower-case omega) is defined to be: `\x. x x`. Sometimes this combinator is called **M**. It and `W` both duplicate arguments, just in different ways. <!-- L is \hu.h(uu) -->
 
 
-It's possible to build a logical system equally powerful as the Lambda Calculus
-(and readily intertranslatable with it) using just combinators, considered as
-*primitive operations*. (That is, we refrain from defining them in terms of lambda expressions, as we did above.)
-Such a language doesn't have any variables in it: not just
-no free variables, but no variables (or "bound positions") at all.
+It's possible to build a logical system equally powerful as the Lambda
+Calculus (and readily intertranslatable with it) using just
+combinators, considered as *primitive operations*. (That is, we
+refrain from defining them in terms of lambda expressions, as we did
+above.)  Such a language doesn't have any variables in it: not just no
+free variables, but no variables (or "bound positions") at all.
 
 One can do that with a very spare set of basic combinators. These days
 the standard base is just three combinators: `S`, `K`, and `I`.
@@ -93,6 +94,12 @@ Instead of defining combinators in terms of antecedently understood lambda terms
 
     IX ~~> X
 
+That is, asume that `X` stands in for any expression.  Then if `X`
+happens to be the expression `I`, this schematic pattern guarantees
+that `II ~~> I`; if `X` happens to be the expression `SK`, the pattern
+guarantees that `I(SK) ~~> SK`; and so on.  That is, `X` here is a
+metavariable over expressions.
+
 Thinking of this as a reduction rule, we can perform the following computation:
 
     II(IX) ~~> I(IX) ~~> IX ~~> X
@@ -119,7 +126,7 @@ certain crafty combination of `S`s and `K`s:
 
     SKKX ~~> KX(KX) ~~> X
 
-So the combinator `SKK` is equivalent to the combinator `I`. (Really, it could be `SKY` for any `Y`.)
+So the combinator `SKK` is equivalent to the combinator `I`. (Really, it could be `SKY` for any `Y`. Hindley &amp; Seldin p. 26 points to discussion later in their book of why it's theoretically more elegant to keep `I` around, anyway.)
 
 These reduction rule have the same status with respect to Combinatory
 Logic as beta-reduction and eta-reduction have with respect to
@@ -130,7 +137,10 @@ Logic are considerably more simple than, say, beta reduction.  Also, since
 there are no variables in Combinatory Logic, there is no need to worry
 about variables colliding when we substitute.
 
-Combinatory Logic is what you have when you choose a set of combinators and regulate their behavior with a set of reduction rules. As we said, the most common system uses `S`, `K`, and `I` as defined here.
+Combinatory Logic is what you have when you choose a set of
+combinators and regulate their behavior with a set of reduction
+rules. As we said, the most common system uses `S`, `K`, and `I` as
+defined here.
 
 ###The equivalence of the untyped Lambda Calculus and Combinatory Logic###
 
@@ -155,7 +165,7 @@ combinators in Combinatory Logic can be exactly reproduced by a lambda term.
 
 How about the other direction?  Here is a method for converting an arbitrary
 lambda term into an equivalent Combinatory Logic term using only `S`, `K`, and `I`.
-Besides the intrinsic beauty of this mapping, and the importance of what it
+Besides the intrinsic beauty of such mappings, and the importance of what it
 says about the nature of binding and computation, it is possible to hear an
 echo of computing with continuations in this conversion strategy (though you
 wouldn't be able to hear these echos until we've covered a considerable portion
@@ -165,68 +175,182 @@ used to establish a correspondence between two natural language grammars, one
 of which is based on lambda-like abstraction, the other of which is based on
 Combinatory Logic-like manipulations.
 
+<!--
 Assume that for any lambda term T, [T] is the equivalent Combinatory Logic term.  Then we can define the [.] mapping as follows:
-
-     1. [a]               a
-     2. [(M N)]           ([M][N])
-     3. [\a.a]            I
-     4. [\a.M]            K[M]                 when a does not occur free in M
-     5. [\a.(M N)]        S[\a.M][\a.N]
-     6. [\a\b.M]          [\a[\b.M]]
-
+    1. [a]               a
+    2. [(M N)]           ([M][N])
+    3. [\a.a]            I
+    4. [\a.M]            K[M]                 when a does not occur free in M
+    5. [\a.(M N)]        S[\a.M][\a.N]
+    6. [\a\b.M]          [\a[\b.M]]
 If the recursive unpacking of these rules ever direct you to "translate" an `S` or a `K` or an `I`, introduced at an earlier stage of translation, those symbols translate themselves.
-
 It's easy to understand these rules based on what `S`, `K` and `I` do.
-
 The first rule says that variables are mapped to themselves. If the original lambda expression had no free variables in it, then any such translations will only be temporary. The variable will later get eliminated by the application of other rules. (If the original lambda term *does* have free variables in it, so too will the final Combinatory Logic translation.  Feel free to worry about this, though you should be confident that it makes sense.)
-
 The second rule says that the way to translate an application is to translate the first element and the second element separately.
-
 The third rule should be obvious.
-
 The fourth rule should also be fairly self-evident: since what a lambda term such as `\x. y` does it throw away its first argument and return `y`, that's exactly what the Combinatory Logic translation should do.  And indeed, `K y` is a function that throws away its argument and returns `y`.
 
 The fifth rule deals with an abstract whose body is an application: the `S` combinator takes its next argument (which will fill the role of the original variable a) and copies it, feeding one copy to the translation of `\a. M`, and the other copy to the translation of `\a. N`.  This ensures that any free occurrences of a inside `M` or `N` will end up taking on the appropriate value.
 
 Finally, the last rule says that if the body of an abstract is itself an abstract, translate the inner abstract first, and then do the outermost.  (Since the translation of `[\b. M]` will have eliminated any inner lambdas, we can be sure that we won't end up applying rule 6 again in an infinite loop.)
-
 Persuade yourself that if the original lambda term contains no free variables --- i.e., is a combinator --- then the translation will consist only of `S`, `K`, and `I` (plus parentheses).
 
 (Fussy note: this translation algorithm builds intermediate expressions that combine lambdas with primitive combinators.  For instance, the translation of our boolean `false` (`\x y. y`) is `[\x [\y. y]] = [\x. I] = KI`.  In the intermediate stage, we have `\x. I`, which has a combinator in the body of a lambda abstract.  It's possible to avoid this if you want to,  but it takes some careful thought.  See, e.g., Barendregt 1984, page 156.)
 
+...
+Here's a more elaborate example of the translation.  Let's say we want to establish that combinators can reverse order, so we use the **T** combinator (`\x y. y x`):
+
+    [\x y. y x] =
+    [\x [\y. y x]] =
+    [\x. S [\y. y] [\y. x]] = 
+    [\x. (SI) (K x)] =
+    S [\x. SI] [\x. K x] =
+    S (K(SI)) (S [\x. K] [\x. x]) =
+    S (K(SI)) (S(KK)I)
+-->
+
+(*Warning* This is a different mapping from the Lambda Calculus to Combinatory Logic than we presented in class (and was posted here earlier). It now matches the presentation in Barendregt 1984, and in Hankin Chapter 4 (esp. pp. 61, 65) and in Hindley &amp; Seldin Chapter 2 (esp. p. 26). In some ways this translation is cleaner and more elegant, which is why we're presenting it.)
+
+In order to establish the correspondence, we need to get a bit more
+official about what counts as an expression in CL. Of course, we count
+the primitive combinators `S`, `K`, and `I` as expressions in CL. But
+we will also endow CL with an infinite stock of *variable symbols*, just like the lambda
+calculus, including `x`, `y`, and `z`. Finally, `(XY)` is in CL for any CL
+expressions `X` and `Y`.  So examples of CL expressions include
+`x`, `(xy)`, `Sx`, `SK`, `(x(SK))`, `(K(IS))`, and so on.  When we 
+omit parentheses, we assume left associativity, so
+`XYZ ≡ ((XY)Z)`.
+
+It may seem weird to allow variables in CL.  The reason this is
+necessary is because we're trying to show that *every* lambda term can
+be translated into an equivalent CL term.  Since some lambda terms
+contain *free* variables, we need to provide a translation in CL for those free
+variables. As you might expect, it will turn out that whenever the
+lambda term in question contains *no* free variables (i.e., is a Lambda Calculus
+combinator), its translation in CL will *also* contain no variables, but will
+instead just be made up of primitive combinators and parentheses.
+
+Let's say that for any lambda term T, [T] is the equivalent Combinatory
+Logic term. Then we define the [.] mapping as follows. 
+
+     1. [a]          =   a
+     2. [(\aX)]      =   @a[X]
+     3. [(XY)]       =   ([X][Y])
+
+Wait, what is that `@a ...` business? Well, that's another operation on (a variable and) a CL expression, that we can define like this:
+
+     4. @aa          =   I
+     5. @aX          =   KX           if a is not in X
+     6. @a(Xa)       =   X            if a is not in X
+     7. @a(XY)       =   S(@aX)(@aY)
+
+Think of `@aX` as a pseudo-lambda abstract. (Hankin and Barendregt write it as <code>&lambda;*a. X</code>; Hindley &amp; Seldin write it as `[a] X`.) It is possible to omit line 6, and some presentations do, but Hindley &amp; Seldin observe that this "enormously increases" the length of "most" translations.
+
+It's easy to understand these rules based on what `S`, `K` and `I` do.
+
+Rule (1) says that variables are mapped to themselves. If the original
+lambda expression had no free variables in it, then any such
+translations will only be temporary. The variable will later get
+eliminated by the application of other rules.
+
+Rule (2) says that the way to translate an application is to
+first translate the body (i.e., `[X]`), and then prefix a kind of
+temporary psuedo-lambda built from `@` and the original variable.
+
+Rule (3) says that the translation of an application of `X` to `Y` is
+the application of the translation of `X` to the translation of `Y`.
+
+As we'll see, the first three rules sweep through the lambda term,
+changing each lambda to an @.
+
+Rules (4) through (7) tell us how to eliminate all the `@`'s.
+
+In rule (4), if we have `@aa`, we need a CL expression that behaves
+like the lambda term `\aa`.  Obviously, `I` is the right choice here.
+
+In rule (5), if we're binding into an expression that doesn't contain
+any variables that need binding, then we need a CL term that behaves
+the same as `\aX` would if `X` didn't contain `a` as a free variable.
+Well, how does `\aX` behave?  When `\aX` occurs in the head position
+of a redex, then no matter what argument it occurs with, it throws
+away its argument and returns `X`.  In other words, `\aX` is a
+constant function returning `X`, which is exactly the behavior
+we get by prefixing `K`.
+
+Rule (6) should be intuitive; and as we said, we could in principle omit it and just handle such cases under the final rule.
+
+The easiest way to grasp rule (7) is to consider the following claim:
+
+    \a(XY) <~~> S(\aX)(\aY) 
+
+To prove it to yourself, just consider what would happen when each term is applied to an argument `a`. Or substitute `\x y a. x a (y a)` in for `S`
+and reduce.
+
+Persuade yourself that if the original lambda term contains no free
+variables --- i.e., is a Lambda Calculus combinator --- then the translation will
+consist only of `S`, `K`, and `I` (plus parentheses).
+
 Various, slightly differing translation schemes from Combinatory Logic to the
-Lambda Calculus are also possible. These generate different metatheoretical
-correspondences between the two calculi. Consult Hindley and Seldin for
+Lambda Calculus are also possible. These generate different meta-theoretical
+correspondences between the two calculi. Consult Hindley &amp; Seldin for
 details.
 
 Also, note that the combinatorial proof theory needs to be
 strengthened with axioms beyond anything we've here described in order to make
-[M] convertible with [N] whenever the original lambda-terms M and N are
+`[M]` convertible with `[N]` whenever the original lambda-terms `M` and `N` are
 convertible.  But then, we've been a bit cavalier about giving the full set of
 reduction rules for the Lambda Calculus in a similar way.  <!-- FIXME -->
 
-For instance, one
-issue we mentioned in the notes on [[Reduction Strategies|week3_reduction_strategies]] is whether reduction rules (in either the Lambda Calculus or Combinatory Logic) apply to embedded expressions.  Often, we do want that to happen, but
-making it happen requires adding explicit axioms.
-
+For instance, one issue we mentioned in the notes on [[Reduction
+Strategies|week3_reduction_strategies]] is whether reduction rules (in
+either the Lambda Calculus or Combinatory Logic) apply to embedded
+expressions.  Often, we do want that to happen, but making it happen
+requires adding explicit axioms.
+
+Let's see the translation rules in action.  We'll start by translating
+the combinator we use to represent false:
+
+       [\y (\n n)] 
+    ==  @y [\n n]      rule 2
+    ==  @y (@n n)      rule 2
+    ==  @y I           rule 4
+    ==    KI           rule 5
+   
 Let's check that the translation of the `false` boolean behaves as expected by feeding it two arbitrary arguments:
 
     KIXY ~~> IY ~~> Y
 
 Throws away the first argument, returns the second argument---yep, it works.
 
-Here's a more elaborate example of the translation.  Let's say we want to establish that combinators can reverse order, so we use the **T** combinator (`\x y. y x`):
-
-    [\x y. y x] =
-    [\x [\y. y x]] =
-    [\x. S [\y. y] [\y. x]] = 
-    [\x. (SI) (K x)] =
-    S [\x. SI] [\x. K x] =
-    S (K(SI)) (S [\x. K] [\x. x]) =
-    S (K(SI)) (S(KK)I)
+Here's a more elaborate example of the translation.  Let's say we want
+to establish that combinators can reverse order, so we set out to
+translate the **T** combinator (`\x y. y x`):
+
+       [\x(\y(yx))]
+    ==  @x[\y(yx)]
+    ==  @x(@y[yx])
+    ==  @x(@y([y][x]))
+    ==  @x(@y(yx))
+    ==  @x(S(@yy)(@yx))
+    ==  @x(S I   (@yx))
+    ==  @x(S I    (Kx))
+    ==     S(@x(SI))(@x(Kx))
+    ==     S (K(SI))(S(@xK)(@xx))
+    ==     S (K(SI))(S (KK) I)
+
+By now, you should realize that all rules (1) through (3) do is sweep
+through the lambda term turning lambdas into @'s.  
 
 We can test this translation by seeing if it behaves like the original lambda term does.
-The orginal lambda term lifts its first argument (think of it as reversing the order of its two arguments):
+The original lambda term "lifts" its first argument `x`, in the sense of wrapping it into a "one-tuple" or a package that accepts an operation `y` as a further argument, and then applies `y` to `x`. (Or just think of **T** as reversing the order of its two arguments.)
 
     S (K(SI)) (S(KK)I) X Y ~~>
     (K(SI))X ((S(KK)I) X) Y ~~>