(no commit message)
[lambda.git] / topics / _week3_combinatory_logic.mdwn
index 9516d74..5a17657 100644 (file)
@@ -10,6 +10,11 @@ Lambda expressions that have no free variables are known as **combinators**. Her
            (further) argument to `x`. ("K" for "constant".) Compare K
            to our definition of `true`.
 
+>      **S** is defined to be `\f g x. f x (g x)`.  This is a more
+          complicated operation, but is extremely versatile and useful
+          (see below): it copies its third argument and distributes it
+          over the first two arguments.
+
 >      **get-first** was our function for extracting the first element of an ordered pair: `\fst snd. fst`. Compare this to K and `true` as well.
 
 >      **get-second** was our function for extracting the second element of an ordered pair: `\fst snd. snd`. Compare this to our definition of `false`.
@@ -24,18 +29,31 @@ Lambda expressions that have no free variables are known as **combinators**. Her
 
 It's possible to build a logical system equally powerful as the lambda calculus (and readily intertranslatable with it) using just combinators, considered as atomic operations. Such a language doesn't have any variables in it: not just no free variables, but no variables at all.
 
-One can do that with a very spare set of basic combinators. These days the standard base is just three combinators: K and I from above, and also one more, **S**, which behaves the same as the lambda expression  `\f g x. f x (g x)`. behaves. But it's possible to be even more minimalistic, and get by with only a single combinator. (And there are different single-combinator bases you can choose.)
+One can do that with a very spare set of basic combinators. These days
+the standard base is just three combinators: S, K, and I.
+(Though we'll see shortly that the behavior of I can be exactly
+simulated by a combination of S's and K's.)  But it's possible to be
+even more minimalistic, and get by with only a single combinator (see
+links below for details). (And there are different single-combinator
+bases you can choose.)
 
 There are some well-known linguistic applications of Combinatory
 Logic, due to Anna Szabolcsi, Mark Steedman, and Pauline Jacobson.
 They claim that natural language semantics is a combinatory system: that every
 natural language denotation is a combinator.
 
-For instance, Szabolcsi argues that reflexive pronouns are argument
+For instance, Szabolcsi 1987 argues that reflexive pronouns are argument
 duplicators.
 
-![reflexive](http://lambda.jimpryor.net/szabolcsi-reflexive.jpg)
+    everyone   hit           himself
+    S/(S!NP)   (S!NP)/NP     (S!NP)!((S!NP)/NP)
+    \fAx[fx]   \y\z[HIT y z] \h\u[huu] 
+               ---------------------------------
+                      S!NP     \u[HIT u u]
+    --------------------------------------------
+                      S        Ax[HIT x x]
 
+Here, "A" is our crude markdown approximation of the universal quantifier.
 Notice that the semantic value of *himself* is exactly `W`.
 The reflexive pronoun in direct object position combines with the transitive verb.  The result is an intransitive verb phrase that takes a subject argument, duplicates that argument, and feeds the two copies to the transitive verb meaning.  
 
@@ -75,20 +93,55 @@ S takes three arguments, duplicates the third argument, and feeds one copy to th
 
 If the meaning of a function is nothing more than how it behaves with respect to its arguments, 
 these reduction rules capture the behavior of the combinators S, K, and I completely.
-We can use these rules to compute without resorting to beta reduction.  For instance, we can show how the I combinator is equivalent to a certain crafty combination of Ss and Ks:
+We can use these rules to compute without resorting to beta reduction.  
+
+For instance, we can show how the I combinator is equivalent to a
+certain crafty combination of Ss and Ks:
 
     SKKX ~~> KX(KX) ~~> X
 
 So the combinator `SKK` is equivalent to the combinator I.
 
+These reduction rule have the same status with respect to Combinatory
+Logic as beta reduction and eta reduction, etc., have with respect to
+the lambda calculus: they are purely syntactic rules for transforming
+one sequence of symbols (e.g., a redex) into another (a reduced
+form).  It's worth noting that the reduction rules for Combinatory
+Logic are considerably more simple than, say, beta reduction.  Since
+there are no variables in Combiantory Logic, there is no need to worry
+about variable collision.  
+
 Combinatory Logic is what you have when you choose a set of combinators and regulate their behavior with a set of reduction rules. As we said, the most common system uses S, K, and I as defined here.
 
 ###The equivalence of the untyped lambda calculus and combinatory logic###
 
-We've claimed that Combinatory Logic is equivalent to the lambda calculus.  If that's so, then S, K, and I must be enough to accomplish any computational task imaginable.  Actually, S and K must suffice, since we've just seen that we can simulate I using only S and K.  In order to get an intuition about what it takes to be Turing complete, imagine what a text editor does:
-it transforms any arbitrary text into any other arbitrary text.  The way it does this is by deleting, copying, and reordering characters.  We've already seen that K deletes its second argument, so we have deletion covered.  S duplicates and reorders, so we have some reason to hope that S and K are enough to define arbitrary functions.  
-
-We've already established that the behavior of combinatory terms can be perfectly mimicked by lambda terms: just replace each combinator with its equivalent lambda term, i.e., replace I with `\x.x`, replace K with `\fxy.x`, and replace S with `\fgx.fx(gx)`.  How about the other direction?  Here is a method for converting an arbitrary lambda term into an equivalent Combinatory Logic term using only S, K, and I.  Besides the intrinsic beauty of this mapping, and the importance of what it says about the nature of binding and computation, it is possible to hear an echo of computing with continuations in this conversion strategy (though you wouldn't be able to hear these echos until we've covered a considerable portion of the rest of the course).
+We've claimed that Combinatory Logic is equivalent to the lambda
+calculus.  If that's so, then S, K, and I must be enough to accomplish
+any computational task imaginable.  Actually, S and K must suffice,
+since we've just seen that we can simulate I using only S and K.  In
+order to get an intuition about what it takes to be Turing complete,
+recall our discussion of the lambda calculus in terms of a text editor.
+A text editor has the power to transform any arbitrary text into any other arbitrary text.  The way it does this is by deleting, copying, and reordering characters.  We've already seen that K deletes its second argument, so we have deletion covered.  S duplicates and reorders, so we have some reason to hope that S and K are enough to define arbitrary functions.  
+
+We've already established that the behavior of combinatory terms can
+be perfectly mimicked by lambda terms: just replace each combinator
+with its equivalent lambda term, i.e., replace I with `\x.x`, replace
+K with `\fxy.x`, and replace S with `\fgx.fx(gx)`.  So the behavior of
+any combination of combinators in Combinatory Logic can be exactly
+reproduced by a lambda term.  
+
+How about the other direction?  Here is a method for converting an
+arbitrary lambda term into an equivalent Combinatory Logic term using
+only S, K, and I.  Besides the intrinsic beauty of this mapping, and
+the importance of what it says about the nature of binding and
+computation, it is possible to hear an echo of computing with
+continuations in this conversion strategy (though you wouldn't be able
+to hear these echos until we've covered a considerable portion of the
+rest of the course).  In addition, there is a direct linguistic
+appliction of this mapping in chapter 17 of Barker and Shan 2014,
+where it is used to establish a correpsondence between two natural
+language grammars, one of which is based on lambda-like abstraction,
+the other of which is based on Combinatory Logic like manipulations.
 
 Assume that for any lambda term T, [T] is the equivalent combinatory logic term.  The we can define the [.] mapping as follows:
 
@@ -109,8 +162,18 @@ The fifth rule deals with an abstract whose body is an application: the S combin
 
 [Fussy notes: if the original lambda term has free variables in it, so will the combinatory logic translation.  Feel free to worry about this, though you should be confident that it makes sense.  You should also convince yourself that if the original lambda term contains no free variables---i.e., is a combinator---then the translation will consist only of S, K, and I (plus parentheses).  One other detail: this translation algorithm builds expressions that combine lambdas with combinators.  For instance, the translation of our boolean false `\x.\y.y` is `[\x[\y.y]] = [\x.I] = KI`.  In the intermediate stage, we have `\x.I`, which mixes combinators in the body of a lambda abstract.  It's possible to avoid this if you want to,  but it takes some careful thought.  See, e.g., Barendregt 1984, page 156.]  
 
-[Various, slightly differing translation schemes from combinatorial logic to the lambda calculus are also possible. These generate different metatheoretical correspondences between the two calculii. Consult Hindley and Seldin for details. Also, note that the combinatorial proof theory needs to be strengthened with axioms beyond anything we've here described in order to make [M] convertible with [N] whenever the original lambda-terms M and N are convertible.]
-
+[Various, slightly differing translation schemes from combinatorial
+logic to the lambda calculus are also possible. These generate
+different metatheoretical correspondences between the two
+calculii. Consult Hindley and Seldin for details. Also, note that the
+combinatorial proof theory needs to be strengthened with axioms beyond
+anything we've here described in order to make [M] convertible with
+[N] whenever the original lambda-terms M and N are convertible.  But
+then, we've been a bit cavalier about giving the full set of reduction
+rules for the lambda calculus in a similar way.  For instance, one
+issue is whether reduction rules (in either the lambda calculus or
+Combinatory Logic) apply to embedded expressions.  Generally, we want
+that to happen, but making it happen requires adding explicit axioms.]
 
 Let's check that the translation of the false boolean behaves as expected by feeding it two arbitrary arguments: