index fe451a0..76725d6 100644 (file)
@@ -1,21 +1,13 @@
-# System F and recursive types
+[[!toc levels=2]]

-In the simply-typed lambda calculus, we write types like <code>&sigma;
--> &tau;</code>.  This looks like logical implication.  We'll take
-that resemblance seriously when we discuss the Curry-Howard
-correspondence.  In the meantime, note that types respect modus
-ponens:
+# System F: the polymorphic lambda calculus

-<pre>
-Expression    Type      Implication
------------------------------------
-fn            &alpha; -> &beta;    &alpha; &sup; &beta;
-arg           &alpha;         &alpha;
-------        ------    --------
-(fn arg)      &beta;         &beta;
-</pre>
-
-The implication in the right-hand column is modus ponens, of course.
+The simply-typed lambda calculus is beautifully simple, but it can't
+even express the predecessor function, let alone full recursion.  And
+we'll see shortly that there is good reason to be unsatisfied with the
+simply-typed lambda calculus as a way of expressing natural language
+meaning.  So we will need to get more sophisticated about types.  The
+next step in that journey will be to consider System F.

System F was discovered by Girard (the same guy who invented Linear
Logic), but it was independently proposed around the same time by
@@ -24,35 +16,42 @@ Reynolds, who called his version the *polymorphic lambda calculus*.
continuations.)

System F enhances the simply-typed lambda calculus with abstraction
-over types.  In order to state System F, we'll need to adopt the
-notational convention that "<code>x:&alpha;</code>" represents an
-expression `x` whose type is <code>&alpha;</code>.
+over types.  Normal lambda abstraction abstracts (binds) an expression
+(a term); type abstraction abstracts (binds) a type.
+
+In order to state System F, we'll need to adopt the
+notational convention (which will last throughout the rest of the
+course) that "<code>x:&alpha;</code>" represents an expression `x`
+whose type is <code>&alpha;</code>.

-Then System F can be specified as follows (choosing notation that will
-match up with usage in O'Caml, whose type system is based on System F):
+Then System F can be specified as follows:

System F:
---------
-       types τ ::= c | 'a | τ1 -> τ2 | ∀'a. τ
-       expressions e ::= x | λx:τ. e | e1 e2 | Λ'a. e | e [τ]
-
-In the definition of the types, "`c`" is a type constant (e.g., `e` or
-`t`, or in arithmetic contexts, `N` or `Int`).  "`'a`" is a type
-variable (the tick mark just indicates that the variable ranges over
-types rather than over values).  "`τ1 -> τ2`" is the type of a
+       types       τ ::= c | α | τ1 -> τ2 | ∀α.τ
+       expressions e ::= x | λx:τ.e | e1 e2 | Λα.e | e [τ]
+
+In the definition of the types, "`c`" is a type constant.  Type
+constants play the role in System F that base types play in the
+simply-typed lambda calculus.  So in a lingusitics context, type
+constants might include `e` and `t`.  "α" is a type variable.  In
+various discussions, type variables are distinguished by using letters
+from the greek alphabet (&alpha;, &beta;, etc.), as we do here, or by
+using capital roman letters (X, Y, etc.), or by adding a tick mark
+(`'a`, `'b`, etc.), as in OCaml.  "`τ1 -> τ2`" is the type of a
function from expressions of type `τ1` to expressions of type `τ2`.
-And "`∀'a. τ`" is called a universal type, since it universally
-quantifies over the type variable `'a`.  (You can expect that in
-`∀'a. τ`, the type `τ` will usually have at least one free occurrence
-of `'a` somewhere inside of it.)
+And "`∀α.τ`" is called a universal type, since it universally
+quantifies over the type variable `&alpha;`.  You can expect that in
+`∀α.τ`, the type `τ` will usually have at least one free occurrence of
+`α` somewhere inside of it.

In the definition of the expressions, we have variables "`x`" as usual.
-Abstracts "`λx:τ. e`" are similar to abstracts in the simply-typed lambda
+Abstracts "`λx:τ.e`" are similar to abstracts in the simply-typed lambda
calculus, except that they have their shrug variable annotated with a
type.  Applications "`e1 e2`" are just like in the simply-typed lambda calculus.

In addition to variables, abstracts, and applications, we have two
-additional ways of forming expressions: "`Λ'a. e`" is called a *type
+additional ways of forming expressions: "`Λα.e`" is called a *type
abstraction*, and "`e [τ]`" is called a *type application*.  The idea
is that <code>&Lambda;</code> is a capital <code>&lambda;</code>: just
like the lower-case <code>&lambda;</code>, <code>&Lambda;</code> binds
@@ -60,51 +59,225 @@ variables in its body, except that unlike <code>&lambda;</code>,
<code>&Lambda;</code> binds type variables instead of expression
variables.  So in the expression

-<code>&Lambda; 'a (&lambda; x:'a . x)</code>
+<code>&Lambda; α (&lambda; x:α. x)</code>
+
+the <code>&Lambda;</code> binds the type variable `α` that occurs in
+the <code>&lambda;</code> abstract.

-the <code>&Lambda;</code> binds the type variable `'a` that occurs in
-the <code>&lambda;</code> abstract.  This expression is a polymorphic
-version of the identity function.  It defines one general identity
-function that can be adapted for use with expressions of any type. In order
-to get it ready to apply to, say, a variable of type boolean, just do
-this:
+This expression is a polymorphic version of the identity function.  It
+defines one general identity function that can be adapted for use with
+expressions of any type. In order to get it ready to apply this
+identity function to, say, a variable of type boolean, just do this:

-<code>(&Lambda; 'a (&lambda; x:'a . x)) [t]</code>
+<code>(&Lambda; α (&lambda; x:α. x)) [t]</code>

This type application (where `t` is a type constant for Boolean truth
-values) specifies the value of the type variable &alpha;, which is
-the type of the variable bound in the &lambda; expression.  Not
-surprisingly, the type of this type application is a function from
-Booleans to Booleans:
+values) specifies the value of the type variable `α`.  Not
+surprisingly, the type of the expression that results from this type
+application is a function from Booleans to Booleans:

-<code>((&Lambda; 'a (&lambda; x:'a . x)) [t]): (b -> b)</code>
+<code>((&Lambda;α (&lambda; x:α . x)) [t]): (b->b)</code>

Likewise, if we had instantiated the type variable as an entity (base
type `e`), the resulting identity function would have been a function
of type `e -> e`:

-<code>((&Lambda; 'a (&lambda; x:'a . x)) [e]): (e -> e)</code>
+<code>((&Lambda;α (&lambda; x:α. x)) [e]): (e->e)</code>

-Clearly, for any choice of a type `'a`, the identity function can be
-instantiated as a function from expresions of type `'a` to expressions
-of type `'a`.  In general, then, the type of the unapplied
+Clearly, for any choice of a type `α`, the identity function can be
+instantiated as a function from expresions of type `α` to expressions
+of type `α`.  In general, then, the type of the uninstantiated
(polymorphic) identity function is

-<code>(&Lambda; 'a (&lambda; x:'a . x)): (&forall; 'a . 'a -> 'a)</code>
+<code>(&Lambda;α (&lambda;x:α . x)): (&forall;α. α->α)</code>

Pred in System F
----------------

We saw that the predecessor function couldn't be expressed in the
-simply-typed lambda calculus.  It can be expressed in System F, however.
-
+simply-typed lambda calculus.  It *can* be expressed in System F,
+however.  Here is one way:
+
+    let N = ∀α.(α->α)->α->α in
+    let Pair = (N->N->N)->N in
+
+    let zero = Λα. λs:α->α. λz:α. z in
+    let fst = λx:N. λy:N. x in
+    let snd = λx:N. λy:N. y in
+    let pair = λx:N. λy:N. λz:N->N->N. z x y in
+    let succ = λn:N. Λα. λs:α->α. λz:α. s (n [α] s z) in
+    let shift = λp:Pair. pair (succ (p fst)) (p fst) in
+    let pred = λn:N. n [Pair] shift (pair zero zero) snd in
+
+    pre (suc (suc (suc zero)));
+
+[If you want to run this code in
+[[Benjamin Pierce's type-checker and evaluator for
+System F|http://www.cis.upenn.edu/~bcpierce/tapl/index.html]], the
+relevant evaluator is called "fullpoly", and you'll need to
+truncate the names of "suc(c)" and "pre(d)", since those are
+reserved words in Pierce's system.]
+
+Exercise: convince yourself that `zero` has type `N`.
+
+The key to the extra expressive power provided by System F is evident
+in the typing imposed by the definition of `pred`.  The variable `n`
+is typed as a Church number, i.e., as `N &equiv; ∀α.(α->α)->α->α`.
+The type application `n [Pair]` instantiates `n` in a way that allows
+it to manipulate ordered pairs: `n [Pair]: (Pair->Pair)->Pair->Pair`.
+In other words, the instantiation turns a Church number into a certain
+pair-manipulating function, which is the heart of the strategy for
+this version of computing the predecessor function.
+
+Could we try to accommodate the needs of the predecessor function by
+building a system for doing Church arithmetic in which the type for
+numbers always manipulated ordered pairs?  The problem is that the
+ordered pairs we need here are pairs of numbers.  If we tried to
+replace the type for Church numbers with a concrete (simple) type, we
+would have to replace each `N` with the type for Pairs, `(N -> N -> N)
+-> N`.  But then we'd have to replace each of these `N`'s with the
+type for Church numbers, which we're imagining is `(Pair -> Pair) ->
+Pair -> Pair`.  And then we'd have to replace each of these `Pairs`'s
+with... ad infinitum.  If we had to choose a concrete type built
+entirely from explicit base types, we'd be unable to proceed.
[See Benjamin C. Pierce. 2002. *Types and Programming Languages*, MIT
-Press, pp. 350--353, for `tail` for lists in System F.]
-
+Press, chapter 23.]

-Types in OCaml
+Typing &omega;
--------------

+In fact, unlike in the simply-typed lambda calculus,
+it is even possible to give a type for &omega; in System F.
+
+<code>&omega; = λx:(∀α.α->α). x [∀α.α->α] x</code>
+
+In order to see how this works, we'll apply &omega; to the identity
+function.
+
+<code>&omega; id &equiv; (λx:(∀α.α->α). x [∀α.α->α] x) (Λα.λx:α.x)</code>
+
+Since the type of the identity function is `∀α.α->α`, it's the
+right type to serve as the argument to &omega;.  The definition of
+&omega; instantiates the identity function by binding the type
+variable `α` to the universal type `∀α.α->α`.  Instantiating the
+identity function in this way results in an identity function whose
+type is (in some sense, only accidentally) the same as the original
+fully polymorphic identity function.
+
+So in System F, unlike in the simply-typed lambda calculus, it *is*
+possible for a function to apply to itself!
+
+Does this mean that we can implement recursion in System F?  Not at
+all.  In fact, despite its differences with the simply-typed lambda
+calculus, one important property that System F shares with the
+simply-typed lambda calculus is that they are both strongly
+normalizing: *every* expression in either system reduces to a normal
+form in a finite number of steps.
+
+Not only does a fixed-point combinator remain out of reach, we can't
+even construct an infinite loop.  This means that although we found a
+type for &omega;, there is no general type for &Omega; &equiv; &omega;
+&omega;.  In fact, it turns out that no Turing complete system can be
+strongly normalizing, from which it follows that System F is not
+Turing complete.
+
+
+## Polymorphism in natural language
+
+Is the simply-typed lambda calclus enough for analyzing natural
+language, or do we need polymorphic types? Or something even more expressive?
+
+The classic case study motivating polymorphism in natural language
+comes from coordination.  (The locus classicus is Partee and Rooth
+1983.)
+
+    Ann left and Bill left.
+    Ann left and slept.
+    Ann and Bill left.
+    Ann read and reviewed the book.
+
+In English (likewise, many other languages), *and* can coordinate
+clauses, verb phrases, determiner phrases, transitive verbs, and many
+other phrase types.  In a garden-variety simply-typed grammar, each
+kind of conjunct has a different semantic type, and so we would need
+an independent rule for each one.  Yet there is a strong intuition
+that the contribution of *and* remains constant across all of these
+uses.  Can we capture this using polymorphic types?
+
+    Ann, Bill      e
+    left, slept    e -> t
+    read, reviewed e -> e -> t
+
+With these basic types, we want to say something like this:
+
+    and:t->t->t = λl:t. λr:t. l r false
+    and = Λα.Λβ.λl:α->β.λr:α->β.λx:α. and [β] (l x) (r x)
+
+The idea is that the basic *and* (the one defined in the first line)
+conjoins expressions of type `t`.  But when *and* conjoins functional
+types (the definition in the second line), it builds a function that
+distributes its argument across the two conjuncts and conjoins the two
+results.  The intention is that `Ann left and slept` will evaluate to
+`(\x.and(left x)(slept x)) ann`.  Following the terminology of Partee
+and Rooth, this strategy of defining the coordination of expressions
+with complex types in terms of the coordination of expressions with
+less complex types is known as Generalized Coordination.
+
+But the definitions just given are not well-formed expressions in
+System F.  There are three problems.  The first is that we have two
+definitions of the same word.  The intention is for one of the
+definitions to be operative when the type of its arguments is type
+`t`, but we have no way of conditioning evaluation on the *type* of an
+argument.  The second is that for the polymorphic definition, the term
+*and* occurs inside of the definition.  We know how to handle some
+cases of using a function name inside of its own definition in the
+untyped lambda calculus, but System F does not have
+recursion.  [Exercise: convince yourself that the fixed-point
+combinator `Y` can't be typed in System F.]
+
+The third problem is more subtle.  The defintion as given takes two
+types as parameters: the type of the first argument expected by each
+conjunct, and the type of the result of applying each conjunct to an
+argument of that type.  We would like to instantiate the recursive use
+of *and* in the definition by using the result type, so that
+"<code>and [&beta;]</code>" evaluates to the kind of *and* that
+coordinates expressions of type &beta;.  But fully instantiating the
+definition as given requires type application to a *pair* of types,
+not to just to a single type.  We want to somehow guarantee that β
+will always itself be a complex type.  This goes beyond the expressive
+power of System F.
+
+So conjunction and disjunction provide a compelling motivation for
+polymorphism in natural language, but we don't yet have the ability to
+build the polymorphism into a formal system.
+
+And in fact, discussions of generalized coordination in the
+linguistics literature are almost always left as a meta-level
+generalizations over a basic simply-typed grammar.  For instance, in
+Hendriks' 1992:74 dissertation, generalized coordination is
+implemented as a method for generating a suitable set of translation
+rules, which are in turn expressed in a simply-typed grammar.
+
+There is some work using System F to express generalizations about
+natural language: Ponvert, Elias. 2005. Polymorphism in English Logical
+Grammar. In *Lambda Calculus Type Theory and Natural Language*: 47--60.
+
+Not incidentally, we're not aware of any programming language that
+makes generalized coordination available, despite is naturalness and
+ubiquity in natural language.  That is, coordination in programming
+languages is always at the sentential level.  You might be able to
+evaluate `(delete file1) and (delete file2)`, but never `delete (file1
+and file2)`.
+
+We'll return to thinking about generalized coordination as we get
+deeper into types.  There will be an analysis in term of continuations
+that will be particularly satisfying.
+
+
+#Types in OCaml
+
+
OCaml has type inference: the system can often infer what the type of
an expression must be, based on the type of other known expressions.