topics/_week5_simply_typed_lambda.mdwn

   1 [[!toc]]
   2
   3 ##The simply-typed lambda calculus##
   4
   5 The untyped lambda calculus is pure.  Pure in many ways: nothing but
   6 variables and lambdas, with no constants or other special symbols;
   7 also, all functions without any types.  As we'll see eventually, pure
   8 also in the sense of having no side effects, no mutation, just pure
   9 computation.
  10
  11 But we live in an impure world.  It is much more common for practical
  12 programming languages to be typed, either implicitly or explicitly.
  13 Likewise, systems used to investigate philosophical or linguistic
  14 issues are almost always typed.  Types will help us reason about our
  15 computations.  They will also facilitate a connection between logic
  16 and computation.
  17
  18 From a linguistic perspective, types are generalizations of (parts of)
  19 programs.  To make this comment more concrete: types are to (e.g.,
  20 lambda) terms as syntactic categories are to expressions of natural
  21 language.  If so, if it makes sense to gather a class of expressions
  22 together into a set of Nouns, or Verbs, it may also make sense to
  23 gather classes of terms into a set labelled with some computational type.
  24
  25 To develop this analogy just a bit further, syntactic categories
  26 determine which expressions can combine with which other expressions.
  27 If a word is a member of the category of prepositions, it had better
  28 not try to combine (merge) with an expression in the category of, say,
  29 an auxilliary verb, since *under has* is not a well-formed constituent
  30 in English.  Likewise, types in formal languages will determine which
  31 expressions can be sensibly combined.
  32
  33 Now, of course it is common linguistic practice to supply an analysis
  34 of natural language both with syntactic categories and with semantic
  35 types.  And there is a large degree of overlap between these type
  36 systems.  However, there are mismatches in both directions: there are
  37 syntactic distinctions that do not correspond to any salient semantic
  38 difference (why can't adjectives behave syntactically like verb
  39 phrases, since they both denote properties with (extensional) type
  40 `<e,t>`?); and in some analyses there are semantic differences that do
  41 not correspond to any salient syntactic distinctions (as in any
  42 analysis that involves silent type-shifters, such as Herman Hendriks'
  43 theory of quantifier scope, in which expressions change their semantic
  44 type without any effect on the syntactic expressions they can combine
  45 with syntactically).  We will consider again the relationship between
  46 syntactic types and semantic types later in the course.
  47
  48 Soon we will consider polymorphic type systems.  First, however, we
  49 will consider the simply-typed lambda calculus.
  50
  51 [Pedantic on.  Why "*simply* typed"?  Well, the type system is
  52 particularly simple.  As mentioned to us by Koji Mineshima, Church
  53 tells us that "The simple theory of types was suggested as a
  54 modification of Russell's ramified theory of types by Leon Chwistek in
  55 1921 and 1922 and by F. P. Ramsey in 1926."  This footnote appears in
  56 Church's 1940 paper [A formulation of the simple theory of
  57 types](church-simple-types.pdf).  In this paper, Church writes types
  58 by simple apposition, without the ugly angle brackets and commas used
  59 by Montague.  Furthermore, he omits parentheses under the convention
  60 that types associated to the *left*---the opposite of the modern
  61 convention.  This is ok, however, because he also reverses the order,
  62 so that `te` is a function from objects of type `e` to objects of type
  63 `t`.  Cool paper!  If you ever want to see Church numerals in their
  64 native setting--but I'm getting ahead of my story.  Pedantic off.]
  65
  66 There's good news and bad news: the good news is that the simply-typed
  67 lambda calculus is strongly normalizing: every term has a normal form.
  68 We shall see that self-application is outlawed, so &Omega; can't even
  69 be written, let alone undergo reduction.  The bad news is that
  70 fixed-point combinators are also forbidden, so recursion is neither
  71 simple nor direct.
  72
  73 #Types#
  74
  75 We will have at least one ground type.  For the sake of linguistic
  76 familiarity, we'll use `e`, the type of individuals, and `t`, the type
  77 of truth values.
  78
  79 In addition, there will be a recursively-defined class of complex
  80 types `T`, the smallest set such that
  81
  82 *    ground types, including `e` and `t`, are in `T`
  83
  84 *    for any types &sigma; and &tau; in `T`, the type &sigma; -->
  85      &tau; is in `T`.
  86
  87 For instance, here are some types in `T`:
  88
  89      e
  90      e --> t
  91      e --> e --> t
  92      (e --> t) --> t
  93      (e --> t) --> e --> t
  94
  95 and so on.
  96
  97 #Typed lambda terms#
  98
  99 Given a set of types `T`, we define the set of typed lambda terms <code>&Lambda;_T</code>,
 100 which is the smallest set such that
 101
 102 *    each type `t` has an infinite set of distinct variables, {x^t}_1,
 103      {x^t}_2, {x^t}_3, ...
 104
 105 *    If a term `M` has type &sigma; --> &tau;, and a term `N` has type
 106      &sigma;, then the application `(M N)` has type &tau;.
 107
 108 *    If a variable `a` has type &sigma;, and term `M` has type &tau;,
 109      then the abstract <code>&lambda; a M</code> has type &sigma; --> &tau;.
 110
 111 The definitions of types and of typed terms should be highly familiar
 112 to semanticists, except that instead of writing &sigma; --> &tau;,
 113 linguists write <&sigma;, &tau;>.  We will use the arrow notation,
 114 since it is more iconic.
 115
 116 Some examples (assume that `x` has type `o`):
 117
 118       x            o
 119       \x.x         o --> o
 120       ((\x.x) x)   o
 121
 122 Excercise: write down terms that have the following types:
 123
 124                    o --> o --> o
 125                    (o --> o) --> o --> o
 126                    (o --> o --> o) --> o
 127
 128 #Associativity of types versus terms#
 129
 130 As we have seen many times, in the lambda calculus, function
 131 application is left associative, so that `f x y z == (((f x) y) z)`.
 132 Types, *THEREFORE*, are right associative: if `x`, `y`, and `z`
 133 have types `a`, `b`, and `c`, respectively, then `f` has type
 134 `a --> b --> c --> d == (a --> (b --> (c --> d)))`, where `d` is the
 135 type of the complete term.
 136
 137 It is a serious faux pas to associate to the left for types.  You may
 138 as well use your salad fork to stir your tea.
 139
 140 #The simply-typed lambda calculus is strongly normalizing#
 141
 142 If `M` is a term with type &tau; in &Lambda;_T, then `M` has a
 143 normal form.  The proof is not particularly complex, but we will not
 144 present it here; see Berendregt or Hankin.
 145
 146 Since &Omega; does not have a normal form, it follows that &Omega;
 147 cannot have a type in &Lambda;_T.  We can easily see why:
 148
 149 <code>&Omega; = (\x.xx)(\x.xx)</code>
 150
 151 Assume &Omega; has type &tau;, and `\x.xx` has type &sigma;.  Then
 152 because `\x.xx` takes an argument of type &sigma; and returns
 153 something of type &tau;, `\x.xx` must also have type &sigma; -->
 154 &tau;.  By repeating this reasoning, `\x.xx` must also have type
 155 (&sigma; --> &tau;) --> &tau;; and so on.  Since variables have
 156 finite types, there is no way to choose a type for the variable `x`
 157 that can satisfy all of the requirements imposed on it.
 158
 159 In general, there is no way for a function to have a type that can
 160 take itself for an argument.  It follows that there is no way to
 161 define the identity function in such a way that it can take itself as
 162 an argument.  Instead, there must be many different identity
 163 functions, one for each type.  Some of those types can be functions,
 164 and some of those functions can be (type-restricted) identity
 165 functions; but a simply-types identity function can never apply to itself.
 166
 167 #Typing numerals#
 168
 169 The Church numerals are well behaved with respect to types.  They can
 170 all be given the type (&sigma; --> &sigma;) --> &sigma; --> &sigma;.
 171
 172
 173
 174
 175 ## Predecessor and lists are not representable in simply typed lambda-calculus ##
 176
 177     The predecessor of a Church-encoded numeral, or, generally, the encoding of a list with the car and cdr operations are both impossible in the simply typed lambda-calculus. Henk Barendregt's ``The impact of the lambda-calculus in logic and computer science'' (The Bulletin of Symbolic Logic, v3, N2, June 1997) has the following phrase, on p. 186:
 178
 179         Even for a function as simple as the predecessor lambda definability remained an open problem for a while. From our present knowledge it is tempting to explain this as follows. Although the lambda calculus was conceived as an untyped theory, typeable terms are more intuitive. Now the functions addition and multiplication are defineable by typeable terms, while [101] and [108] have characterized the lambda-defineable functions in the (simply) typed lambda calculus and the predecessor is not among them [the story of the removal of Kleene's four wisdom teeth is skipped...]
 180         Ref 108 is R.Statman: The typed lambda calculus is not elementary recursive. Theoretical Comp. Sci., vol 9 (1979), pp. 73-81.
 181
 182     Since list is a generalization of numeral -- with cons being a successor, append being the addition, tail (aka cdr) being the predecessor -- it follows then the list cannot be encoded in the simply typed lambda-calculus.
 183
 184     To encode both operations, we need either inductive (generally, recursive) types, or System F with its polymorphism. The first approach is the most common. Indeed, the familiar definition of a list
 185
 186          data List a = Nil | Cons a (List a)
 187
 188     gives an (iso-) recursive data type (in Haskell. In ML, it is an inductive data type).
 189
 190     Lists can also be represented in System F. As a matter of fact, we do not need the full System F (where the type reconstruction is not decidable). We merely need the extension of the Hindley-Milner system with higher-ranked types, which requires a modicum of type annotations and yet is able to infer the types of all other terms. This extension is supported in Haskell and OCaml. With such an extension, we can represent a list by its fold, as shown in the code below. It is less known that this representation is faithful: we can implement all list operations, including tail, drop, and even zip.
 191
 192 See also [[Oleg Kiselyov on the predecessor function in the lambda
 193 calculus|http://okmij.org/ftp/Computation/lambda-calc.html#predecessor]].
 194