1 [[!toc levels=2]]
3 # System F and recursive types
5 In the simply-typed lambda calculus, we write types like <code>&sigma;
6 -> &tau;</code>.  This looks like logical implication.  We'll take
7 that resemblance seriously when we discuss the Curry-Howard
8 correspondence.  In the meantime, note that types respect modus
9 ponens:
11 <pre>
12 Expression    Type      Implication
13 -----------------------------------
14 fn            &alpha; -> &beta;    &alpha; &sup; &beta;
15 arg           &alpha;         &alpha;
16 ------        ------    --------
17 (fn arg)      &beta;         &beta;
18 </pre>
20 The implication in the right-hand column is modus ponens, of course.
22 System F was discovered by Girard (the same guy who invented Linear
23 Logic), but it was independently proposed around the same time by
24 Reynolds, who called his version the *polymorphic lambda calculus*.
25 (Reynolds was also an early player in the development of
26 continuations.)
28 System F enhances the simply-typed lambda calculus with abstraction
29 over types.  Normal lambda abstraction abstracts (binds) an expression
30 (a term); type abstraction abstracts (binds) a type.
32 In order to state System F, we'll need to adopt the
33 notational convention (which will last throughout the rest of the
34 course) that "<code>x:&alpha;</code>" represents an expression `x`
35 whose type is <code>&alpha;</code>.
37 Then System F can be specified as follows:
39         System F:
40         ---------
41         types       τ ::= c | α | τ1 -> τ2 | ∀α.τ
42         expressions e ::= x | λx:τ.e | e1 e2 | Λα.e | e [τ]
44 In the definition of the types, "`c`" is a type constant.  Type
45 constants play the role in System F that base types play in the
46 simply-typed lambda calculus.  So in a lingusitics context, type
47 constants might include `e` and `t`.  "α" is a type variable.  The
48 tick mark just indicates that the variable ranges over types rather
49 than over values; in various discussion below and later, type variables
50 can be distinguished by using letters from the greek alphabet
51 (&alpha;, &beta;, etc.), or by using capital roman letters (X, Y,
52 etc.).  "`τ1 -> τ2`" is the type of a function from expressions of
53 type `τ1` to expressions of type `τ2`.  And "`∀α.τ`" is called a
54 universal type, since it universally quantifies over the type variable
55 `'a`.  You can expect that in `∀α.τ`, the type `τ` will usually
56 have at least one free occurrence of `α` somewhere inside of it.
58 In the definition of the expressions, we have variables "`x`" as usual.
59 Abstracts "`λx:τ.e`" are similar to abstracts in the simply-typed lambda
60 calculus, except that they have their shrug variable annotated with a
61 type.  Applications "`e1 e2`" are just like in the simply-typed lambda calculus.
63 In addition to variables, abstracts, and applications, we have two
64 additional ways of forming expressions: "`Λα.e`" is called a *type
65 abstraction*, and "`e [τ]`" is called a *type application*.  The idea
66 is that <code>&Lambda;</code> is a capital <code>&lambda;</code>: just
67 like the lower-case <code>&lambda;</code>, <code>&Lambda;</code> binds
68 variables in its body, except that unlike <code>&lambda;</code>,
69 <code>&Lambda;</code> binds type variables instead of expression
70 variables.  So in the expression
72 <code>&Lambda; α (&lambda; x:α. x)</code>
74 the <code>&Lambda;</code> binds the type variable `α` that occurs in
75 the <code>&lambda;</code> abstract.  Of course, as long as type
76 variables are carefully distinguished from expression variables (by
77 tick marks, Grecification, or capitalization), there is no need to
78 distinguish expression abstraction from type abstraction by also
79 changing the shape of the lambda.
81 The expression immediately below is a polymorphic version of the
82 identity function.  It defines one general identity function that can
83 be adapted for use with expressions of any type. In order to get it
84 ready to apply this identity function to, say, a variable of type
85 boolean, just do this:
87 <code>(&Lambda; α (&lambda; x:α. x)) [t]</code>
89 This type application (where `t` is a type constant for Boolean truth
90 values) specifies the value of the type variable `α`.  Not
91 surprisingly, the type of this type application is a function from
92 Booleans to Booleans:
94 <code>((&Lambda;α (&lambda; x:α . x)) [t]): (b->b)</code>
96 Likewise, if we had instantiated the type variable as an entity (base
97 type `e`), the resulting identity function would have been a function
98 of type `e -> e`:
100 <code>((&Lambda;α (&lambda; x:α. x)) [e]): (e->e)</code>
102 Clearly, for any choice of a type `α`, the identity function can be
103 instantiated as a function from expresions of type `α` to expressions
104 of type `α`.  In general, then, the type of the uninstantiated
105 (polymorphic) identity function is
107 <code>(&Lambda;α (&lambda;x:α . x)): (&forall;α. α-α)</code>
109 Pred in System F
110 ----------------
112 We saw that the predecessor function couldn't be expressed in the
113 simply-typed lambda calculus.  It *can* be expressed in System F,
114 however.  Here is one way, coded in
115 [[Benjamin Pierce's type-checker and evaluator for
116 System F|http://www.cis.upenn.edu/~bcpierce/tapl/index.html]] (the
117 relevant evaluator is called "fullpoly"):
119     N = ∀α.(α->α)->α->α;
120     Pair = (N->N->N)->N;
122     let zero = Λα. λs:α->α. λz:α. z in
123     let fst = λx:N. λy:N. x in
124     let snd = λx:N. λy:N. y in
125     let pair = λx:N. λy:N. λz:N->N->N. z x y in
126     let suc = λn:N. Λα. λs:α->α. λz:α. s (n [α] s z) in
127     let shift = λp:Pair. pair (suc (p fst)) (p fst) in
128     let pre = λn:N. n [Pair] shift (pair zero zero) snd in
130     pre (suc (suc (suc zero)));
132 We've truncated the names of "suc(c)" and "pre(d)", since those are
133 reserved words in Pierce's system.  Note that in this code, there is
134 no typographic distinction between ordinary lambda and type-level
135 lambda, though the difference is encoded in whether the variables are
136 lower case (for ordinary lambda) or upper case (for type-level
137 lambda).
139 The key to the extra expressive power provided by System F is evident
140 in the typing imposed by the definition of `pre`.  The variable `n` is
141 typed as a Church number, i.e., as `∀α.(α->α)->α->α`.  The type
142 application `n [Pair]` instantiates `n` in a way that allows it to
143 manipulate ordered pairs: `n [Pair]: (Pair->Pair)->Pair->Pair`.  In
144 other words, the instantiation turns a Church number into a
145 pair-manipulating function, which is the heart of the strategy for
146 this version of predecessor.
148 Could we try to build a system for doing Church arithmetic in which
149 the type for numbers always manipulated ordered pairs?  The problem is
150 that the ordered pairs we need here are pairs of numbers.  If we tried
151 to replace the type for Church numbers with a concrete (simple) type,
152 we would have to replace each `X` with the type for Pairs, `(N -> N ->
153 N) -> N`.  But then we'd have to replace each of these `N`'s with the
154 type for Church numbers, `(α -> α) -> α -> α`.  And then we'd have to
155 replace each of these `α`'s with... ad infinitum.  If we had to choose
156 a concrete type built entirely from explicit base types, we'd be
157 unable to proceed.
159 [See Benjamin C. Pierce. 2002. *Types and Programming Languages*, MIT
160 Press, chapter 23.]
162 Typing &omega;
163 --------------
165 In fact, unlike in the simply-typed lambda calculus,
166 it is even possible to give a type for &omega; in System F.
168 <code>&omega; = λx:(∀α.α->α). x [∀α.α->α] x</code>
170 In order to see how this works, we'll apply &omega; to the identity
171 function.
173 <code>&omega; id ==</code>
175     (λx:(∀α.α->α). x [∀α.α->α] x) (Λα.λx:α.x)
177 Since the type of the identity function is `∀α.α->α`, it's the
178 right type to serve as the argument to &omega;.  The definition of
179 &omega; instantiates the identity function by binding the type
180 variable `α` to the universal type `∀α.α->α`.  Instantiating the
181 identity function in this way results in an identity function whose
182 type is (in some sense, only accidentally) the same as the original
183 fully polymorphic identity function.
185 So in System F, unlike in the simply-typed lambda calculus, it *is*
186 possible for a function to apply to itself!
188 Does this mean that we can implement recursion in System F?  Not at
189 all.  In fact, despite its differences with the simply-typed lambda
190 calculus, one important property that System F shares with the
191 simply-typed lambda calculus is that they are both strongly
192 normalizing: *every* expression in either system reduces to a normal
193 form in a finite number of steps.
195 Not only does a fixed-point combinator remain out of reach, we can't
196 even construct an infinite loop.  This means that although we found a
197 type for &omega;, there is no general type for &Omega; &equiv; &omega;
198 &omega;.  Furthermore, it turns out that no Turing complete system can
199 be strongly normalizing, from which it follows that System F is not
200 Turing complete.
203 ## Polymorphism in natural language
205 Is the simply-typed lambda calclus enough for analyzing natural
206 language, or do we need polymorphic types? Or something even more expressive?
208 The classic case study motivating polymorphism in natural language
209 comes from coordination.  (The locus classicus is Partee and Rooth
210 1983.)
212     Ann left and Bill left.
213     Ann left and slept.
214     Ann and Bill left.
215     Ann read and reviewed the book.
217 In English (likewise, many other languages), *and* can coordinate
218 clauses, verb phrases, determiner phrases, transitive verbs, and many
219 other phrase types.  In a garden-variety simply-typed grammar, each
220 kind of conjunct has a different semantic type, and so we would need
221 an independent rule for each one.  Yet there is a strong intuition
222 that the contribution of *and* remains constant across all of these
223 uses.  Can we capture this using polymorphic types?
225     Ann, Bill      e
226     left, slept    e -> t
227     read, reviewed e -> e -> t
229 With these basic types, we want to say something like this:
231     and:t->t->t = λl:t. λr:t. l r false
232     and = Λα.Λβ.λl:α->β.λr:α->β.λx:α. and [β] (l x) (r x)
234 The idea is that the basic *and* conjoins expressions of type `t`, and
235 when *and* conjoins functional types, it builds a function that
236 distributes its argument across the two conjuncts and conjoins the two
237 results.  So `Ann left and slept` will evaluate to `(\x.and(left
238 x)(slept x)) ann`.  Following the terminology of Partee and Rooth, the
239 strategy of defining the coordination of expressions with complex
240 types in terms of the coordination of expressions with less complex
241 types is known as Generalized Coordination.
243 But the definitions just given are not well-formed expressions in
244 System F.  There are three problems.  The first is that we have two
245 definitions of the same word.  The intention is for one of the
246 definitions to be operative when the type of its arguments is type
247 `t`, but we have no way of conditioning evaluation on the *type* of an
248 argument.  The second is that for the polymorphic definition, the term
249 *and* occurs inside of the definition.  System F does not have
250 recursion.
252 The third problem is more subtle.  The defintion as given takes two
253 types as parameters: the type of the first argument expected by each
254 conjunct, and the type of the result of applying each conjunct to an
255 argument of that type.  We would like to instantiate the recursive use
256 of *and* in the definition by using the result type.  But fully
257 instantiating the definition as given requires type application to a
258 pair of types, not to just a single type.  We want to somehow
259 guarantee that β will always itself be a complex type.
261 So conjunction and disjunction provide a compelling motivation for
262 polymorphism in natural language, but we don't yet have the ability to
263 build the polymorphism into a formal system.
265 And in fact, discussions of generalized coordination in the
266 linguistics literature are almost always left as a meta-level
267 generalizations over a basic simply-typed grammar.  For instance, in
268 Hendriks' 1992:74 dissertation, generalized coordination is
269 implemented as a method for generating a suitable set of translation
270 rules, which are in turn expressed in a simply-typed grammar.
272 Not incidentally, we're not aware of any programming language that
273 makes generalized coordination available, despite is naturalness and
274 ubiquity in natural language.  That is, coordination in programming
275 languages is always at the sentential level.  You might be able to
276 evaluate `(delete file1) and (delete file2)`, but never `delete (file1
277 and file2)`.
279 We'll return to thinking about generalized coordination as we get
280 deeper into types.  There will be an analysis in term of continuations
281 that will be particularly satisfying.
284 #Types in OCaml
287 OCaml has type inference: the system can often infer what the type of
288 an expression must be, based on the type of other known expressions.
290 For instance, if we type
292     # let f x = x + 3;;
294 The system replies with
296     val f : int -> int = <fun>
298 Since `+` is only defined on integers, it has type
300      # (+);;
301      - : int -> int -> int = <fun>
303 The parentheses are there to turn off the trick that allows the two
304 arguments of `+` to surround it in infix (for linguists, SOV) argument
305 order. That is,
307     # 3 + 4 = (+) 3 4;;
308     - : bool = true
310 In general, tuples with one element are identical to their one
311 element:
313     # (3) = 3;;
314     - : bool = true
316 though OCaml, like many systems, refuses to try to prove whether two
317 functional objects may be identical:
319     # (f) = f;;
320     Exception: Invalid_argument "equal: functional value".
322 Oh well.
324 [Note: There is a limited way you can compare functions, using the
325 `==` operator instead of the `=` operator. Later when we discuss mutation,
326 we'll discuss the difference between these two equality operations.
327 Scheme has a similar pair, which they name `eq?` and `equal?`. In Python,
328 these are `is` and `==` respectively. It's unfortunate that OCaml uses `==` for the opposite operation that Python and many other languages use it for. In any case, OCaml will accept `(f) == f` even though it doesn't accept
329 `(f) = f`. However, don't expect it to figure out in general when two functions
330 are equivalent. (That question is not Turing computable.)
332         # (f) == (fun x -> x + 3);;
333         - : bool = false
335 Here OCaml says (correctly) that the two functions don't stand in the `==` relation, which basically means they're not represented in the same chunk of memory. However as the programmer can see, the functions are extensionally equivalent. The meaning of `==` is rather weird.]
339 Booleans in OCaml, and simple pattern matching
340 ----------------------------------------------
342 Where we would write `true 1 2` in our pure lambda calculus and expect
343 it to evaluate to `1`, in OCaml boolean types are not functions
344 (equivalently, they're functions that take zero arguments). Instead, selection is
345 accomplished as follows:
347     # if true then 1 else 2;;
348     - : int = 1
350 The types of the `then` clause and of the `else` clause must be the
351 same.
353 The `if` construction can be re-expressed by means of the following
354 pattern-matching expression:
356     match <bool expression> with true -> <expression1> | false -> <expression2>
358 That is,
360     # match true with true -> 1 | false -> 2;;
361     - : int = 1
363 Compare with
365     # match 3 with 1 -> 1 | 2 -> 4 | 3 -> 9;;
366     - : int = 9
368 Unit and thunks
369 ---------------
371 All functions in OCaml take exactly one argument.  Even this one:
373     # let f x y = x + y;;
374     # f 2 3;;
375     - : int = 5
377 Here's how to tell that `f` has been curry'd:
379     # f 2;;
380     - : int -> int = <fun>
382 After we've given our `f` one argument, it returns a function that is
383 still waiting for another argument.
385 There is a special type in OCaml called `unit`.  There is exactly one
386 object in this type, written `()`.  So
388     # ();;
389     - : unit = ()
391 Just as you can define functions that take constants for arguments
393     # let f 2 = 3;;
394     # f 2;;
395     - : int = 3;;
397 you can also define functions that take the unit as its argument, thus
399     # let f () = 3;;
400     val f : unit -> int = <fun>
402 Then the only argument you can possibly apply `f` to that is of the
403 correct type is the unit:
405     # f ();;
406     - : int = 3
408 Now why would that be useful?
410 Let's have some fun: think of `rec` as our `Y` combinator.  Then
412     # let rec f n = if (0 = n) then 1 else (n * (f (n - 1)));;
413     val f : int -> int = <fun>
414     # f 5;;
415     - : int = 120
417 We can't define a function that is exactly analogous to our &omega;.
418 We could try `let rec omega x = x x;;` what happens?
420 [Note: if you want to learn more OCaml, you might come back here someday and try:
422         # let id x = x;;
423         val id : 'a -> 'a = <fun>
424         # let unwrap (`Wrap a) = a;;
425         val unwrap : [< `Wrap of 'a ] -> 'a = <fun>
426         # let omega ((`Wrap x) as y) = x y;;
427         val omega : [< `Wrap of [> `Wrap of 'a ] -> 'b as 'a ] -> 'b = <fun>
428         # unwrap (omega (`Wrap id)) == id;;
429         - : bool = true
430         # unwrap (omega (`Wrap omega));;
431     <Infinite loop, need to control-c to interrupt>
433 But we won't try to explain this now.]
436 Even if we can't (easily) express omega in OCaml, we can do this:
438     # let rec blackhole x = blackhole x;;
440 By the way, what's the type of this function?
442 If you then apply this `blackhole` function to an argument,
444     # blackhole 3;;
446 the interpreter goes into an infinite loop, and you have to type control-c
447 to break the loop.
449 Oh, one more thing: lambda expressions look like this:
451     # (fun x -> x);;
452     - : 'a -> 'a = <fun>
453     # (fun x -> x) true;;
454     - : bool = true
456 (But `(fun x -> x x)` still won't work.)
458 You may also see this:
460         # (function x -> x);;
461         - : 'a -> 'a = <fun>
463 This works the same as `fun` in simple cases like this, and slightly differently in more complex cases. If you learn more OCaml, you'll read about the difference between them.
465 We can try our usual tricks:
467     # (fun x -> true) blackhole;;
468     - : bool = true
470 OCaml declined to try to fully reduce the argument before applying the
471 lambda function. Question: Why is that? Didn't we say that OCaml is a call-by-value/eager language?
473 Remember that `blackhole` is a function too, so we can
474 reverse the order of the arguments:
476     # blackhole (fun x -> true);;
478 Infinite loop.
480 Now consider the following variations in behavior:
482     # let test = blackhole blackhole;;
483     <Infinite loop, need to control-c to interrupt>
485     # let test () = blackhole blackhole;;
486     val test : unit -> 'a = <fun>
488     # test;;
489     - : unit -> 'a = <fun>
491     # test ();;
492     <Infinite loop, need to control-c to interrupt>
494 We can use functions that take arguments of type `unit` to control
495 execution.  In Scheme parlance, functions on the `unit` type are called
496 *thunks* (which I've always assumed was a blend of "think" and "chunk").
498 Question: why do thunks work? We know that `blackhole ()` doesn't terminate, so why do expressions like:
500         let f = fun () -> blackhole ()
501         in true
503 terminate?
505 Bottom type, divergence
506 -----------------------
508 Expressions that don't terminate all belong to the **bottom type**. This is a subtype of every other type. That is, anything of bottom type belongs to every other type as well. More advanced type systems have more examples of subtyping: for example, they might make `int` a subtype of `real`. But the core type system of OCaml doesn't have any general subtyping relations. (Neither does System F.) Just this one: that expressions of the bottom type also belong to every other type. It's as if every type definition in OCaml, even the built in ones, had an implicit extra clause:
510         type 'a option = None | Some of 'a;;
511         type 'a option = None | Some of 'a | bottom;;
513 Here are some exercises that may help better understand this. Figure out what is the type of each of the following:
515         fun x y -> y;;
517         fun x (y:int) -> y;;
519         fun x y : int -> y;;
521         let rec blackhole x = blackhole x in blackhole;;
523         let rec blackhole x = blackhole x in blackhole 1;;
525         let rec blackhole x = blackhole x in fun (y:int) -> blackhole y y y;;
527         let rec blackhole x = blackhole x in (blackhole 1) + 2;;
529         let rec blackhole x = blackhole x in (blackhole 1) || false;;
531         let rec blackhole x = blackhole x in 2 :: (blackhole 1);;
533 By the way, what's the type of this:
535         let rec blackhole (x:'a) : 'a = blackhole x in blackhole
538 Back to thunks: the reason you'd want to control evaluation with
539 thunks is to manipulate when "effects" happen. In a strongly
540 normalizing system, like the simply-typed lambda calculus or System F,
541 there are no "effects." In Scheme and OCaml, on the other hand, we can
542 write programs that have effects. One sort of effect is printing.
543 Another sort of effect is mutation, which we'll be looking at soon.
544 Continuations are yet another sort of effect. None of these are yet on
545 the table though. The only sort of effect we've got so far is
546 *divergence* or non-termination. So the only thing thunks are useful
547 for yet is controlling whether an expression that would diverge if we
548 tried to fully evaluate it does diverge. As we consider richer
549 languages, thunks will become more useful.