add zipper
[lambda.git] / week6.mdwn
index 6988147..2a4586a 100644 (file)
@@ -1,16 +1,45 @@
 [[!toc]]
 
-Types, OCAML
-------------
+Polymorphic Types and System F
+------------------------------
 
-OCAML has type inference: the system can often infer what the type of
+[Notes still to be added. Hope you paid attention during seminar.]
+
+<!--
+
+8.     The simply-typed lambda calculus<p>
+9.     Parametric polymorphism, System F, "type inference"<p>
+
+1.     Product or record types, e.g. pairs and triples
+2.     Sum or variant types; tagged or "disjoint" unions
+3.     Maybe/option types; representing "out-of-band" values
+10.    [Phil/ling application] inner/outer domain semantics for positive free logic
+       <http://philosophy.ucdavis.edu/antonelli/papers/pegasus-JPL.pdf>
+11.    [Phil/ling application] King vs Schiffer in King 2007, pp 103ff. [which paper?](http://rci.rutgers.edu/~jeffreck/pub.php)
+12. [Phil/ling application] King and Pryor on that clauses, predicates vs singular property-designators
+       Russell On Denoting / Kaplan on plexy
+13.    Possible excursion: [Frege's "On Concept and Object"](http://www.persiangig.com/pages/download/?dl=http://sahmir.persiangig.com/document/Frege%27s%20Articles/On%20Concept%20And%20object%20%28Jstore%29.pdf)<p>
+
+6.     Inductive types (numbers, lists)
+
+5.     Unit type
+4.     Zero/bottom types
+7.     "Pattern-matching" or type unpacking<p>
+
+-->
+
+
+Types in OCaml
+--------------
+
+OCaml has type inference: the system can often infer what the type of
 an expression must be, based on the type of other known expressions.
 
-For instance, if we type 
+For instance, if we type
 
     # let f x = x + 3;;
 
-The system replies with 
+The system replies with
 
     val f : int -> int = <fun>
 
@@ -32,7 +61,7 @@ element:
     # (3) = 3;;
     - : bool = true
 
-though OCAML, like many systems, refuses to try to prove whether two
+though OCaml, like many systems, refuses to try to prove whether two
 functional objects may be identical:
 
     # (f) = f;;
@@ -40,13 +69,27 @@ functional objects may be identical:
 
 Oh well.
 
+[Note: There is a limited way you can compare functions, using the
+`==` operator instead of the `=` operator. Later when we discuss mutation,
+we'll discuss the difference between these two equality operations.
+Scheme has a similar pair, which they name `eq?` and `equal?`. In Python,
+these are `is` and `==` respectively. It's unfortunate that OCaml uses `==` for the opposite operation that Python and many other languages use it for. In any case, OCaml will accept `(f) == f` even though it doesn't accept
+`(f) = f`. However, don't expect it to figure out in general when two functions
+are equivalent. (That question is not Turing computable.)
+
+       # (f) == (fun x -> x + 3);;
+       - : bool = false
+
+Here OCaml says (correctly) that the two functions don't stand in the `==` relation, which basically means they're not represented in the same chunk of memory. However as the programmer can see, the functions are extensionally equivalent. The meaning of `==` is rather weird.]
 
-Booleans in OCAML, and simple pattern matching
+
+
+Booleans in OCaml, and simple pattern matching
 ----------------------------------------------
 
 Where we would write `true 1 2` in our pure lambda calculus and expect
-it to evaluate to `1`, in OCAML boolean types are not functions
-(equivalently, are functions that take zero arguments).  Selection is
+it to evaluate to `1`, in OCaml boolean types are not functions
+(equivalently, they're functions that take zero arguments). Instead, selection is
 accomplished as follows:
 
     # if true then 1 else 2;;
@@ -65,7 +108,7 @@ That is,
     # match true with true -> 1 | false -> 2;;
     - : int = 1
 
-Compare with 
+Compare with
 
     # match 3 with 1 -> 1 | 2 -> 4 | 3 -> 9;;
     - : int = 9
@@ -73,7 +116,7 @@ Compare with
 Unit and thunks
 ---------------
 
-All functions in OCAML take exactly one argument.  Even this one:
+All functions in OCaml take exactly one argument.  Even this one:
 
     # let f x y = x + y;;
     # f 2 3;;
@@ -87,7 +130,7 @@ Here's how to tell that `f` has been curry'd:
 After we've given our `f` one argument, it returns a function that is
 still waiting for another argument.
 
-There is a special type in OCAML called `unit`.  There is exactly one
+There is a special type in OCaml called `unit`.  There is exactly one
 object in this type, written `()`.  So
 
     # ();;
@@ -110,25 +153,45 @@ correct type is the unit:
     # f ();;
     - : int = 3
 
-Let's have some fn: think of `rec` as our `Y` combinator.  Then
+Now why would that be useful?
+
+Let's have some fun: think of `rec` as our `Y` combinator.  Then
 
-    # let rec f n = if (0 = n) then 1 else (n * (f (n - 1)));; 
+    # let rec f n = if (0 = n) then 1 else (n * (f (n - 1)));;
     val f : int -> int = <fun>
     # f 5;;
     - : int = 120
 
 We can't define a function that is exactly analogous to our &omega;.
-We could try `let rec omega x = x x;;` what happens?  However, we can
-do this:
+We could try `let rec omega x = x x;;` what happens?
+
+[Note: if you want to learn more OCaml, you might come back here someday and try:
+
+       # let id x = x;;
+       val id : 'a -> 'a = <fun>
+       # let unwrap (`Wrap a) = a;;
+       val unwrap : [< `Wrap of 'a ] -> 'a = <fun>
+       # let omega ((`Wrap x) as y) = x y;;
+       val omega : [< `Wrap of [> `Wrap of 'a ] -> 'b as 'a ] -> 'b = <fun>
+       # unwrap (omega (`Wrap id)) == id;;
+       - : bool = true
+       # unwrap (omega (`Wrap omega));;
+    <Infinite loop, need to control-c to interrupt>
+
+But we won't try to explain this now.]
 
-    # let rec omega x = omega x;;
+
+Even if we can't (easily) express omega in OCaml, we can do this:
+
+    # let rec blackhole x = blackhole x;;
 
 By the way, what's the type of this function?
-If you then apply this omega to an argument,
 
-    # omega 3;;
+If you then apply this `blackhole` function to an argument,
+
+    # blackhole 3;;
 
-the interpreter goes into an infinite loop, and you have to control-C
+the interpreter goes into an infinite loop, and you have to type control-c
 to break the loop.
 
 Oh, one more thing: lambda expressions look like this:
@@ -140,168 +203,101 @@ Oh, one more thing: lambda expressions look like this:
 
 (But `(fun x -> x x)` still won't work.)
 
-So we can try our usual tricks:
+You may also see this:
+
+       # (function x -> x);;
+       - : 'a -> 'a = <fun>
+
+This works the same as `fun` in simple cases like this, and slightly differently in more complex cases. If you learn more OCaml, you'll read about the difference between them.
 
-    # (fun x -> true) omega;;
+We can try our usual tricks:
+
+    # (fun x -> true) blackhole;;
     - : bool = true
 
-OCAML declined to try to evaluate the argument before applying the
-functor.  But remember that `omega` is a function too, so we can
+OCaml declined to try to fully reduce the argument before applying the
+lambda function. Question: Why is that? Didn't we say that OCaml is a call-by-value/eager language?
+
+Remember that `blackhole` is a function too, so we can
 reverse the order of the arguments:
 
-    # omega (fun x -> true);;
+    # blackhole (fun x -> true);;
 
 Infinite loop.
 
 Now consider the following variations in behavior:
 
-    # let test = omega omega;;
-    [Infinite loop, need to control c out]
+    # let test = blackhole blackhole;;
+    <Infinite loop, need to control-c to interrupt>
 
-    # let test () = omega omega;;
+    # let test () = blackhole blackhole;;
     val test : unit -> 'a = <fun>
 
     # test;;
     - : unit -> 'a = <fun>
 
     # test ();;
-    [Infinite loop, need to control c out]
+    <Infinite loop, need to control-c to interrupt>
 
-We can use functions that take arguments of type unit to control
-execution.  In Scheme parlance, functions on the unit type are called
+We can use functions that take arguments of type `unit` to control
+execution.  In Scheme parlance, functions on the `unit` type are called
 *thunks* (which I've always assumed was a blend of "think" and "chunk").
 
+Question: why do thunks work? We know that `blackhole ()` doesn't terminate, so why do expressions like:
+
+       let f = fun () -> blackhole ()
+       in true
+
+terminate?
+
+Bottom type, divergence
+-----------------------
+
+Expressions that don't terminate all belong to the **bottom type**. This is a subtype of every other type. That is, anything of bottom type belongs to every other type as well. More advanced type systems have more examples of subtyping: for example, they might make `int` a subtype of `real`. But the core type system of OCaml doesn't have any general subtyping relations. (Neither does System F.) Just this one: that expressions of the bottom type also belong to every other type. It's as if every type definition in OCaml, even the built in ones, had an implicit extra clause:
+
+       type 'a option = None | Some of 'a;;
+       type 'a option = None | Some of 'a | bottom;;
+
+Here are some exercises that may help better understand this. Figure out what is the type of each of the following:
+
+       fun x y -> y;;
+
+       fun x (y:int) -> y;;
+
+       fun x y : int -> y;;
+
+       let rec blackhole x = blackhole x in blackhole;;
+
+       let rec blackhole x = blackhole x in blackhole 1;;
+
+       let rec blackhole x = blackhole x in fun (y:int) -> blackhole y y y;;
+
+       let rec blackhole x = blackhole x in (blackhole 1) + 2;;
+
+       let rec blackhole x = blackhole x in (blackhole 1) || false;;
+
+       let rec blackhole x = blackhole x in 2 :: (blackhole 1);;
+
+By the way, what's the type of this:
+
+       let rec blackhole (x:'a) : 'a = blackhole x in blackhole
+
+
+Back to thunks: the reason you'd want to control evaluation with thunks is to
+manipulate when "effects" happen. In a strongly normalizing system, like the
+simply-typed lambda calculus or System F, there are no "effects." In Scheme and
+OCaml, on the other hand, we can write programs that have effects. One sort of
+effect is printing (think of the [[damn]] example at the start of term).
+Another sort of effect is mutation, which we'll be looking at soon.
+Continuations are yet another sort of effect. None of these are yet on the
+table though. The only sort of effect we've got so far is *divergence* or
+non-termination. So the only thing thunks are useful for yet is controlling
+whether an expression that would diverge if we tried to fully evaluate it does
+diverge. As we consider richer languages, thunks will become more useful.
+
+
 Towards Monads
 --------------
 
-So the integer division operation presupposes that its second argument
-(the divisor) is not zero, upon pain of presupposition failure.
-Here's what my OCAML interpreter says:
-
-    # 12/0;;
-    Exception: Division_by_zero.
-
-So we want to explicitly allow for the possibility that 
-division will return something other than a number.
-We'll use OCAML's option type, which works like this:
-
-    # type 'a option = None | Some of 'a;;
-    # None;;
-    - : 'a option = None
-    # Some 3;;
-    - : int option = Some 3
-
-So if a division is normal, we return some number, but if the divisor is
-zero, we return None:
-
-<pre>
-let div (x:int) (y:int) = 
-  match y with 0 -> None |
-               _ -> Some (x / y);;
-
-(*
-val div : int -> int -> int option = <fun>
-# div 12 3;;
-- : int option = Some 4
-# div 12 0;;
-- : int option = None
-# div (div 12 3) 2;;
-Characters 4-14:
-  div (div 12 3) 2;;
-      ^^^^^^^^^^
-Error: This expression has type int option
-       but an expression was expected of type int
-*)
-</pre>
-
-This starts off well: dividing 12 by 3, no problem; dividing 12 by 0,
-just the behavior we were hoping for.  But we want to be able to use
-the output of the safe division function as input for further division
-operations.  So we have to jack up the types of the inputs:
-
-<pre>
-let div (x:int option) (y:int option) = 
-  match y with None -> None |
-               Some 0 -> None |
-               Some n -> (match x with None -> None |
-                                       Some m -> Some (m / n));;
-
-(*
-val div : int option -> int option -> int option = <fun>
-# div (Some 12) (Some 4);;
-- : int option = Some 3
-# div (Some 12) (Some 0);;
-- : int option = None
-# div (div (Some 12) (Some 0)) (Some 4);;
-- : int option = None
-*)
-</pre>
-
-Beautiful, just what we need: now we can try to divide by anything we
-want, without fear that we're going to trigger any system errors.
-
-I prefer to line up the `match` alternatives by using OCAML's 
-built-in tuple type:
-
-<pre>
-let div (x:int option) (y:int option) = 
-  match (x, y) with (None, _) -> None |
-                    (_, None) -> None |
-                    (_, Some 0) -> None |
-                    (Some m, Some n) -> Some (m / n);;
-</pre>
-
-So far so good.  But what if we want to combine division with 
-other arithmetic operations?  We need to make those other operations 
-aware of the possibility that one of their arguments will trigger a
-presupposition failure:
-
-<pre>
-let add (x:int option) (y:int option) = 
-  match (x, y) with (None, _) -> None |
-                    (_, None) -> None |
-                    (Some m, Some n) -> Some (m + n);;
-
-(*
-val add : int option -> int option -> int option = <fun>
-# add (Some 12) (Some 4);;
-- : int option = Some 16
-# add (div (Some 12) (Some 0)) (Some 4);;
-- : int option = None
-*)
-</pre>
-
-This works, but is somewhat disappointing: the `add` prediction
-doesn't trigger any presupposition of its own, so it is a shame that
-it needs to be adjusted because someone else might make trouble.
-
-But we can automate the adjustment.  The standard way in OCAML,
-Haskell, etc., is to define a `bind` operator (the name `bind` is not
-well chosen to resonate with linguists, but what can you do):
-
-<pre>
-let bind (x: int option) (f: int -> (int option)) = 
-  match x with None -> None | Some n -> f n;;
-
-let add (x: int option) (y: int option)  =
-  bind x (fun x -> bind y (fun y -> Some (x + y)));;
-
-let div (x: int option) (y: int option) =
-  bind x (fun x -> bind y (fun y -> if (0 = y) then None else Some (x / y)));;
-
-(*
-#  div (div (Some 12) (Some 2)) (Some 4);;
-- : int option = Some 1
-#  div (div (Some 12) (Some 0)) (Some 4);;
-- : int option = None
-# add (div (Some 12) (Some 0)) (Some 4);;
-- : int option = None
-*)
-</pre>
-
-Compare the new definitions of `add` and `div` closely: the definition
-for `add` shows what it looks like to equip an ordinary operation to
-survive in a presupposition-filled world, and the definition of `div`
-shows exactly what extra needs to be added in order to trigger the
-no-division-by-zero presupposition.
+This has now been moved to the start of [[week7]].