fix markup, typo
[lambda.git] / topics / week7_monads.mdwn
index 7d189e4..bb0df8f 100644 (file)
@@ -1,31 +1,34 @@
 <!-- λ Λ ∀ ≡ α β γ ρ ω Ω -->
 <!-- Loved this one: http://www.stephendiehl.com/posts/monads.html -->
 
-Monads
-======
+Introducing Monads
+==================
 
 The [[tradition in the functional programming
 literature|https://wiki.haskell.org/Monad_tutorials_timeline]] is to
 introduce monads using a metaphor: monads are spacesuits, monads are
-monsters, monads are burritos.  We're part of the backlash that
-prefers to say that monads are (Just) monads.  
+monsters, monads are burritos. These metaphors can be helpful, and they
+can be unhelpful. There's a backlash about the metaphors that tells people
+to instead just look at the formal definition. We'll give that to you below, but it's
+sometimes sloganized as
+[A monad is just a monoid in the category of endofunctors, what's the problem?](http://stackoverflow.com/questions/3870088).
+Without some intuitive guidance, this can also be unhelpful. We'll try to find a good balance. 
 
 The closest we will come to metaphorical talk is to suggest that
 monadic types place objects inside of *boxes*, and that monads wrap
-and unwrap boxes to expose or enclose the objects inside of them.  In
-any case, the emphasis will be on starting with the abstract structure
+and unwrap boxes to expose or enclose the objects inside of them. In
+any case, our emphasis will be on starting with the abstract structure
 of monads, followed by instances of monads from the philosophical and
 linguistics literature.
 
 ## Box types: type expressions with one free type variable
 
 Recall that we've been using lower-case Greek letters
-<code>&alpha;, &beta;, &gamma;, ...</code> as variables over types.  We'll
-use `P`, `Q`, `R`, and `S` as metavariables over type schemas, where a
-type schema is a type expression that may or may not contain unbound
-type variables.  For instance, we might have
+<code>&alpha;, &beta;, &gamma;, ...</code> as type variables. We'll
+use `P`, `Q`, `R`, and `S` as schematic metavariables over type expressions, that may or may not contain unbound
+type variables. For instance, we might have
 
-    P_1 ≡ Int
+    P_1 ≡ int
     P_2 ≡ α -> α
     P_3 ≡ ∀α. α -> α
     P_4 ≡ ∀α. α -> β 
@@ -33,144 +36,359 @@ type variables.  For instance, we might have
 etc.
 
 A *box type* will be a type expression that contains exactly one free
-type variable.  Some examples (using OCaml's type conventions):
+type variable. (You could extend this to expressions with more free variables; then you'd have
+to specify which one of them the box is capturing. But let's keep it simple.) Some examples (using OCaml's type conventions):
 
-    α Maybe
-    α List
-    (α, P) Tree    (assuming P contains no free type variables)
-    (α, α) Tree
+    α option
+    α list
+    (α, R) tree    (assuming R contains no free type variables)
+    (α, α) tree
 
 The idea is that whatever type the free type variable α might be,
-the boxed type will be a box that "contains" an object of type α.
-For instance, if `α List` is our box type, and α is the basic type
-Int, then in this context, `Int List` is the type of a boxed integer.
+the boxed type will be a box that "contains" an object of type `α`.
+For instance, if `α list` is our box type, and `α` is the type
+`int`, then in this context, `int list` is the type of a boxed integer.
 
-We'll often write box types as a box containing the value of the free
-type variable.  So if our box type is `α List`, and `α == Int`, we
-would write
+Warning: although our initial motivating examples are naturally thought of as "containers" (lists, trees, and so on, with `α`s as their "elments"), with later examples we discuss it will less intuitive to describe the box types that way. For example, where `R` is some fixed type, `R -> α` is a box type.
+
+The *box type* is the type `α list` (or as we might just say, `list`); the *boxed type* is some specific instantiantion of the free type variable `α`. We'll often write boxed types as a box containing the instance of the free
+type variable. So if our box type is `α list`, and `α` is instantiated with the specific type `int`, we would write:
+
+<u>int</u>
+
+for the type of a boxed `int`. (We'll fool with the markup to make this a genuine box later; for now it will just display as underlined.)
 
-<u>Int</u>
 
-for the type of a boxed Int.
 
 ## Kleisli arrows
 
-At the most general level, we'll talk about *Kleisli arrows*:
+A lot of what we'll be doing concerns types that are called *Kleisli arrows*. Don't worry about why they're called that, or if you like go read some Category Theory. All we need to know is that these are functions whose type has the form:
 
 P -> <u>Q</u>
 
-A Kleisli arrow is the type of a function from objects of type P to
-objects of type box Q, for some choice of type expressions P and Q.
-For instance, the following are arrows:
+That is, they are functions from objects of one type `P` to a boxed type `Q`, for some choice of type expressions `P` and `Q`.
+For instance, the following are Kleisli arrows:
 
-Int -> <u>Bool</u>
+int -> <u>bool</u>
 
-Int List -> <u>Int List</u>
+int list -> <u>int list</u>
 
-Note that the left-hand schema can itself be a boxed type.  That is,
-if `α List` is our box type, we can write the second arrow as
+In the first, `P` has become `int` and `Q` has become `bool`. (The boxed type <u>Q</u> is <u>bool</u>).
 
-<u>Int</u> -> <u><u>Int</u></u>
+Note that the left-hand schema `P` is permitted to itself be a boxed type. That is, where
+if `α list` is our box type, we can write the second arrow as
+
+<u>int</u> -> <u>Q</u>
 
 We'll need a number of classes of functions to help us maneuver in the
-presence of box types.  We will want to define a different instance of
-each of these for whichever box type we're dealing with.  (This will
+presence of box types. We will want to define a different instance of
+each of these for whichever box type we're dealing with. (This will
 become clearly shortly.)
 
-<code>mid (/&epsilon;maid&epsilon;nt@tI/ aka unit, return, pure): P -> <u>P</u></code>
+Here are the types of our crucial functions, together with our pronunciation, and some other names the functions go by. (Usually the type doesn't fix their behavior, which will be discussed below.)
+
+<code>map (/mæp/): (P -> Q) -> <u>P</u> -> <u>Q</u></code>
 
-<code>map (/maep/): (P -> Q) -> <u>P</u> -> <u>Q</u></code>
+<code>map2 (/mæptu/): (P -> Q -> R) -> <u>P</u> -> <u>Q</u> -> <u>R</u></code>
 
-<code>map2 (/m&ash;ptu/): (P -> Q -> R) -> <u>P</u> -> <u>Q</u> -> <u>R</u></code>
+<code>mid (/εmaidεnt@tI/ aka unit, return, pure): P -> <u>P</u></code>
 
-<code>mapply (/&epsilon;m@plai/): <u>P -> Q</u> -> <u>P</u> -> <u>Q</u></code>
+<code>m$ or mapply (/εm@plai/): <u>P -> Q</u> -> <u>P</u> -> <u>Q</u></code>
 
-<code>mcompose (aka <=<): (Q -> <u>R</u>) -> (P -> <u>Q</u>) -> (P -> <u>R</u>)</code>
+<code>&lt;=&lt; or mcomp : (Q -> <u>R</u>) -> (P -> <u>Q</u>) -> (P -> <u>R</u>)</code>
 
-<code>mbind (aka >>=): (     <u>Q</u>) -> (Q -> <u>R</u>) -> (     <u>R</u>)</code>
+<code>&gt;=&gt; or mpmoc (m-flipcomp): (P -> <u>Q</u>) -> (Q -> <u>R</u>) -> (P -> <u>R</u>)</code>
 
-<code>mflipcompose (aka >=>): (P -> <u>Q</u>) -> (Q -> <u>R</u>) -> (P -> <u>R</u>)</code>
+<code>&gt;&gt;= or mbind : (<u>Q</u>) -> (Q -> <u>R</u>) -> (<u>R</u>)</code>
 
-<code>mflipbind (aka =<<) (     <u>Q</u>) -> (Q -> <u>R</u>) -> (     <u>R</u>)</code>
+<code>=&lt;&lt;mdnib (or m-flipbind) (<u>Q</u>) -> (Q -> <u>R</u>) -> (<u>R</u>)</code>
 
-<code>mjoin: <u><u>P</u></u> -> <u>P</u></code> 
+<code>join: <u>2<u>P</u></u> -> <u>P</u></code> 
 
-The managerie isn't quite as bewildering as you might suppose.  For
-one thing, `mcompose` and `mbind` are interdefinable: <code>u >=> k ≡
-\a. (ja >>= k)</code>.
+The managerie isn't quite as bewildering as you might suppose. Many of these will
+be interdefinable. For example, here is how `mcomp` and `mbind` are related: <code>k <=< j ≡
+\a. (j a >>= k)</code>.
 
-In most cases of interest, instances of these types will provide
+In most cases of interest, instances of these systems of functions will provide
 certain useful guarantees.
 
-*   ***Mappable*** ("functors") At the most general level, box types are *Mappable*
-if there is a `map` function defined for that box type with the type given above.
+*   ***Mappable*** (in Haskelese, "Functors") At the most general level, box types are *Mappable*
+if there is a `map` function defined for that box type with the type given above. This
+has to obey the following Map Laws:
+
+    LAWS
 
-*   ***MapNable*** ("applicatives") A Mappable box type is *MapNable*
-       if there are in addition `map2`, `mid`, and `mapply`.  (With
-       `map2` in hand, `map3`, `map4`, ... `mapN` are easily definable.)
+*   ***MapNable*** (in Haskelese, "Applicatives") A Mappable box type is *MapNable*
+       if there are in addition `map2`, `mid`, and `mapply`.  (Given either
+       of `map2` and `mapply`, you can define the other, and also `map`.
+       Moreover, with `map2` in hand, `map3`, `map4`, ... `mapN` are easily definable.) These
+have to obey the following MapN Laws:
 
-* ***Monad*** ("composables") A MapNable box type is a *Monad* if there
-       is in addition an `mcompose` and a `join` such that `mid` is 
-       a left and right identity for `mcompose`, and `mcompose` is
-       associative.  That is, the following "laws" must hold:
 
-        mcompose mid k = k
-        mcompose k mid = k
-        mcompose (mcompose j k) l = mcompose j (mcompose k l)
+* ***Monad*** (or "Composables") A MapNable box type is a *Monad* if there
+       is in addition an associative `mcomp` having `mid` as its left and
+       right identity. That is, the following Monad Laws must hold:
+
+        mcomp (mcomp j k) l (that is, (j <=< k) <=< l) = mcomp j (mcomp k l)
+        mcomp mid k (that is, mid <=< k) = k
+        mcomp k mid (that is, k <=< mid) = k
+
+If you have any of `mcomp`, `mpmoc`, `mbind`, or `join`, you can use them to define the others.
+Also, with these functions you can define `m$` and `map2` from *MapNables*. So all you really need
+are a definition of `mid`, on the one hand, and one of `mcomp`, `mbind`, or `join`, on the other.
+
+Here are some interdefinitions: TODO. Names in Haskell TODO.
+
+## Examples
 
 To take a trivial (but, as we will see, still useful) example,
-consider the identity box type Id: `α -> α`.  So if α is type Bool,
-then a boxed α is ... a Bool.  In terms of the box analogy, the
-Identity box type is a completly invisible box.  With the following
+consider the identity box type Id: `α`. So if `α` is type `bool`,
+then a boxed `α` is ... a `bool`. In terms of the box analogy, the
+Identity box type is a completely invisible box. With the following
 definitions
 
-    mid ≡ \p.p
-    mcompose ≡ \fgx.f(gx)
-
-Id is a monad.  Here is a demonstration that the laws hold:
-
-    mcompose mid k == (\fgx.f(gx)) (\p.p) k
-                   ~~> \x.(\p.p)(kx)
-                   ~~> \x.kx
-                   ~~> k
-    mcompose k mid == (\fgx.f(gx)) k (\p.p)
-                   ~~> \x.k((\p.p)x)
-                   ~~> \x.kx
-                   ~~> k
-    mcompose (mcompose j k) l == mcompose ((\fgx.f(gx)) j k) l
-                              ~~> mcompose (\x.j(kx)) l
-                              == (\fgx.f(gx)) (\x.j(kx)) l
-                              ~~> \x.(\x.j(kx))(lx)
-                              ~~> \x.j(k(lx))
-    mcompose j (mcompose k l) == mcompose j ((\fgx.f(gx)) k l)
-                              ~~> mcompose j (\x.k(lx))
-                              == (\fgx.f(gx)) j (\x.k(lx))
-                              ~~> \x.j((\x.k(lx)) x)
-                              ~~> \x.j(k(lx))
-
-Id is the favorite monad of mimes everywhere.  
+    mid ≡ \p. p
+    mcomp ≡ \f g x.f (g x)
+
+Identity is a monad.  Here is a demonstration that the laws hold:
+
+    mcomp mid k == (\fgx.f(gx)) (\p.p) k
+                ~~> \x.(\p.p)(kx)
+                ~~> \x.kx
+                ~~> k
+    mcomp k mid == (\fgx.f(gx)) k (\p.p)
+                ~~> \x.k((\p.p)x)
+                ~~> \x.kx
+                ~~> k
+    mcomp (mcomp j k) l == mcomp ((\fgx.f(gx)) j k) l
+                       ~~> mcomp (\x.j(kx)) l
+                        == (\fgx.f(gx)) (\x.j(kx)) l
+                       ~~> \x.(\x.j(kx))(lx)
+                       ~~> \x.j(k(lx))
+    mcomp j (mcomp k l) == mcomp j ((\fgx.f(gx)) k l)
+                       ~~> mcomp j (\x.k(lx))
+                        == (\fgx.f(gx)) j (\x.k(lx))
+                       ~~> \x.j((\x.k(lx)) x)
+                       ~~> \x.j(k(lx))
+
+Id is the favorite monad of mimes.
 
 To take a slightly less trivial (and even more useful) example,
-consider the box type `α List`, with the following operations:
+consider the box type `α list`, with the following operations:
 
     mid: α -> [α]
     mid a = [a]
  
-    mcompose: (β -> [γ]) -> (α -> [β]) -> (α -> [γ])
-    mcompose f g a = concat (map f (g a))
-                   = foldr (\b -> \gs -> (f b) ++ gs) [] (g a) 
-                   = [c | b <- g a, c <- f b]
+    mcomp: (β -> [γ]) -> (α -> [β]) -> (α -> [γ])
+    mcomp f g a = concat (map f (g a))
+                = foldr (\b -> \gs -> (f b) ++ gs) [] (g a) 
+                = [c | b <- g a, c <- f b]
+
+These three definitions of `mcomp` are all equivalent, and it is easy to see that they obey the monad laws (see exercises).
 
-These three definitions are all equivalent.  In words, `mcompose f g
-a` feeds the a (which has type α) to g, which returns a list of βs;
-each β in that list is fed to f, which returns a list of γs.  The
-final result is the concatenation of those lists of γs.
+In words, `mcomp f g a` feeds the `a` (which has type `α`) to `g`, which returns a list of `β`s;
+each `β` in that list is fed to `f`, which returns a list of `γ`s. The
+final result is the concatenation of those lists of `γ`s.
 
-For example, 
+For example: 
 
     let f b = [b, b+1] in
     let g a = [a*a, a+a] in
-    mcompose f g 7 = [49, 50, 14, 15]
-
-It is easy to see that these definitions obey the monad laws (see exercises).
+    mcomp f g 7 ==> [49, 50, 14, 15]
+
+`g 7` produced `[49, 14]`, which after being fed through `f` gave us `[49, 50, 14, 15]`.
+
+Contrast that to `m$` (`mapply`, which operates not on two *box-producing functions*, but instead on two *values of a boxed type*, one containing functions to be applied to the values in the other box, via some predefined scheme. Thus:
+
+    let gs = [(\a->a*a),(\a->a+a)] in
+    let xs = [7, 5] in
+    mapply gs xs ==> [49, 25, 14, 10]
+
+
+As we illustrated in class, there are clear patterns shared between lists and option types and trees, so perhaps you can see why people want to identify the general structures. But it probably isn't obvious yet why it would be useful to do so. To a large extent, this will only emerge over the next few classes. But we'll begin to demonstrate the usefulness of these patterns by talking through a simple example, that uses the Monadic functions of the Option/Maybe box type.
+
+
+Safe division
+-------------
+
+Integer division presupposes that its second argument
+(the divisor) is not zero, upon pain of presupposition failure.
+Here's what my OCaml interpreter says:
+
+    # 12/0;;
+    Exception: Division_by_zero.
+
+Say we want to explicitly allow for the possibility that
+division will return something other than a number.
+To do that, we'll use OCaml's `option` type, which works like this:
+
+    # type 'a option = None | Some of 'a;;
+    # None;;
+    - : 'a option = None
+    # Some 3;;
+    - : int option = Some 3
+
+So if a division is normal, we return some number, but if the divisor is
+zero, we return `None`. As a mnemonic aid, we'll prepend a `safe_` to the start of our new divide function.
+
+<pre>
+let safe_div (x:int) (y:int) =
+  match y with
+    | 0 -> None
+    | _ -> Some (x / y);;
+
+(*
+val safe_div : int -> int -> int option = fun
+# safe_div 12 2;;
+- : int option = Some 6
+# safe_div 12 0;;
+- : int option = None
+# safe_div (safe_div 12 2) 3;;
+# safe_div (safe_div 12 2) 3;;
+            ~~~~~~~~~~~~~
+Error: This expression has type int option
+       but an expression was expected of type int
+*)
+</pre>
+
+This starts off well: dividing 12 by 2, no problem; dividing 12 by 0,
+just the behavior we were hoping for. But we want to be able to use
+the output of the safe-division function as input for further division
+operations. So we have to jack up the types of the inputs:
+
+<pre>
+let safe_div2 (u:int option) (v:int option) =
+  match u with
+         None -> None
+       | Some x -> (match v with
+                                 Some 0 -> None
+                               | Some y -> Some (x / y));;
+
+(*
+val safe_div2 : int option -> int option -> int option = <fun>
+# safe_div2 (Some 12) (Some 2);;
+- : int option = Some 6
+# safe_div2 (Some 12) (Some 0);;
+- : int option = None
+# safe_div2 (safe_div2 (Some 12) (Some 0)) (Some 3);;
+- : int option = None
+*)
+</pre>
+
+Beautiful, just what we need: now we can try to divide by anything we
+want, without fear that we're going to trigger any system errors.
+
+I prefer to line up the `match` alternatives by using OCaml's
+built-in tuple type:
+
+<pre>
+let safe_div2 (u:int option) (v:int option) =
+  match (u, v) with
+    | (None, _) -> None
+    | (_, None) -> None
+    | (_, Some 0) -> None
+    | (Some x, Some y) -> Some (x / y);;
+</pre>
+
+So far so good. But what if we want to combine division with
+other arithmetic operations? We need to make those other operations
+aware of the possibility that one of their arguments has triggered a
+presupposition failure:
+
+<pre>
+let safe_add (u:int option) (v:int option) =
+  match (u, v) with
+    | (None, _) -> None
+    | (_, None) -> None
+    | (Some x, Some y) -> Some (x + y);;
+
+(*
+val safe_add : int option -> int option -> int option = <fun>
+# safe_add (Some 12) (Some 4);;
+- : int option = Some 16
+# safe_add (safe_div (Some 12) (Some 0)) (Some 4);;
+- : int option = None
+*)
+</pre>
+
+This works, but is somewhat disappointing: the `safe_add` operation
+doesn't trigger any presupposition of its own, so it is a shame that
+it needs to be adjusted because someone else might make trouble.
+
+But we can automate the adjustment. The standard way in OCaml,
+Haskell, and other functional programming languages, is to use the monadic
+`bind` operator, `>>=`. (The name "bind" is not well chosen from our
+perspective, but this is too deeply entrenched by now.) As mentioned above,
+there needs to be a different `>>=` operator for each Monad or box type you're working with.
+Haskell finesses this by "overloading" the single symbol `>>=`; you can just input that
+symbol and it will calculate from the context of the surrounding type constraints what
+monad you must have meant. In OCaml, the `>>=` or `bind` operator is not pre-defined, but we will
+give you a library that has definitions for all the standard monads, as in Haskell.
+For now, though, we will define our `bind` operation by hand:
+
+<pre>
+let bind (u: int option) (f: int -> (int option)) =
+  match u with
+    |  None -> None
+    | Some x -> f x;;
+
+let safe_add3 (u: int option) (v: int option) =
+  bind u (fun x -> bind v (fun y -> Some (x + y)));;
+
+(* This is really just `map2 (+)`, using the `map2` operation that corresponds to
+   definition of `bind`. *)
+
+let safe_div3 (u: int option) (v: int option) =
+  bind u (fun x -> bind v (fun y -> if 0 = y then None else Some (x / y)));;
+
+(* This goes back to some of the simplicity of the original safe_div, without the complexity
+   introduced by safe_div2. *)
+</pre>
+
+The above definitions look even simpler if you focus on the fact that `safe_add3` can be written as simply `map2 (+)`, and that `safe_div3` could be written as `u >>= fun x -> v >>= fun y -> if 0 = y then None else Some (x / y)`. Haskell has an even more user-friendly notation for this, namely:
+
+    safe_div3 :: Maybe Int -> Maybe Int -> Maybe Int
+    safe_div3 u v = do {x <- u;
+                        y <- v;
+                        if 0 == y then Nothing else return (x `div` y)}
+
+Let's see our new functions in action:
+
+<pre>
+(*
+# safe_div3 (safe_div3 (Some 12) (Some 2)) (Some 3);;
+- : int option = Some 2
+#  safe_div3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
+- : int option = None
+# safe_add3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
+- : int option = None
+*)
+</pre>
+
+Compare the new definitions of `safe_add3` and `safe_div3` closely: the definition
+for `safe_add3` shows what it looks like to equip an ordinary operation to
+survive in dangerous presupposition-filled world. Note that the new
+definition of `safe_add3` does not need to test whether its arguments are
+None objects or real numbers---those details are hidden inside of the
+`bind` function.
+
+The definition of `safe_div3` shows exactly what extra needs to be said in
+order to trigger the no-division-by-zero presupposition. Here, too, we don't
+need to keep track of what presuppositions may have already failed
+for whatever reason on our inputs.
+
+(Linguistics note: Dividing by zero is supposed to feel like a kind of
+presupposition failure. If we wanted to adapt this approach to
+building a simple account of presupposition projection, we would have
+to do several things. First, we would have to make use of the
+polymorphism of the `option` type. In the arithmetic example, we only
+made use of `int option`s, but when we're composing natural language
+expression meanings, we'll need to use types like `N option`, `Det option`,
+`VP option`, and so on. But that works automatically, because we can use
+any type for the `'a` in `'a option`. Ultimately, we'd want to have a
+theory of accommodation, and a theory of the situations in which
+material within the sentence can satisfy presuppositions for other
+material that otherwise would trigger a presupposition violation; but,
+not surprisingly, these refinements will require some more
+sophisticated techniques than the super-simple Option monad.)