topics/week7_introducing_monads.mdwn

   1 <!-- λ Λ ∀ ≡ α β γ ρ ω Ω -->
   2 <!-- Loved this one: http://www.stephendiehl.com/posts/monads.html -->
   3
   4 Introducing Monads
   5 ==================
   6
   7 The [[tradition in the functional programming
   8 literature|https://wiki.haskell.org/Monad_tutorials_timeline]] is to
   9 introduce monads using a metaphor: monads are spacesuits, monads are
  10 monsters, monads are burritos. These metaphors can be helpful, and they
  11 can be unhelpful. There's a backlash about the metaphors that tells people
  12 to instead just look at the formal definition. We'll give that to you below, but it's
  13 sometimes sloganized as
  14 [A monad is just a monoid in the category of endofunctors, what's the problem?](http://stackoverflow.com/questions/3870088).
  15 Without some intuitive guidance, this can also be unhelpful. We'll try to find a good balance.
  16
  17
  18 The closest we will come to metaphorical talk is to suggest that
  19 monadic types place values inside of *boxes*, and that monads wrap
  20 and unwrap boxes to expose or enclose the values inside of them. In
  21 any case, our emphasis will be on starting with the abstract structure
  22 of monads, followed by instances of monads from the philosophical and
  23 linguistics literature.
  24
  25 > <small>After you've read this once and are coming back to re-read it to try to digest the details further, the "endofunctors" that slogan is talking about are a combination of our boxes and their associated maps. Their "monoidal" character is captured in the Monad Laws, where a "monoid"---don't confuse with a mon*ad*---is a simpler algebraic notion, meaning a universe with some associative operation that has an identity. For advanced study, here are some further links on the relation between monads as we're working with them and monads as they appear in category theory:
  26 [1](http://en.wikipedia.org/wiki/Outline_of_category_theory)
  27 [2](http://lambda1.jimpryor.net/advanced_topics/monads_in_category_theory/)
  28 [3](http://en.wikibooks.org/wiki/Haskell/Category_theory)
  29 [4](https://wiki.haskell.org/Category_theory), where you should follow the further links discussing Functors, Natural Transformations, and Monads.</small>
  30
  31
  32 ## Box types: type expressions with one free type variable ##
  33
  34 Recall that we've been using lower-case Greek letters
  35 <code>&alpha;, &beta;, &gamma;, ...</code> as type variables. We'll
  36 use `P`, `Q`, `R`, and `S` as schematic metavariables over type expressions, that may or may not contain unbound
  37 type variables. For instance, we might have
  38
  39     P_1 ≡ int
  40     P_2 ≡ α -> α
  41     P_3 ≡ ∀α. α -> α
  42     P_4 ≡ ∀α. α -> β
  43
  44 etc.
  45
  46 A *box type* will be a type expression that contains exactly one free
  47 type variable. (You could extend this to expressions with more free variables; then you'd have
  48 to specify which one of them the box is capturing. But let's keep it simple.) Some examples (using OCaml's type conventions):
  49
  50     α option
  51     α list
  52     (α, R) tree    (assuming R contains no free type variables)
  53     (α, α) tree
  54
  55 The idea is that whatever type the free type variable `α` might be instantiated to,
  56 we will have a "type box" of a certain sort that "contains" values of type `α`. For instance,
  57 if `α list` is our box type, and `α` is the type `int`, then in this context, `int list`
  58 is the type of a boxed integer.
  59
  60 Warning: although our initial motivating examples are readily thought of as "containers" (lists, trees, and so on, with `α`s as their "elements"), with later examples we discuss it will be less natural to describe the boxed types that way. For example, where `R` is some fixed type, `R -> α` is a box type.
  61
  62 Also, for clarity: the *box type* is the type `α list` (or as we might just say, the `list` type operator); the *boxed type* is some specific instantiation of the free type variable `α`. We'll often write boxed types as a box containing what the free
  63 type variable instantiates to. So if our box type is `α list`, and `α` instantiates to the specific type `int`, we would write:
  64
  65 <code><u>int</u></code>
  66
  67 for the type of a boxed `int`.
  68
  69
  70
  71 ## Kleisli arrows ##
  72
  73 A lot of what we'll be doing concerns types that are called *Kleisli arrows*. Don't worry about why they're called that, or if you like go read some Category Theory. All we need to know is that these are functions whose type has the form:
  74
  75 <code>P -> <u>Q</u></code>
  76
  77 That is, they are functions from values of one type `P` to a boxed type `Q`, for some choice of type expressions `P` and `Q`.
  78 For instance, the following are Kleisli arrows:
  79
  80 <code>int -> <u>bool</u></code>
  81
  82 <code>int list -> <u>int list</u></code>
  83
  84 In the first, `P` has become `int` and `Q` has become `bool`. (The boxed type <code><u>Q</u></code> is <code><u>bool</u></code>).
  85
  86 Note that the left-hand schema `P` is permitted to itself be a boxed type. That is, where
  87 if `α list` is our box type, we can write the second type as:
  88
  89 <code><u>int</u> -> <u>int list</u></code>
  90
  91 As semanticists, you are no doubt familiar with the debates between those who insist that propositions are sets of worlds and those who insist they are context change potentials. We hope to show you, in coming weeks, that propositions are (certain sorts of) Kleisli arrows. But this doesn't really compete with the other proposals; it is a generalization of them. Both of the other proposed structures can be construed as specific Kleisli arrows.
  92
  93
  94 ## A family of functions for each box type ##
  95
  96 We'll need a family of functions to help us work with box types. As will become clear, these have to be defined differently for each box type.
  97
  98 Here are the types of our crucial functions, together with our pronunciation, and some other names the functions go by. (Usually the type doesn't fix their behavior, which will be discussed below.)
  99
 100 <code>map (/mæp/): (P -> Q) -> <u>P</u> -> <u>Q</u></code>
 101
 102 <code>map2 (/mæptu/): (P -> Q -> R) -> <u>P</u> -> <u>Q</u> -> <u>R</u></code>
 103
 104 <code>mid (/εmaidεnt@tI/ aka unit, return, pure): P -> <u>P</u></code>
 105
 106 <code>m$ or mapply (/εm@plai/): <u>P -> Q</u> -> <u>P</u> -> <u>Q</u></code>
 107
 108 <code>&lt;=&lt; or mcomp : (Q -> <u>R</u>) -> (P -> <u>Q</u>) -> (P -> <u>R</u>)</code>
 109
 110 <code>&gt;=&gt; (flip mcomp, should we call it mpmoc?): (P -> <u>Q</u>) -> (Q -> <u>R</u>) -> (P -> <u>R</u>)</code>
 111
 112 <code>&gt;&gt;= or mbind : (<u>Q</u>) -> (Q -> <u>R</u>) -> (<u>R</u>)</code>
 113
 114 <code>=&lt;&lt; (flip mbind, should we call it mdnib?) (Q -> <u>R</u>) -> (<u>Q</u>) -> (<u>R</u>)</code>
 115
 116 <code>join: <span class="box2">P</span> -> <u>P</u></code>
 117
 118
 119 In the class handout, we gave the types for `>=>` twice, and once was correct but the other was a typo. The above is the correct typing.
 120
 121 Haskell's name "bind" for `>>=` is not well chosen from our perspective, but this is too deeply entrenched by now. We've at least preprended an `m` to the front of it.
 122
 123 Haskell's names "return" and "pure" for `mid` are even less well chosen, and we think it will be clearer in our discussion to use a different name. (Also, in other theoretical contexts this notion goes by other names, anyway, like `unit` or `η` --- having nothing to do with `η`-reduction in the Lambda Calculus.) In the handout we called `mid` `𝟭`. But now we've decided that `mid` is better. (Think of it as "m" plus "identity", not as the start of "midway".)
 124
 125 The menagerie isn't quite as bewildering as you might suppose. Many of these will
 126 be interdefinable. For example, here is how `mcomp` and `mbind` are related: <code>k <=< j ≡
 127 \a. (j a >>= k)</code>.
 128
 129 We will move freely back and forth between using `>=>` and using `<=<` (aka `mcomp`), which
 130 is just `>=>` with its arguments flipped. `<=<` has the virtue that it corresponds more
 131 closely to the ordinary mathematical symbol `○`. But `>=>` has the virtue
 132 that its types flow more naturally from left to right.
 133
 134 These functions come together in several systems, and have to be defined in a way that coheres with the other functions in the system:
 135
 136 *   ***Mappable*** (in Haskelese, "Functors") At the most general level, box types are *Mappable*
 137 if there is a `map` function defined for that box type with the type given above. This
 138 has to obey the following Map Laws:
 139
 140     <code>map (id : α -> α) == (id : <u>α</u> -> <u>α</u>)</code>
 141     <code>map (g ○ f) == (map g) ○ (map f)</code>
 142
 143     Essentially these say that `map` is a homomorphism from the algebra of `(universe α -> β, operation ○, elsment id)` to that of <code>(<u>α</u> -> <u>β</u>, ○', id')</code>, where `○'` and `id'` are `○` and `id` restricted to arguments of type <code><u>_</u></code>. That might be hard to digest because it's so abstract. Think of the following concrete example: if you take a `α list` (that's our <code><u>α</u></code>), and apply `id` to each of its elements, that's the same as applying `id` to the list itself. That's the first law. And if you apply the composition of functions `g ○ f` to each of the list's elements, that's the same as first applying `f` to each of the elements, and then going through the elements of the resulting list and applying `g` to each of those elements. That's the second law. These laws obviously hold for our familiar notion of `map` in relation to lists.
 144
 145     > <small>As mentioned at the top of the page, in Category Theory presentations of monads they usually talk about "endofunctors", which are mappings from a Category to itself. In the uses they make of this notion, the endofunctors combine the role of a box type <code><u>_</u></code> and of the `map` that goes together with it.</small>
 146
 147
 148 *   ***MapNable*** (in Haskelese, "Applicatives") A Mappable box type is *MapNable*
 149        if there are in addition `map2`, `mid`, and `mapply`.  (Given either
 150        of `map2` and `mapply`, you can define the other, and also `map`.
 151        Moreover, with `map2` in hand, `map3`, `map4`, ... `mapN` are easily definable.) These
 152        have to obey the following MapN Laws:
 153
 154     TODO LAWS
 155
 156
 157 *   ***Monad*** (or "Composables") A MapNable box type is a *Monad* if there
 158        is in addition an associative `mcomp` having `mid` as its left and
 159        right identity. That is, the following Monad Laws must hold:
 160
 161         mcomp (mcomp j k) l (that is, (j <=< k) <=< l) == mcomp j (mcomp k l)
 162         mcomp mid k (that is, mid <=< k) == k
 163         mcomp k mid (that is, k <=< mid) == k
 164
 165     You could just as well express the Monad laws using `>=>`:
 166
 167         l >=> (k >=> j) == (l >=> k) >-> j
 168         k >=> mid == k
 169         mid >=> k == k
 170
 171     If you have any of `mcomp`, `mpmoc`, `mbind`, or `join`, you can use them to define the others. Also, with these functions you can define `m$` and `map2` from *MapNables*. So with Monads, all you really need to get the whole system of functions are a definition of `mid`, on the one hand, and one of `mcomp`, `mbind`, or `join`, on the other.
 172
 173     In practice, you will often work with `>>=`. In the Haskell manuals, they express the Monad Laws using `>>=` instead of the composition operators. This looks similar, but doesn't have the same symmetry:
 174
 175         u >>= (\a -> k a >>= j) == (u >>= k) >>= j
 176         u >>= mid == u
 177         mid a >>= k == k a
 178
 179      Also, Haskell calls `mid` `return` or `pure`, but we've stuck to our terminology in this context.
 180
 181     > <small>In Category Theory discussion, the Monad Laws are instead expressed in terms of `join` (which they call `μ`) and `mid` (which they call `η`). These are assumed to be "natural transformations" for their box type, which means that they satisfy these equations with that box type's `map`:
 182     > <pre>map f ○ mid == mid ○ f<br>map f ○ join == join ○ map (map f)</pre>
 183     > The Monad Laws then take the form:
 184     > <pre>join ○ (map join) == join ○ join<br>join ○ mid == id == join ○ map mid</pre>
 185     > Or, as the Category Theorist would state it, where `M` is the endofunctor that takes us from type `α` to type <code><u>α</u></code>:
 186     > <pre>μ ○ M(μ) == μ ○ μ<br>μ ○ η = id == μ ○ M(η)</pre></small>
 187
 188
 189 Here are some interdefinitions: TODO
 190
 191 Names in Haskell: TODO
 192
 193 ## Examples ##
 194
 195 To take a trivial (but, as we will see, still useful) example,
 196 consider the Identity box type: `α`. So if `α` is type `bool`,
 197 then a boxed `α` is ... a `bool`. That is, <code><u>α</u> = α</code>.
 198 In terms of the box analogy, the Identity box type is a completely invisible box. With the following
 199 definitions:
 200
 201     mid ≡ \p. p
 202     mcomp ≡ \f g x.f (g x)
 203
 204 Identity is a monad.  Here is a demonstration that the laws hold:
 205
 206     mcomp mid k ≡ (\fgx.f(gx)) (\p.p) k
 207               ~~> \x.(\p.p)(kx)
 208               ~~> \x.kx
 209               ~~> k
 210     mcomp k mid ≡ (\fgx.f(gx)) k (\p.p)
 211               ~~> \x.k((\p.p)x)
 212               ~~> \x.kx
 213               ~~> k
 214     mcomp (mcomp j k) l ≡ mcomp ((\fgx.f(gx)) j k) l
 215                       ~~> mcomp (\x.j(kx)) l
 216                         ≡ (\fgx.f(gx)) (\x.j(kx)) l
 217                       ~~> \x.(\x.j(kx))(lx)
 218                       ~~> \x.j(k(lx))
 219     mcomp j (mcomp k l) ≡ mcomp j ((\fgx.f(gx)) k l)
 220                       ~~> mcomp j (\x.k(lx))
 221                         ≡ (\fgx.f(gx)) j (\x.k(lx))
 222                       ~~> \x.j((\x.k(lx)) x)
 223                       ~~> \x.j(k(lx))
 224
 225 The Identity monad is favored by mimes.
 226
 227 To take a slightly less trivial (and even more useful) example,
 228 consider the box type `α list`, with the following operations:
 229
 230     mid : α -> [α]
 231     mid a = [a]
 232
 233     mcomp : (β -> [γ]) -> (α -> [β]) -> (α -> [γ])
 234     mcomp k j a = concat (map k (j a)) = List.flatten (List.map k (j a))
 235                 = foldr (\b ks -> (k b) ++ ks) [] (j a) = List.fold_right (fun b ks -> List.append (k b) ks) [] (j a)
 236                 = [c | b <- j a, c <- k b]
 237
 238 In the first two definitions of `mcomp`, we give the definition first in Haskell and then in the equivalent OCaml. The three different definitions of `mcomp` (one for each line) are all equivalent, and it is easy to show that they obey the Monad Laws. (You will do this in the homework.)
 239
 240 In words, `mcomp k j a` feeds the `a` (which has type `α`) to `j`, which returns a list of `β`s;
 241 each `β` in that list is fed to `k`, which returns a list of `γ`s. The
 242 final result is the concatenation of those lists of `γ`s.
 243
 244 For example:
 245
 246     let j a = [a*a, a+a] in
 247     let k b = [b, b+1] in
 248     mcomp k j 7 ==> [49, 50, 14, 15]
 249
 250 `j 7` produced `[49, 14]`, which after being fed through `k` gave us `[49, 50, 14, 15]`.
 251
 252 Contrast that to `m$` (`mapply`, which operates not on two *box-producing functions*, but instead on two *values of a boxed type*, one containing functions to be applied to the values in the other box, via some predefined scheme. Thus:
 253
 254     let js = [(\a->a*a),(\a->a+a)] in
 255     let xs = [7, 5] in
 256     mapply js xs ==> [49, 25, 14, 10]
 257
 258
 259 As we illustrated in class, there are clear patterns shared between lists and option types and trees, so perhaps you can see why people want to figure out the general structures. But it probably isn't obvious yet why it would be useful to do so. To a large extent, this will only emerge over the next few classes. But we'll begin to demonstrate the usefulness of these patterns by talking through a simple example, that uses the monadic functions of the Option/Maybe box type.
 260
 261
 262 ## Safe division ##
 263
 264 Integer division presupposes that its second argument
 265 (the divisor) is not zero, upon pain of presupposition failure.
 266 Here's what my OCaml interpreter says:
 267
 268     # 12/0;;
 269     Exception: Division_by_zero.
 270
 271 Say we want to explicitly allow for the possibility that
 272 division will return something other than a number.
 273 To do that, we'll use OCaml's `option` type, which works like this:
 274
 275     # type 'a option = None | Some of 'a;;
 276     # None;;
 277     - : 'a option = None
 278     # Some 3;;
 279     - : int option = Some 3
 280
 281 So if a division is normal, we return some number, but if the divisor is
 282 zero, we return `None`. As a mnemonic aid, we'll prepend a `safe_` to the start of our new divide function.
 283
 284 <pre>
 285 let safe_div (x:int) (y:int) =
 286   match y with
 287     | 0 -> None
 288     | _ -> Some (x / y);;
 289
 290 (*
 291 val safe_div : int -> int -> int option = fun
 292 # safe_div 12 2;;
 293 - : int option = Some 6
 294 # safe_div 12 0;;
 295 - : int option = None
 296 # safe_div (safe_div 12 2) 3;;
 297             ~~~~~~~~~~~~~
 298 Error: This expression has type int option
 299        but an expression was expected of type int
 300 *)
 301 </pre>
 302
 303 This starts off well: dividing `12` by `2`, no problem; dividing `12` by `0`,
 304 just the behavior we were hoping for. But we want to be able to use
 305 the output of the safe-division function as input for further division
 306 operations. So we have to jack up the types of the inputs:
 307
 308 <pre>
 309 let safe_div2 (u:int option) (v:int option) =
 310   match u with
 311   | None -> None
 312   | Some x ->
 313       (match v with
 314       | Some 0 -> None
 315       | Some y -> Some (x / y));;
 316
 317 (*
 318 val safe_div2 : int option -> int option -> int option = <fun>
 319 # safe_div2 (Some 12) (Some 2);;
 320 - : int option = Some 6
 321 # safe_div2 (Some 12) (Some 0);;
 322 - : int option = None
 323 # safe_div2 (safe_div2 (Some 12) (Some 0)) (Some 3);;
 324 - : int option = None
 325 *)
 326 </pre>
 327
 328 Calling the function now involves some extra verbosity, but it gives us what we need: now we can try to divide by anything we
 329 want, without fear that we're going to trigger system errors.
 330
 331 I prefer to line up the `match` alternatives by using OCaml's
 332 built-in tuple type:
 333
 334 <pre>
 335 let safe_div2 (u:int option) (v:int option) =
 336   match (u, v) with
 337   | (None, _) -> None
 338   | (_, None) -> None
 339   | (_, Some 0) -> None
 340   | (Some x, Some y) -> Some (x / y);;
 341 </pre>
 342
 343 So far so good. But what if we want to combine division with
 344 other arithmetic operations? We need to make those other operations
 345 aware of the possibility that one of their arguments has already triggered a
 346 presupposition failure:
 347
 348 <pre>
 349 let safe_add (u:int option) (v:int option) =
 350   match (u, v) with
 351     | (None, _) -> None
 352     | (_, None) -> None
 353     | (Some x, Some y) -> Some (x + y);;
 354
 355 (*
 356 val safe_add : int option -> int option -> int option = <fun>
 357 # safe_add (Some 12) (Some 4);;
 358 - : int option = Some 16
 359 # safe_add (safe_div (Some 12) (Some 0)) (Some 4);;
 360 - : int option = None
 361 *)
 362 </pre>
 363
 364 This works, but is somewhat disappointing: the `safe_add` operation
 365 doesn't trigger any presupposition of its own, so it is a shame that
 366 it needs to be adjusted because someone else might make trouble.
 367
 368 But we can automate the adjustment, using the monadic machinery we introduced above.
 369 As we said, there needs to be different `>>=`, `map2` and so on operations for each
 370 monad or box type we're working with.
 371 Haskell finesses this by "overloading" the single symbol `>>=`; you can just input that
 372 symbol and it will calculate from the context of the surrounding type constraints what
 373 monad you must have meant. In OCaml, the monadic operators are not pre-defined, but we will
 374 give you a library that has definitions for all the standard monads, as in Haskell.
 375 For now, though, we will define our `>>=` and `map2` operations by hand:
 376
 377 <pre>
 378 let (>>=) (u : 'a option) (j : 'a -> 'b option) : 'b option =
 379   match u with
 380     | None -> None
 381     | Some x -> j x;;
 382
 383 let map2 (f : 'a -> 'b -> 'c) (u : 'a option) (v : 'b option) : 'c option =
 384   u >>= (fun x -> v >>= (fun y -> Some (f x y)));;
 385
 386 let safe_add3 = map2 (+);;    (* that was easy *)
 387
 388 let safe_div3 (u: int option) (v: int option) =
 389   u >>= (fun x -> v >>= (fun y -> if 0 = y then None else Some (x / y)));;
 390 </pre>
 391
 392 Haskell has an even more user-friendly notation for defining `safe_div3`, namely:
 393
 394     safe_div3 :: Maybe Int -> Maybe Int -> Maybe Int
 395     safe_div3 u v = do {x <- u;
 396                         y <- v;
 397                         if 0 == y then Nothing else Just (x `div` y)}
 398
 399 Let's see our new functions in action:
 400
 401 <pre>
 402 (*
 403 # safe_div3 (safe_div3 (Some 12) (Some 2)) (Some 3);;
 404 - : int option = Some 2
 405 #  safe_div3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
 406 - : int option = None
 407 # safe_add3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
 408 - : int option = None
 409 *)
 410 </pre>
 411
 412 Compare the new definitions of `safe_add3` and `safe_div3` closely: the definition
 413 for `safe_add3` shows what it looks like to equip an ordinary operation to
 414 survive in dangerous presupposition-filled world. Note that the new
 415 definition of `safe_add3` does not need to test whether its arguments are
 416 `None` values or real numbers---those details are hidden inside of the
 417 `bind` function.
 418
 419 Note also that our definition of `safe_div3` recovers some of the simplicity of
 420 the original `safe_div`, without the complexity introduced by `safe_div2`. We now
 421 add exactly what extra is needed to track the no-division-by-zero presupposition. Here, too, we don't
 422 need to keep track of what other presuppositions may have already failed
 423 for whatever reason on our inputs.
 424
 425 (Linguistics note: Dividing by zero is supposed to feel like a kind of
 426 presupposition failure. If we wanted to adapt this approach to
 427 building a simple account of presupposition projection, we would have
 428 to do several things. First, we would have to make use of the
 429 polymorphism of the `option` type. In the arithmetic example, we only
 430 made use of `int option`s, but when we're composing natural language
 431 expression meanings, we'll need to use types like `N option`, `Det option`,
 432 `VP option`, and so on. But that works automatically, because we can use
 433 any type for the `'a` in `'a option`. Ultimately, we'd want to have a
 434 theory of accommodation, and a theory of the situations in which
 435 material within the sentence can satisfy presuppositions for other
 436 material that otherwise would trigger a presupposition violation; but,
 437 not surprisingly, these refinements will require some more
 438 sophisticated techniques than the super-simple Option/Maybe monad.)
 439