express hesitation about flipped names
[lambda.git] / topics / week7_introducing_monads.mdwn
1 <!-- λ Λ ∀ ≡ α β γ ρ ω Ω -->
2 <!-- Loved this one: http://www.stephendiehl.com/posts/monads.html -->
3
4 Introducing Monads
5 ==================
6
7 The [[tradition in the functional programming
8 literature|https://wiki.haskell.org/Monad_tutorials_timeline]] is to
9 introduce monads using a metaphor: monads are spacesuits, monads are
10 monsters, monads are burritos. These metaphors can be helpful, and they
11 can be unhelpful. There's a backlash about the metaphors that tells people
12 to instead just look at the formal definition. We'll give that to you below, but it's
13 sometimes sloganized as
14 [A monad is just a monoid in the category of endofunctors, what's the problem?](http://stackoverflow.com/questions/3870088).
15 Without some intuitive guidance, this can also be unhelpful. We'll try to find a good balance.
16
17
18 The closest we will come to metaphorical talk is to suggest that
19 monadic types place values inside of *boxes*, and that monads wrap
20 and unwrap boxes to expose or enclose the values inside of them. In
21 any case, our emphasis will be on starting with the abstract structure
22 of monads, followed by instances of monads from the philosophical and
23 linguistics literature.
24
25 > <small>After you've read this once and are coming back to re-read it to try to digest the details further, the "endofunctors" that slogan is talking about are a combination of our boxes and their associated maps. Their "monoidal" character is captured in the Monad Laws, where a "monoid"---don't confuse with a mon*ad*---is a simpler algebraic notion, meaning a universe with some associative operation that has an identity. For advanced study, here are some further links on the relation between monads as we're working with them and monads as they appear in category theory:
26 [1](http://en.wikipedia.org/wiki/Outline_of_category_theory)
27 [2](http://lambda1.jimpryor.net/advanced_topics/monads_in_category_theory/)
28 [3](http://en.wikibooks.org/wiki/Haskell/Category_theory)
29 [4](https://wiki.haskell.org/Category_theory), where you should follow the further links discussing Functors, Natural Transformations, and Monads.</small>
30
31
32 ## Box types: type expressions with one free type variable ##
33
34 Recall that we've been using lower-case Greek letters
35 <code>&alpha;, &beta;, &gamma;, ...</code> as type variables. We'll
36 use `P`, `Q`, `R`, and `S` as schematic metavariables over type expressions, that may or may not contain unbound
37 type variables. For instance, we might have
38
39     P_1 ≡ int
40     P_2 ≡ α -> α
41     P_3 ≡ ∀α. α -> α
42     P_4 ≡ ∀α. α -> β 
43
44 etc.
45
46 A *box type* will be a type expression that contains exactly one free
47 type variable. (You could extend this to expressions with more free variables; then you'd have
48 to specify which one of them the box is capturing. But let's keep it simple.) Some examples (using OCaml's type conventions):
49
50     α option
51     α list
52     (α, R) tree    (assuming R contains no free type variables)
53     (α, α) tree
54
55 The idea is that whatever type the free type variable `α` might be instantiated to,
56 we will have a "type box" of a certain sort that "contains" values of type `α`. For instance,
57 if `α list` is our box type, and `α` is the type `int`, then in this context, `int list`
58 is the type of a boxed integer.
59
60 Warning: although our initial motivating examples are readily thought of as "containers" (lists, trees, and so on, with `α`s as their "elements"), with later examples we discuss it will be less natural to describe the boxed types that way. For example, where `R` is some fixed type, `R -> α` is a box type.
61
62 Also, for clarity: the *box type* is the type `α list` (or as we might just say, the `list` type operator); the *boxed type* is some specific instantiation of the free type variable `α`. We'll often write boxed types as a box containing what the free
63 type variable instantiates to. So if our box type is `α list`, and `α` instantiates to the specific type `int`, we would write:
64
65 <code><u>int</u></code>
66
67 for the type of a boxed `int`.
68
69
70
71 ## Kleisli arrows ##
72
73 A lot of what we'll be doing concerns types that are called *Kleisli arrows*. Don't worry about why they're called that, or if you like go read some Category Theory. All we need to know is that these are functions whose type has the form:
74
75 <code>P -> <u>Q</u></code>
76
77 That is, they are functions from values of one type `P` to a boxed type `Q`, for some choice of type expressions `P` and `Q`.
78 For instance, the following are Kleisli arrows:
79
80 <code>int -> <u>bool</u></code>
81
82 <code>int list -> <u>int list</u></code>
83
84 In the first, `P` has become `int` and `Q` has become `bool`. (The boxed type <code><u>Q</u></code> is <code><u>bool</u></code>).
85
86 Note that the left-hand schema `P` is permitted to itself be a boxed type. That is, where
87 if `α list` is our box type, we can write the second type as:
88
89 <code><u>int</u> -> <u>int list</u></code>
90
91 As semanticists, you are no doubt familiar with the debates between those who insist that propositions are sets of worlds and those who insist they are context change potentials. We hope to show you, in coming weeks, that propositions are (certain sorts of) Kleisli arrows. But this doesn't really compete with the other proposals; it is a generalization of them. Both of the other proposed structures can be construed as specific Kleisli arrows.
92
93
94 ## A family of functions for each box type ##
95
96 We'll need a family of functions to help us work with box types. As will become clear, these have to be defined differently for each box type.
97
98 Here are the types of our crucial functions, together with our pronunciation, and some other names the functions go by. (Usually the type doesn't fix their behavior, which will be discussed below.)
99
100 <code>map (/mæp/): (P -> Q) -> <u>P</u> -> <u>Q</u></code>
101
102 <code>map2 (/mæptu/): (P -> Q -> R) -> <u>P</u> -> <u>Q</u> -> <u>R</u></code>
103
104 <code>mid (/εmaidεnt@tI/ aka unit, return, pure): P -> <u>P</u></code>
105
106 <code>m$ or mapply (/εm@plai/): <u>P -> Q</u> -> <u>P</u> -> <u>Q</u></code>
107
108 <code>&lt;=&lt; or mcomp : (Q -> <u>R</u>) -> (P -> <u>Q</u>) -> (P -> <u>R</u>)</code>
109
110 <code>&gt;=&gt; (flip mcomp, should we call it mpmoc?): (P -> <u>Q</u>) -> (Q -> <u>R</u>) -> (P -> <u>R</u>)</code>
111
112 <code>&gt;&gt;= or mbind : (<u>Q</u>) -> (Q -> <u>R</u>) -> (<u>R</u>)</code>
113
114 <code>=&lt;&lt; (flip mbind, should we call it mdnib?) (<u>Q</u>) -> (Q -> <u>R</u>) -> (<u>R</u>)</code>
115
116 <code>join: <span class="box2">P</span> -> <u>P</u></code> 
117
118
119 The menagerie isn't quite as bewildering as you might suppose. Many of these will
120 be interdefinable. For example, here is how `mcomp` and `mbind` are related: <code>k <=< j ≡
121 \a. (j a >>= k)</code>.
122
123 In most cases of interest, instances of these systems of functions will provide
124 certain useful guarantees.
125
126 *   ***Mappable*** (in Haskelese, "Functors") At the most general level, box types are *Mappable*
127 if there is a `map` function defined for that box type with the type given above. This
128 has to obey the following Map Laws:
129
130     TODO LAWS
131
132 *   ***MapNable*** (in Haskelese, "Applicatives") A Mappable box type is *MapNable*
133        if there are in addition `map2`, `mid`, and `mapply`.  (Given either
134        of `map2` and `mapply`, you can define the other, and also `map`.
135        Moreover, with `map2` in hand, `map3`, `map4`, ... `mapN` are easily definable.) These
136        have to obey the following MapN Laws:
137
138     TODO LAWS
139
140
141 * ***Monad*** (or "Composables") A MapNable box type is a *Monad* if there
142        is in addition an associative `mcomp` having `mid` as its left and
143        right identity. That is, the following Monad Laws must hold:
144
145         mcomp (mcomp j k) l (that is, (j <=< k) <=< l) = mcomp j (mcomp k l)
146         mcomp mid k (that is, mid <=< k) = k
147         mcomp k mid (that is, k <=< mid) = k
148
149 If you have any of `mcomp`, `mpmoc`, `mbind`, or `join`, you can use them to define the others.
150 Also, with these functions you can define `m$` and `map2` from *MapNables*. So all you really need
151 are a definition of `mid`, on the one hand, and one of `mcomp`, `mbind`, or `join`, on the other.
152
153 Here are some interdefinitions: TODO
154
155 Names in Haskell: TODO
156
157 The name "bind" is not well chosen from our perspective, but this is too deeply entrenched by now.
158
159 ## Examples ##
160
161 To take a trivial (but, as we will see, still useful) example,
162 consider the Identity box type: `α`. So if `α` is type `bool`,
163 then a boxed `α` is ... a `bool`. That is, <code><u>α</u> = α</code>.
164 In terms of the box analogy, the Identity box type is a completely invisible box. With the following
165 definitions:
166
167     mid ≡ \p. p
168     mcomp ≡ \f g x.f (g x)
169
170 Identity is a monad.  Here is a demonstration that the laws hold:
171
172     mcomp mid k ≡ (\fgx.f(gx)) (\p.p) k
173               ~~> \x.(\p.p)(kx)
174               ~~> \x.kx
175               ~~> k
176     mcomp k mid ≡ (\fgx.f(gx)) k (\p.p)
177               ~~> \x.k((\p.p)x)
178               ~~> \x.kx
179               ~~> k
180     mcomp (mcomp j k) l ≡ mcomp ((\fgx.f(gx)) j k) l
181                       ~~> mcomp (\x.j(kx)) l
182                         ≡ (\fgx.f(gx)) (\x.j(kx)) l
183                       ~~> \x.(\x.j(kx))(lx)
184                       ~~> \x.j(k(lx))
185     mcomp j (mcomp k l) ≡ mcomp j ((\fgx.f(gx)) k l)
186                       ~~> mcomp j (\x.k(lx))
187                         ≡ (\fgx.f(gx)) j (\x.k(lx))
188                       ~~> \x.j((\x.k(lx)) x)
189                       ~~> \x.j(k(lx))
190
191 The Identity monad is favored by mimes.
192
193 To take a slightly less trivial (and even more useful) example,
194 consider the box type `α list`, with the following operations:
195
196     mid: α -> [α]
197     mid a = [a]
198  
199     mcomp: (β -> [γ]) -> (α -> [β]) -> (α -> [γ])
200     mcomp f g a = concat (map f (g a))
201                 = foldr (\b -> \gs -> (f b) ++ gs) [] (g a) 
202                 = [c | b <- g a, c <- f b]
203
204 The last three definitions of `mcomp` are all equivalent, and it is easy to see that they obey the monad laws (see exercises TODO).
205
206 In words, `mcomp f g a` feeds the `a` (which has type `α`) to `g`, which returns a list of `β`s;
207 each `β` in that list is fed to `f`, which returns a list of `γ`s. The
208 final result is the concatenation of those lists of `γ`s.
209
210 For example: 
211
212     let f b = [b, b+1] in
213     let g a = [a*a, a+a] in
214     mcomp f g 7 ==> [49, 50, 14, 15]
215
216 `g 7` produced `[49, 14]`, which after being fed through `f` gave us `[49, 50, 14, 15]`.
217
218 Contrast that to `m$` (`mapply`, which operates not on two *box-producing functions*, but instead on two *values of a boxed type*, one containing functions to be applied to the values in the other box, via some predefined scheme. Thus:
219
220     let gs = [(\a->a*a),(\a->a+a)] in
221     let xs = [7, 5] in
222     mapply gs xs ==> [49, 25, 14, 10]
223
224
225 As we illustrated in class, there are clear patterns shared between lists and option types and trees, so perhaps you can see why people want to identify the general structures. But it probably isn't obvious yet why it would be useful to do so. To a large extent, this will only emerge over the next few classes. But we'll begin to demonstrate the usefulness of these patterns by talking through a simple example, that uses the monadic functions of the Option/Maybe box type.
226
227
228 ## Safe division ##
229
230 Integer division presupposes that its second argument
231 (the divisor) is not zero, upon pain of presupposition failure.
232 Here's what my OCaml interpreter says:
233
234     # 12/0;;
235     Exception: Division_by_zero.
236
237 Say we want to explicitly allow for the possibility that
238 division will return something other than a number.
239 To do that, we'll use OCaml's `option` type, which works like this:
240
241     # type 'a option = None | Some of 'a;;
242     # None;;
243     - : 'a option = None
244     # Some 3;;
245     - : int option = Some 3
246
247 So if a division is normal, we return some number, but if the divisor is
248 zero, we return `None`. As a mnemonic aid, we'll prepend a `safe_` to the start of our new divide function.
249
250 <pre>
251 let safe_div (x:int) (y:int) =
252   match y with
253     | 0 -> None
254     | _ -> Some (x / y);;
255
256 (*
257 val safe_div : int -> int -> int option = fun
258 # safe_div 12 2;;
259 - : int option = Some 6
260 # safe_div 12 0;;
261 - : int option = None
262 # safe_div (safe_div 12 2) 3;;
263             ~~~~~~~~~~~~~
264 Error: This expression has type int option
265        but an expression was expected of type int
266 *)
267 </pre>
268
269 This starts off well: dividing `12` by `2`, no problem; dividing `12` by `0`,
270 just the behavior we were hoping for. But we want to be able to use
271 the output of the safe-division function as input for further division
272 operations. So we have to jack up the types of the inputs:
273
274 <pre>
275 let safe_div2 (u:int option) (v:int option) =
276   match u with
277   | None -> None
278   | Some x ->
279       (match v with
280       | Some 0 -> None
281       | Some y -> Some (x / y));;
282
283 (*
284 val safe_div2 : int option -> int option -> int option = <fun>
285 # safe_div2 (Some 12) (Some 2);;
286 - : int option = Some 6
287 # safe_div2 (Some 12) (Some 0);;
288 - : int option = None
289 # safe_div2 (safe_div2 (Some 12) (Some 0)) (Some 3);;
290 - : int option = None
291 *)
292 </pre>
293
294 Calling the function now involves some extra verbosity, but it gives us what we need: now we can try to divide by anything we
295 want, without fear that we're going to trigger system errors.
296
297 I prefer to line up the `match` alternatives by using OCaml's
298 built-in tuple type:
299
300 <pre>
301 let safe_div2 (u:int option) (v:int option) =
302   match (u, v) with
303   | (None, _) -> None
304   | (_, None) -> None
305   | (_, Some 0) -> None
306   | (Some x, Some y) -> Some (x / y);;
307 </pre>
308
309 So far so good. But what if we want to combine division with
310 other arithmetic operations? We need to make those other operations
311 aware of the possibility that one of their arguments has already triggered a
312 presupposition failure:
313
314 <pre>
315 let safe_add (u:int option) (v:int option) =
316   match (u, v) with
317     | (None, _) -> None
318     | (_, None) -> None
319     | (Some x, Some y) -> Some (x + y);;
320
321 (*
322 val safe_add : int option -> int option -> int option = <fun>
323 # safe_add (Some 12) (Some 4);;
324 - : int option = Some 16
325 # safe_add (safe_div (Some 12) (Some 0)) (Some 4);;
326 - : int option = None
327 *)
328 </pre>
329
330 This works, but is somewhat disappointing: the `safe_add` operation
331 doesn't trigger any presupposition of its own, so it is a shame that
332 it needs to be adjusted because someone else might make trouble.
333
334 But we can automate the adjustment, using the monadic machinery we introduced above.
335 As we said, there needs to be different `>>=`, `map2` and so on operations for each
336 monad or box type we're working with.
337 Haskell finesses this by "overloading" the single symbol `>>=`; you can just input that
338 symbol and it will calculate from the context of the surrounding type constraints what
339 monad you must have meant. In OCaml, the monadic operators are not pre-defined, but we will
340 give you a library that has definitions for all the standard monads, as in Haskell.
341 For now, though, we will define our `>>=` and `map2` operations by hand:
342
343 <pre>
344 let (>>=) (u : 'a option) (j : 'a -> 'b option) : 'b option =
345   match u with
346     | None -> None
347     | Some x -> j x;;
348
349 let map2 (f : 'a -> 'b -> 'c) (u : 'a option) (v : 'b option) : 'c option =
350   u >>= (fun x -> v >>= (fun y -> Some (f x y)));;
351
352 let safe_add3 = map2 (+);;    (* that was easy *)
353
354 let safe_div3 (u: int option) (v: int option) =
355   u >>= (fun x -> v >>= (fun y -> if 0 = y then None else Some (x / y)));;
356 </pre>
357
358 Haskell has an even more user-friendly notation for defining `safe_div3`, namely:
359
360     safe_div3 :: Maybe Int -> Maybe Int -> Maybe Int
361     safe_div3 u v = do {x <- u;
362                         y <- v;
363                         if 0 == y then Nothing else Just (x `div` y)}
364
365 Let's see our new functions in action:
366
367 <pre>
368 (*
369 # safe_div3 (safe_div3 (Some 12) (Some 2)) (Some 3);;
370 - : int option = Some 2
371 #  safe_div3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
372 - : int option = None
373 # safe_add3 (safe_div3 (Some 12) (Some 0)) (Some 3);;
374 - : int option = None
375 *)
376 </pre>
377
378 Compare the new definitions of `safe_add3` and `safe_div3` closely: the definition
379 for `safe_add3` shows what it looks like to equip an ordinary operation to
380 survive in dangerous presupposition-filled world. Note that the new
381 definition of `safe_add3` does not need to test whether its arguments are
382 `None` values or real numbers---those details are hidden inside of the
383 `bind` function.
384
385 Note also that our definition of `safe_div3` recovers some of the simplicity of
386 the original `safe_div`, without the complexity introduced by `safe_div2`. We now
387 add exactly what extra is needed to track the no-division-by-zero presupposition. Here, too, we don't
388 need to keep track of what other presuppositions may have already failed
389 for whatever reason on our inputs.
390
391 (Linguistics note: Dividing by zero is supposed to feel like a kind of
392 presupposition failure. If we wanted to adapt this approach to
393 building a simple account of presupposition projection, we would have
394 to do several things. First, we would have to make use of the
395 polymorphism of the `option` type. In the arithmetic example, we only
396 made use of `int option`s, but when we're composing natural language
397 expression meanings, we'll need to use types like `N option`, `Det option`,
398 `VP option`, and so on. But that works automatically, because we can use
399 any type for the `'a` in `'a option`. Ultimately, we'd want to have a
400 theory of accommodation, and a theory of the situations in which
401 material within the sentence can satisfy presuppositions for other
402 material that otherwise would trigger a presupposition violation; but,
403 not surprisingly, these refinements will require some more
404 sophisticated techniques than the super-simple Option/Maybe monad.)
405