1 [[!toc]]
5 -----------------------------
7 [This section used to be near the end of the lecture notes for week 6]
9 We begin by reasoning about what should happen when someone tries to
10 divide by zero.  This will lead us to a general programming technique
11 called a *monad*, which we'll see in many guises in the weeks to come.
13 Integer division presupposes that its second argument
14 (the divisor) is not zero, upon pain of presupposition failure.
15 Here's what my OCaml interpreter says:
17     # 12/0;;
18     Exception: Division_by_zero.
20 So we want to explicitly allow for the possibility that
21 division will return something other than a number.
22 We'll use OCaml's `option` type, which works like this:
24     # type 'a option = None | Some of 'a;;
25     # None;;
26     - : 'a option = None
27     # Some 3;;
28     - : int option = Some 3
30 So if a division is normal, we return some number, but if the divisor is
31 zero, we return `None`. As a mnemonic aid, we'll append a `'` to the end of our new divide function.
33 <pre>
34 let div' (x:int) (y:int) =
35   match y with
36           0 -> None
37     | _ -> Some (x / y);;
39 (*
40 val div' : int -> int -> int option = fun
41 # div' 12 2;;
42 - : int option = Some 6
43 # div' 12 0;;
44 - : int option = None
45 # div' (div' 12 2) 3;;
46 Characters 4-14:
47   div' (div' 12 2) 3;;
48         ^^^^^^^^^^
49 Error: This expression has type int option
50        but an expression was expected of type int
51 *)
52 </pre>
54 This starts off well: dividing 12 by 2, no problem; dividing 12 by 0,
55 just the behavior we were hoping for.  But we want to be able to use
56 the output of the safe-division function as input for further division
57 operations.  So we have to jack up the types of the inputs:
59 <pre>
60 let div' (u:int option) (v:int option) =
61   match v with
62           None -> None
63     | Some 0 -> None
64         | Some y -> (match u with
65                                           None -> None
66                     | Some x -> Some (x / y));;
68 (*
69 val div' : int option -> int option -> int option = <fun>
70 # div' (Some 12) (Some 2);;
71 - : int option = Some 6
72 # div' (Some 12) (Some 0);;
73 - : int option = None
74 # div' (div' (Some 12) (Some 0)) (Some 3);;
75 - : int option = None
76 *)
77 </pre>
79 Beautiful, just what we need: now we can try to divide by anything we
80 want, without fear that we're going to trigger any system errors.
82 I prefer to line up the `match` alternatives by using OCaml's
83 built-in tuple type:
85 <pre>
86 let div' (u:int option) (v:int option) =
87   match (u, v) with
88           (None, _) -> None
89     | (_, None) -> None
90     | (_, Some 0) -> None
91         | (Some x, Some y) -> Some (x / y);;
92 </pre>
94 So far so good.  But what if we want to combine division with
95 other arithmetic operations?  We need to make those other operations
96 aware of the possibility that one of their arguments has triggered a
97 presupposition failure:
99 <pre>
100 let add' (u:int option) (v:int option) =
101   match (u, v) with
102           (None, _) -> None
103     | (_, None) -> None
104     | (Some x, Some y) -> Some (x + y);;
106 (*
107 val add' : int option -> int option -> int option = <fun>
108 # add' (Some 12) (Some 4);;
109 - : int option = Some 16
110 # add' (div' (Some 12) (Some 0)) (Some 4);;
111 - : int option = None
112 *)
113 </pre>
115 This works, but is somewhat disappointing: the `add'` operation
116 doesn't trigger any presupposition of its own, so it is a shame that
117 it needs to be adjusted because someone else might make trouble.
119 But we can automate the adjustment.  The standard way in OCaml,
120 Haskell, etc., is to define a `bind` operator (the name `bind` is not
121 well chosen to resonate with linguists, but what can you do). To continue our mnemonic association, we'll put a `'` after the name "bind" as well.
123 <pre>
124 let bind' (u: int option) (f: int -> (int option)) =
125   match u with
126           None -> None
127     | Some x -> f x;;
129 let add' (u: int option) (v: int option)  =
130   bind' u (fun x -> bind' v (fun y -> Some (x + y)));;
132 let div' (u: int option) (v: int option) =
133   bind' u (fun x -> bind' v (fun y -> if (0 = y) then None else Some (x / y)));;
135 (*
136 #  div' (div' (Some 12) (Some 2)) (Some 3);;
137 - : int option = Some 2
138 #  div' (div' (Some 12) (Some 0)) (Some 3);;
139 - : int option = None
140 # add' (div' (Some 12) (Some 0)) (Some 3);;
141 - : int option = None
142 *)
143 </pre>
145 Compare the new definitions of `add'` and `div'` closely: the definition
146 for `add'` shows what it looks like to equip an ordinary operation to
147 survive in dangerous presupposition-filled world.  Note that the new
148 definition of `add'` does not need to test whether its arguments are
149 None objects or real numbers---those details are hidden inside of the
150 `bind'` function.
152 The definition of `div'` shows exactly what extra needs to be said in
153 order to trigger the no-division-by-zero presupposition.
155 [Linguitics note: Dividing by zero is supposed to feel like a kind of
156 presupposition failure.  If we wanted to adapt this approach to
157 building a simple account of presupposition projection, we would have
158 to do several things.  First, we would have to make use of the
159 polymorphism of the `option` type.  In the arithmetic example, we only
160 made use of `int option`s, but when we're composing natural language
161 expression meanings, we'll need to use types like `N option`, `Det option`,
162 `VP option`, and so on.  But that works automatically, because we can use
163 any type for the `'a` in `'a option`.  Ultimately, we'd want to have a
164 theory of accommodation, and a theory of the situations in which
165 material within the sentence can satisfy presuppositions for other
166 material that otherwise would trigger a presupposition violation; but,
167 not surprisingly, these refinements will require some more
168 sophisticated techniques than the super-simple option monad.]
172 -----------------
174 We've just seen a way to separate thinking about error conditions
175 (such as trying to divide by zero) from thinking about normal
176 arithmetic computations.  We did this by making use of the `option`
177 type: in each place where we had something of type `int`, we put
178 instead something of type `int option`, which is a sum type consisting
179 either of one choice with an `int` payload, or else a `None` choice
180 which we interpret as signaling that something has gone wrong.
182 The goal was to make normal computing as convenient as possible: when
183 we're adding or multiplying, we don't have to worry about generating
184 any new errors, so we would rather not think about the difference
185 between `int`s and `int option`s.  We tried to accomplish this by
186 defining a `bind` operator, which enabled us to peel away the `option`
187 husk to get at the delicious integer inside.  There was also a
188 homework problem which made this even more convenient by defining a
189 `lift` operator that mapped any binary operation on plain integers
190 into a lifted operation that understands how to deal with `int
191 option`s in a sensible way.
193 So what exactly is a monad?  We can consider a monad to be a system
194 that provides at least the following three elements:
196 *       A complex type that's built around some more basic type. Usually
197         the complex type will be polymorphic, and so can apply to different basic types.
198         In our division example, the polymorphism of the `'a option` type
199         provides a way of building an option out of any other type of object.
200         People often use a container metaphor: if `u` has type `int option`,
201         then `u` is a box that (may) contain an integer.
203                 type 'a option = None | Some of 'a;;
205 *       A way to turn an ordinary value into a monadic value.  In OCaml, we
206         did this for any integer `x` by mapping it to
207         the option `Some x`.  In the general case, this operation is
208         known as `unit` or `return.` Both of those names are terrible. This
209         operation is only very loosely connected to the `unit` type we were
210         discussing earlier (whose value is written `()`). It's also only
211         very loosely connected to the "return" keyword in many other
212         programming languages like C. But these are the names that the literature
213         uses.  [The rationale for "unit" comes from the monad laws
214         (see below), where the unit function serves as an identity,
215         just like the unit number (i.e., 1) serves as the identity
216         object for multiplication.  The rationale for "return" comes
217         from a misguided desire to resonate with C programmers and
218         other imperative types.]
220         The unit/return operation is a way of lifting an ordinary object into
221         the monadic box you've defined, in the simplest way possible. You can think
222         of the singleton function as an example: it takes an ordinary object
223         and returns a set containing that object. In the example we've been
224         considering:
226                 let unit x = Some x;;
227                 val unit : 'a -> 'a option = <fun>
229         So `unit` is a way to put something inside of a monadic box. It's crucial
230         to the usefulness of monads that there will be monadic boxes that
231         aren't the result of that operation. In the option/maybe monad, for
232         instance, there's also the empty box `None`. In another (whimsical)
233         example, you might have, in addition to boxes merely containing integers,
234         special boxes that contain integers and also sing a song when they're opened.
236         The unit/return operation will always be the simplest, conceptually
237         most straightforward way to lift an ordinary value into a monadic value
238         of the monadic type in question.
240 *       Thirdly, an operation that's often called `bind`. This is another
241         unfortunate name: this operation is only very loosely connected to
242         what linguists usually mean by "binding." In our option/maybe monad, the
243         bind operation is:
245                 let bind u f = match u with None -> None | Some x -> f x;;
246                 val bind : 'a option -> ('a -> 'b option) -> 'b option = <fun>
248         Note the type: `bind` takes two arguments: first, a monadic box
249         (in this case, an `'a option`); and second, a function from
251         value: in this case, a `'b option` (you can start with, e.g., `int option`s
252         and end with `bool option`s).
254         Intuitively, the interpretation of what `bind` does is this:
255         the first argument is a monadic value `u`, which
256         evaluates to a box that (maybe) contains some ordinary value, call it `x`.
257         Then the second argument uses `x` to compute a new monadic
258         value.  Conceptually, then, we have
260                 let bind u f = (let x = unbox u in f x);;
262         The guts of the definition of the `bind` operation amount to
263         specifying how to unbox the monadic value `u`.  In the `bind`
264         operator for the option monad, we unboxed the monadic value by
265         matching it with the pattern `Some x`---whenever `u`
266         happened to be a box containing an integer `x`, this allowed us to
267         get our hands on that `x` and feed it to `f`.
269         If the monadic box didn't contain any ordinary value,
270         we instead pass through the empty box unaltered.
272         In a more complicated case, like our whimsical "singing box" example
273         from before, if the monadic value happened to be a singing box
274         containing an integer `x`, then the `bind` operation would probably
275         be defined so as to make sure that the result of `f x` was also
276         a singing box. If `f` also wanted to insert a song, you'd have to decide
277         whether both songs would be carried through, or only one of them.
278         (Are you beginning to realize how wierd and wonderful monads
279         can be?)
281         There is no single `bind` function that dictates how this must go.
282         For each new monadic type, this has to be worked out in an
283         useful way.
285 So the "option/maybe monad" consists of the polymorphic `option` type, the
286 `unit`/return function, and the `bind` function.
289 A note on notation: Haskell uses the infix operator `>>=` to stand for
290 `bind`: wherever you see `u >>= f`, that means `bind u f`.
293 Also, if you ever see this notation:
295         do
296                 x <- u
297                 f x
299 That's a Haskell shorthand for `u >>= (\x -> f x)`, that is, `bind u f`.
300 Similarly:
302         do
303                 x <- u
304                 y <- v
305                 f x y
307 is shorthand for `u >>= (\x -> v >>= (\y -> f x y))`, that is, `bind u
308 (fun x -> bind v (fun y -> f x y))`. Those who did last week's
309 homework may recognize this last expression.  You can think of the
310 notation like this: take the singing box `u` and evaluate it (which
311 includes listening to the song).  Take the int contained in the
312 singing box (the end result of evaluting `u`) and bind the variable
313 `x` to that int.  So `x <- u` means "Sing me up an int, which I'll call
314 `x`".
316 (Note that the above "do" notation comes from Haskell. We're mentioning it here
318 OCaml. In fact, the `<-` symbol already means something different in OCaml,
319 having to do with mutable record fields. We'll be discussing mutation someday
320 soon.)
322 As we proceed, we'll be seeing a variety of other monad systems. For example, another monad is the list monad. Here the monadic type is:
324         # type 'a list
326 The `unit`/return operation is:
328         # let unit x = [x];;
329         val unit : 'a -> 'a list = <fun>
331 That is, the simplest way to lift an `'a` into an `'a list` is just to make a
332 singleton list of that `'a`. Finally, the `bind` operation is:
334         # let bind u f = List.concat (List.map f u);;
335         val bind : 'a list -> ('a -> 'b list) -> 'b list = <fun>
337 What's going on here? Well, consider `List.map f u` first. This goes through all
338 the members of the list `u`. There may be just a single member, if `u = unit x`
339 for some `x`. Or on the other hand, there may be no members, or many members. In
340 any case, we go through them in turn and feed them to `f`. Anything that gets fed
341 to `f` will be an `'a`. `f` takes those values, and for each one, returns a `'b list`.
342 For example, it might return a list of all that value's divisors. Then we'll
343 have a bunch of `'b list`s. The surrounding `List.concat ( )` converts that bunch
344 of `'b list`s into a single `'b list`:
346         # List.concat [; [1;2]; [1;3]; [1;2;4]]
347         - : int list = [1; 1; 2; 1; 3; 1; 2; 4]
350 monadic system, there has to be a specification of the complex monad type,
351 which will be parameterized on some simpler type `'a`, and the `unit`/return
352 operation, and the `bind` operation. These will be different for different
355 Many monadic systems will also define special-purpose operations that only make
356 sense for that system.
358 Although the `unit` and `bind` operation are defined differently for different
359 monadic systems, there are some general rules they always have to follow.
363 --------------
365 Just like good robots, monads must obey three laws designed to prevent
366 them from hurting the people that use them or themselves.
368 *       **Left identity: unit is a left identity for the bind operation.**
369         That is, for all `f:'a -> 'a m`, where `'a m` is a monadic
370         type, we have `(unit x) >>= f == f x`.  For instance, `unit` is itself
371         a function of type `'a -> 'a m`, so we can use it for `f`:
373                 # let unit x = Some x;;
374                 val unit : 'a -> 'a option = <fun>
375                 # let ( >>= ) u f = match u with None -> None | Some x -> f x;;
376                 val ( >>= ) : 'a option -> ('a -> 'b option) -> 'b option = <fun>
378         The parentheses is the magic for telling OCaml that the
379         function to be defined (in this case, the name of the function
380         is `>>=`, pronounced "bind") is an infix operator, so we write
381         `u >>= f` or equivalently `( >>= ) u f` instead of `>>= u f`. Now:
383                 # unit 2;;
384                 - : int option = Some 2
385                 # unit 2 >>= unit;;
386                 - : int option = Some 2
388                 # let divide x y = if 0 = y then None else Some (x/y);;
389                 val divide : int -> int -> int option = <fun>
390                 # divide 6 2;;
391                 - : int option = Some 3
392                 # unit 2 >>= divide 6;;
393                 - : int option = Some 3
395                 # divide 6 0;;
396                 - : int option = None
397                 # unit 0 >>= divide 6;;
398                 - : int option = None
401 *       **Associativity: bind obeys a kind of associativity**. Like this:
403                 (u >>= f) >>= g == u >>= (fun x -> f x >>= g)
405         If you don't understand why the lambda form is necessary (the "fun
406         x" part), you need to look again at the type of `bind`.
408         Some examples of associativity in the option monad:
410                 # Some 3 >>= unit >>= unit;;
411                 - : int option = Some 3
412                 # Some 3 >>= (fun x -> unit x >>= unit);;
413                 - : int option = Some 3
415                 # Some 3 >>= divide 6 >>= divide 2;;
416                 - : int option = Some 1
417                 # Some 3 >>= (fun x -> divide 6 x >>= divide 2);;
418                 - : int option = Some 1
420                 # Some 3 >>= divide 2 >>= divide 6;;
421                 - : int option = None
422                 # Some 3 >>= (fun x -> divide 2 x >>= divide 6);;
423                 - : int option = None
425 Of course, associativity must hold for *arbitrary* functions of
426 type `'a -> 'a m`, where `m` is the monad type.  It's easy to
427 convince yourself that the `bind` operation for the option monad
428 obeys associativity by dividing the inputs into cases: if `u`
429 matches `None`, both computations will result in `None`; if
430 `u` matches `Some x`, and `f x` evalutes to `None`, then both
431 computations will again result in `None`; and if the value of
432 `f x` matches `Some y`, then both computations will evaluate
433 to `g y`.
435 *       **Right identity: unit is a right identity for bind.**  That is,
436         `u >>= unit == u` for all monad objects `u`.  For instance,
438                 # Some 3 >>= unit;;
439                 - : int option = Some 3
440                 # None >>= unit;;
441                 - : 'a option = None
445 -------------------------
447 If you studied algebra, you'll remember that a *monoid* is an
448 associative operation with a left and right identity.  For instance,
449 the natural numbers along with multiplication form a monoid with 1
450 serving as the left and right identity.  That is, temporarily using
451 `*` to mean arithmetic multiplication, `1 * u == u == u * 1` for all
452 `u`, and `(u * v) * w == u * (v * w)` for all `u`, `v`, and `w`.  As
453 presented here, a monad is not exactly a monoid, because (unlike the
454 arguments of a monoid operation) the two arguments of the bind are of
455 different types.  But it's possible to make the connection between
456 monads and monoids much closer. This is discussed in [Monads in Category
460 Here are some papers that introduced monads into functional programming:
462 *       [Eugenio Moggi, Notions of Computation and Monads](http://www.disi.unige.it/person/MoggiE/ftp/ic91.pdf): Information and Computation 93 (1) 1991.
465 in M. Broy, editor, *Marktoberdorf Summer School on Program Design
466 Calculi*, Springer Verlag, NATO ASI Series F: Computer and systems
467 sciences, Volume 118, August 1992. Also in J. Jeuring and E. Meijer,
468 editors, *Advanced Functional Programming*, Springer Verlag,
469 LNCS 925, 1995. Some errata fixed August 2001.  This paper has a great first
470 line: **Shall I be pure, or impure?**
471 <!--    The use of monads to structure functional programs is described. Monads provide a convenient framework for simulating effects found in other languages, such as global state, exception handling, output, or non-determinism. Three case studies are looked at in detail: how monads ease the modification of a simple evaluator; how monads act as the basis of a datatype of arrays subject to in-place update; and how monads can be used to build parsers.-->
474 invited talk, *19'th Symposium on Principles of Programming Languages*, ACM Press, Albuquerque, January 1992.
475 <!--    This paper explores the use monads to structure functional programs. No prior knowledge of monads or category theory is required.
476         Monads increase the ease with which programs may be modified. They can mimic the effect of impure features such as exceptions, state, and continuations; and also provide effects not easily achieved with such features. The types of a program reflect which effects occur.
477         The first section is an extended example of the use of monads. A simple interpreter is modified to support various extra features: error messages, state, output, and non-deterministic choice. The second section describes the relation between monads and continuation-passing style. The third section sketches how monads are used in a compiler for Haskell that is written in Haskell.-->
479 *       [Daniel Friedman. A Schemer's View of Monads](/schemersviewofmonads.ps): from <https://www.cs.indiana.edu/cgi-pub/c311/doku.php?id=home> but the link above is to a local copy.
481 There's a long list of monad tutorials on the [[Offsite Reading]] page. Skimming the titles makes me laugh.
483 In the presentation we gave above---which follows the functional programming conventions---we took `unit`/return and `bind` as the primitive operations. From these a number of other general monad operations can be derived. It's also possible to take some of the others as primitive. The [Monads in Category
486 Here are some of the other general monad operations. You don't have to master these; they're collected here for your reference.
488 You may sometimes see:
490         u >> v
492 That just means:
494         u >>= fun _ -> v
496 that is:
498         bind u (fun _ -> v)
500 You could also do `bind u (fun x -> v)`; we use the `_` for the function argument to be explicit that that argument is never going to be used.
502 The `lift` operation we asked you to define for last week's homework is a common operation. The second argument to `bind` converts `'a` values into `'b m` values---that is, into instances of the monadic type. What if we instead had a function that merely converts `'a` values into `'b` values, and we want to use it with our monadic type. Then we "lift" that function into an operation on the monad. For example:
504         # let even x = (x mod 2 = 0);;
505         val g : int -> bool = <fun>
507 `even` has the type `int -> bool`. Now what if we want to convert it into an operation on the option/maybe monad?
509         # let lift g = fun u -> bind u (fun x -> Some (g x));;
510         val lift : ('a -> 'b) -> 'a option -> 'b option = <fun>
512 `lift even` will now be a function from `int option`s to `bool option`s. We can
513 also define a lift operation for binary functions:
515         # let lift2 g = fun u v -> bind u (fun x -> bind v (fun y -> Some (g x y)));;
516         val lift2 : ('a -> 'b -> 'c) -> 'a option -> 'b option -> 'c option = <fun>
518 `lift2 (+)` will now be a function from `int option`s  and `int option`s to `int option`s. This should look familiar to those who did the homework.
520 The `lift` operation (just `lift`, not `lift2`) is sometimes also called the `map` operation. (In Haskell, they say `fmap` or `<\$>`.) And indeed when we're working with the list monad, `lift f` is exactly `List.map f`!
522 Wherever we have a well-defined monad, we can define a lift/map operation for that monad. The examples above used `Some (g x)` and so on; in the general case we'd use `unit (g x)`, using the specific `unit` operation for the monad we're working with.
524 In general, any lift/map operation can be relied on to satisfy these laws:
526         * lift id = id
527         * lift (compose f g) = compose (lift f) (lift g)
529 where `id` is `fun x -> x` and `compose f g` is `fun x -> f (g x)`. If you think about the special case of the map operation on lists, this should make sense. `List.map id lst` should give you back `lst` again. And you'd expect these
530 two computations to give the same result:
532         List.map (fun x -> f (g x)) lst
533         List.map f (List.map g lst)
535 Another general monad operation is called `ap` in Haskell---short for "apply." (They also use `<*>`, but who can remember that?) This works like this:
537         ap [f] [x; y] = [f x; f y]
538         ap (Some f) (Some x) = Some (f x)
540 and so on. Here are the laws that any `ap` operation can be relied on to satisfy:
542         ap (unit id) u = u
543         ap (ap (ap (unit compose) u) v) w = ap u (ap v w)
544         ap (unit f) (unit x) = unit (f x)
545         ap u (unit x) = ap (unit (fun f -> f x)) u
547 Another general monad operation is called `join`. This is the operation that takes you from an iterated monad to a single monad. Remember when we were explaining the `bind` operation for the list monad, there was a step where
548 we went from:
550         [; [1;2]; [1;3]; [1;2;4]]
552 to:
554         [1; 1; 2; 1; 3; 1; 2; 4]
556 That is the `join` operation.
558 All of these operations can be defined in terms of `bind` and `unit`; or alternatively, some of them can be taken as primitive and `bind` can be defined in terms of them. Here are various interdefinitions:
560         lift f u = u >>= compose unit f
561         lift f u = ap (unit f) u
562         lift2 f u v = u >>= (fun x -> v >>= (fun y -> unit (f x y)))
563         lift2 f u v = ap (lift f u) v = ap (ap (unit f) u) v
564         ap u v = u >>= (fun f -> lift f v)
565         ap u v = lift2 id u v
566         join m2 = m2 >>= id
567         u >>= f = join (lift f u)
568         u >> v = u >>= (fun _ -> v)
569         u >> v = lift2 (fun _ -> id) u v