1 [[!toc]]
5 -----------------------------
7 [This section used to be near the end of the lecture notes for week 6]
9 Integer division presupposes that its second argument
10 (the divisor) is not zero, upon pain of presupposition failure.
11 Here's what my OCaml interpreter says:
13     # 12/0;;
14     Exception: Division_by_zero.
16 So we want to explicitly allow for the possibility that
17 division will return something other than a number.
18 We'll use OCaml's `option` type, which works like this:
20     # type 'a option = None | Some of 'a;;
21     # None;;
22     - : 'a option = None
23     # Some 3;;
24     - : int option = Some 3
26 So if a division is normal, we return some number, but if the divisor is
27 zero, we return `None`. As a mnemonic aid, we'll append a `'` to the end of our new divide function.
29 <pre>
30 let div' (x:int) (y:int) =
31   match y with
32           0 -> None
33     | _ -> Some (x / y);;
35 (*
36 val div' : int -> int -> int option = fun
37 # div' 12 2;;
38 - : int option = Some 6
39 # div' 12 0;;
40 - : int option = None
41 # div' (div' 12 2) 3;;
42 Characters 4-14:
43   div' (div' 12 2) 3;;
44         ^^^^^^^^^^
45 Error: This expression has type int option
46        but an expression was expected of type int
47 *)
48 </pre>
50 This starts off well: dividing 12 by 2, no problem; dividing 12 by 0,
51 just the behavior we were hoping for.  But we want to be able to use
52 the output of the safe-division function as input for further division
53 operations.  So we have to jack up the types of the inputs:
55 <pre>
56 let div' (u:int option) (v:int option) =
57   match v with
58           None -> None
59     | Some 0 -> None
60         | Some y -> (match u with
61                                           None -> None
62                     | Some x -> Some (x / y));;
64 (*
65 val div' : int option -> int option -> int option = <fun>
66 # div' (Some 12) (Some 2);;
67 - : int option = Some 6
68 # div' (Some 12) (Some 0);;
69 - : int option = None
70 # div' (div' (Some 12) (Some 0)) (Some 3);;
71 - : int option = None
72 *)
73 </pre>
75 Beautiful, just what we need: now we can try to divide by anything we
76 want, without fear that we're going to trigger any system errors.
78 I prefer to line up the `match` alternatives by using OCaml's
79 built-in tuple type:
81 <pre>
82 let div' (u:int option) (v:int option) =
83   match (u, v) with
84           (None, _) -> None
85     | (_, None) -> None
86     | (_, Some 0) -> None
87         | (Some x, Some y) -> Some (x / y);;
88 </pre>
90 So far so good.  But what if we want to combine division with
91 other arithmetic operations?  We need to make those other operations
92 aware of the possibility that one of their arguments has triggered a
93 presupposition failure:
95 <pre>
96 let add' (u:int option) (v:int option) =
97   match (u, v) with
98           (None, _) -> None
99     | (_, None) -> None
100     | (Some x, Some y) -> Some (x + y);;
102 (*
103 val add' : int option -> int option -> int option = <fun>
104 # add' (Some 12) (Some 4);;
105 - : int option = Some 16
106 # add' (div' (Some 12) (Some 0)) (Some 4);;
107 - : int option = None
108 *)
109 </pre>
111 This works, but is somewhat disappointing: the `add'` operation
112 doesn't trigger any presupposition of its own, so it is a shame that
113 it needs to be adjusted because someone else might make trouble.
115 But we can automate the adjustment.  The standard way in OCaml,
116 Haskell, etc., is to define a `bind` operator (the name `bind` is not
117 well chosen to resonate with linguists, but what can you do). To continue our mnemonic association, we'll put a `'` after the name "bind" as well.
119 <pre>
120 let bind' (u: int option) (f: int -> (int option)) =
121   match u with
122           None -> None
123     | Some x -> f x;;
125 let add' (u: int option) (v: int option)  =
126   bind' u (fun x -> bind' v (fun y -> Some (x + y)));;
128 let div' (u: int option) (v: int option) =
129   bind' u (fun x -> bind' v (fun y -> if (0 = y) then None else Some (x / y)));;
131 (*
132 #  div' (div' (Some 12) (Some 2)) (Some 3);;
133 - : int option = Some 2
134 #  div' (div' (Some 12) (Some 0)) (Some 3);;
135 - : int option = None
136 # add' (div' (Some 12) (Some 0)) (Some 3);;
137 - : int option = None
138 *)
139 </pre>
141 Compare the new definitions of `add'` and `div'` closely: the definition
142 for `add'` shows what it looks like to equip an ordinary operation to
143 survive in dangerous presupposition-filled world.  Note that the new
144 definition of `add'` does not need to test whether its arguments are
145 None objects or real numbers---those details are hidden inside of the
146 `bind'` function.
148 The definition of `div'` shows exactly what extra needs to be said in
149 order to trigger the no-division-by-zero presupposition.
151 For linguists: this is a complete theory of a particularly simply form
152 of presupposition projection (every predicate is a hole).
158 -----------------
160 Start by (re)reading the discussion of monads in the lecture notes for
162 In those notes, we saw a way to separate thinking about error
163 conditions (such as trying to divide by zero) from thinking about
164 normal arithmetic computations.  We did this by making use of the
165 `option` type: in each place where we had something of type `int`, we
166 put instead something of type `int option`, which is a sum type
167 consisting either of one choice with an `int` payload, or else a `None`
168 choice which we interpret as  signaling that something has gone wrong.
170 The goal was to make normal computing as convenient as possible: when
171 we're adding or multiplying, we don't have to worry about generating
172 any new errors, so we do want to think about the difference between
173 `int`s and `int option`s.  We tried to accomplish this by defining a
174 `bind` operator, which enabled us to peel away the `option` husk to get
175 at the delicious integer inside.  There was also a homework problem
176 which made this even more convenient by mapping any binary operation
177 on plain integers into a lifted operation that understands how to deal
178 with `int option`s in a sensible way.
180 [Linguitics note: Dividing by zero is supposed to feel like a kind of
181 presupposition failure.  If we wanted to adapt this approach to
182 building a simple account of presupposition projection, we would have
183 to do several things.  First, we would have to make use of the
184 polymorphism of the `option` type.  In the arithmetic example, we only
185 made use of `int option`s, but when we're composing natural language
186 expression meanings, we'll need to use types like `N option`, `Det option`,
187 `VP option`, and so on.  But that works automatically, because we can use
188 any type for the `'a` in `'a option`.  Ultimately, we'd want to have a
189 theory of accommodation, and a theory of the situations in which
190 material within the sentence can satisfy presuppositions for other
191 material that otherwise would trigger a presupposition violation; but,
192 not surprisingly, these refinements will require some more
193 sophisticated techniques than the super-simple option monad.]
195 So what exactly is a monad?  We can consider a monad to be a system
196 that provides at least the following three elements:
198 *       A complex type that's built around some more basic type. Usually
199         the complex type will be polymorphic, and so can apply to different basic types.
200         In our division example, the polymorphism of the `'a option` type
201         provides a way of building an option out of any other type of object.
202         People often use a container metaphor: if `u` has type `int option`,
203         then `u` is a box that (may) contain an integer.
205                 type 'a option = None | Some of 'a;;
207 *       A way to turn an ordinary value into a monadic value.  In OCaml, we
208         did this for any integer `x` by mapping it to
209         the option `Some x`.  In the general case, this operation is
210         known as `unit` or `return.` Both of those names are terrible. This
211         operation is only very loosely connected to the `unit` type we were
212         discussing earlier (whose value is written `()`). It's also only
213         very loosely connected to the "return" keyword in many other
214         programming languages like C. But these are the names that the literature
215         uses.
217         The unit/return operation is a way of lifting an ordinary object into
218         the monadic box you've defined, in the simplest way possible. You can think
219         of the singleton function as an example: it takes an ordinary object
220         and returns a set containing that object. In the example we've been
221         considering:
223                 let unit x = Some x;;
224                 val unit : 'a -> 'a option = <fun>
226         So `unit` is a way to put something inside of a monadic box. It's crucial
227         to the usefulness of monads that there will be monadic boxes that
228         aren't the result of that operation. In the option/maybe monad, for
229         instance, there's also the empty box `None`. In another (whimsical)
230         example, you might have, in addition to boxes merely containing integers,
231         special boxes that contain integers and also sing a song when they're opened.
233         The unit/return operation will always be the simplest, conceptually
234         most straightforward way to lift an ordinary value into a monadic value
235         of the monadic type in question.
237 *       Thirdly, an operation that's often called `bind`. This is another
238         unfortunate name: this operation is only very loosely connected to
239         what linguists usually mean by "binding." In our option/maybe monad, the
240         bind operation is:
242                 let bind u f = match u with None -> None | Some x -> f x;;
243                 val bind : 'a option -> ('a -> 'b option) -> 'b option = <fun>
245         Note the type: `bind` takes two arguments: first, a monadic box
246         (in this case, an `'a option`); and second, a function from
248         value: in this case, a `'b option` (you can start with, e.g., `int option`s
249         and end with `bool option`s).
251         Intuitively, the interpretation of what `bind` does is this:
252         the first argument is a monadic value `u`, which
253         evaluates to a box that (maybe) contains some ordinary value, call it `x`.
254         Then the second argument uses `x` to compute a new monadic
255         value.  Conceptually, then, we have
257                 let bind u f = (let x = unbox u in f x);;
259         The guts of the definition of the `bind` operation amount to
260         specifying how to unbox the monadic value `u`.  In the `bind`
261         operator for the option monad, we unboxed the monadic value by
262         matching it with the pattern `Some x`---whenever `u`
263         happened to be a box containing an integer `x`, this allowed us to
264         get our hands on that `x` and feed it to `f`.
266         If the monadic box didn't contain any ordinary value,
267         we instead pass through the empty box unaltered.
269         In a more complicated case, like our whimsical "singing box" example
270         from before, if the monadic value happened to be a singing box
271         containing an integer `x`, then the `bind` operation would probably
272         be defined so as to make sure that the result of `f x` was also
273         a singing box. If `f` also wanted to insert a song, you'd have to decide
274         whether both songs would be carried through, or only one of them.
276         There is no single `bind` function that dictates how this must go.
277         For each new monadic type, this has to be worked out in an
278         useful way.
280 So the "option/maybe monad" consists of the polymorphic `option` type, the
281 `unit`/return function, and the `bind` function.
284 A note on notation: Haskell uses the infix operator `>>=` to stand
285 for `bind`. Chris really hates that symbol.  Following Wadler, he prefers to
286 use an infix five-pointed star &#8902;, or on a keyboard, `*`. Jim on the other hand
287 thinks `>>=` is what the literature uses and students won't be able to
288 avoid it. Moreover, although &#8902; is OK (though not a convention that's been picked up), overloading the multiplication symbol invites its own confusion
289 and Jim feels very uneasy about that. If not `>>=` then we should use
290 some other unfamiliar infix symbol (but `>>=` already is such...)
292 In any case, the course leaders will work this out somehow. In the meantime,
293 as you read around, wherever you see `u >>= f`, that means `bind u f`. Also,
294 if you ever see this notation:
296         do
297                 x <- u
298                 f x
300 That's a Haskell shorthand for `u >>= (\x -> f x)`, that is, `bind u f`.
301 Similarly:
303         do
304                 x <- u
305                 y <- v
306                 f x y
308 is shorthand for `u >>= (\x -> v >>= (\y -> f x y))`, that is, `bind u (fun x
309 -> bind v (fun y -> f x y))`. Those who did last week's homework may recognize
310 this last expression.
312 (Note that the above "do" notation comes from Haskell. We're mentioning it here
314 OCaml. In fact, the `<-` symbol already means something different in OCaml,
315 having to do with mutable record fields. We'll be discussing mutation someday
316 soon.)
318 As we proceed, we'll be seeing a variety of other monad systems. For example, another monad is the list monad. Here the monadic type is:
320         # type 'a list
322 The `unit`/return operation is:
324         # let unit x = [x];;
325         val unit : 'a -> 'a list = <fun>
327 That is, the simplest way to lift an `'a` into an `'a list` is just to make a
328 singleton list of that `'a`. Finally, the `bind` operation is:
330         # let bind u f = List.concat (List.map f u);;
331         val bind : 'a list -> ('a -> 'b list) -> 'b list = <fun>
333 What's going on here? Well, consider `List.map f u` first. This goes through all
334 the members of the list `u`. There may be just a single member, if `u = unit x`
335 for some `x`. Or on the other hand, there may be no members, or many members. In
336 any case, we go through them in turn and feed them to `f`. Anything that gets fed
337 to `f` will be an `'a`. `f` takes those values, and for each one, returns a `'b list`.
338 For example, it might return a list of all that value's divisors. Then we'll
339 have a bunch of `'b list`s. The surrounding `List.concat ( )` converts that bunch
340 of `'b list`s into a single `'b list`:
342         # List.concat [; [1;2]; [1;3]; [1;2;4]]
343         - : int list = [1; 1; 2; 1; 3; 1; 2; 4]
346 monadic system, there has to be a specification of the complex monad type,
347 which will be parameterized on some simpler type `'a`, and the `unit`/return
348 operation, and the `bind` operation. These will be different for different
351 Many monadic systems will also define special-purpose operations that only make
352 sense for that system.
354 Although the `unit` and `bind` operation are defined differently for different
355 monadic systems, there are some general rules they always have to follow.
359 --------------
361 Just like good robots, monads must obey three laws designed to prevent
362 them from hurting the people that use them or themselves.
364 *       **Left identity: unit is a left identity for the bind operation.**
365         That is, for all `f:'a -> 'a m`, where `'a m` is a monadic
366         type, we have `(unit x) * f == f x`.  For instance, `unit` is itself
367         a function of type `'a -> 'a m`, so we can use it for `f`:
369                 # let unit x = Some x;;
370                 val unit : 'a -> 'a option = <fun>
371                 # let ( * ) u f = match u with None -> None | Some x -> f x;;
372                 val ( * ) : 'a option -> ('a -> 'b option) -> 'b option = <fun>
374         The parentheses is the magic for telling OCaml that the
375         function to be defined (in this case, the name of the function
376         is `*`, pronounced "bind") is an infix operator, so we write
377         `u * f` or `( * ) u f` instead of `* u f`. Now:
379                 # unit 2;;
380                 - : int option = Some 2
381                 # unit 2 * unit;;
382                 - : int option = Some 2
384                 # let divide x y = if 0 = y then None else Some (x/y);;
385                 val divide : int -> int -> int option = <fun>
386                 # divide 6 2;;
387                 - : int option = Some 3
388                 # unit 2 * divide 6;;
389                 - : int option = Some 3
391                 # divide 6 0;;
392                 - : int option = None
393                 # unit 0 * divide 6;;
394                 - : int option = None
397 *       **Associativity: bind obeys a kind of associativity**. Like this:
399                 (u * f) * g == u * (fun x -> f x * g)
401         If you don't understand why the lambda form is necessary (the "fun
402         x" part), you need to look again at the type of `bind`.
404         Some examples of associativity in the option monad:
406                 # Some 3 * unit * unit;;
407                 - : int option = Some 3
408                 # Some 3 * (fun x -> unit x * unit);;
409                 - : int option = Some 3
411                 # Some 3 * divide 6 * divide 2;;
412                 - : int option = Some 1
413                 # Some 3 * (fun x -> divide 6 x * divide 2);;
414                 - : int option = Some 1
416                 # Some 3 * divide 2 * divide 6;;
417                 - : int option = None
418                 # Some 3 * (fun x -> divide 2 x * divide 6);;
419                 - : int option = None
421 Of course, associativity must hold for *arbitrary* functions of
422 type `'a -> 'a m`, where `m` is the monad type.  It's easy to
423 convince yourself that the `bind` operation for the option monad
424 obeys associativity by dividing the inputs into cases: if `u`
425 matches `None`, both computations will result in `None`; if
426 `u` matches `Some x`, and `f x` evalutes to `None`, then both
427 computations will again result in `None`; and if the value of
428 `f x` matches `Some y`, then both computations will evaluate
429 to `g y`.
431 *       **Right identity: unit is a right identity for bind.**  That is,
432         `u * unit == u` for all monad objects `u`.  For instance,
434                 # Some 3 * unit;;
435                 - : int option = Some 3
436                 # None * unit;;
437                 - : 'a option = None
441 -------------------------
443 If you studied algebra, you'll remember that a *monoid* is an
444 associative operation with a left and right identity.  For instance,
445 the natural numbers along with multiplication form a monoid with 1
446 serving as the left and right identity.  That is, temporarily using
447 `*` to mean arithmetic multiplication, `1 * u == u == u * 1` for all
448 `u`, and `(u * v) * w == u * (v * w)` for all `u`, `v`, and `w`.  As
449 presented here, a monad is not exactly a monoid, because (unlike the
450 arguments of a monoid operation) the two arguments of the bind are of
451 different types.  But it's possible to make the connection between
452 monads and monoids much closer. This is discussed in [Monads in Category
456 Here are some papers that introduced monads into functional programming:
458 *       [Eugenio Moggi, Notions of Computation and Monads](http://www.disi.unige.it/person/MoggiE/ftp/ic91.pdf): Information and Computation 93 (1) 1991.
461 in M. Broy, editor, *Marktoberdorf Summer School on Program Design
462 Calculi*, Springer Verlag, NATO ASI Series F: Computer and systems
463 sciences, Volume 118, August 1992. Also in J. Jeuring and E. Meijer,
464 editors, *Advanced Functional Programming*, Springer Verlag,
465 LNCS 925, 1995. Some errata fixed August 2001.  This paper has a great first
466 line: **Shall I be pure, or impure?**
467 <!--    The use of monads to structure functional programs is described. Monads provide a convenient framework for simulating effects found in other languages, such as global state, exception handling, output, or non-determinism. Three case studies are looked at in detail: how monads ease the modification of a simple evaluator; how monads act as the basis of a datatype of arrays subject to in-place update; and how monads can be used to build parsers.-->
470 invited talk, *19'th Symposium on Principles of Programming Languages*, ACM Press, Albuquerque, January 1992.
471 <!--    This paper explores the use monads to structure functional programs. No prior knowledge of monads or category theory is required.
472         Monads increase the ease with which programs may be modified. They can mimic the effect of impure features such as exceptions, state, and continuations; and also provide effects not easily achieved with such features. The types of a program reflect which effects occur.
473         The first section is an extended example of the use of monads. A simple interpreter is modified to support various extra features: error messages, state, output, and non-deterministic choice. The second section describes the relation between monads and continuation-passing style. The third section sketches how monads are used in a compiler for Haskell that is written in Haskell.-->
475 *       [Daniel Friedman. A Schemer's View of Monads](/schemersviewofmonads.ps): from <https://www.cs.indiana.edu/cgi-pub/c311/doku.php?id=home> but the link above is to a local copy.
477 There's a long list of monad tutorials on the [[Offsite Reading]] page. Skimming the titles makes me laugh.
479 In the presentation we gave above---which follows the functional programming conventions---we took `unit`/return and `bind` as the primitive operations. From these a number of other general monad operations can be derived. It's also possible to take some of the others as primitive. The [Monads in Category
482 Here are some of the other general monad operations. You don't have to master these; they're collected here for your reference.
484 You may sometimes see:
486         u >> v
488 That just means:
490         u >>= fun _ -> v
492 that is:
494         bind u (fun _ -> v)
496 You could also do `bind u (fun x -> v)`; we use the `_` for the function argument to be explicit that that argument is never going to be used.
498 The `lift` operation we asked you to define for last week's homework is a common operation. The second argument to `bind` converts `'a` values into `'b m` values---that is, into instances of the monadic type. What if we instead had a function that merely converts `'a` values into `'b` values, and we want to use it with our monadic type. Then we "lift" that function into an operation on the monad. For example:
500         # let even x = (x mod 2 = 0);;
501         val g : int -> bool = <fun>
503 `even` has the type `int -> bool`. Now what if we want to convert it into an operation on the option/maybe monad?
505         # let lift g = fun u -> bind u (fun x -> Some (g x));;
506         val lift : ('a -> 'b) -> 'a option -> 'b option = <fun>
508 `lift even` will now be a function from `int option`s to `bool option`s. We can
509 also define a lift operation for binary functions:
511         # let lift2 g = fun u v -> bind u (fun x -> bind v (fun y -> Some (g x y)));;
512         val lift2 : ('a -> 'b -> 'c) -> 'a option -> 'b option -> 'c option = <fun>
514 `lift2 (+)` will now be a function from `int option`s  and `int option`s to `int option`s. This should look familiar to those who did the homework.
516 The `lift` operation (just `lift`, not `lift2`) is sometimes also called the `map` operation. (In Haskell, they say `fmap` or `<\$>`.) And indeed when we're working with the list monad, `lift f` is exactly `List.map f`!
518 Wherever we have a well-defined monad, we can define a lift/map operation for that monad. The examples above used `Some (g x)` and so on; in the general case we'd use `unit (g x)`, using the specific `unit` operation for the monad we're working with.
520 In general, any lift/map operation can be relied on to satisfy these laws:
522         * lift id = id
523         * lift (compose f g) = compose (lift f) (lift g)
525 where `id` is `fun x -> x` and `compose f g` is `fun x -> f (g x)`. If you think about the special case of the map operation on lists, this should make sense. `List.map id lst` should give you back `lst` again. And you'd expect these
526 two computations to give the same result:
528         List.map (fun x -> f (g x)) lst
529         List.map f (List.map g lst)
531 Another general monad operation is called `ap` in Haskell---short for "apply." (They also use `<*>`, but who can remember that?) This works like this:
533         ap [f] [x; y] = [f x; f y]
534         ap (Some f) (Some x) = Some (f x)
536 and so on. Here are the laws that any `ap` operation can be relied on to satisfy:
538         ap (unit id) u = u
539         ap (ap (ap (unit compose) u) v) w = ap u (ap v w)
540         ap (unit f) (unit x) = unit (f x)
541         ap u (unit x) = ap (unit (fun f -> f x)) u
543 Another general monad operation is called `join`. This is the operation that takes you from an iterated monad to a single monad. Remember when we were explaining the `bind` operation for the list monad, there was a step where
544 we went from:
546         [; [1;2]; [1;3]; [1;2;4]]
548 to:
550         [1; 1; 2; 1; 3; 1; 2; 4]
552 That is the `join` operation.
554 All of these operations can be defined in terms of `bind` and `unit`; or alternatively, some of them can be taken as primitive and `bind` can be defined in terms of them. Here are various interdefinitions:
556         lift f u = u >>= compose unit f
557         lift f u = ap (unit f) u
558         lift2 f u v = u >>= (fun x -> v >>= (fun y -> unit (f x y)))
559         lift2 f u v = ap (lift f u) v = ap (ap (unit f) u) v
560         ap u v = u >>= (fun f -> lift f v)
561         ap u v = lift2 id u v
562         join m2 = m2 >>= id
563         u >>= f = join (lift f u)
564         u >> v = u >>= (fun _ -> v)
565         u >> v = lift2 (fun _ -> id) u v