edits
[lambda.git] / topics / week9_using_the_monad_library.mdwn
index f3cb414..49f8e86 100644 (file)
@@ -1,14 +1,16 @@
 [[!toc levels=2]]
 
-## What functions are in the OCaml Monad modules? ##
+## How to Inspect Juli8's Monad modules for OCaml? ##
 
 If you want to see the "signature" of some OCaml library or "module" --- that is, a list of the types it exports, and also of the types of function values (and other values) that it exports, you can do this.
 
-If you know the name of the module but not the name of its module type, or if its module type doesn't have a name, you can do this:
+If you're using a version of OCaml >= 4.02 (you can see the version from `Sys.ocaml_version`), you can just type <code>#show <i>module_name</i>;;</code> or <code>#show <i>name_of_module_type</i>;;</code>. If you're using an older version of OCaml, read on.
+
+If you know the name of the module but not the name of its module type, or if its module type doesn't have a name, then in older versions of OCaml you can do this:
 
     module type SOMETHING = sig include module type of ModuleYouAreInterestedIn end
 
-More commonly, though, you'll know that the module uses a specific *named* module type. In that case, here is what to do. An example is that modules you create using `Monad.Reader(struct type env = ... end).M` --- really you have to do that in two steps, first say `module R_E = Monad.Reader(struct type env = ... end)`, next write `R_E.M`; but for brief reading I'll just write `Monad.Reader(struct type env = ... end).M` --- these modules will all have the module type `Monad.READER`. We can see an expansion of `Monad.READER` by writing:
+More commonly, though, you'll know that the module uses a specific *named* module type. In that case, here is what to do. An example is that modules you create using `Monad.Reader(struct type env = ... end)` will all (more-or-less) have the module type named `Monad.READER`. We can see an expansion of `Monad.READER` by writing:
 
     module type SOMETHING = sig include Monad.READER end
 
@@ -43,7 +45,19 @@ Then OCaml will respond:
         val shift : (env -> env) -> 'a t -> 'a t
       end
 
-Here I've reordered the elements a bit from OCaml's actual presentation to make it easier to explain them. First, there is the type of the `env` that you will supply. In this signature it's listed abstractly (no concrete definition of the type is supplied, it's just declared that it exists), but in practice this type will be unified with the envionment type that you supply. Next there is the abstract type `'a t`. This is the main type of the Reader Monad. Behind the scenes it will be the same as the type `'a result`, that is a function from `env`s to `'a`s. But OCaml keeps the type `'a t` abstract, and only exposes the actual implementation of the type when you apply the `run` function to `'a t` values. The `run` function is for most Monads just implemented as an identity function. Its effect is primarily to shift between the abstract type, whose definition OCaml treats as private, and the concrete implementation of that type, named `'a result`. Note that even though the `'a t`s and `'a result`s will usually be represented by the same structures in OCaml's memory, our library insists that you only use the `'a t` version for the monadic functions like `map` and `>>=` and so on. Also there is no translation function that lets you take an `'a result` that you've built by hand and convert it to an `'a t`. You have to build your `'a t`s using the operations that the Monad library provides for doing so.
+Here I've reordered the elements a bit from OCaml's actual presentation to make it easier to explain them. First, there is the type of the `env` that you will supply. In this signature it's listed abstractly (no concrete definition of the type is supplied, it's just declared that it exists), but in practice this type will be unified with the envionment type that you supply. Next there is the abstract or opaque type `'a t`. This is the main type of the Reader Monad. Behind the scenes it will be the same as the type `'a result`, that is a function from `env`s to `'a`s. But OCaml keeps the type `'a t` opaque, and only exposes the actual implementation of the type when you apply the `run` function to `'a t` values. The `run` function is for most Monads just implemented as an identity function. Its effect is primarily to shift between the opaque type and the exposed concrete implementation of that type, named `'a result`. Note that even though the `'a t`s and `'a result`s will usually be represented by the same structures in OCaml's memory, our library insists that you only use the opaque `'a t` version for the monadic functions like `map` and `>>=` and so on. On the other hand, when you want to supply an actual starting `env` to your monadic value, you have to use the `'a result` version you got from `run`. This will not work:
+
+    # let xx = R.(mid 1) in xx env0;;
+                            --
+    Error: This expression has type int R.t
+           This is not a function; it cannot be applied.
+
+You need to instead say:
+
+    # let xx = R.(mid 1) in R.run xx env0;;
+    - : int = 1
+
+Also there is no translation function that lets you take an `'a result` that you've built by hand and convert it to an `'a t`. You have to build your `'a t`s using the primitive operations that the Monad library provides for doing so. This is all discussed further [[elsewhere|/topics/week8_monads_and_modules/#abstraction]].
 
 The next block of stuff in the `Monad.READER` module type are functions common to all monads. Some monads (such as List and Option) additionally have `mzero : 'a t` and some related operations. Finally, at the end are the operations specific to the Reader monad. These have mostly been given the same names as they have in Haskell's monad libraries. Here is a quick explanation:
 
@@ -66,9 +80,9 @@ The next block of stuff in the `Monad.READER` module type are functions common t
         let letx xx body = xx >>= fun xint -> shift (insert 'x' xint) body
 
 
-### Examples ###
+## Examples of Using Reader ##
 
-Here are some examples of using the Reader Monad modules to evaluate some simple expressions using bound variables. First, you could look at [[this Haskell code|/code/reader1.hs]]. It `import`s the `Control.Monad.Reader` library, which is where Haskell's Reader monad can be found. It declares an `Env` type that we'll implement as a simple *function* from `Char`s to `Int`s. Then it defines an "empty" environment `env0`, and a function `insert` for adding new bindings to an `env`. Next, we make a general function `getint` that can create monadic values like the `getx` illustrated above. We show how to use `getx` and `gety` to write monadic versions of `y + x` and `3 + x`. Next, we define a `letx` function as illustrated above (the second version, that takes a monadic value `xx` as its argument). We show how to use this to write a monadic version of `let x = 2 in y + x`. The final line of the file applies `runReader` to the monadic value we've built --- this is Haskell's way of doing what we do in OCaml with `run`, namely to remove the abstraction barrier and see what concrete type is really constituting our `Reader Env a`s --- and we supply it with the empty environment, which will be sufficient since the expression we're interpreting has no free variables. Haskell binds the variable `res` to the result. You can run this code inside `ghci` by typing `:load /path/to/reader1.hs`. (You may also be able to say `:add ...` instead of `:load ...`.) Then type `res`, and Haskell will report back `5`.
+Here are some examples of using the Reader Monad modules to evaluate some simple expressions using bound variables. First, you could look at [[this Haskell code|/code/reader1.hs]]. It `import`s the `Control.Monad.Reader` library, which is where Haskell's Reader monad can be found. It declares an `Env` type that we'll implement as a simple *function* from `Char`s to `Int`s. Then it defines an "empty" environment `env0`, and a function `insert` for adding new bindings to an `env`. Next, we make a general function `getint` that can create monadic values like the `getx` illustrated above. We show how to use `getx` and `gety` to write monadic versions of `y + x` and `3 + x`. Next, we define a `letx` function as illustrated above (the second version, that takes a monadic value `xx` as its argument). We show how to use this to write a monadic version of `let x = 2 in y + x`. The final line of the file applies `runReader` to the monadic value we've built --- this is Haskell's way of doing what we do in OCaml with `run`, namely to remove the abstraction curtain and see what concrete type is really constituting our `Reader Env a`s --- and we supply it with the empty environment, which will be sufficient since the expression we're interpreting has no free variables. Haskell binds the variable `res` to the result. You can run this code inside `ghci` by typing `:load /path/to/reader1.hs`. (You may also be able to say `:add ...` instead of `:load ...`.) Then type `res`, and Haskell will report back `5`.
 
 [[This OCaml code|/code/reader1.ml]] does exactly the same thing only using our OCaml monad libraries instead. The biggest difference from the Haskell version is in the first few lines, where we have to generate a Reader monad module parameterized on the `env` type that we intend to work with.
 
@@ -89,7 +103,7 @@ After that, our [[Haskell code|/code/reader2.hs]] and [[OCaml code|/code/reader2
 The really new thing in this code, compared to the previous example, is our definition of a monadic value to interpret the lambda abstract `\y -> y + x`, that `f` gets bound to. And also our interpretation of the expression `f 3`, which looks up a function that the variable `f` is bound to, and then applies it to (a monadically-lifted version of) `3`. (We have the argument be monadically lifted so that we could also say, for example, `f y`.) You can examine the code to see how we do these things.
 
 
-## OK, what else is in the OCaml Monad modules? ##
+## OK, what else is in these Monad modules? ##
 
 I won't give an exhaustive list here. But here is the output of `module type SOMETHING = sig include Monad.BLAH end` for some of the `BLAH`s:
 
@@ -106,7 +120,7 @@ I won't give an exhaustive list here. But here is the output of `module type SOM
         val put : store -> unit t
       end
 
-The `store` type has to be provided by you, when you generate the module, similarly to as in the Reader monad. The `'a result` type shows the real definition of an `'a State` type, otherwise kept abstract as `'a t`. Instead of the special operations `ask` and so on that the Reader monad has, State has the operations `get`, `gets`, `modify`, and `put`. The first two work just like `ask` and `asks` did for the Reader monad. The third one works *similarly* to `shift` for the Reader monad, with the crucial difference that the rebinding that `shift` introduces is in effect only for the `body` argument of the `shift` operation. Outside of that `body`, we revert to the originally supplied `env`. But notice that `modify` doesn't take any `body` argument. `modify` introduces changes to the supplied `store` that once introduced *stay in place*, until we manually change them again. Thus with the Reader monad you'd do things like this:
+The `store` type has to be provided by you, when you generate the module, similarly to as in the Reader monad. The `'a result` type shows the real definition of an `'a State` type, otherwise kept opaque as `'a t`. Instead of the special operations `ask` and so on that the Reader monad has, State has the operations `get`, `gets`, `modify`, and `put`. The first two work just like `ask` and `asks` did for the Reader monad. The third one works *similarly* to `shift` for the Reader monad, with the crucial difference that the rebinding that `shift` introduces is in effect only for the `body` argument of the `shift` operation. Outside of that `body`, we revert to the originally supplied `env`. But notice that `modify` doesn't take any `body` argument. `modify` introduces changes to the supplied `store` that once introduced *stay in place*, until we manually change them again. Thus with the Reader monad you'd do things like this:
 
     R.(xx >>= fun x -> ... shift (insert ...) body >>= fun y -> (* now we're using the unshifted env *) ...)
 
@@ -144,22 +158,21 @@ Whereas Writer's `censor` and Reader's `shift` have isomorphic types, there is s
 
 Unlike Reader, Writer also has a `tell` operation, which is akin to the `put` operation in the State monad. The difference is that the `tell` function takes a `log` as argument and *appends* that to the existing `log`. You can't erase or overwrite elements already in the `log`; you can only append to it. However, if you like, you can `censor` the log generated by any local context. (Inside the local context, the log isn't yet censored; the censoring only affects what's seen downstream as the contributions made by that context to the log.)
 
-Here's a complex example that illustrates this. First we will use the helper function `String.upper` (from "juli8.ml") and a second helper function that we define like this:
+Here's a complex example that illustrates this. First we will use the Juli8 helper function `String.upper` and a second helper function that we define like this:
 
     let bracket log = "{" ^ log ^ "}"
 
 Next, we construct some monadic values and reveal them at the end using `run`:
 
-    module W_L = Monad.Writer(struct
+    module W = Monad.Writer(struct
       type log = string
       let empty = ""
       let append s1 s2 = if s1 = "" then s2 else if s2 = "" then s1 else s1 ^ " " ^ s2
     end)
-    module W = Writer1.M;;
     W.(let xx = tell "one" >> listens bracket (tell "two" >> mid 10) in
        let yy = censor String.upper (tell "zero" >> listens bracket xx) in
        let zz = tell "before" >> yy >>= fun y -> tell "after" >> mid y in
-       ...);;
+       run ...);;
 
 The monadic value `xx` writes `"one"` to the log, then discards the resulting `()` payload (it continues `>> ...` rather than `>>= fun var -> ...`). Then we have a use of `listens`. This will evaluate its body `tell "two" >> mid 10` and return as payload a pair of the body's original payload and a `bracket`ed copy of the local log. Thus the payload of `listens bracket (tell "two" >> mid 10)` will be `(10, "{two}")`. Its log will be `"two"`. The `"one"` that got written to the log earlier isn't accessible to `listens`; however it does stay in the overall log, to which the `listens ...` construction contributes. Hence the result of `run xx`, showing first the payload and then the log, would be:
 
@@ -185,14 +198,14 @@ Let's look at some more familiar monad signatures. Here is one:
         val test : ('a option -> bool) -> 'a t -> 'a t
       end
 
-This is what's exposed in the `Monad.Option.M` module (with `Option` and `List`, you can also leave off the initial `Monad.`). In the parent `Monad.Option` module itself, there are many more operations. Similarly, `Monad.List` (aka just `List`) exposes many more operations than `Monad.List.M` does. The `.M` modules restrict us to just the monadic interface. Unlike Reader and State and Writer, the Option and List monads don't need to be parameterized on environments or anything else of that sort. The Option monad has three additional monadic operations, analogues of which are also all present in List. First, there is the `mzero` monadic value, implemented as `None` and satisfying the Monad Laws for `mzero` we explained elsewhere. The key one to remember is that `mzero` aborts a chain of composed Kleisli functions. That is, `mzero >>= anything` is always `mzero`. `guard` takes a boolean argument and if its false, gives `mzero`. If the argument is true, it just gives the uninteresting `mid ()`, hence the typical way to use `guard` is as:
+That is what's exposed in the `Monad.Option` module. In the non-monadic `Option` module, there are many more operations. Similarly, `List` exposes many more operations than `Monad.List` does. The `Monad.List` module restricts us to just the monadic interface. Unlike Reader and State and Writer, the Option and List monads don't need to be parameterized on environments or anything else of that sort. The Option monad has three additional monadic operations, analogues of which are also all present in List. First, there is the `mzero` monadic value, implemented as `None` and satisfying the Monad Laws for `mzero` we explained elsewhere. The key one to remember is that `mzero` aborts a chain of composed Kleisli functions. That is, `mzero >>= anything` is always `mzero`. `guard` takes a boolean argument and if it is false, gives `mzero`. If the argument is true, it just gives the uninteresting `mid ()`, hence the typical way to use `guard` is as:
 
-    module O = Option.M;;    
+    module O = Option;;    
     O.(guard some_bool_expr >> more_monadic_stuff)
 
-If `some_bool_expr` is true, then this will ignore its payload and go on to compute `more_monadic_stuff`; if it's false, then the whole chain gets ignored because of the distinctive behavior of `mzero`.
+If `some_bool_expr` is true, then this expression will ignore the `()` payload of `guard some_bool_expr` and go on to compute `more_monadic_stuff`; if it's false, then the whole chain gets ignored because of the distinctive behavior of `mzero`.
 
-The third special operation in the Option monad is `test`. This lets you supply a function that takes an ordinary `'a option` type (that is, one where the "abstraction curtain" imposed by the `'a O.t` type is not in place) and returns a `bool`. Then you take an Option monadic value (one where the "abstraction curtain" *is* in place). OCaml will temporarily remove the abstraction curtain on the second argument and see how the function you supplied assesses it. If the result is `true`, then the result is identical to that Option monadic value, unaltered. If the result is `false`, then the result is `mzero`. (For those of you who know Frank Veltman's work on dynamic semantics for epistemic modals, this `test` (or the version of it for sets of worlds) is a key component.)
+The third special operation in the Option monad is `test`. This lets you supply a function that takes an ordinary `'a option` type (that is, one where the abstraction curtain imposed by the `'a O.t` type is not in place) and returns a `bool`. Then you take an Option monadic value (one where the abstraction curtain *is* in place). OCaml will temporarily remove the abstraction curtain on the second argument and see how the function you supplied assesses it. If the result is `true`, then the result is identical to that Option monadic value, unaltered. If the result is `false`, then the result is `mzero`. (For those of you who know Frank Veltman's work on dynamic semantics for epistemic modals, this `test` (or the version of it for sets of worlds) is a key component.)
 
 Here is the List monadic interface:
 
@@ -208,7 +221,7 @@ Here is the List monadic interface:
         val pick : 'a t -> ('a * 'a t) t
       end
 
-The `mzero` and `guard` and `test` operations work analogously to the ones in the Option monad. The `++` (infix) operation is like `List.append` (OCaml also uses `@` for that), with the difference that `++` is defined on the abstract List monadic values of type `'a List.M.t`, not the OCaml native lists (with the "abstraction curtain" removed). In Haskell, `++` works on either native lists or elements of the List monad, because Haskell doesn't distinguish them. Haskell doesn't impose an abstraction curtain in the case of its List and Maybe monads. `pick` is an operation that transforms (the abstract version of) `[1; 2; 3]` to (the abstract version of) `[(1, [2; 3]); (2, [1; 3]); (3, [1; 2])]`.
+The `mzero` and `guard` and `test` operations work analogously to the ones in the Option monad. The `++` (infix) operation is like `List.append` (OCaml also uses `@` for that), with the difference that `++` is defined on the opaque List monadic values of type `'a Monad.List.t`, not the OCaml native lists (which aren't behind an abstraction curtain). In Haskell, `++` works on either native lists or elements of the List monad, because Haskell doesn't distinguish them. Haskell doesn't impose an abstraction curtain in the case of its List and Maybe monads. `pick` is an operation that transforms (the opaque version of) `[1; 2; 3]` to (the opaque version of) `[(1, [2; 3]); (2, [1; 3]); (3, [1; 2])]`.
 
 Here is another monadic interface:
 
@@ -225,3 +238,57 @@ This is the signature/module type for the Monad.LTree module. ("LTree" for *leaf
 
 You can create leaf-only trees using the monadic function `mid`. You can join two trees together using the function `++`, paralleling the one in List. Note that in the Tree case, unlike the List case, `++` is not associative: `xx ++ (yy ++ zz)` is not the same as `(xx + yy) ++ zz`. Nor is there any `mzero` for trees as implemented by this module.
 
+
+## Acknowledgements ##
+
+Our library is largely based on the mtl library distributed with the Haskell Platform. That in turn was inspired by Mark Jones' 1995 paper
+[Functional Programming with Overloading and Higher-Order Polymorphism](http://web.cecs.pdx.edu/~mpj/pubs/springschool.html).
+
+I've also been helped in various ways by posts and direct feedback from Oleg Kiselyov and Chung-chieh Shan. The following were also useful:
+
+ *     <http://pauillac.inria.fr/~xleroy/mpri/progfunc/>
+ *     Ken Shan "Monads for natural language semantics" <http://arxiv.org/abs/cs/0205026v1>
+ *     <http://www.grabmueller.de/martin/www/pub/Transformers.pdf>
+ *     <http://en.wikibooks.org/wiki/Haskell/Monad_transformers>
+
+
+## Comparisons with Haskell ##
+
+Some comparisons with the Haskell monadic libraries, which Juli8 mostly follows.
+
+In Haskell, the `'a Reader.t` monadic type would be defined something like this:
+
+    newtype Reader a = Reader { runReader :: env -> a }
+
+(For simplicity, I'm suppressing the fact that `Reader` is also parameterized
+on what type `env` is.) This creates a type wrapper around `env -> a`, so that Haskell will
+distinguish between values that have been specifically designated as
+being of type `Reader a`, and common-garden values of type `env -> a`.
+
+To lift an aribtrary expression `E` of type `env -> a` into an `Reader a`,
+you do this:
+
+    Reader { runReader = E }
+
+or use any of the following equivalent shorthands:
+
+    Reader (E)
+    Reader $ E
+
+To drop an expression `R` of type `Reader a` back into an `env -> a`, you do
+one of these:
+
+    runReader (R)
+    runReader $ R
+
+The `newtype` in the type declaration ensures that Haskell does this all
+efficiently: though it regards `E` and `R` as type-distinct, their underlying
+machine implementation is identical and doesn't need to be transformed when
+lifting/dropping from one type to the other.
+
+Now, you _could_ also declare monads as record types in OCaml, too, _but_
+doing so would introduce an extra level of machine representation, and
+lifting/dropping from the one type to the other wouldn't be free like it is
+in Haskell. Also it would be syntactically more complex.
+
+So Juli8 instead encapsulates the monadic values by making their implementation types "private" or abstract or opaque. We get the same result: OCaml won't let you freely interchange `'a Reader.t`s with `env -> 'a`s. The Juli8 internals can see that these are equivalent, but refuses to permit code outside of the library to rely on that assumption. Instead, you have to use the `run` operation (like Haskell's `runReader`) to convert the opaque monadic values to ones whose type is exposed to you.