cat theory ready
[lambda.git] / advanced_topics / monads_in_category_theory.mdwn
index 1d7ede7..173160e 100644 (file)
@@ -1,6 +1,3 @@
-**Don't try to read this yet!!! Many substantial edits are still in process.
-Will be ready soon.**
-
 Caveats
 -------
 I really don't know much category theory. Just enough to put this
@@ -8,11 +5,16 @@ together. Also, this really is "put together." I haven't yet found an
 authoritative source (that's accessible to a category theory beginner like
 myself) that discusses the correspondence between the category-theoretic and
 functional programming uses of these notions in enough detail to be sure that
-none of the pieces here is misguided. In particular, it wasn't completely
-obvious how to map the polymorphism on the programming theory side into the
-category theory. And I'm bothered by the fact that our `<=<` operation is only
-partly defined on our domain of natural transformations. But this does seem to
-me to be the reasonable way to put the pieces together. We very much welcome
+none of the pieces here is mistaken.
+In particular, it wasn't completely obvious how to map the polymorphism on the
+programming theory side into the category theory. The way I accomplished this
+may be more complex than it needs to be.
+Also I'm bothered by the fact that our `<=<` operation is only partly defined
+on our domain of natural transformations.
+There are three additional points below that I wonder whether may be too
+cavalier.
+But all considered, this does seem to
+me to be a reasonable way to put the pieces together. We very much welcome
 feedback from anyone who understands these issues better, and will make
 corrections.
 
@@ -51,12 +53,12 @@ To have a category, the elements and morphisms have to satisfy some constraints:
 
         (ii) composition of morphisms has to be associative
 
-       (iii) every element E of the category has to have an identity
-             morphism 1<sub>E</sub>, which is such that for every morphism f:C1&rarr;C2:
+       (iii) every element X of the category has to have an identity
+             morphism 1<sub>X</sub>, which is such that for every morphism f:C1&rarr;C2:
              1<sub>C2</sub> &#8728; f = f = f &#8728; 1<sub>C1</sub>
 </pre>
 
-These parallel the constraints for monoids. Note that there can be multiple distinct morphisms between an element `E` and itself; they need not all be identity morphisms. Indeed from (iii) it follows that each element can have only a single identity morphism.
+These parallel the constraints for monoids. Note that there can be multiple distinct morphisms between an element `X` and itself; they need not all be identity morphisms. Indeed from (iii) it follows that each element can have only a single identity morphism.
 
 A good intuitive picture of a category is as a generalized directed graph, where the category elements are the graph's nodes, and there can be multiple directed edges between a given pair of nodes, and nodes can also have multiple directed edges to themselves. Morphisms correspond to directed paths of length &ge; 0 in the graph.
 
@@ -65,14 +67,14 @@ Some examples of categories are:
 
 *      Categories whose elements are sets and whose morphisms are functions between those sets. Here the source and target of a function are its domain and range, so distinct functions sharing a domain and range (e.g., `sin` and `cos`) are distinct morphisms between the same source and target elements. The identity morphism for any element/set is just the identity function for that set.
 
-*      any monoid <code>(S,&#8902;,z)</code> generates a category with a single element `x`; this `x` need not have any relation to `S`. The members of `S` play the role of *morphisms* of this category, rather than its elements. All of these morphisms are understood to map `x` to itself. The result of composing the morphism consisting of `s1` with the morphism `s2` is the morphism `s3`, where <code>s3=s1&#8902;s2</code>. The identity morphism for the (single) category element `x` is the monoid's identity `z`.
+*      any monoid <code>(S,&#8902;,z)</code> generates a category with a single element `Q`; this `Q` need not have any relation to `S`. The members of `S` play the role of *morphisms* of this category, rather than its elements. All of these morphisms are understood to map `Q` to itself. The result of composing the morphism consisting of `s1` with the morphism `s2` is the morphism `s3`, where <code>s3=s1&#8902;s2</code>. The identity morphism for the (single) category element `Q` is the monoid's identity `z`.
 
-*      a **preorder** is a structure <code>(S, &le;)</code> consisting of a reflexive, transitive, binary relation on a set `S`. It need not be connected (that is, there may be members `s1`,`s2` of `S` such that neither <code>s1&le;s2</code> nor <code>s2&le;s1</code>). It need not be anti-symmetric (that is, there may be members `s1`,`s2` of `S` such that <code>s1&le;s2</code> and <code>s2&le;s1</code> but `s1` and `s2` are not identical). Some examples:
+*      a **preorder** is a structure <code>(S, &le;)</code> consisting of a reflexive, transitive, binary relation on a set `S`. It need not be connected (that is, there may be members `s1`,`s2` of `S` such that neither <code>s1 &le; s2</code> nor <code>s2 &le; s1</code>). It need not be anti-symmetric (that is, there may be members `s1`,`s2` of `S` such that <code>s1 &le; s2</code> and <code>s2 &le; s1</code> but `s1` and `s2` are not identical). Some examples:
 
        *       sentences ordered by logical implication ("p and p" implies and is implied by "p", but these sentences are not identical; so this illustrates a pre-order without anti-symmetry)
        *       sets ordered by size (this illustrates it too)
 
-       Any pre-order <code>(S,&le;)</code> generates a category whose elements are the members of `S` and which has only a single morphism between any two elements `s1` and `s2`, iff <code>s1&le;s2</code>.
+       Any pre-order <code>(S,&le;)</code> generates a category whose elements are the members of `S` and which has only a single morphism between any two elements `s1` and `s2`, iff <code>s1 &le; s2</code>.
 
 
 Functors
@@ -229,12 +231,12 @@ If <code>&phi;</code> is a natural transformation from `F` to `M(1C)` and <code>
 <pre>
        &gamma; = (&phi; G')
          = ((unit <=< &phi;) G')
+         since unit is a natural transformation to M(1C), this is:
          = (((join 1C) -v- (M unit) -v- &phi;) G')
          = (((join 1C) G') -v- ((M unit) G') -v- (&phi; G'))
          = ((join (1C G')) -v- (M (unit G')) -v- &gamma;)
          = ((join G') -v- (M (unit G')) -v- &gamma;)
-         since (unit G') is a natural transformation to MG',
-         this satisfies the definition for &lt;=&lt;:
+         since (unit G') is a natural transformation to MG', this is:
          = (unit G') <=< &gamma;
 </pre>
 
@@ -245,11 +247,11 @@ Similarly, if <code>&rho;</code> is a natural transformation from `1C` to `MR'`,
 <pre>
        &gamma; = (&rho; G)
          = ((&rho; <=< unit) G)
+         = since &rho; is a natural transformation to MR', this is:
          = (((join R') -v- (M &rho;) -v- unit) G)
          = (((join R') G) -v- ((M &rho;) G) -v- (unit G))
          = ((join (R'G)) -v- (M (&rho; G)) -v- (unit G))
-         since &gamma; = (&rho; G) is a natural transformation to MR'G,
-         this satisfies the definition &lt;=&lt;:
+         since &gamma; = (&rho; G) is a natural transformation to MR'G, this is:
          = &gamma; <=< (unit G)
 </pre>
 
@@ -265,10 +267,10 @@ Summarizing then, the monad laws can be expressed as:
           (ii) (&rho; <=< &gamma;) <=< &phi;  =  &rho; <=< (&gamma; <=< &phi;)
 
        (iii.1) (unit G') <=< &gamma;  =  &gamma;
-               when &gamma; is a natural transformation from some FG' to MG'
+               whenever &gamma; is a natural transformation from some FG' to MG'
 
        (iii.2)                     &gamma;  =  &gamma; <=< (unit G)
-               when &gamma; is a natural transformation from G to some MR'G
+               whenever &gamma; is a natural transformation from G to some MR'G
 </pre>
 
 
@@ -282,7 +284,7 @@ In category theory, the monad laws are usually stated in terms of `unit` and `jo
        P3. functors "preserve identity", that is for every element C1 in F's source category: F(1<sub>C1</sub>) = 1<sub>F(C1)</sub>.
 -->
 
-Let's remind ourselves of some principles:
+Let's remind ourselves of principles stated above:
 
 *      composition of morphisms, functors, and natural compositions is associative
 
@@ -290,9 +292,9 @@ Let's remind ourselves of some principles:
 
 *      if <code>&eta;</code> is a natural transformation from `G` to `H`, then for every <code>f:C1&rarr;C2</code> in `G` and `H`'s source category <b>C</b>: <code>&eta;[C2] &#8728; G(f) = H(f) &#8728; &eta;[C1]</code>.
 
-*      <code>(&eta; F)[E] = &eta;[F(E)]</code> 
+*      <code>(&eta; F)[X] = &eta;[F(X)]</code> 
 
-*      <code>(K &eta;)[E} = K(&eta;[E])</code>
+*      <code>(K &eta;)[X] = K(&eta;[X])</code>
 
 *      <code>((&phi; -v- &eta;) F) = ((&phi; F) -v- (&eta; F))</code>
 
@@ -388,126 +390,221 @@ Finally, we substitute <code>((join G') -v- (M &gamma;) -v- &phi;)</code> for <c
             (i) &gamma; <=< &phi; etc are also in T
        ==>
            (i') ((join G') (M &gamma;) &phi;) etc are also in T
+</pre>
 
-
-
+<pre>
            (ii) (&rho; <=< &gamma;) <=< &phi;  =  &rho; <=< (&gamma; <=< &phi;)
        ==>
-                (&rho; <=< &gamma;) is a transformation from G to MR', so:
-                       (&rho; <=< &gamma;) <=< &phi; becomes: (join R') (M (&rho; <=< &gamma;)) &phi;
-                                                       which is: (join R') (M ((join R') (M &rho;) &gamma;)) &phi;
-                       substituting in (ii), and helping ourselves to associativity on the rhs, we get:
+                    (&rho; <=< &gamma;) is a transformation from G to MR', so
+                        (&rho; <=< &gamma;) <=< &phi; becomes: ((join R') (M (&rho; <=< &gamma;)) &phi;)
+                                                       which is: ((join R') (M ((join R') (M &rho;) &gamma;)) &phi;)
 
-            ((join R') (M ((join R') (M &rho;) &gamma;)) &phi;) = ((join R') (M &rho;) (join G') (M &gamma;) &phi;)
+                        similarly, &rho; <=< (&gamma; <=< &phi;) is:
+                                                       ((join R') (M &rho;) ((join G') (M &gamma;) &phi;))
+
+                        substituting these into (ii), and helping ourselves to associativity on the rhs, we get:
+                ((join R') (M ((join R') (M &rho;) &gamma;)) &phi;) = ((join R') (M &rho;) (join G') (M &gamma;) &phi;)
     
-                       which by the distributivity of functors over composition, and helping ourselves to associativity on the lhs, yields:
-   
-            ((join R') (M join R') (MM &rho;) (M &gamma;) &phi;) = ((join R') (M &rho;) (join G') (M &gamma;) &phi;)
+                        which by the distributivity of functors over composition, and helping ourselves to associativity on the lhs, yields:
+                ((join R') (M join R') (MM &rho;) (M &gamma;) &phi;) = ((join R') (M &rho;) (join G') (M &gamma;) &phi;)
   
-                       which by lemma 1, with &rho; a transformation from G' to MR', yields:
-            ((join R') (M join R') (MM &rho;) (M &gamma;) &phi;) = ((join R') (join MR') (MM &rho;) (M &gamma;) &phi;)
-
-                       which will be true for all &rho;,&gamma;,&phi; just in case:
-
-             ((join R') (M join R')) = ((join R') (join MR')), for any R'.
+                        which by lemma 1, with &rho; a transformation from G' to MR', yields:
+                ((join R') (M join R') (MM &rho;) (M &gamma;) &phi;) = ((join R') (join MR') (MM &rho;) (M &gamma;) &phi;)
 
-                       which will in turn be true just in case:
-
-          (ii') (join (M join)) = (join (join M))
+                        [-- Are the next two steps too cavalier? --]
 
+                        which will be true for all &rho;, &gamma;, &phi; only when:
+                ((join R') (M join R')) = ((join R') (join MR')), for any R'
 
+                        which will in turn be true when:
+       (ii') (join (M join)) = (join (join M))
+</pre>
 
+<pre>
         (iii.1) (unit G') <=< &gamma;  =  &gamma;
                 when &gamma; is a natural transformation from some FG' to MG'
-       (iii.1) (unit F') <=< &phi;  =  &phi;
        ==>
-                       (unit F') is a transformation from F' to MF', so:
-                               (unit F') <=< &phi; becomes: (join F') (M unit F') &phi;
-                                                  which is: (join F') (M unit F') &phi;
-                               substituting in (iii.1), we get:
-                       ((join F') (M unit F') &phi;) = &phi;
-
-                       which will be true for all &phi; just in case:
+                        (unit G') is a transformation from G' to MG', so:
+                        (unit G') <=< &gamma; becomes: ((join G') (M (unit G')) &gamma;)
+                                             which is: ((join G') ((M unit) G') &gamma;)
 
-                ((join F') (M unit F')) = the identity transformation, for any F'
+                        substituting in (iii.1), we get:
+                        ((join G') ((M unit) G') &gamma;) = &gamma;
 
-                       which will in turn be true just in case:
-
-       (iii.1') (join (M unit) = the identity transformation
+                        which is:
+                        (((join (M unit)) G') &gamma;) = &gamma;
 
+                        [-- Are the next two steps too cavalier? --]
 
+                        which will be true for all &gamma; just in case:
+                        for any G', ((join (M unit)) G') = the identity transformation
 
+                        which will in turn be true just in case:
+       (iii.1') (join (M unit)) = the identity transformation
+</pre>
 
-        (iii.2)                     &gamma;  =  &gamma; <=< (unit G)
+<pre>
+        (iii.2) &gamma;  =  &gamma; <=< (unit G)
                 when &gamma; is a natural transformation from G to some MR'G
-       (iii.2) &phi;  =  &phi; <=< (unit F)
        ==>
-                       &phi; is a transformation from F to MF', so:
-                               unit <=< &phi; becomes: (join F') (M &phi;) unit
-                               substituting in (iii.2), we get:
-                       &phi; = ((join F') (M &phi;) (unit F))
-                                                  --------------
-                               which by lemma (2), yields:
-                            ------------
-                       &phi; = ((join F') ((unit MF') &phi;)
+                        &gamma; <=< (unit G) becomes: ((join R'G) (M &gamma;) (unit G))
+                       
+                        substituting in (iii.2), we get:
+                        &gamma; = ((join R'G) (M &gamma;) (unit G))
+               
+                        which by lemma 2, yields:
+                        &gamma; = (((join R'G) ((unit MR'G) &gamma;)
 
-                               which will be true for all &phi; just in case:
+                        which is:
+                        &gamma; = (((join (unit M)) R'G) &gamma;)
 
-               ((join F') (unit MF')) = the identity transformation, for any F'
+                        [-- Are the next two steps too cavalier? --]
 
-                               which will in turn be true just in case:
+                         which will be true for all &gamma; just in case:
+                        for any R'G, ((join (unit M)) R'G) = the identity transformation
 
+                        which will in turn be true just in case:
        (iii.2') (join (unit M)) = the identity transformation
 </pre>
 
 
 Collecting the results, our monad laws turn out in this format to be:
 
-</pre>
-       when &phi; a transformation from F to MF', &gamma; a transformation from F' to MG', &rho; a transformation from G' to MR' all in T:
+<pre>
+       For all &rho;, &gamma;, &phi; in T,
+       where &phi; is a transformation from F to MF',
+       &gamma; is a transformation from G to MG',
+       &rho; is a transformation from R to MR',
+       and F'=G and G'=R:
 
-       (i') ((join G') (M &gamma;) &phi;) etc also in T
+           (i') ((join G') (M &gamma;) &phi;) etc also in T
 
-       (ii') (join (M join)) = (join (join M))
+          (ii') (join (M join)) = (join (join M))
 
        (iii.1') (join (M unit)) = the identity transformation
 
-       (iii.2')(join (unit M)) = the identity transformation
+       (iii.2') (join (unit M)) = the identity transformation
 </pre>
 
 
 
 Getting to the functional programming presentation of the monad laws
 --------------------------------------------------------------------
-In functional programming, unit is usually called "return" and the monad laws are usually stated in terms of return and an operation called "bind" which is interdefinable with <=< or with join.
-
-Additionally, whereas in category-theory one works "monomorphically", in functional programming one usually works with "polymorphic" functions.
+In functional programming, `unit` is sometimes called `return` and the monad laws are usually stated in terms of `unit`/`return` and an operation called `bind` which is interdefinable with `<=<` or with `join`.
 
 The base category <b>C</b> will have types as elements, and monadic functions as its morphisms. The source and target of a morphism will be the types of its argument and its result. (As always, there can be multiple distinct morphisms from the same source to the same target.)
 
-A monad M will consist of a mapping from types C1 to types M(C1), and a mapping from functions f:C1&rarr;C2 to functions M(f):M(C1)&rarr;M(C2). This is also known as "fmap f" or "liftM f" for M, and is called "function f lifted into the monad M." For example, where M is the list monad, M maps every type X into the type "list of Xs", and maps every function f:x&rarr;y into the function that maps [x1,x2...] to [y1,y2,...].
+A monad `M` will consist of a mapping from types `'t` to types `M('t)`, and a mapping from functions <code>f:C1&rarr;C2</code> to functions <code>M(f):M(C1)&rarr;M(C2)</code>. This is also known as <code>lift<sub>M</sub> f</code> for `M`, and is pronounced "function f lifted into the monad M." For example, where `M` is the list monad, `M` maps every type `'t` into the type `'t list`, and maps every function <code>f:x&rarr;y</code> into the function that maps `[x1,x2...]` to `[y1,y2,...]`.
 
 
+In functional programming, instead of working with natural transformations we work with "monadic values" and polymorphic functions "into the monad."
 
+A "monadic value" is any member of a type `M('t)`, for any type `'t`. For example, any `int list` is a monadic value for the list monad. We can think of these monadic values as the result of applying some function `phi`, whose type is `F('t)->M(F'('t))`. `'t` here is any collection of free type variables, and `F('t)` and `F'('t)` are types parameterized on `'t`. An example, with `M` being the list monad, `'t` being `('t1,'t2)`, `F('t1,'t2)` being `char * 't1 * 't2`, and `F'('t1,'t2)` being `int * 't1 * 't2`:
 
-A natural transformation t assigns to each type C1 in <b>C</b> a morphism t[C1]: C1&rarr;M(C1) such that, for every f:C1&rarr;C2:
-       t[C2] &#8728; f = M(f) &#8728; t[C1]
+<pre>
+       let phi = fun ((_:char, x y) -> [(1,x,y),(2,x,y)]
+</pre>
 
-The composite morphisms said here to be identical are morphisms from the type C1 to the type M(C2).
 
 
+Now where `gamma` is another function of type <code>F'('t) &rarr; M(G'('t))</code>, we define:
 
-In functional programming, instead of working with natural transformations we work with "monadic values" and polymorphic functions "into the monad" in question.
+<pre>
+       gamma =<< phi a  =def. ((join G') -v- (M gamma)) (phi a)
+                        = ((join G') -v- (M gamma) -v- phi) a
+                                        = (gamma <=< phi) a
+</pre>
 
-For an example of the latter, let &phi; be a function that takes arguments of some (schematic, polymorphic) type C1 and yields results of some (schematic, polymorphic) type M(C2). An example with M being the list monad, and C2 being the tuple type schema int * C1:
+Hence:
 
-       let &phi; = fun c &rarr; [(1,c), (2,c)]
+<pre>
+       gamma <=< phi = fun a -> (gamma =<< phi a)
+</pre>
 
-&phi; is polymorphic: when you apply it to the int 0 you get a result of type "list of int * int": [(1,0), (2,0)]. When you apply it to the char 'e' you get a result of type "list of int * char": [(1,'e'), (2,'e')].
+`gamma =<< phi a` is called the operation of "binding" the function gamma to the monadic value `phi a`, and is usually written as `phi a >>= gamma`.
 
-However, to keep things simple, we'll work instead with functions whose type is settled. So instead of the polymorphic &phi;, we'll work with (&phi; : C1 &rarr; M(int * C1)). This only accepts arguments of type C1. For generality, I'll talk of functions with the type (&phi; : C1 &rarr; M(C1')), where we assume that C1' is a function of C1.
+With these definitions, our monadic laws become:
 
-A "monadic value" is any member of a type M(C1), for any type C1. For example, a list is a monadic value for the list monad. We can think of these monadic values as the result of applying some function (&phi; : C1 &rarr; M(C1')) to an argument of type C1.
 
+<pre>
+       Where phi is a polymorphic function of type F('t) -> M(F'('t))
+       gamma is a polymorphic function of type G('t) -> M(G'('t))
+       rho is a polymorphic function of type R('t) -> M(R'('t))
+       and F' = G and G' = R, 
+       and a ranges over values of type F('t),
+       b ranges over values of type G('t),
+       and c ranges over values of type G'('t):
+
+             (i) &gamma; <=< &phi; is defined,
+                         and is a natural transformation from F to MG'
+       ==>
+               (i'') fun a -> gamma =<< phi a is defined,
+                         and is a function from type F('t) -> M(G'('t))
+</pre>
+
+<pre>
+            (ii) (&rho; <=< &gamma;) <=< &phi;  =  &rho; <=< (&gamma; <=< &phi;)
+       ==>
+                         (fun a -> (rho <=< gamma) =<< phi a)  =  (fun a -> rho =<< (gamma <=< phi) a)
+                         (fun a -> (fun b -> rho =<< gamma b) =<< phi a)  =  (fun a -> rho =<< (gamma =<< phi a))
+
+          (ii'') (fun b -> rho =<< gamma b) =<< phi a  =  rho =<< (gamma =<< phi a)
+</pre>
+
+<pre>
+         (iii.1) (unit G') <=< &gamma;  =  &gamma;
+                 when &gamma; is a natural transformation from some FG' to MG'
+       ==>
+                         (unit G') <=< gamma  =  gamma
+                         when gamma is a function of type F(G'('t)) -> M(G'('t))
+
+                         fun b -> (unit G') =<< gamma b  =  gamma
+
+                         (unit G') =<< gamma b  =  gamma b
+
+                         Let return be a polymorphic function mapping arguments of any
+                         type 't to M('t). In particular, it maps arguments c of type
+                         G'('t) to the monadic value (unit G') c, of type M(G'('t)).
+
+       (iii.1'') return =<< gamma b  =  gamma b
+</pre>
+
+<pre>
+         (iii.2) &gamma;  =  &gamma; <=< (unit G)
+                 when &gamma; is a natural transformation from G to some MR'G
+       ==>
+                         gamma  =  gamma <=< (unit G)
+                         when gamma is a function of type G('t) -> M(R'(G('t)))
+
+                         gamma  =  fun b -> gamma =<< (unit G) b
+
+                         As above, return will map arguments b of type G('t) to the
+                         monadic value (unit G) b, of type M(G('t)).
+
+                         gamma  =  fun b -> gamma =<< return b
+
+       (iii.2'') gamma b  =  gamma =<< return b
+</pre>
+
+Summarizing (ii''), (iii.1''), (iii.2''), these are the monadic laws as usually stated in the functional programming literature:
+
+*      `fun b -> rho =<< gamma b) =<< phi a  =  rho =<< (gamma =<< phi a)`
+
+       Usually written reversed, and with a monadic variable `u` standing in
+       for `phi a`:
+
+       `u >>= (fun b -> gamma b >>= rho)  =  (u >>= gamma) >>= rho`
+
+*      `return =<< gamma b  =  gamma b`
+
+       Usually written reversed, and with `u` standing in for `gamma b`:
+
+       `u >>= return  =  u`
+
+*      `gamma b  =  gamma =<< return b`
+
+       Usually written reversed:
+
+       `return b >>= gamma  =  gamma b`