add note about The Little Schemer
[lambda.git] / index.mdwn
index 50d1c03..a122c1d 100644 (file)
@@ -6,44 +6,40 @@ This course is co-taught by [Chris Barker](http://homepages.nyu.edu/~cb125/) and
 The seminar meets in spring 2015 on Thursdays from 4 until a bit before 7 (with a short break in the middle), in
 the Linguistics building at 10 Washington Place, in room 103 (front of the first floor).
 
-<!--
-One student session will be held every Wednesday from XX-YY at WHERE.
--->
+One student session to discuss homeworks will be held every Wednesday from 5-6, in Linguistics room 104 (back of the first floor).
 
+## [[Index of Main Content|content]] (lecture notes and more) ##
+
+## [[Offsite Readings|readings]] ##
 
 ## Announcements ##
 
-This wiki will be undergoing lots of changes throughout the semester, and particularly in these first few days as we get it set up, migrate over some of the content from the previous time
+*   [[Untyped lambda calculus evaluator|code/lambda_evaluator]] on this site
+
+*   This wiki will be undergoing lots of changes throughout the semester, and particularly in these first few days as we get it set up, migrate over some of the content from the previous time
 we taught this course, and iron out various technical wrinkles. Please be patient. When you sit down to read the wiki, it's a good idea to always hit "Refresh" in your browser to make sure you're reading the latest additions and refinements of the website. (Sometimes these will be tweaks, other times very substantial. Updates will happen at miscellaneous hours, sometimes many times in a given day.)
 
-If you've eager to learn, though, you don't have to wait on us to be ready to serve you. You can go look at the [archived first version](http://lambda1.jimpryor.net) of this course. Just keep in mind that
+    If you're eager to learn, though, you don't have to wait on us to be ready to serve you. You can go look at the [archived first version](http://lambda1.jimpryor.net) of this course. Just keep in mind that
 the text and links there haven't been updated. And/or you can get started on installing the software and ordering some of the books.
 
-As we mentioned in class, if you're following the course and would like to be emailed occasionally, send an email to <mailto:jim.pryor@nyu.edu>, saying "lambda" in the subject line. Most often, we will just post announcements to this website, rather than emailing you. But occasionally an email might be more appropriate.
-
-As we mentioned in class, we're also going to schedule a session to discuss the weekly homeworks. If you'd like to participate in this, please complete [this Doodle poll](http://doodle.com/7xrf4w8xq4i9e5za). It asks when you are available on Tuesdays and Wednesdays.
+*   As we mentioned in class, if you're following the course and would like to be emailed occasionally, send an email to <mailto:jim.pryor@nyu.edu>, saying "lambda" in the subject line. Most often, we will just post announcements to this website, rather than emailing you. But occasionally an email might be more appropriate.
 
 <!--
-One student session will be held every Wednesday from XX-YY at WHERE.
-
-For those who'd like to attend the section but can't make the
-Wednesday time: If you're one of the students who
-wants to meet for Q&A at some other time in the week, let us know.
-
-You should see the student sessions as opportunities to clear up lingering
-issues from material we've discussed, and help get a better footing for what
-we'll be doing the next week. It would be smart to make a serious start on that
-week's homework, for instance, before the session.
+*   As we mentioned in class, we're also going to schedule a session to discuss the weekly homeworks. If you'd like to participate in this, please complete [this Doodle poll](http://doodle.com/7xrf4w8xq4i9e5za). It asks when you are available on Tuesdays and Wednesdays.
 -->
 
-Here is information about [[How to get the programming languages running on your computer]].
+*   The student session has been scheduled for Wednesdays from 5-6, in Linguistics room 104 (back of the first floor).
 
-Here are Lecture notes for [[Week1]]; [[Assignment1]]. (*These will be posted soon.*)
+    Those of you interested in additional Q&amp;A but who can't make that time, let us know.
 
->      Topics: Basics of Functional Programming
+    You should see these student sessions as opportunities to clear up lingering
+issues from material we've discussed, and help get a better footing for what
+we'll be doing the next week. It's expected you'll have made at least a serious start on that
+week's homework (due the following day) before the session.
 
-<!--
-*      Henceforth, unless we say otherwise, every homework will be "due" by
+*   Here is information about [[How to get the programming languages running on your computer|installing]]. If those instructions seem overwhelming, note that it should be possible to do a lot of this course using only demonstration versions of these languages [[that run in your web browser|browser]].
+
+*   Henceforth, unless we say otherwise, every homework will be "due" by
 Wednesday morning after the Thursday seminar in which we refer to it.
 (Usually we'll post the assignment shortly before the seminar, but don't
 rely on this.) However, for every assignment there will be a "grace
@@ -56,23 +52,86 @@ the web, or the Little Schemer book, or anywhere. So long as you can
 reason yourself through the solutions and experience for yourself the
 insights they embody.
 
-       We reserve the privilege to ruthlessly require you to
+    We reserve the privilege to ruthlessly require you to
 explain your solutions in conversations at any point, in section or in
 class.
 
-       You should always *aim* to complete the assignments by the "due" date,
+    You should always *aim* to complete the assignments by the "due" date,
 as this will fit best with the progress of the seminar.
 
-       The assignments will tend to be quite challenging. Again, you should by
+    The assignments will tend to be quite challenging. Again, you should by
 all means talk amongst yourselves, and to us, about strategies and
 questions that come up when working through them.
 
-       We will not always be able to predict accurately which problems are
+    We will not always be able to predict accurately which problems are
 easy and which are hard.  If we misjudge, and choose a problem that is
 too hard for you to complete to your own satisfaction, it is still
 very much worthwhile (and very much appreciated) if you would explain
 what is difficult, what you tried, why what you tried didn't work, and
 what you think you need in order to solve the problem.
+
+
+
+
+(**Week 1**) Thursday 29 Jan 2015
+
+> Topics:
+[[Order in programming languages and natural language|topics/week1 order]];
+[[Introduction to functional programming|topics/week1 kapulet intro]];
+[[Homework|exercises/assignment1]];
+[[Advanced notes|topics/week1 kapulet advanced]]
+
+(**Intermezzo**)
+> Help on [[learning Scheme]], [[OCaml|learning OCaml]], and [[Haskell|learning Haskell]];
+The [[differences between our made-up language and Scheme, OCaml, and Haskell|rosetta1]];
+[[What do words like "interpreter" and "compiler" mean?|ecosystem]] (in progress)
+
+(**[[Lambda Evaluator|code/lambda evaluator]]**) Usable in your browser. It can help you check whether your answer to some of the (upcoming) homework questions works correctly.
+<!--
+ There is also now a [library](/lambda library) of lambda-calculus arithmetical and list operations, some relatively advanced.
+-->
+
+(**Week 2**) Thursday 5 February 2015
+> Topics:
+[[Intro to the Lambda Calculus|topics/week2 lambda intro]];
+[[Advanced notes|topics/week2 lambda advanced]];
+[[Encoding Booleans, Tuples, Lists, and Numbers|topics/week2 encodings]];
+[[Homework|exercises/assignment2]]
+
+> Also, if you're reading the Hankin book, try reading Chapters 1-3. You will most likely need to come back again and read it multiple times; but this would be a good time to make the first attempt.
+
+> We posted [[answers to Week 1's homework|exercises/assignment1_answers]].
+
+(**Week 3**) Thursday 12 February 2015
+*We will continue to develop these notes over the next few days.*
+
+> Topics:
+[[Arithmetic with Church numbers|topics/week3_church_arithmetic]];
+[[More on Lists|topics/week3 lists]] (expanded on Sunday);
+[[What is computation?|topics/week3_what_is_computation]];
+Reduction Strategies and Normal Forms (in progress);
+[[Unit and its usefulness|topics/week3 unit]] (posted on Wednesday);
+[[Combinatory Logic|topics/week3 combinatory logic]] (revised on Monday and Tuesday);
+[[Homework|exercises/assignment3]]
+
+> Also, by this point you should be able to handle all of *The Little Schemer* except for Chapters 9 and 10. Chapter 9 covers what is going on under the hood with `letrec`, and that will be our topic for next week. You can also read Chapter 4 of Hankin on Combinatory Logic.
+
+> We posted [[answers to Week 2's homework|exercises/assignment2_answers]].
+
+(**Week 4**) Thursday 19 February 2015
+
+> Topics: [[!img images/tabletop_roleplaying.png size="240x240" alt="Hey, no recursing"]]
+[[Yes, recursing|topics/week4_fixed_point_combinators]];
+[[More about fixed point combinators|topics/week4_more_about_fixed_point_combinators]];
+Towards types (in progress);
+[[Homework|exercises/assignment4]]
+
+> Now you can read Sections 3.1 and 6.1 of Hankin; and browse the rest of Hankin Chapter 6, which should look somewhat familiar.
+
+
+<!--
+We've added a [[Monad Library]] for OCaml.
+We've posted a [[State Monad Tutorial]].
 -->
 
 
@@ -83,7 +142,6 @@ theoretical computer science and show how they can provide insight
 into established philosophical and linguistic problems.
 
 This is not a seminar about any particular technology or software.
-
 Rather, it's about a variety of conceptual/logical ideas that have been
 developed in computer science and that linguists and philosophers ought to
 know, or may already be unknowingly trying to reinvent.
@@ -121,7 +179,10 @@ course is to enable you to make these tools your own; to have enough
 understanding of them to recognize them in use, use them yourself at least
 in simple ways, and to be able to read more about them when appropriate.
 
-[[More about the topics and larger themes of the course]]
+"Computer Science is no more about computers than astronomy is about telescopes." -- [E. W. Dijkstra](https://en.wikipedia.org/wiki/Edsger_W._Dijkstra) <small>(or Hal Abelson, or Michael Fellows; the quote's <a href="https://en.wikiquote.org/wiki/Computer_science">origins are murky</a>)</small>
+
+
+[[More about the topics and larger themes of the course|overview]]
 
 
 ## Who Can Participate? ##
@@ -161,24 +222,30 @@ meant by "functional" is somewhat fuzzy and even its various precisifications ta
 time to explain. We'll get clearer on this during the course. Another term used roughly the same as "functional"
 is "declarative." At a first pass, "functional" or "declarative" programming is primarily focused on complex
 expressions that get computationally evaluated to some (usually simpler) result. In class I gave the examples
-of `1+2` (which gets evaluated in arithmetic to 3), `1+2 < 5` (which gets evaluated in arithmetic to 'true), and `1`
-(which gets evaluated in arithmetic to 1). Also Google search strings, which get evaluated by Google servers to a
+of `1+2` (which gets evaluated in arithmetic to `3`), `1+2 < 5` (which gets evaluated in arithmetic to a truth-value), and `1`
+(which gets evaluated in arithmetic to `1`). Also Google search strings, which get evaluated by Google servers to a
 list of links.
 
 The dominant contrasting class of programming languages (the great majority of what's used
-in industry) are called "imperatival" languages, meaning they have more to do with following a sequence of commands (what we
+in industry) are called "imperatival" languages, meaning they have more to do with following a sequence of commands (generating what we
 called in class "side-effects", though sometimes what they're *alongside* is not that interesting, and all the focus is instead
-on the effect). Programming languages like C and Python and JavaScript and so on are all of this sort.
+on the effects). Programming languages like C and Python and JavaScript and so on are predominantly of this sort.
 
-In fact, nothing that gets marketed as a "programming language" is really completely 100% functional/declarative, and even the
-imperatival languages will have purely functional fragments (they evaluate `1+2` to 3, also). So these labels are really
-more about *styles* or *idioms* of programming, and languages like Scheme and OCaml and especially Haskell get called "functional languages" because
-of the extent to which they emphasize, and are designed around those idioms. Even languages like Python and JavaScript are sometimes
-described as "more functional" than some other languages. The language C is about as non-functional as you can get.
+In truth, nothing that gets marketed as a "programming language" is really completely 100% functional/declarative, and even the
+languages I called "imperatival" will have some "functional" *fragments* (they evaluate `1+2` to `3`, also). So these labels aren't
+strictly exclusive. The labels are better thought of as concerning different
+*styles* or *idioms* of programming. Languages like Scheme and OCaml and especially Haskell get called "functional languages" because
+of the extent to which they emphasize, and are designed around those idioms. Languages like Python and JavaScript are sometimes themselves
+described as "more functional" than other languages, like C.
 
-*      **Scheme** is one of two major dialects of *Lisp*, which is a large family
+In any case, here is
+<a name=installing></a>
+[[How to get the programming languages running on your computer|installing]].
+And here is some more context for the three languages we will be focusing on:
+
+*   **Scheme** is one of two or three major dialects of *Lisp*, which is a large family
 of programming languages. Scheme
-is the more clean and minimalistic dialect, and is what's mostly used in
+is the more clean and minimalist dialect of Lisp, and is what's mostly used in
 academic circles.
 Scheme itself has umpteen different "implementations", which share most of
 their fundamentals, but have slightly different extensions and interact with
@@ -186,44 +253,63 @@ the operating system differently. One major implementation is called Racket,
 and that is what we recommend you use. If you're already using or comfortable with
 another Scheme implementation, though, there's no compelling reason to switch.
 
-       Racket stands to Scheme in something like the relation Firefox stands to HTML.
+    Another good Scheme implementation is Chicken. For our purposes, this is in some
+respects superior to Racket, and in other respects inferior. <!--
+Racket doesn't have R7RS-small, and won't anytime soon. :-(
+Also Chicken's library collection seems stronger, or at least better organized and maintained.
+Other R7RS-friendly: [Gauche](http://practical-scheme.net/gauche), [Chibi](https://code.google.com/p/chibi-scheme).
+-->
+
+    Racket and Chicken stand to Scheme in something like the relation Firefox stands to HTML.
 
-       (Wikipedia on [Lisp](http://en.wikipedia.org/wiki/Lisp_%28programming_language%29),
+    (Wikipedia on
+[Lisp](http://en.wikipedia.org/wiki/Lisp_%28programming_language%29),
 [Scheme](http://en.wikipedia.org/wiki/Scheme_%28programming_language%29),
-and [Racket](http://en.wikipedia.org/wiki/Racket_%28programming_language%29).)
+[Racket](http://en.wikipedia.org/wiki/Racket_%28programming_language%29), and
+[Chicken](http://en.wikipedia.org/wiki/CHICKEN_%28Scheme_implementation%29).)  
+    (Help on [[Learning Scheme]])
 
-*      **Caml** is one of two major dialects of *ML*, which is another large
+*   **Caml** is one of two major dialects of *ML*, which is another large
 family of programming languages. Caml has only one active "implementation",
 OCaml, developed by the INRIA academic group in France. Sometimes we may refer to Caml or ML
 more generally; but you can assume that what we're talking about always works more
 specifically in OCaml.
 
-       (Wikipedia on [ML](http://en.wikipedia.org/wiki/ML_%28programming_language%29),
-[Caml](http://en.wikipedia.org/wiki/Caml),
-and [OCaml](http://en.wikipedia.org/wiki/OCaml).)
+    (Wikipedia on
+[ML](http://en.wikipedia.org/wiki/ML_%28programming_language%29),
+[Caml](http://en.wikipedia.org/wiki/Caml), and
+[OCaml](http://en.wikipedia.org/wiki/OCaml).)  
+    (Help on [[Learning OCaml]])
 
 
-*      Those of you with some programming background may have encountered a third
-prominent functional programming language, **Haskell**. This is also used a
+*   **Haskell** is also used a
 lot in the academic contexts we'll be working through. Its surface syntax
 differs from Caml, and there are various important things one can do in
 each of Haskell and Caml that one can't (or can't as easily) do in the
-other. But these languages also have a lot in common, and if you're
-familiar with one of them, it's not difficult to move between it and the
+other. But these languages also have *a lot* in common, and if you're
+familiar with one of them, it's generally not hard to move between it and the
 other.
 
-       (Wikipedia on [Haskell](http://en.wikipedia.org/wiki/Haskell_%28programming_language%29).)
+    Like Scheme, Haskell has a couple of different implementations. The
+dominant one, and the one we recommend you install, is called GHC, short
+for "Glasgow Haskell Compiler".
 
+    (Wikipedia on
+[Haskell](http://en.wikipedia.org/wiki/Haskell_%28programming_language%29) and
+[GHC](https://en.wikipedia.org/wiki/Glasgow_Haskell_Compiler).)  
+    (Help on [[Learning Haskell]])
+
+<!--
+[Helium](https://www.haskell.org/pipermail/haskell/2003-January/011071.html) is a simplified Haskell for teaching (no typeclasses)
+-->
 
-<a name=installing></a>
-[[How to get the programming languages running on your computer]]
 
 
 ## Recommended Books ##
 
 It's not *mandatory* to purchase these for the class. But they are good ways to get a more thorough and solid understanding of some of the more basic conceptual tools we'll be using. We especially recommend the first three of them.
 
-*      *An Introduction to Lambda Calculi for Computer Scientists*, by Chris
+*   *An Introduction to Lambda Calculi for Computer Scientists*, by Chris
 Hankin, currently $18 paperback on
 [Amazon](http://www.amazon.com/dp/0954300653).
 
@@ -236,25 +322,48 @@ interest for this course** is the explanation of the Y combinator, available as
 a free sample chapter [at the MIT Press web page for the
 book](http://www.ccs.neu.edu/home/matthias/BTLS/).
 
-*      *The Seasoned Schemer*, also by Daniel P. Friedman and Matthias Felleisen, currently $29 paperback
+*   *The Seasoned Schemer*, also by Daniel P. Friedman and Matthias Felleisen, currently $29 paperback
 on [Amazon](http://www.amazon.com/Seasoned-Schemer-Daniel-P-Friedman/dp/026256100X). This is a sequel to The Little Schemer, and it focuses on mutation and continuations in Scheme. We will be covering those topics in the second half of the course.
 
-*      *The Little MLer*, by Matthias Felleisen and Daniel P. Friedman, currently $31 paperback / $29 kindle
+*   *The Little MLer*, by Matthias Felleisen and Daniel P. Friedman, currently $31 paperback / $29 kindle
 on [Amazon](http://www.amazon.com/Little-MLer-Matthias-Felleisen/dp/026256114X).
 This covers much of the same introductory ground as The Little Schemer, but
 this time in a dialect of ML. It doesn't use OCaml, the dialect we'll be working with, but instead another dialect of ML called SML. The syntactic differences between these languages is slight.
 ([Here's a translation manual between them](http://www.mpi-sws.org/~rossberg/sml-vs-ocaml.html).)
-Still, that does add an extra layer of interpretation, and you might as well just use The Little Schemer instead. Those of you who are already more comfortable with OCaml (or with Haskell) than with Scheme might consider working through this book instead of The Little Schemer; for the rest of you, or those of you who *want* practice with Scheme, go with The Little Schemer.
+Still, that does add an extra layer of interpretation, and you might as well
+just use The Little Schemer instead. Those of you who are already more
+comfortable with OCaml (or with Haskell) than with Scheme might consider
+working through this book instead of The Little Schemer. For the rest of you,
+or those of you who *want* practice with Scheme, go with The Little Schemer.
+
+*   *The Haskell Road to Logic, Math and Programming*, by Kees Doets and Jan van Eijck, currently $22 on [Amazon](http://www.amazon.com/dp/0954300696) is a textbook teaching the parts of math and logic we cover in the first few weeks of Logic for Philosophers. (Notions like validity, proof theory for predicate logic, sets, sequences, relations, functions, inductive proofs and recursive definitions, and so on.) The math here should be accessible and familiar to all of you. What is novel about this book is that it integrates the exposition of these notions with a training in (part of) Haskell. It only covers the rudiments of Haskell's type system, and doesn't cover monads; but if you wanted to review this material and become comfortable with core pieces of Haskell in the process, this could be a good read.
+(The book also seems to be available online [here](http://fldit-www.cs.uni-dortmund.de/~peter/PS07/HR.pdf).)
+
 
-*      Another good book covering the same ground as the Hankin book, but
+The rest of these are a bit more advanced, and are also looser suggestions:
+
+*   *Computational Semantics with Functional Programming*, by Jan van Eijck and Christina Unger, currently $42 on [Amazon](http://www.amazon.com/dp/0521757606). We own this but haven't read it yet. It *looks* like it's doing the same kind of thing this seminar aims to do: exploring how natural language meanings can be understood to be "computed". The text uses Haskell, and is aimed at linguists and philosophers as well as computer scientists. Definitely worth a look.
+<!--
+It deals with both denotational meaning (where meaning
+comes from knowing the conditions of truth in situations), and
+operational meaning (where meaning is an instruction for performing
+cognitive action).
+-->
+
+*   Another good book covering the same ground as the Hankin book, but
 more thoroughly, and in a more mathematical style, is *Lambda-Calculus and Combinators:
 an Introduction*, by J. Roger Hindley and Jonathan P. Seldin, currently $74 hardback / $65 kindle on [Amazon](http://www.amazon.com/dp/0521898854).
-This book is substantial and though it doesn't presuppose any specific mathematical background knowledge, it will be a good choice only if you're already comfortable reading advanced math textbooks.
+This book is substantial; and although it doesn't presuppose any specific
+mathematical background knowledge, it will be a good choice only if you're
+already comfortable reading advanced math textbooks.
 If you choose to read both the Hankin book and this book, you'll notice the authors made some different
 terminological/notational choices. At first, this makes comprehension slightly slower,
 but in the long run it's helpful because it makes the arbitrariness of those choices more salient.
 
-*      Another good book, covering some of the same ground as the Hankin, and the Hindley &amp; Seldin, but delving deeper into typed lambda calculi, is *Types and Programming Languages*, by Benjamin Pierce, currently $77 hardback / $68 kindle on [Amazon](http://www.amazon.com/dp/0262162091). This book has many examples in OCaml.
+
+*   Another good book, covering a bit of the same ground as the Hankin and the Hindley &amp; Seldin, but focusing especially on typed lambda calculi, is *Types and Programming Languages*, by Benjamin Pierce, currently $77 hardback / $68 kindle on [Amazon](http://www.amazon.com/dp/0262162091). This book has many examples in OCaml. It seems to be the standard textbook for CS students learning type theory.
+
+*   The next two books focus on the formal semantics of typed programming languages, both in the "denotational" form that most closely corresponds to what we mean by semantics, and in the "operational" form very often used in CS. These are: *The Formal Semantics of Programming Languages*, by Glynn Winskel, currently $38 on [Amazon](http://www.amazon.com/dp/0262731037), and *Semantics of Programming Languages*, by Carl Gunter, currently $41 on [Amazon](http://www.amazon.com/dp/0262071436).
 
 
 ----