Check that functional tests log no errors

After all other functional tests, check the output of show log 7 to
make sure that no earlier tests caused errors at or above that
loglevel.

Test that the show log command works

Exercise the show log command in functional testing, and confirm
that it returns at least some log data.

Fix show log command for Py3K

The behavior of lambda filters has changed in Python 3 such that you
can no longer treat them directly as lists. Trivially reimplement
them as list comprehensions. Also correct a missing minimum loglevel
fallback default.

Fix recursive BrokenPipeException on disconnect

When an admin user has a broken pipe, attempting to log
BrokenPipeException errors to their socket raises another until the
max recursion depth is hit. Set the current user's state to
disconnecting before logging the error instead of after, so as to
avoid this loop.

Switch basic data loader unit from element to node

In preparation for a migration to a new flat data model where
elements are inferred from facet names, stop referring to the
top-level keys in data files as elements and instead call them
nodes. During the transitional period, a node could be an old-style
element or a new-style element's facet.

Explicitly invoke Python 3.x in shebang lines

Since the codebase relies on Py3K-only syntax in places, explicitly
invoke the python3 interpreter rather than expecting the
environment's primary interpreter to support Python 3.x code.

Test admin account restrictions

Add an admin session in the functional tests, and confirm that an
admin can see a restricted function in the help output while a
non-admin cannot see it. Further confirm that an admin command
behaves as an unknown command when a non-admin attempts to call it.

More thorough match on chat mode test

Use a multi-line match on the chat mode functional test, to confirm
both the command feedback and prompt change are present.

Test actor movement

Exercise the move command in all configured directions in the
functional tests.

Mention test session capture log file names

When writing functional test session capture logs, mention the file
names for ease of reference.

Add timing data to test output

Print individual and aggregate functional test durations.

Test chat mode

Add a functional test for chat mode.

Add troubleshooting note to test failure output

When a functional test failure is encountered, recommend the
corresponding log to check for the actual output when an expected
match is not found.

Break outer loop of functional tests on failure

When a test failure is encountered in the inner loop of functional
tests, also break out of the outer loop so that subsequent tests are
not run.

Be more explicit with periods in test matches

Correct some missed escapes for periods (.) in functional test match
strings.

Modularize functional testing

Break functional test dialogue groups into separate modules and add
a description to each for ease of debugging.

Test sentence capitalization

Add a functional test to make sure uncapitalized actor speech gets
displayed with proper sentence capitalization.

Test typo replacements

In the functional test dialogue, add tests for typo replacements.

Test implicit punctuation

In the functional test dialogue, confirm that the configured default
punctuation is appended when implicit punctuation is expected.

Read pending bytes before proceeding with test

After a match in found in each step of the functional test, read in
the remaining buffer before replying. This makes the captures
slightly more readable, especially if the match in early in a block
of output.

Fix punctuation match order and add tests

Add explicit punctuation functional tests with a conversation
between the two test sessions, and fix a nondeterministic bug this
exposed. Punctuation is now matched in a sorted order rather than
arbitrary hash table lookup order, and the sort is reversed so that
the longest match always wins.

Test interaction between multiple connections

Extend functional testing to utilize a second connection, and test
that the second actor entering and exiting the World causes the
first actor to see the correct messages for each of these events.

Lay groundwork for more thorough functional tests

Make bin/test support an arbitrary number of connections, be more
verbose about what it's doing, and archive complete captures of each
session involved.

Switch to yaml.safe_load for better security

Use the yaml.safe_load to avoid unwanted privilege escalation due to
deserializing unsafe objects. Also switch to yaml.safe.dump for
symmetry, so that we don't write out files we'll later refuse to
parse.

Be more strict about file permission masks

Set a reasonably strict umask  of 0022 when creating most files and
directories. Also set the umask to 0077 for private files to avoid a
brief race where someone could open them for reading after creation
but prior to the prophylactic chmod to 0600.

Accumulate logs if necessary while loading data

Prior to existence of the global universe, the destination files for
logging may not be known. Accumulate log entries during
DataFile.load() if immediate logging fails, so that they can be
flushed later once logging is possible.

Remove stray non-generic references in sample data

The sample data was adapted from an actual test implementation, and
a few references to that original dataset missed cleanup. Take care
of them.

Switch password handler to passlib's PBKDF2

The passlib implementation of PBKDF2 is strong, portable and more
heavily audited. Use that instead of implementing our own custom
handler. Also simplify password use by dropping optional parameters
from the create and verify functions, and don't bother carrying the
old upgrade_legacy_hash public function forward; it can be reworked
to provide in-place hash upgrades later if desired.

Write files directly from yaml.dump

Simplify data file writing by passing a file descriptor directly to
the yaml.dump method rather than unnecessarily passing a string back
out of it and into a separate writer.

Remove UTF-8 encoding header from Python files

The Python 3.x interpreter assumes source files are in UTF-8 by
default, so file encoding headers are no longer necessary. Get rid
of them.

Fix type mismatches in save file rotation

The numeric suffix on rotated save files needs to be treated as an
int during rotation calculations but as a str during filename
generation. Make it so.

Correct avatar inheritance

The inherit facet should be a list, so correct an instance where it
was inadvertently left as a string literal instead.

Log missing avatars

If an avatar is missing, it's likely that it was created but not yet
saved during a crash. This is usually safe to skip but could imply
data corruption, so log the situation with a high log level.

Accumulate logs during setup

Prior to existence of the global universe, the destination files for
logging may not be known. Accumulate log entries during
Universe.load() and then flush them once it's safe to do so.

Add a .gitignore file

Use .gitignore to track ephemeral files created during testing.

Finalize INI to YAML conversion

Convert the main configuration file to YAML and rip out any remnants
of INI support.

Remove the git2gch utility

The git2gch utility was previously used to generate GNU-style
ChangeLog files from Git commit history, but there are useful
existing tools for this now and it's out of scope for mudpy.

Clean up parenthetical spacing in bin/mudpy

For better PEP-8 conformance, correct parenthetical spacing in the
bin/mudpy file.

Mark unused import false positives

Since the reload framework in the package's init imports modules
which look as if they don't get used, add noqa comments inline to
indicate they should be ignored by static analysis tools.

Convert sample data directory index to YAML

Support data directory indices in YAML

* lib/mudpy/data.py(DataFile.load_yaml,DataFile.load_mpy): Add routines
to look for a YAML file index as well as the old INI-based format. For
YAML files, don't bother recasting entries to lists or dicts since they
should already be returned as the desired type.

Convert sample prop data file to YAML

File read-only check supports YAML

* lib/mudpy/data.py(DataFile.is_writeable): Add support for determining
read-only status of YAML data files.

Convert sample area data file to YAML

Don't unnecessarily recast lists and dicts

* lib/mudpy/misc.py(Element.getlist,Element.getdict): Unlike INI, YAML
directly encodes other datatypes in addition to strings. When using get
functions for lists and dicts, if they're already provided in their
desired form then don't recast them as doing so would instead create
nested datatypes instead.

Initialize data file contents on creation

* lib/mudpy/data.py(DataFile.__init__): When instantiating a DataFile,
initialize its data class variable as an empty dict in case it's
traversed before getting populated.

Convert menu data file to YAML

Catch exceptions in YAML menus

* lib/mudpy/misc.py(Element.facets,Element.get): Early in login and
account creation, elements can have None in place of a dict for their
data. Under these circumstances, listing their keys throws
AttributeError and deep-linking into specific keys throws TypeError.
Catch these and treat them as empty.

Convert command data file to YAML

Convert archetype data file to YAML

Begin the transition from INI to YAML

* lib/mudpy/data.py(DataFile.load): Temporarily turn this method into a
selector which calls different loader methods depending on the file
extension so that old INI and new YAML files can be intermixed during
the transition.
(DataFile.load_yaml): This new loader method handles YAML files.
(DataFile.load_mpy): This is basically the old DataFile.load method.
(DataFile.save,DataFile.is_writeable): Add some TODO reminders for the
YAML transition.

* lib/mudpy/misc.py(Element.__init__,Element.facets,Element.get)
(Element.getboolean): Add conditional branching around calls deeper into
mudpy.data which need different behavior depending on the underlying
file formats.

* requirements.txt: Start tracking Python module dependencies in this
new file, and add the pyyaml module as the first entry.

Correct stray use of location

Clean up rendering in coder documentation

* doc/coder.txt: Correct top-level numbering prefix and several
syntactically incorrect references.

Use area instead of location or room

Since the term "location" was already used for the name of the facet
identifying the area where an element is located, it was vague to also
use that term for a class of elements which serve as those locations.
Instead use the term "area" since it's as descriptive and shorter. Also
avoid the term "room" as a synonym since areas can be outside as well as
indoors. This further implies renaming the location.mpy sample file to
become area.mpy instead.

Simplify coder documentation

* doc/coder.txt: Stop suggesting that tarballs and epydoc documentation
are updated for every commit, since currently they aren't. Gut the style
guide now that the project is fully PEP-8 compliant, and suggest a
couple of code checking utilities to help keep it clean.

Make exception logging failures more robust

* lib/mudpy/misc.py(excepthook): When an uncaught exception is raised
and the attempt to log it fails, try to write it to stdout directly and
also mention the new exception details.

Be explicit when show result raises an exception

* lib/mudpy/misc.py(command_show): If an admin uses the show result
command and it raises an exception, return the details in the result
message.

Tighten exceptions for new sockets and reads

* lib/mudpy/misc.py(User.enqueue_input,check_for_connection): When
reading from a socket or polling for a new connection, be specific about
the exceptions which are benign so that we will still error out when
more detrimental exceptions are raised.

Fix log spamming on premature socket disconnect

* lib/mudpy/misc.py(User.flush): When sending on a user's socket raises
BrokenPipeError, their connection has probably dropped. Go ahead and set
their state to disconnecting so the socket will be cleaned up earily.
This also stops spamming the log on every failed write to a broken
socket before it eventually times out in the TCP/IP stack as well.

Stop trying to rename the daemon process

* lib/mudpy/misc.py(daemonize): Remove the hacky process table entry
rewriting routines. They weren't cross-platform and never really worked
well. Also, these days admins are more used to daemons in interpreted
languages and know how to spot them in a process list with relative
ease.

Wrap long lines without using backslashes

Try to align more closely with Python style guidelines on wrapping long
lines.

Clean up docstrings

Fix reload to use a copy of datafile keys

* lib/mudpy/misc.py: Python 2.x was more tolerant of this and it now
breaks under 3.4 release candidates, but correcting it to iterate over a
copy is arguably more correct anyway.

Remove unused event code

* lib/mudpy/misc.py: Event elements weren't fully implemented, so rip
out the dead code in preparation for a different implementation.

Correct copyright date for changelog

Drop support for Python 2.x

Remove all derecated conditionals and fallbacks which provided
workarounds for supporting Python 2.x versions.

Clean up imports

Group all imports at the tops of files and alphabetize, for ease of
maintainabiity.

Fix an incorrect TODO comment line

Recast to unicode when normalizing on Python 2.x

* lib/mudpy/misc.py: Explicitly recast text to unicode type when passing
to unicodedata.normalize on Python 2.x.

Byte type comparisons on the output queue

* lib/mudpy/misc.py: When comparing against data already in the output
queue, use byte type for compatibility with Py3K.

Import a correct configparser for the interpreter

* lib/mudpy/data.py: Now import configparser and fall back to
ConfigParser if it's not found, for Py3K compatibility.

Correct byte types and encoding in test script

* bin/test: It is sufficient to encode lookahead and written values on
the Telnet socket into UTF-8, and works correctly with Py3K now.

Use chr instead of unichr

* lib/mudpy/misc.py: Missed in the earlier unicode to str patches, use
the chr function instead of unichr for Py3K compatibility.

Use bytes in process table manipulation

* lib/mudpy/misc.py: When manipulating the process table, do so using
bytes type for Py3K compatibility.

Use byte type for passwords hash encoding

* lib/mudpy/password.py: Raw hash values are manipulated as bytes for
Py3K compatibility.

Handle byte type on sockets

* bin/test
* lib/mudpy/misc.py
* lib/mudpy/telnet.py: For Py3K compatibility, socket I/O uses byte type
instead of str.

Use new 0o notation for octal constants

* lib/mudpy/data.py: For Py3K compatibility, only refer to literal octal
constants using the 0o prefix.

The reload function is in the imp module

* bin/mudpy
* lib/mudpy/__init__.py: For Py3K compatibility, only invoke the reload
function from the imp module rather than the global built-in namespace.

Use int type instead of long

* lib/mudpy/misc.py: Use int type instead of long, since Py3K will no
longer have a different representation for the latter.

Correct copyright years for change log

Recast filters when comparing

* lib/mudpy/misc.py: For Py3K compatibility, filters will need to be
recast to comparable data types when used in comparisons.

Work around lack of dict_keys index in catch-all

* lib/mudpy/misc.py: In Python 3000, dict.keys() returns a dict_keys
type which is not indexed, so work around it by converting to a list
anywhere we attempt to sort keys or access a key by ordered index.

Work around lack of dict_keys index in data loader

* lib/mudpy/data.py: In Python 3000, dict.keys() returns a dict_keys
type which is not indexed, so work around it by converting to a list
anywhere we attempt to access a key by ordered index.

Use range instead of xrange

* lib/mudpy/password.py: Python 3000 is deprecating xrange in favor of
an iterator-based range which will be effectively as efficient, so stop
using xrange in preparation for the transition.

Use absolute imports in telnet service module

* lib/mudpy/telnet.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in catch-all module

* lib/mudpy/misc.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in data handler module

* lib/mudpy/data.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in package init module

* lib/mudpy/__init__.py: Absolute imports are more readable and easier
to debug, so use them.

Use strings not unicode in telnet service module

* lib/mudpy/telnet.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in password module

* lib/mudpy/password.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in catch-all module

* lib/mudpy/misc.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in data handler module

* lib/mudpy/data.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in package init module

* lib/mudpy/__init__.py: Python 3000 treats strings as unicode by
default, so we should too.

Use strings not unicode in functional test script

* bin/test: Python 3000 treats strings as unicode by default, so we
should too.

Use strings not unicode in daemon executable

* bin/mudpy: Python 3000 treats strings as unicode by default, so we
should too.

Use strings not unicode in changelog generator

* bin/git2gch: Python 3000 treats strings as unicode by default, so we
should too.

Additional style cleanup

* lib/mudpy/__init__.py
* lib/mudpy/data.py
* lib/mudpy/misc.py
* lib/mudpy/telnet.py: Limit lines to <80 characters and adjust
hanging/visual indents for clarity and consistency.

PEP 8 conformance for package init library

* lib/mudpy/__init__.py: Conform to the PEP 8 style guide.

PEP 8 conformance for monolithic library

* lib/mudpy/misc.py: Conform to the PEP 8 style guide.

PEP 8 conformance for password management library

* lib/mudpy/password.py: Conform to the PEP 8 style guide.