Fix punctuation match order and add tests

Add explicit punctuation functional tests with a conversation
between the two test sessions, and fix a nondeterministic bug this
exposed. Punctuation is now matched in a sorted order rather than
arbitrary hash table lookup order, and the sort is reversed so that
the longest match always wins.

Test interaction between multiple connections

Extend functional testing to utilize a second connection, and test
that the second actor entering and exiting the World causes the
first actor to see the correct messages for each of these events.

Lay groundwork for more thorough functional tests

Make bin/test support an arbitrary number of connections, be more
verbose about what it's doing, and archive complete captures of each
session involved.

Switch to yaml.safe_load for better security

Use the yaml.safe_load to avoid unwanted privilege escalation due to
deserializing unsafe objects. Also switch to yaml.safe.dump for
symmetry, so that we don't write out files we'll later refuse to
parse.

Be more strict about file permission masks

Set a reasonably strict umask  of 0022 when creating most files and
directories. Also set the umask to 0077 for private files to avoid a
brief race where someone could open them for reading after creation
but prior to the prophylactic chmod to 0600.

Accumulate logs if necessary while loading data

Prior to existence of the global universe, the destination files for
logging may not be known. Accumulate log entries during
DataFile.load() if immediate logging fails, so that they can be
flushed later once logging is possible.

Remove stray non-generic references in sample data

The sample data was adapted from an actual test implementation, and
a few references to that original dataset missed cleanup. Take care
of them.

Switch password handler to passlib's PBKDF2

The passlib implementation of PBKDF2 is strong, portable and more
heavily audited. Use that instead of implementing our own custom
handler. Also simplify password use by dropping optional parameters
from the create and verify functions, and don't bother carrying the
old upgrade_legacy_hash public function forward; it can be reworked
to provide in-place hash upgrades later if desired.

Write files directly from yaml.dump

Simplify data file writing by passing a file descriptor directly to
the yaml.dump method rather than unnecessarily passing a string back
out of it and into a separate writer.

Remove UTF-8 encoding header from Python files

The Python 3.x interpreter assumes source files are in UTF-8 by
default, so file encoding headers are no longer necessary. Get rid
of them.

Fix type mismatches in save file rotation

The numeric suffix on rotated save files needs to be treated as an
int during rotation calculations but as a str during filename
generation. Make it so.

Correct avatar inheritance

The inherit facet should be a list, so correct an instance where it
was inadvertently left as a string literal instead.

Log missing avatars

If an avatar is missing, it's likely that it was created but not yet
saved during a crash. This is usually safe to skip but could imply
data corruption, so log the situation with a high log level.

Accumulate logs during setup

Prior to existence of the global universe, the destination files for
logging may not be known. Accumulate log entries during
Universe.load() and then flush them once it's safe to do so.

Add a .gitignore file

Use .gitignore to track ephemeral files created during testing.

Finalize INI to YAML conversion

Convert the main configuration file to YAML and rip out any remnants
of INI support.

Remove the git2gch utility

The git2gch utility was previously used to generate GNU-style
ChangeLog files from Git commit history, but there are useful
existing tools for this now and it's out of scope for mudpy.

Clean up parenthetical spacing in bin/mudpy

For better PEP-8 conformance, correct parenthetical spacing in the
bin/mudpy file.

Mark unused import false positives

Since the reload framework in the package's init imports modules
which look as if they don't get used, add noqa comments inline to
indicate they should be ignored by static analysis tools.

Convert sample data directory index to YAML

Support data directory indices in YAML

* lib/mudpy/data.py(DataFile.load_yaml,DataFile.load_mpy): Add routines
to look for a YAML file index as well as the old INI-based format. For
YAML files, don't bother recasting entries to lists or dicts since they
should already be returned as the desired type.

Convert sample prop data file to YAML

File read-only check supports YAML

* lib/mudpy/data.py(DataFile.is_writeable): Add support for determining
read-only status of YAML data files.

Convert sample area data file to YAML

Don't unnecessarily recast lists and dicts

* lib/mudpy/misc.py(Element.getlist,Element.getdict): Unlike INI, YAML
directly encodes other datatypes in addition to strings. When using get
functions for lists and dicts, if they're already provided in their
desired form then don't recast them as doing so would instead create
nested datatypes instead.

Initialize data file contents on creation

* lib/mudpy/data.py(DataFile.__init__): When instantiating a DataFile,
initialize its data class variable as an empty dict in case it's
traversed before getting populated.

Convert menu data file to YAML

Catch exceptions in YAML menus

* lib/mudpy/misc.py(Element.facets,Element.get): Early in login and
account creation, elements can have None in place of a dict for their
data. Under these circumstances, listing their keys throws
AttributeError and deep-linking into specific keys throws TypeError.
Catch these and treat them as empty.

Convert command data file to YAML

Convert archetype data file to YAML

Begin the transition from INI to YAML

* lib/mudpy/data.py(DataFile.load): Temporarily turn this method into a
selector which calls different loader methods depending on the file
extension so that old INI and new YAML files can be intermixed during
the transition.
(DataFile.load_yaml): This new loader method handles YAML files.
(DataFile.load_mpy): This is basically the old DataFile.load method.
(DataFile.save,DataFile.is_writeable): Add some TODO reminders for the
YAML transition.

* lib/mudpy/misc.py(Element.__init__,Element.facets,Element.get)
(Element.getboolean): Add conditional branching around calls deeper into
mudpy.data which need different behavior depending on the underlying
file formats.

* requirements.txt: Start tracking Python module dependencies in this
new file, and add the pyyaml module as the first entry.

Correct stray use of location

Clean up rendering in coder documentation

* doc/coder.txt: Correct top-level numbering prefix and several
syntactically incorrect references.

Use area instead of location or room

Since the term "location" was already used for the name of the facet
identifying the area where an element is located, it was vague to also
use that term for a class of elements which serve as those locations.
Instead use the term "area" since it's as descriptive and shorter. Also
avoid the term "room" as a synonym since areas can be outside as well as
indoors. This further implies renaming the location.mpy sample file to
become area.mpy instead.

Simplify coder documentation

* doc/coder.txt: Stop suggesting that tarballs and epydoc documentation
are updated for every commit, since currently they aren't. Gut the style
guide now that the project is fully PEP-8 compliant, and suggest a
couple of code checking utilities to help keep it clean.

Make exception logging failures more robust

* lib/mudpy/misc.py(excepthook): When an uncaught exception is raised
and the attempt to log it fails, try to write it to stdout directly and
also mention the new exception details.

Be explicit when show result raises an exception

* lib/mudpy/misc.py(command_show): If an admin uses the show result
command and it raises an exception, return the details in the result
message.

Tighten exceptions for new sockets and reads

* lib/mudpy/misc.py(User.enqueue_input,check_for_connection): When
reading from a socket or polling for a new connection, be specific about
the exceptions which are benign so that we will still error out when
more detrimental exceptions are raised.

Fix log spamming on premature socket disconnect

* lib/mudpy/misc.py(User.flush): When sending on a user's socket raises
BrokenPipeError, their connection has probably dropped. Go ahead and set
their state to disconnecting so the socket will be cleaned up earily.
This also stops spamming the log on every failed write to a broken
socket before it eventually times out in the TCP/IP stack as well.

Stop trying to rename the daemon process

* lib/mudpy/misc.py(daemonize): Remove the hacky process table entry
rewriting routines. They weren't cross-platform and never really worked
well. Also, these days admins are more used to daemons in interpreted
languages and know how to spot them in a process list with relative
ease.

Wrap long lines without using backslashes

Try to align more closely with Python style guidelines on wrapping long
lines.

Clean up docstrings

Fix reload to use a copy of datafile keys

* lib/mudpy/misc.py: Python 2.x was more tolerant of this and it now
breaks under 3.4 release candidates, but correcting it to iterate over a
copy is arguably more correct anyway.

Remove unused event code

* lib/mudpy/misc.py: Event elements weren't fully implemented, so rip
out the dead code in preparation for a different implementation.

Correct copyright date for changelog

Drop support for Python 2.x

Remove all derecated conditionals and fallbacks which provided
workarounds for supporting Python 2.x versions.

Clean up imports

Group all imports at the tops of files and alphabetize, for ease of
maintainabiity.

Fix an incorrect TODO comment line

Recast to unicode when normalizing on Python 2.x

* lib/mudpy/misc.py: Explicitly recast text to unicode type when passing
to unicodedata.normalize on Python 2.x.

Byte type comparisons on the output queue

* lib/mudpy/misc.py: When comparing against data already in the output
queue, use byte type for compatibility with Py3K.

Import a correct configparser for the interpreter

* lib/mudpy/data.py: Now import configparser and fall back to
ConfigParser if it's not found, for Py3K compatibility.

Correct byte types and encoding in test script

* bin/test: It is sufficient to encode lookahead and written values on
the Telnet socket into UTF-8, and works correctly with Py3K now.

Use chr instead of unichr

* lib/mudpy/misc.py: Missed in the earlier unicode to str patches, use
the chr function instead of unichr for Py3K compatibility.

Use bytes in process table manipulation

* lib/mudpy/misc.py: When manipulating the process table, do so using
bytes type for Py3K compatibility.

Use byte type for passwords hash encoding

* lib/mudpy/password.py: Raw hash values are manipulated as bytes for
Py3K compatibility.

Handle byte type on sockets

* bin/test
* lib/mudpy/misc.py
* lib/mudpy/telnet.py: For Py3K compatibility, socket I/O uses byte type
instead of str.

Use new 0o notation for octal constants

* lib/mudpy/data.py: For Py3K compatibility, only refer to literal octal
constants using the 0o prefix.

The reload function is in the imp module

* bin/mudpy
* lib/mudpy/__init__.py: For Py3K compatibility, only invoke the reload
function from the imp module rather than the global built-in namespace.

Use int type instead of long

* lib/mudpy/misc.py: Use int type instead of long, since Py3K will no
longer have a different representation for the latter.

Correct copyright years for change log

Recast filters when comparing

* lib/mudpy/misc.py: For Py3K compatibility, filters will need to be
recast to comparable data types when used in comparisons.

Work around lack of dict_keys index in catch-all

* lib/mudpy/misc.py: In Python 3000, dict.keys() returns a dict_keys
type which is not indexed, so work around it by converting to a list
anywhere we attempt to sort keys or access a key by ordered index.

Work around lack of dict_keys index in data loader

* lib/mudpy/data.py: In Python 3000, dict.keys() returns a dict_keys
type which is not indexed, so work around it by converting to a list
anywhere we attempt to access a key by ordered index.

Use range instead of xrange

* lib/mudpy/password.py: Python 3000 is deprecating xrange in favor of
an iterator-based range which will be effectively as efficient, so stop
using xrange in preparation for the transition.

Use absolute imports in telnet service module

* lib/mudpy/telnet.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in catch-all module

* lib/mudpy/misc.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in data handler module

* lib/mudpy/data.py: Absolute imports are more readable and easier to
debug, so use them.

Use absolute imports in package init module

* lib/mudpy/__init__.py: Absolute imports are more readable and easier
to debug, so use them.

Use strings not unicode in telnet service module

* lib/mudpy/telnet.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in password module

* lib/mudpy/password.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in catch-all module

* lib/mudpy/misc.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in data handler module

* lib/mudpy/data.py: Python 3000 treats strings as unicode by default,
so we should too.

Use strings not unicode in package init module

* lib/mudpy/__init__.py: Python 3000 treats strings as unicode by
default, so we should too.

Use strings not unicode in functional test script

* bin/test: Python 3000 treats strings as unicode by default, so we
should too.

Use strings not unicode in daemon executable

* bin/mudpy: Python 3000 treats strings as unicode by default, so we
should too.

Use strings not unicode in changelog generator

* bin/git2gch: Python 3000 treats strings as unicode by default, so we
should too.

Additional style cleanup

* lib/mudpy/__init__.py
* lib/mudpy/data.py
* lib/mudpy/misc.py
* lib/mudpy/telnet.py: Limit lines to <80 characters and adjust
hanging/visual indents for clarity and consistency.

PEP 8 conformance for package init library

* lib/mudpy/__init__.py: Conform to the PEP 8 style guide.

PEP 8 conformance for monolithic library

* lib/mudpy/misc.py: Conform to the PEP 8 style guide.

PEP 8 conformance for password management library

* lib/mudpy/password.py: Conform to the PEP 8 style guide.

PEP 8 conformance for telnet server library

* lib/mudpy/telnet.py: Conform to the PEP 8 style guide.

PEP 8 conformance for data handling library

* lib/mudpy/data.py: Conform to the PEP 8 style guide.

PEP 8 conformance for daemon executable script

* bin/mudpy: Conform to the PEP 8 style guide.

PEP 8 conformance for ChangeLog writer script

* bin/git2gch: Conform to the PEP 8 style guide.

PEP 8 conformance for test script

* bin/test: Conform to the PEP 8 style guide.

Back end data storage separation.

* lib/mudpy/__init__.py (modules): Added the new data module to the
list.

* lib/mudpy/data.py: Implemented a new module to contain back end
data storage and retrieval functions, preparing to merge work on the
new data handling routines.

* lib/mudpy/misc.py (DataFile, find_file, makedict, makelist): Moved
to lib/mudpy/data.py.
(Element.__init__, Element.getdict, Element.getlist, Universe.load)
(replace_macros): Updated references to relocated classes and
functions.

Inline literals are more readable in source form.

* doc/coder.txt: Adjusted sections referencing literal backslashes
to use inline literal syntax rather than double-backslash syntax,
for improved clarity.

ASCII Scrub

* doc/coder.txt: Found and replaced a non-ASCII UTF-8 apostrophe.

Correcting docstring format.

* lib/mudpy/password.py (create): Corrected docstring format so that
epydoc -v will run clean of errors again.

Correcting minor docstring typos.

* lib/mudpy/password.py (create): Corrected two minor typographical
errors in the function's docstring.

Secure, extensible, forward-compatable passwords.

* lib/mudpy/__init__.py (modules): Added the new password module to
the list.

* lib/mudpy/misc.py (handler_checking_password)
(handler_entering_new_password, handler_verifying_new_password):
Replaced existing md5 usage with calls to the new password
functions.

* lib/mudpy/password.py: Implemented a new module to handle creating
and verifying account password hashes. The functions and format are
forward-compatable to new hashing algorithms, and can be scaled to
allow tuning for CPU utilization/brute-force mitigation trade-offs.
The new functions are not directly backward-compatable with the old
format, but a utility function (upgrade_legacy_hash) is included to
upgrade those hexdigests if needed.

Reformatted README for 72 columns.

* README: Switched from 79 columns to 72 columns in accordance with
the style guide in the doc/coder.txt coder guide.

Change README for new on-line documentation link.

* README: Updated the URL for the on-line documentation reference
and reworded the last sentence for clarity.

New coder guide document.

* doc/coder.txt: New document focused on topics of interest to
anyone wishing to modify the mudpy engine or get involved with the
project's development process.

Script to generate ChangeLog file from commit log.

* bin/git2gch: New executable script for generating GNU-format
ChangeLog files from the Git commit log.

Regression testing script.

* bin/test: New executable script for regression testing against all
future commits to the mudpy core engine, modules and sample data.

Cosmetic adjustment to disconnect message.

* share/menu.mpy (menu:disconnecting): Appended a newline to
separate the disconnect message from any lines which the client
might add thereafter, and switched from description to prompt.

Proper RFC 1143 Telnet option negotiation queue.

* lib/mudpy/__init__.py: Added telnet to the modules list.

* lib/mudpy/misc.py (Element.send, User.__init__)
(User.adjust_echoing, User.enqueue_input, User.flush)
(User.replace_old_connections, User.send, check_for_connection)
(get_echo_sequence, handle_user_input): Minor adjustments to
accomodate new code in telnet.py.
(User.negotiate_telnet_options, telnet_proto): Moved to telnet.py
and reworked option negotiation stack to eliminate a possible loop,
bringing the code fully in compliance with the "Q" method described
in IETF RFC 1143.

* lib/mudpy/telnet.py: New file for constants and functions related
to support of the Telnet protocol.

Clarification in README file.

* README: Adjusted indentention for the copyright metadata block and
added references to additional available documentation.

New top-level README file.

* README: New file containing basic information on the project along
with pointers to additional documentation.