an

Algorithm
for

Consciousness
 An Algorithm for Consciousness
An "algorithm" is an abstraction – a summary – of a process or method, without all the implementation details. An 
algorithm allows the reader to understand the most important and significant aspects of a process, without being 
distracted or confused by details that ­ while perhaps vital ­ obscure fundamental insights. For example, when first 
learning about photosynthesis, it may be overwhelming and irrelevant to include structural details of the leaf.

The famous neuroscientists Marr & Poggio claimed that real understanding of complex information­processing systems 
could only come via three levels of analysis – computational (what does it do), algorithmic (how does it do it) and 
implementational (how is the idea realised). As conscious creatures, we have a lot of experience of the first, and 
research areas such as psychology and computational neuroscience continually add to our knowledge. Neuroscientists & 
biologists, with increasingly detailed, real­time visualization tools, are adding to the third level of analysis. 
But the algorithmic level has remained stubbornly inviolate.

I'm going to describe consciousness at this level, to try to make key processes and essential concepts clear without 
swamping them in less important details. Of course, many of the things I won't cover are incredibly important for any 
practical realisation of consciousness as we know it. But I am optimistic that my inability to fully understand, describe 
and deliver the staggering complexity of a human brain will not leave this article without value. 

We will cover two closely related psychological features: Consciousness, and free will. They have always resisted 
explanation ­ at least, no­one has published a solution that has been widely accepted. I hope that by the end of page 11, 
you will consider this algorithm a plausible mechanism that could account for all the phenomena we experience as users 
of consciousness. (Pages 12­30 fill in other gaps!) Whether it explains human consciousness is another question, but at 
least we'd have moved from a philosophical question to a reverse­engineering problem.

My language is aimed at people who have already studied consciousness, and have some familiarity with terminology in 
psychology and artificial intelligence. I suggest that casual readers return for a second skim­reading, after having 
completed the article. I have included many hyperlinks in an attempt to make the article accessible: Hover your mouse 
over unfamiliar words.
ivdnnawadilosr

Introduction
Consciousness is hard to define, and consequently hard to understand. It can't easily be broken down into discrete flow­
chart boxes. It is not even clear that it has separate parts. We can't even agree which things are conscious, if any. 

Probably the most amazing property of the conscious experience is the flexibility, scalability & elasticity of the 
internal representations formed in brains of static physical capacity. For example, you can expand into consciousness a 
huge number of the smallest details and nuances about the tiniest creature – say, a beetle – including information that 
does not fit into any specific sensory form, such as feelings of revulsion or fascination. Alternatively, it is possible to 
zoom out from the beetle to the wider picture, leaping over trivial facts and ignoring great chunks of the data fed in from 
the senses. Your brain can reduce the entire world to an indescribable moment of sheer emotional charge, or jump 
between abstract representations of the most relevant conclusions and consequences, which themselves can be expanded 
into intricate concrete expectations of form, function, sensation and their relationships to ourselves. 

Consciousness is particularly confounding because it simultaneously encodes all types of information – visual, spatial, 
emotional, physical – and seamlessly integrates them. The subjects of conscious thought are not anchored in time or 
space, but can wander off into an imaginary construction whose content is equally compelling and vivid. The existence 
of conscious experience is not instantaneous, but typically develops over a few seconds or more before attention 
switches to another focus. Consciousness is even more special, because the list of things that can be made conscious 
includes consciousness itself!

From a conventional, computational perspective, the hardest part in understanding consciousness is how any fixed­ 
representation, limited­capacity model can permit such radically different perceptions of the world, whilst still retaining 
highly coherent and hierarchic arbitrating powers of selection. However, capacity limitations can be overcome, using an 
internal natural­language representation to compress the world­model in different ways from moment to moment.
1.1 The Evolution of Consciousness
In a sense, our conscious brains are inherently wired to struggle to understand consciousness. Whereas most conscious 
problem­solving techniques break problems into separate parts, and solve them individually (top­down design) 
consciousness is a compositional system such that the final experience is the combination of relations between parts 
rather than separate “black­box”, functional, cognitive components. Plus beyond certain limits, it is irreducible.

How did our brains become this way? Many explanations of the phenomenon of consciousness are weakened by 
requiring specific and unusual physical apparatus that could not gradually develop. Often, despite these demands, the 
same explanations give little detail about how such special apparatus causes conscious phenomena. Within each human, 
symbolic thought apparently arises reliably, and if necessary without external aid. An automatically self­generating 
system is called auto­poietic: Consciousness must not only be evolvable, but auto­poietic within an individual.

The answer proposed here requires no special equipment and is highly scaleable – many animals could be (and probably 
are) conscious with varying capabilities in terms of what they can conceive. Intelligence is separately variable to 
consciousness, but is approximately correlated with it. Intelligence affects the “quality” or “resolution” of conscious 
experience – a conscious but less intelligent animal, such as a dog, would have less specificity of thought & reasoning, 
and would struggle to represent more abstract and detailed relationships – especially the non­spatial ones. Some types of 
intelligence can occur without consciousness, but consciousness cannot occur without a minimal intelligence.

Why is consciousness effective across a range of intelligence? Possibly, the flexibility of consciousness enables all sorts 
of animals to cope with rare or unforeseen circumstances, has good behaviour­arbitration & executive properties, and is 
simply an efficient design from an evolutionary perspective. 

1.2 The Short Question: What is Consciousness? A working definition
Here is one [i.e., of many] succinct definition of consciousness, against which the algorithm is a proposed solution:

“Consciousness is a process which produces a coherent, continuous, singular awareness of the world and the conscious 
agent's situation in that world. Selective attention within that awareness guides the evolution of the experience. The 
conscious awareness­state includes at least the appearance of indirect control ­ expectations and justifications of the 
agent's actions are available, at the same instant as awareness of the actions themselves...

“The state is flexible (the same thing can be modelled in different ways), scalable (the scope of awareness can be 
grossly altered), elastic (the richness of awareness of a thing can be hugely varied), innovative (things that have never 
been experienced can be imagined), inductive (allows generalization and transfer in abstract reasoning), productive (the 
potential production of thoughts is unbounded, although practical time­bounded production is limited) and systematic 
(it is compositional, hierarchic, and there are grammar­like rules governing potential states). Being recurrent, productive 
and systematic, conscious state is regressive over time (e.g. with 2 levels of regression, one can be aware of being aware 
of being conscious). Conscious awareness is a rich, embodied (effects of consciously­accessible action­plans are 
perceptually­observable), interactive (attention affects future states, guiding action selection), multimodal (multi­
sensory) experience, throughout. The state also includes a variable proportion of imaginary content, which has all the 
same qualities and status as directly­perceived content, and is based on the same systematic rules of production.”

1.3 The Short Answer
So far we've discussed some of the characteristics of consciousness, but I've only hinted at the algorithm that was 
promised. You can have the short answer now, but I'm afraid it cannot be appreciated or convincing without reading the 
rest of the document. If it makes any sense at all, you're lucky; otherwise, fear not – the details will become clear over 
the course of the next 10­20 pages:

“Consciousness is a cyclic, recurrent* process ­ that models both internal and external state, using a  
combinatorial, symbolic representation. The base vocabulary of symbols is largely innate, and consists of 4­D+ 
egocentric spatial & temporal relations between our bodies and objects in the world, including our affordances, the 
perceptions of our senses, the behaviour of the world as perceived, and some social concepts of intention, belief, and  
animate­thinkers­like­us (anthropomorphism). The qualities of consciousness arise from a continuous and coherent  
stream of successive symbolic models, generated within an endless cycle of transformations from perceptual → 
symbolic → perceptual. By virtue of being symbolic and combinatorial, conscious capacity is limited in the total 
number of distinct concepts, but highly elastic in the detail and form in which any given subject can be represented.  
Consciousness arises as a result of the interactions of several functionally­distinct, specialized processing networks that  
perceive the world, recurrently create these representations and perform the necessary transformations.”

* the state at time t is an input to the state at time t+1 + three spatial dimensions, plus time
1.4 A little elaboration
Wow: How underwhelming! Some words, but I suspect no magic revelation. Of course, since no words mean anything 
without context, what you've just read will probably have little value to you until you've finished the article. Let me 
begin by elaborating a little. 

The key thing to grasp, is how the dynamic phenomena of consciousness can be reconciled and implemented in a 
physically­largely­static system of representation & analysis. The brains in our heads do not restructure themselves from 
moment to moment, even though our conscious experiences vary radically.

As stated above, consciousness is a stream of dynamic symbolic representations, created momentarily and continually 
as novel combinations from a vocabulary of primitive concepts. The concepts are generally adverbs (“describing doing 
things”) and adjectives (features of things). The content of the vocabulary is based on a set of physical metaphors – the 
affordances and actions permitted by our bodies in the 4­dimensional universe we live in, perceived with our 5 sensor 
modes. The vocabulary is egocentric – based on our relationships with these things – and has a few special terms such 
as “imaginary” and “intelligent”, i.e. a labels for agents (whether us or others) who think like us. These concepts of 
“animate” and “theory of mind” are essential labels for ascribing the origins of observed behaviour. The vocabulary also 
includes high­level perceptual primitives from all sensory modes – visual (shape, colour, texture etc.), aural (at a high 
level, including e.g. patterns or rhythms), tactile (inc. hot/cold) etc.

The vocabulary is enriched by allowing variably weighted relationships between primitives, and by mapping other 
concepts back down into compositions from the available vocabulary. Hence we tend to imagine using tools as 
extensions of our arms and hands, albeit imagined with different capabilities mapped onto the affordances of bits of our 
bodies – we can swing hammers or fists, we can twist with fingers and screwdrivers, or push with both palms and levers. 
Doubtless you've been exposed to all that silly business jargon ­ “going forward”, “leverage market share”, “add 
momentum”, “my door is open” until the “close of play”...? They're all really physical metaphors. When we need a new 
concept in our language, we build it from analogous physical, emotional, social or perceptual phenomena, thus exposing 
how our minds really work. 

The physical origin of the vocabulary explains the autopoiesis and grounding of the grammar within the individual, and 
the feasibility of evolution of the grammar within the tree of life. The value­add (sorry, management­speak!) of the 
grammar comes from the computational properties of this type of symbolic reasoning, which will constitute the bulk of 
this article.

The algorithm proposed in this article is still limited, but the way in which those limitations are expressed is 
unusual. Instead of being limited by the capabilities of fixed representations, consciousness is limited both in the 
relationships and base concepts it can combine (the vocabulary), and also in the number of distinct details of 
attention, that can be held.  More succinctly – conscious capacity is limited in the number of distinct concepts, 
but highly elastic in the detail afforded any given subject. An acceptance of this limitation is essential in making it 
physically possible to create consciousness.

1.5 In Context
Little of the proposed algorithm is new, although as an assembly of parts, I believe it is unique. Sadly, it is likely that 
somewhere, someone is arguing roughly the same thing! This shouldn't be surprising, because all discoveries depend on 
the receptivity of audience and author to new perspectives on existing ideas, rather than a flash of individual inspiration. 

The algorithm is a cognitive architecture, but it is not the first. Many philosophers, psychologists and others have 
proposed architectures to explain brain functioning. Unfortunately these are usually either too general and unspecific, or 
too specific and narrow (!), to provide an overall perspective on the tricky bits of cognitive architecture. Of course, an 
overall answer could not exist except in a rich social context of accepted psychological theory, so this is all useful.

Compelling evidence for the existence of an innate, symbolic language was established by Chomsky, who believed that 
all people from all cultures shared a Universal Grammar, that enables them to learn natural languages more easily and 
quickly than would otherwise be the case. They learn to fit their experiences of language into an existing (innate) model, 
rather than learn the language model entirely from experience. He noted that people who are not taught a natural 
language, tend to develop one anyway. Natural languages are autopoietically created in human societies.

The algorithm described here differs from Chomsky by claiming that the Universal Grammar is not English or any other 
natural language, but instead an externalizable form, and consequence, of the symbolic grammar of a conscious process, 
which is not directly externalizable. (You can't explain your conscious state fully and accurately in English, and the 
mysterious ability of good writers to insinuate even a slightly convincing conscious state in the reader, is rightly lauded). 
However, the algorithm agrees with Chomsky that certain aspects of syntax and vocabulary are innate, and with aspects 
of Chomsky's separate logical and phonetic language forms in the brain.

The algorithm requires that the innate vocabulary of the universal grammar is based on the physical properties of the 
human body in its environment.  This idea is not new either – Lakoff and others have already claimed that the nature of 
the mind is determined by the form of the human body (the “embodied mind”). It is precisely because it includes 
proprioceptive and affordance­based, egocentric, multi­modal concepts that conscious state is not transferable – it is too 
rich, finely grained, detailed and specific to one's self in one's own position, to be efficiently serialized into a mono­
modal form such as speech.

Other concepts, which are part of the larger vocabulary of natural languages like English, are mapped down into the 
innate primitives. The algorithm specifies that conscious thoughts are constructed by combining basic primitives in 
various ways, a concept already known as Fodor's “Language of Thought Hypothesis” (LOTH). The language of the 
LOTH has a name – Mentalese. Since Mentalese has much in common with the algorithm, responses to major 
criticisms are included later.

Fodor has examined the likely grammar of Mentalese in detail, particularly its ability (or otherwise) to discover and 
describe new knowledge. He seems to have concluded that a vast array of innate concepts are necessary for Mentalese to 
explain the complete variety of linguistic thought. The algorithm requires a much smaller innate vocabulary. Moreover, 
Mentalese is a linguistic model, similar to natural languages, whereas the algorithm offered in this document has a 
dictionary of multi­modal primitive concepts from all the senses, with a grammar based on symbols directly 
representing features of the embodied mind.

Any theory of cognition in which abstract symbols can exist separately to perceptions from the world is called a 
“Representational” Theory of Mind (RTM). The symbols “represent” a certain set of data from the senses, rather than 
containing or reproducing that data. Mentalese is a RTM, and so is the algorithm. Crucially, in a RTM the symbols can 
be manipulated independently of the data they represent. One of the strongest criticisms of RTMs is the redundancy of 
having both the original data and a symbolic representation of it – what value does the symbolic model add? The 
algorithm given here is uniquely able to rebut this criticism, because it is precisely the computational characteristics of 
an additional layer of symbolic reasoning, that permit the scalability and elasticity characteristics of consciousness.

Interestingly Fodor says in his book “Language of Thought 2”: “[RTMs have...] been the main line of thought among  
mental realists … arguably since Plato and Aristotle, patently since Descartes...”. Every work stands on the shoulders of 
giants! 

1.6 Terminology of Algorithm Descriptions
The algorithm proposed here is not necessarily the way that consciousness is achieved in our heads. But it is a plausible 
method of creating the phenomenon of consciousness. My descriptions will be based on the obvious structure of the 
brain as a neural network, although there are other chemical and electrical mechanisms by which information is stored 
and transformed in our brains. The artificial neural network is an adequate model for this algorithm, and I suspect that 
the extra mechanisms add efficiency rather than a fundamental leap in functionality. For example, the diffusion of 
chemicals in the brain could substitute for a huge number of extra connections and appears to make some temporal 
dynamics more efficient to implement.

A suitable neural network model is one of asynchronous neurons with nonlinear activation functions and individually 
weighted connections, and recurrent topologies. Beyond this definition of the neuron as an atomic unit of construction, 
consciousness is achieved by the organisation of neurons and the connections between them – i.e. a “connectionist” 
solution. Note that I would not propose to implement the algorithm as a simulation of a neural network on a computer, 
as this would be inefficient. The same algorithm can be realised in equivalent forms (e.g. matrix or graph operations) 
more amenable to computers. The choice of neural or electronic physical implementation does not matter.

Throughout this article I use iterative descriptions of algorithms. These are usually easier to understand than continuous 
functions, and as long as iteration is fast enough, either is ok for implementing consciousness (if you iterate faster than 
you sample, it appears to be continuous anyway). Biologically, continuous asynchronous operation is more plausible ­ 
there is no overall system clock. Moreover, functions can be locally recurrent and cyclic, without requiring the system to 
be iterative! Global coherence via competitive­attractor models is still possible with locally asynchronous units, if 
information is temporarily buffered or otherwise preserved to permit inter­module data sharing. [Uh.. Non­AI people, 
feel free to ignore this little bit] Software implementation is easiest with globally iterative implementations.
1.7 Six Distinct Networks
This algorithm is described by the characteristics of the networks (optionally of neurons) that make up our model. The 
networks are a functional dissembly, not a notion that they're structurally or physically partitioned. However, 
fundamental distinctions in behaviour and organisation between network­modules means that it is reasonable to divide 
the algorithm into 6 distinct parts, at the most coarse level: 

Fig. 1. Dominant interactions between functionally­distinct networks 
in the brain. This will only make sense later; the networks are 
explained in detail below. 

Note that the networks are (likely) not clearly distinguished, and are 
highly interconnected. However, each is functionally distinct in 
purpose, representation, and gross characteristics of connection 
topology (which is connected to which).

The reader should also avoid confusion by remembering that neural networks simultaneously store (or represent) 
information and process it. There is no distinction between “program” and data, or machine and materials. Consequently 
some of the networks are more important for their processing activities, and others for their modelling of information.

1.8 More promises ...!
In explaining the networks, some of the key difficulties in the so­called “Hard” problem of consciousness will be 
addressed, including:

– the nature of qualia
– the binding problem (the mechanism of perceptual association)
– imagination
– how conscious attention can “meander” from topic to topic
– the plasticity / elasticity / scalability of consciousness
– the coherence of consciousness as an experience: why our thoughts do not disintegrate into noise
– the paradox of “kernel” or centralized decision making, versus the ability to represent data with the detail & 
complexity needed to inform decisions 
ivdnnawadilosr

The Perceptual Network
2.1 The Perceptual Network
Perception is the process of understanding data from the senses. The perceptual system is quite carefully designed and 
constructed to bring a useful, rich and descriptive model of the world into the brain. On entering the perceptual network 
data is in the nearly “raw” forms in which it was generated by the senses. However, as information moves through the 
perceptual network, processes of recognition, correlation (between data) and association (between data and memories) 
transform it into increasingly abstract spatial & temporal models – representations of objects as compositions of parts, 
structures, textures and shapes. For example, in vision, the light sensed by the eyes is simultaneously modelled as 
regions of textures, edges, corner and line features. These are completed and extended by gestalt­like rules and 
(unconsciously) “recognised” as shapes and structures. Motion is detected and tracked and the scene is decomposed into 
a set of moving, related objects in 2.5­3 spatial dimensions (full 3­D is not necessary for many perceptual 
constructions). Cues of shape, surface appearance, size, motion dynamics, sound and smell – all trigger association with 
stored memories of previous experiences, at a perceptual level.

Fig. 2. The perceptual network receives data about the world, from the senses.
The perceptual network first performs dimensionality reduction – for example, compressing the millions of light 
measurements from retinal cells into a few shapes and patterns – and secondly, constructs increasingly detailed and rich 
representations of the world around us. Part of the role of the perceptual network is to compensate for awkward 
properties of our sensors – for example, visual processing is (un­noticeably) suspended when the eyes are moving, and 
colour is remembered or guessed at outside the fovea.

Memory is partly encoded in the perceptual network. Memories of things and places are represented by their qualities as 
perceived (such as appearance). There is sufficient abstraction in the perceptual process to allow recognition of things 
independent of factors such as where in the visual field they are viewed, or in which ear they are heard.

Fig. 3. Response to feature orientation in the visual cortex of a Macaque monkey 
(from Blasdel & Salama (1986)). The cortex has self­organised such that a few 
specific neurons in each location respond to specific orientations of visual 
features (such as edges). Overall, all areas can see all orientations. When 
neurons respond together, a longer linear feature can be “seen”. These 
detections are forwarded deeper into the brain for large­scale shape and object 
recognition. 

The organisation of the cortex by unsupervised learning is a good example of 
useful functionality being bootstrapped from a pre­specified (genetic) program.

The senses are all mapped onto an internal model of the body, including the eyes (oddly, we feel like we “see” from our 
eyes when the “seeing” is really done upside­down and back­to­front at the back of our brains). Objects' and places' 
positions are transformed from independent sensor­dependent models to a single frame of reference, centred in the 
middle of our heads. My keyboard is not only “under my hands”, it's below and in front of “me”. These relationships are 
modelled in the perceptual network.

Fig. 4. The mapping of the sense of touch onto the 
cerebrum of the brain, between the ears. Note over­
representation of the more sensitive areas. Other 
senses are mapped into the cerebrum too – for 
example, vision occupies most of the rear of the 
cerebrum (from Cowey, A. (2001)).

Language features such as characters, words (written) and phonemes, syllables (heard), are recognised by the perceptual 
network. They are associated with their equivalents as visual or (e.g.) tactile forms, but the semantics of language 
understanding is not solely or mostly in this network (according to this model anyway!)

Due to its close integration with the senses, much of the perceptual network is explicitly designed (by evolutionary 
processes) rather than simply emergent from common learning rules. However, once sufficient abstraction has occurred 
self­organising locally­associative rules such as the Kohonen SOM, and globally associative rules such as the Hebbian, 
are sufficient for object recognition.
ivdnnawadilosr

The Transformative Network
3.1 The Transformative Network
The perceptual network produces a detailed geometric description of the world – shapes, colours, textures, tactile 
sensations, smells ­ and localized 4­D structural models, onto which all these properties are mapped. The transformative 
network remodels this internal image of the world, into a highly symbolic, compositional, representational form based 
on egocentric, anthropomorphic, highly grounded/situated human metaphors: All concepts are grounded in physical or 
perceptual reality. This has profound consequences: Tools are modelled in the brain as parts of our bodies, and 
representations of place and time are stored relative to us, here and now. Relationships between things become 
relationships between people like us, full of human significance that does not physically exist. Crucially, the way in 
which these things are represented is not fixed: Characteristics and properties of things can be expanded and elaborated 
or compressed to nothing. So how does all this happen?

Fig. 5. Information about the world flows into the transformative network from the perceptual network, and undergoes transformation to a 
combinatorial, symbolic representation. 

3.2 Theory of Mind
A key part of the remodelling is to see other entities ­ particularly those that pass any test of apparent intelligence ­ as 
conscious agents like ourselves. It is surprisingly easy to convince us that moving objects are intelligent, and hence we 
tend to ascribe far more intelligence to robots (and beetles!) than they really have. For example, we like to imagine that 
beetles can experience fear, love, loss, sorrow and other emotions, as powerfully as we do (anthropomorphism). Simply 
violating perceptual models of the conservation of momentum (by expending internal energy) is often enough for us to 
class objects as “agents”.  Forming a "theory of mind" (i.e. a belief in others feeling and thinking like ourselves) is an 
essential stage of intellectual development.

3.3 Adverbs and Adjectives
In the transformative network there is a relatively small vocabulary, or alphabet, of possible symbols – a set of primitive 
concepts that are typically similar to adverbs (“describing doing things”) or adjectives (features of things). Much of the 
content of the vocabulary is based on a set of physical metaphors – the affordances and actions permitted by our bodies 
in the 4­dimensional universe we live in, perceived with our 5 sensor modes. Other, more complex entities are described 
by combining primitives from the basic vocabulary. The grammar includes propositional attitudes (A believes that X, A 
wants X, etc.) as found in Fodor's LOTH and many other Representational Theories of Mind (RTMs), but is more 
comprehensive. Propositional attitudes are only a small part of the scope of symbolic reasoning in this model – we need 
to include a huge gamut of physical & visual relations (e.g. A is inside B) and concepts from all the sensory modes (e.g. 
“appearance of orange ellipse with excised green triangle”). Many of these are simply physical relations that are usually 
unrelated to propositional attitudes.

“There is nothing in consciousness 
that is not an analog of something that was in behavior first.”
J. Jaynes, 1976

However, parts of the vocabulary are also physically egocentric – based on our, or others', relationships with these 
things. What is the difference between port/starboard and left/right? The answer is that one is defined absolutely, with 
reference to the object's “front” (bows), whereas the other is defined from the perspective of the observer. In medicine, 
limbs were wrongly removed until it was agreed that the patient's perspective would be used! These distinctions are 
powerful, and important for modelling the world.

In the transformative network the representation is combinatorial. Primitive concepts are combined to produce a 
symbolic world­model of concept­objects, and variable relationships between them. Adjectives can be combined to 
describe something; and combined with adverbs to compose relationships between parts. For example, combining 
“agent” and “threat” (both  adjectives) minimally describes an enemy. If  ( (“agent” & “threat”) – “is in front of” – 
(“me”)), I might become frightened! 

3.4 Static Representations of Symbolic Knowledge (Ontologies)
The consciousness algorithm requires two data­structures, in which all possible conscious states are formed. The first 
data­structure represents all knowledge and potential mental states, and the second data­structure contains momentary, 
transient mental state.  For convenience, I will refer to them as the graph (all knowledge), and the tree (dynamic state).
The collection of knowledge in the graph is static, except when permanent learning occurs. This happens on a slower 
timescale, than changes in conscious state, by modification of the graph. The tree is entirely dynamic – it contains 
momentary, transient models that are continually created and destroyed.

The graph has a lot in common with existing ontologies – these are formal representations of knowledge: “a set of 
concepts within a domain and relationships between those concepts ... [Ontologies are] used to reason about the 
properties of that domain, and may be used to describe the domain”. There are several ambitious ontology projects 
accessible on the Web, including ConceptNet by MIT, and Cyc by Cycorp.  These will attempt to reason about and 
answer questions phrased in natural language, and can learn from new information. Of course, they are not conscious 
and never will be. An ontology cannot think; it can only be used as a database of knowledge that permits symbolic 
reasoning about that knowledge.

Many formal languages (such as so­called “data” or “markup” languages) are not Turing­complete. This means that they 
can only represent structured information: They cannot describe or perform all possible computations. However, these 
languages are often very efficient for storing information, and therefore it is desirable to separate the data structures that 
perform the two separate functions of symbolic knowledge representation, and symbolic reasoning.

The following sections will describe minimally complex representations, that still fulfil all the requirements of an 
algorithm for consciousness.  It is worth stating that these are unlikely to be the models used in human brains, but 
they're the simplest ones that can support consciousness.  In human brains there are likely many equivalent structures, 
but detailing these would distract from core arguments. The proposed structures have a lot in common with Chomsky's 
Minimalist Program (such as binary phrase­branching), except that the goal is to have certain computational properties, 
not to mimic natural language grammar in the simplest possible way.

3.5 A Description of the Graph (a structure for knowledge representation)
The graph data­structure is formed of edges and vertices (“nodes”). Each vertex represents a concept. Concepts are 
either primitive, or compound (explained below). The size (cardinality) of the set of primitive concepts is fixed. Each 
edge links two vertices (i.e. two concepts). The graph is a digraph (directed­graph), i.e. the edge a → b is not equivalent 
to the edge b → a. An edge between two concepts indicates a relationship between these concepts. A third concept­
vertex is attached to every edge to define the nature of the relationship. Each edge has a weight, which determines the 
[strength / probability of association / degree of membership / truth or some other characteristic] of the edge (depending 
on the type of relationship). Therefore each edge has the following definition:

Ca The concept at the origin of the edge
Cb The concept at the end of the edge
CR The concept that defines the type of relationship the edge represents
wab The strength of the relationship of type CR between Ca and Cb.

So far, this is simply a very general and flexible type of ontology. Now we must add the ability to expand and compress 
parts of the graph. This is achieved by allowing each specific edge tuple { Ca, Cb, CR, wab } to be given a label, and for 
this label to be used as a concept just like any other i.e.

Cx = { Ca, Cb, CR, wab } The definition of a new concept Cx

Cx is the compressed form of the edge, the tuple is the expanded form.
 

Fig. 6. The atomic unit of a symbolic representation of 
knowledge. Each unit is a relationship between 2 concepts Ca 
and Cb. The relationship is directional i.e. Ca→Cb ≠ Cb→Ca. 

The relationship has a type CR, which is a third concept from 
the same pool of concepts. The unit as a whole may be given a 
label Cx, and thereafter this label can be used like any other 
concept. 

Note that the label can be used as a compressed representation 
of the relationship, or it can be expanded into its definition. The 
relationship has a weight wab, which (depending on relationship 
type) can be a measure of probability of association, degree of 
membership, etc.
3.6 Compound Concepts and Compression
Edges of any type can exist between any pair of concepts in the graph. New concepts are formed by giving a label to a 
specific edge in the graph. These are compound concepts, because they are made from the relationship of 3 other 
concepts. Concepts that are not compound are concrete, innate, and groundable: This means they can be directly 
observed in the world or are genetically­programmed features of perceptual or physical reality. The number of 
compound concepts in the graph is not fixed. The number of potential compound concepts is infinite.

Every compound concept has a corresponding expanded form. The expanded form might itself be made from compound 
concepts, but eventually all compound concepts can be expanded into compositions of concrete, primitive concepts. The 
choice of expanded or compressed representations of any concept enables compression of symbolic information, by 
squashing large graph components into individual labels. Symbolic reasoning is possible, by applying fixed physical 
laws to expanded compositions, to enumerate possibilities and check their validity.

3.7 Concepts as Adjectives, Adverbs and Metaphors
It might seem peculiar that concepts can be used both as things­that­are­related (i.e. as Ca or Cb) or as the type of 
relationship (i.e. as  CR). But it is equivalent to saying that most concepts can be properties of things – adjectives – or 
properties of actions (verbs or adverbs) done to things. Often the verb use of an adjective simply means giving that 
property to the thing. 

Note also that all compound concepts are built from concrete, primitive concepts that are all physical observations, 
features or laws. This means that more abstract concepts are necessarily physical metaphors.

Fig. 7. Compound concepts within the graph. Every concept in the 
graph can theoretically be used as relationship type (CR), 
relationship subject (Ca), and relationship object (Cb). Of course, 
some relationships are not physically meaningful. Some concepts 
and relationships are innate; others are learned. 

Innate concepts are always grounded properties of physical or 
perceptual reality. Other concepts are made by combining innate 
concepts in varied ways; so­called compound concepts (blue) can 
be used exactly as if they are concrete, primitive concepts (black). 

The definition of a single concept is similar to the simplest 
sentences in natural languages: It has a subject noun­phrase (Ca), 
and a verb­phrase (CR and Cb). Any part of the sentence can be 
infinitely expanded.

Fig. 8. Most concepts are meaningful as relationship­types and 
relationship subject­objects. For example, “email” can mean the act 
of sending an email, or the actual message received. 

Another example: “Red” can refer to making something look red, or 
it being red already.

3.8 A Description of the Tree (a structure for the representation of momentary conscious state)
For a number of reasons the ontology­Graph is not a suitable structure for representing conscious state. The most 
serious problem is that the graph has many redundant paths that encode approximately equivalent meanings. This is 
because the graph must enumerate all possible relations, not just the current content of conscious awareness. Another 
significant difficulty is that the graph is cyclic, which means that some concepts will be used repeatedly in different 
contexts (e.g. “the dog is brown and the fox is red” uses “is” twice). The redundancy of the graph means that the current 
meaning or interpretation of a concept can only be determined in the context of a “sentence” ­ an ordered traversal of a 
sub­graph without cycles. This is the purpose of the tree.
Fig. 9. Knowledge representation as a graph (an ontology). In this 
case the knowledge is about pet tigers and whether I can have 
one. Here, a tiger is an orange animal; an animal is an object that 
can move. “Having” is the object being available to touch at will, 
and a pet is an animal that I “have”. Note that there are 
redundant, approximately­equivalent paths; e.g. a tiger is an 
animal and an orange animal, and it “can­be” a pet. 

Due to this redundancy, this graph can only statically represent 
knowledge. It cannot represent symbolic mental state from 
moment to moment. The actual meaning of many concepts (such 
as “is”) only exists in the context of selected other concepts, to 
which it is transiently related.  

Example 1. There are many things that are animals. How can this 
graph represent the animal currently being imagined, especially if 
you are aware of more than one? 

Example 2. A tiger “can­be” a pet, and “is” a pet. At different 
times, either or none of these is true. To represent momentary state, a separate graph (or tree) must be formed from the knowledge­
ontology, with a limited subset of the edges organised hierarchically.

The tree can be instantiated as a vector (or array) of reusable concepts.  These behave identically to the compound 
concepts in the graph, except that they have no permanent connections to the graph. Instead, their connections are 
completely reconstructed each time the conscious state is updated. Each element of the vector is a concept with 3 
dangling connections (you can imagine them as “pointers”, in software terminology). These connections can “point” to 
individual concepts in the graph, or to other elements of the vector. This is terrifically important; if elements can point 
to each other, hierarchic composition is possible.

Fig. 10. Transient, momentary symbolic mental state can be efficiently represented as a vector of N “reusable” concepts. Each element 
in the vector can be connected to a total of 3 concepts in the graph and/or in the vector. (In software terminology, a good analogy is that 
this is a vector where each element is a struct of 3 pointers to actual concepts or other vector elements). Therefore, the elements of the 
vector can form trees, from both existing concepts in the graph, and dynamically­created concepts in the vector. Not all the elements in 
the vector have to be used, but there is an upper limit to the detail and finesse with which momentary symbolic mental state can be 
represented.

3.9 Compositionality & Context
A key insight is that concepts can become part of many separate sub­graph compositions simultaneously.  Potentially, a 
single concept can be associated with every vector element, simultaneously.  Example: I can have many separate uses of 
a concept like “is in front of” ­ referring to another person and myself, or to a small part of a person, such as their nose. 
The primary purpose of the symbolic remodelling is to change the limitations of conscious capacity, such that it is 
limited in number of distinct details, but highly elastic in the level of detail that can be expressed about any given 
subject.

Note that not all elements of the vector have to be used all the time, which means that the transient state can vary in total 
complexity and detail. This allows variable levels of awareness. The total number of elements in the vector is a fixed 
physical limit, which means that there is some finite level of detail with which current awareness of the world can be 
represented.

Recall that concepts in the graph have a compressed form and an expanded form. If a concept label is used in 
compressed form, a single element of the vector only needs to point to it. If a concept label is expanded, another element 
from the vector is needed to include the expanded definition in the tree (see figures 11 & 12, below). The 2nd vector 
element duplicates the original, expanded definition of the compressed concept from the ontology­graph. This process 
can be continued until every vector element is used.
Note that both the relationship type (CR) and relationship subject­objects (Ca and Cb) can be expanded into the tree. 
The nested structure of this tree defines a “context­free grammar” (CFG) and gives a specific context to every use of 
every concept. This mimics the behaviour of natural languages, which all appear to follow CFG rules. In a CFG, there is 
no overlap between separate elements e.g. ({})([]{()}[]) is a valid construction for a CFG, whereas ({[}]) is not. The 
context of every concept is explicit in the tree structure that must be parsed to reach every use of each concept.

Fig. 11. The compressibility of tree­like representations of symbolic conscious state. The simplest tree is simply a single element from 
the vector; but ultimately all the elements of the vector could be used to represent a single object. This example shows that in the graph 
of knowledge, a dog is defined as “a friendly animal”. This creates the new concept­label “dog”. In the tree of current state, “dog” can be 
simply a label, or it can be expanded via its definition. Expansion requires use of another element from the vector.

Fig. 12. The relationship­concepts in the tree can also be expanded or compressed to achieve the desired level of refinement, or to 
create novel, transient relationship types.

It is also possible that the same vector storage structure could encode multiple trees, that are not attached or related to 
each other.  Each tree does not have to use every vector­element, but the total number of vector elements is shared 
between all the trees. The total number of distinct conscious subjects is the number of unconnected components in the 
vector, but it is also possible that all conscious subjects are related in some way, probably to the conscious observer. It is 
reasonable to partition unrelated imaginary constructions that are not fixed in time or space, from constructions 
representing here and now.

In summary, the number of conscious details is limited to (at most) the number of vector elements, but how completely 
and thoroughly a single subject can occupy consciousness is not limited. Every vector element can be devoted to 
describing a single object. A subject can be a person, an object, a place or any other entity. The subject could even be a 
complete appreciation of the scene (physical aspects) or situation (including social context as well). A subject can be a 
whole object or person, or part of one. The same scene or situation can be represented in different ways, depending on 
how the person is currently conscious of it.

3.10 Learning Common Compositions
Vector elements are not limited to encoding the relationships in the graph. They can also encode any arbitrary new 
relationship between existing concepts, as long as every connection of every element eventually resolves to a concept in 
the graph (in computer science terminology, every leaf of the tree must not be null and must refer to a vertex in the 
graph).  Vector elements encoding new relationships can be built upon each other, so with enough elements, radically 
different and unprecedented symbolic models can be constructed. Interestingly, this means the tree is far less 
efficient when modelling new phenomena, new experiences or unfamiliar objects, and would require greater 
awareness to do so.  Viewing a novel object for the first time, less conscious capacity would remain for other things.

Vector elements represent virtual – possible – concepts, that could exist in the graph. For efficiency, it makes sense that 
regularly used vector elements (i.e. specific tuples Xn = { Ca, Cb, CR, wab }) would be permanently encoded into the 
graph. Once this occurs, that element­configuration can be referred to simply by its graph label (its compressed form). 

This proposal makes permanent learning of new concepts in the graph easy. Simply put, concepts that are repeatedly 
configured together in a particular way, become permanently usable in that way. This is the Hebbian learning rule again 
(things that fire together, wire together). 
3.11 Neuronal Analogies
The existence of a few fundamental, concrete concepts, and the use of almost all concepts as both adjectives and adverbs 
relating other concepts, implies that the graph is both highly redundant, highly cyclic and that the average degree of the 
graph (the number of edges incident at a vertex) is very high. The tree must potentially connect all concepts, so must 
have a very high degree of connectivity at each vector element. This matches the neuronal organisation of the brain, 
which is very highly interconnected.

The graph is necessarily cyclic, which means that any concept can be used repeatedly. If the concept were embodied in 
the brain as a neuron, a mechanism must allow for separate traces of activity through the neuron to exist simultaneously. 
In fact, such a mechanism does exist; neuron firing­rates can simultaneously encode multiple frequencies.  These 
frequencies are coherent on quite a large scale throughout the brain, plausibly manifesting the generation of the tree 
from the graph. (No promises though, it might be something else entirely.)

The graph and the tree are not intended to be biologically realistic. Rather, they illustrate the constraints and limitations 
of a fixed scale instantiation: They tell us more about the conscious states we could experience, and how we could 
experience them. They also provide a suitable basis for software implementation, which is important if this algorithm is 
to be falsifiable as an explanation of consciousness.

3.12 The Transformative Processes
So far we've described two data­structures – the graph and the tree – that are used to represent knowledge, and current 
symbolic conscious state, respectively. This section will discuss how these structures are created and manipulated.

Fig. 13. The processes of compressing and expanding symbolic mental state to achieve consciousness. There are 3 types of internal 
representation. First – a geometric model of the world which is updated by the senses & the perceptual network. Second, a graph of 
symbolic knowledge about the world, which has a mix of innate and learned relationships between concepts, that are all directly 
observable or can be physically reasoned about. In other words, all concepts can be grounded. 

The transformative network maps the features perceived by the perceptual network onto the knowledge graph and selectively 
compresses them into a hierarchical tree of symbolic perceptual state (Pt). The transformative network then merges this tree, with the 
tree that represents previous conscious symbolic state (St­1). Since both Pt and St­1 have the same capacity, merging must include 
some compression. A new tree St is the compressed result. St­1 is also fed via the re­entrant network into the geometric perceptual 
model to enrich abstract concepts; this requires an inverse transformation, but is possible because all symbolic concepts are composed 
from grounded physical or perceptual concepts.

The perceptual network produces a geometric model of the world, and the transformative network transforms this model 
into a symbolic representation. But the distinction is between them is not abrupt – let's say the perceptual network 
produces increasingly structured and detailed models, which the transformative network maps into the internal language 
used for all further symbolic processing. The transformation from geometric to symbolic must use the graph­ontology to 
associate concept­labels with specific geometric forms & relationships. There will be many parallel interpretations of 
many perceptual subjects; one way of choosing between them would be to apply a spreading activation algorithm to a 
pre­weighted graph. The output of this association process is a symbolic state­tree, Pt. Perception is an active process, 
which means that some selection is needed to decide which competing symbolic forms from the redundant graph persist 
into the limited­capacity tree.

The tree  Pt is then fed into a further compression step. It is merged with the conscious state­tree from the previous 
iteration of the conscious algorithm, which is called St­1. The merge produces a new conscious state­tree St. To merge 
the two trees, equivalent sub­trees must be identified and associated, with differences merged. Sub­trees exclusively 
found in either tree can be merged into the combined tree by relating them in terms of physical position, symbolic 
perceptual similarity, or some egocentric proposition. Alternatively, these sub­trees can persist unattached (the tree is 
potentially a graph with several components). To perform these associations and equivalency checks, the ontology­graph 
is consulted. Finally, the new tree[s] St must fit within the fixed capacity of the vector storage structure; selection 
throughout the merging and propagating process chooses which symbols are expanded, compressed or erased in order to 
produce a tree of limited capacity. The merging of  St­1 and Pt ensures continuity of conscious thought.

This process cycles endlessly. As explained later, consciousness is not an instantaneous product, but this complete 
process. The selective network prioritizes elements from the current conscious state St and feeds this prioritized tree 
back into the compression stage of the transformative network, and into the inverse­mapping stage of the re­entrant 
network. (This is the moment when symbolic idea generation and planning (as idea­selection) can occur). As detailed [a 
long way] below, the re­entrant network uses the ontology­graph to perform the inverse transformation, from symbolic 
form to geometric form; these constructions are then processed as normal perceptions back into the transformative 
network (although they are carefully labelled as imaginary, internal constructions, not perceptual ones, otherwise they 
would become hallucinations).

Fig. 14. Associating symbolic representations. Say we have 2 symbolic models that capture mental state at time t and time t­1. How do 
we associate the differently­described models in each, so that the trees can be merged? Without merging, the continuity of mental state 
is lost. The answer is that since each concept is composed from grounded, observable properties or rational 4­D realities, it can be 
expanded and mapped back into that form. In the example above, previous perception of an “apple” can be associated with current 
perception of a “green sphere” because a) they are in the same relative position and b) the definition of an apple is as a food that is a 
green sphere. An egocentric frame of reference is used to ground all extant concepts, however abstract, leaving imaginary ones non­
associable in the current physical context. Abstract concepts can only be associated by expanding and compressing their definitions into 
concrete forms that apply to the current situation, unless they are recognised in the real world.

3.13 A Quick Summary
There are many alternative graph & tree algorithms in the computer science literature that would allow a variety of ways 
of performing the graph operations described above. But elaborating on these would move from an algorithmic level to 
the implementational. The most important thing to appreciate is how this model could achieve the stated objectives in 
terms of the flexibilities and constraints of consciousness, as described earlier. The processes above can represent an 
enormous variety of possible content, and this power can be focused on a single part of a tiny object, or spread amongst 
a general description of a scene.

Limits of Consciousness, as proposed by the transformative model: 

– Upper limit on symbolic conscious capacity at any moment, but potentially unbounded given enough time
– Fixed number of (innate or programmed) grounded, concrete, concept primitives
– Fixed, biologically­plausible rules for the ongoing production of compound concepts
– Mechanism for the instantaneous production of complex, novel, compound concepts
– All symbolic representations built from combinations of these concepts
– Plausible fixed method of geometric → symbolic (and inverse) transform, due to grounded primitives
 
Flexibilities of Consciousness, as proposed: 
– Attention 100% to 0% on any single subject
– Conscious state can be scaled, up to a physical limit, allowing differing degrees of awareness
– Multiple conscious subjects, related or unrelated
– Same subject may be represented in various different ways from moment to moment
– Same subject may be represented at different levels of detail
– Combinatorial associations (e.g. many objects can have same properties)
– Combinatorial relations (e.g. relations nuanced with other relations)
– Hierarchic compositions : objects can be assembled from parts, each of which is represented with 
independently variable detail
– Qualia enriching; the flushing of symbolic state back through the perceptual process enriches it
– Qualia persistence; the final conscious state achieves compression to symbolic form, but does not lose all the 
perceptual qualities of subjects of attention: we persist the visual, spatial, aural, emotional, social relationships 
all the way to the final conscious state via multimodal concrete symbolic concepts.

3.14 Compression by Transformation
Whereas the perceptual network is first compressive and then constructive, building increasingly diverse and 
rich redundant representations of the world outside, the transformative network allows significant compression. 
Crucially, the degree of compression of the same perceptions varies from moment to moment, depending on what 
aspects of those perceptions are modelled after transformation, and how they are modelled. In addition, the 
transformative network models imaginary things in the same way: Current perceptions can be compressed to 
nothing when consciousness is preoccupied with the imagination. 

The same transformative network is used to model both imaginary and current perceptions. Internally, there is no 
distinction between real and imaginary, other than additional “imaginary” or “possible future” concept­flags.

As such, the transformative network could be the source of many so­called “mirror” neurons, which are simultaneously 
active when doing or experiencing something, and when observing another doing the same. (However, “mirror” neurons 
are also present in some of the abstractions of the perceptual network).

3.15 Natural Language and Thought
Notice the similarities between the transformative mapping and natural language. There are many structural similarities 
between all human languages, and language develops spontaneously, even in people who have not been exposed to it. 
There are also similarities in the interpretation of many (but not all!) gestures – there seems to be an inherent symbolic 
relationship between certain movements and social or emotional concepts.

The transformative network explains these things. The symbolic internal representation provides a grammar and a set of 
basic concepts – more complex relationships and concepts are compositions developed culturally from these common 
foundations. The impact of the internal grammar & base vocabulary on our language structures and culture is enormous:

“Pull over” to the side of the road (from the physical act). Don't be “soft” (extending physical property to social). “I'm 
on top of this problem” (spatial to abstract). “Look to the future”. “How far away” is my birthday? (transferring between 
time and space).

Editing this article is “getting me down”, have you “grasped the concept” yet? Have you “got” the idea?

Note that it would be possible for people to be conscious without an externalisable language if the internal symbolic 
reasoning were intact. This would simply mean that associations between internal symbols, and external sounds or 
written symbols, do not exist.

3.16 Developing Compositions
There are few proper nouns in the transformative network, because all entities represented symbolically are identified by 
their descriptions directly – i.e. adjectives, and adverbs relating these adjectives. This has two consequences: First, 
there is no distinction between the label of a thing and the experience of the thing itself (which causes qualia). Second, 
everything we learn to collectively identify must be mapped back to the perceptual experiences that generated it, which 
are characteristics of things, not absolute category labels. Since things are represented directly by their characteristics, 
these symbolic representations can be learnt from experience in the world, which explains how symbolic thought can be 
developed after birth.
Similarly, there are few verbs – instead most actions are combinations of movements which are built from observation of 
the motor effects, and their consequences in the world. Later, we learn to apply verb labels to quite complex sequences 
of actions or interactions, but our internal representation does not forget the original, concrete meanings and qualia of 
these verbs. For example, “running” is a single label that represents moving quickly, expending energy, breathing fast, 
moving arms and legs in a certain way, and everything else to do with the experience of running or observing someone 
run.

3.17 Discrete Symbolic Representations
There are many physical realities that cannot be represented effectively by discrete, symbolic compositions. 
Interestingly, it appears that our brains work around these problems rather than change the method of representation.

People are very bad at understanding probability because our definitions of certainty and quantity are not smooth or 
uniform. We tend to jump to absolutes, even when they are logically inconsistent. We struggle to comprehend the 
difference between $1.99 and $2; we do not understand that a tonne of bricks is as heavy as a tonne of feathers, all 
because we are reasoning symbolically. Bizarrely, very few people have any difficulty with working at a logically­
impossible 110% of capacity.

This causes particular problems in spatial reasoning. Within our immediate surroundings, we employ a fine but discrete 
grid representation of space, centred on ourselves (egocentric). Over greater distances, we represent spatial information 
as relationships between landmarks – encoded discretely as orderings, bearings (typically only accurate to within 10 
degrees or more), and distances (very inaccurate, partially encoded by perceptual density i.e. more interesting journeys 
are imagined to be longer distances). Landmarks themselves are also symbolic compositions of their shapes, functions, 
textures etc. Familiar journeys feel shorter because we notice less, and encode the journey as fewer, less significant 
“steps”. 

To compensate, we have many concepts in our transformative vocabulary that differ only in degree, and probably 
symbols that modulate abstract quantities of certainty or emphasis. Think of all the words in English that represent 
various levels of probability, including: Never, Extremely rare, Very rare, Rare, Uncertain, Likely, Very Likely, 
Extremely likely, Certain etc. Internally we might have tens or hundreds of primitives representing degrees of belief. 

3.18 A Discussion of Mentalese, and Representational Theories of Mind (RTMs)
Recall that Mentalese is the name for Fodor's internal language, in his Language of Thought Hypothesis (LOTH). Both 
the LOTH and the algorithm in this article are Representational Theories of Mind (RTMs), although the algorithm is 
more specific about how symbolic representations can produce conscious thought. As such, criticisms of, and evidence 
for the LOTH, are also relevant to acceptance of the algorithm.

The two major criticisms of LOTH­like theories, are basically that they explain nothing, or are useless (redundant).

Criticism #1: They Explain Nothing.
The first criticism is better known as Ryle's Regress or the Homunculus Regress. The argument goes as follows: Either 
languages get meaning from their users, or some other (magic, unknown) way. If the brain uses a language, there must 
be a user of that language in the brain (the homunculus), or some other unexplained component that knows how to use 
language. If the homunculus knows how to use language, it must in turn have a user of language in its brain … leading 
to endless regression, never explaining how the brain is able to use its internal language. The criticism is basically 
bonkers, as ridiculous as the chicken/egg problem (which is not a problem at all if you understand evolution). There is 
no difficulty whatsoever in building a grounded symbol reasoning engine that is able to perceive abstract concepts in the 
real world, label them appropriately, reason about them, and take action as appropriate. I've built several such machines 
(none of which were conscious, however).

In reality natural languages get meaning by the sharing of existing internal concepts, leading to mutual agreement on the 
externalizable form of these symbols. Internal symbols can auto­poietically get meaning by, acting randomly, then 
perceiving the results – observing one's actions and their consequences. Internal symbols can also be learnt simply by 
observing changes in the world and noticing patterns. The perceptual process is hardwired to identify & abstract the 
properties of physical objects, and learn commonalities of their relationships to each other. The rest is simply an 
arbitrary labelling process. In the algorithm proposed here, it does not matter which indices are used for specific 
attributes or relations, only that the correct compositions are able to be formed. These associations can be learnt. 
Learning natural languages is achieved (mostly) later, by associating sounds and pictures with internal symbolic 
perceptual models of the things they represent.
 Criticism #2: They Are Redundant.
Since both LOTH and this algorithm use a private, internal language that is not a natural language, some would argue 
that having 2 languages is wasteful. Don't we think consciously in natural languages? Well, no. You can try to verbalize 
your conscious thoughts if you like, but are surely aware that you're only verbalizing part of what you're aware of (the 
“ineffability” ­ love that word! ­ of thought).  Moreover, things with no public language can still think (proven by 
experiments with people and animals). 

Other philosophers (such as Ryle) claim that any representational theory of mind is unnecessary – that there is no break 
between external sensation causing mental state, and that mental state directly causing behaviour. This cleverer 
argument against RTMs is illustrated by Dennett's thought experiment about a chess game. During a game of chess with 
a computer, we may attribute propositional attitudes (as found in LOTH) to the computer – e.g. “it really wants to take 
my Queen!”, and these can help us understand and predict its moves. But everyone accepts that the computer is not 
thinking “I really want to kill that queen!”. Dennett says our minds are similar – they may have the appearance of 
representational thought, but it is not really needed.

“explicit representation is not necessary for the explanation of propositional attitudes!” ­ Dennett

Searle's “Chinese Room” example further proves the point. In this thought­experiment, a guy in a room has a book of 
rules for translating Mandarin into, say, English. The guy doesn't understand any language, he just looks up the 
translations in the rulebook. Since he can translate perfectly, he has the appearance of understanding both languages, but 
really understands neither.

In favour of Representationalism: Computational Properties of Thought
Of course the Chinese Room experiment is nonsense because there are many concepts in Chinese that have no direct 
equivalent in English. In these special cases, you need either special rules, or a genuine understanding of the languages 
and their real meanings.  For example, I was delighted to discover that in Yiddish, there is a word that means 
approximately “the 2nd­hand or received joy of observing happiness”. There is no English equivalent. In Lao, there is a 
word meaning something like “the reassurance & comfort of familial obligation”!  In the Chinese room, that rulebook 
would have to be absurdly, impossibly large to hide the ignorance of the translator. It would have to be filled with special 
exceptions, whereas genuine understanding is far more efficient: Good answers can be creatively composed on the spot 
via genuine understanding. This is more efficient in the same way that it is faster to learn a 26­character alphabetic 
language, than a logographic system with tens of thousands of unsystematic atomic units.

These computational­efficiency properties are the strongest argument for RTMs, and refute its redundancy. There are 
many of these reasons why representationalism is important for cognition, and essential for consciousness.

Two come from Fodor & Pylyshyn. The first, they call the “systematicity of thought”, which is essentially that everyone 
who can understand “I love you” always also understands “you love me” (except if they're male). Why is this so? If thoughts 
are composed from atomic elements (you, me, love), then it is obvious why the inverse exists. But if non­
representational, non­compositional methods of thought are used, the inverse does not necessarily exist. For example, in 
the rule­book, the “you­love­me” rule might not exist. The systematicity of thought suggests that we're not simply 
following a rulebook, we're composing.

The second argument from Fodor & Pylyshyn is the “productivity of thought”, which remarks that potentially, our 
thoughts are remarkably broad in scope, perhaps potentially infinite. However, they are performance­limited by time, to 
only a fraction of their potential. They claim that only representational systems have this characteristic.

An algorithm of consciousness must also have special computational characteristics of representational flexibility, 
elasticity and scalability. Certain types of reasoning & imagination are only physically feasible if we dynamically 
change the detail and form in which entities are represented. Only a representational, compositional model of mental 
state can account for these properties.  The detail required to produce conscious experience from a non­compositional, 
non­representational model would be nearly infinite. Compositional, symbolic reasoning is both necessary and effective 
in explaining the conscious experience.

3.19 Primitive Symbols, or Compositions?
A key conjecture is that all abstract concepts map into tangible, physical relations between ourselves, our bodies and 
things in the world as we perceive them. Many basic words in natural languages can actually be internally modelled as 
relations between others even more primitive until we get down to the innate primitives, e.g.:
 lost  = “had, but now don't know where it is”     i.e. degenerates to have, not, time/space constants:
      =  me­­have­­object [past]
&  not­­( me­­have­­object ) [present]

give  =  lost
&  not­­( agent—have­­object ) [past]
      &  agent­­have­­object [present]

agent  =  animate object & intentionality
animate =  moves in aperiodic way, without external influence
intentionality  =  action & [future]
have =  within reach, or possible to hold and/or use?
object =  perceptual attributes (shape, etc.) seen to be physically attached 
    by visual, temporal or manual evidence

3.20 The Innate Vocabulary
Every “primitive” symbol in the base vocabulary of adjectives and adverbs must be grounded (tied to some external 
reality) and meaningful. The meaning of symbols must be learnt by experience. The symbolic reasoning system must be 
self­generating (auto­poietic) in each individual. 

The meaning of each symbol consists of its perceptual forms – shapes, motions, sounds, sensations, etc. – and 
relationships between these forms.  By playing with and observing its environment, an individual learns these 
relationships. The relationships that are learned are the transformations that are possible to perform with our bodies in a 
[3+1] ­dimensional world – translating, rotating, twisting, tearing, pulling, pushing (note that these are egocentrically­
defined), pinching and so on. Most of the vocabulary is based on physical or perceptual reality, things that the brain is 
hard­wired to be able to understand and identify in the world. Humans evolved to possess this vocabulary because it is 
essential for effective symbolic reasoning about our bodies' actions in the world. This learning task is very doable ­ 
existing software can reconstruct the world geometrically from a moving stereo pair of cameras.

"most concept acquisition ... involves getting a stereotype 
from experiencing a typical instance of the kind." ­ Fodor, 1998

It is essential to stress that the scope and remit of conscious symbolic reasoning is not limited to verbal language. It is 
multi­media. It includes visual, spatial, tactile & other sensory­mode primitives in the same way that computer files can 
contain plain text language or, say, vector­graphics. Very complex 3­D structures can be composed from a basic 
vocabulary of primitive shapes, if enough primitives are combined. For this reason it is essential that consciousness is 
flexible enough to represent an entire world approximately, or parts of it in detail. The parts can be visual, tactile etc.

Fig. 15. Symbolic representations of visual appearance, structure and form. This image is a vector­graphic composed from thousands of 
shape­primitives. The image is not stored as a bitmap or other pixel­based data­structure; it is a symbolic representation encoded as the 
configuration and properties of a set of basic shape primitives. Few people are aware how stunning a few thousand polygons can 
appear; the human brain has a symbolic capacity of many million or perhaps billions of shape­concepts.
Some primitives in the vocabulary are based on absolute internal states, such as pain. We are genetically programmed to 
avoid and dislike pain; we learn that some things cause pain. Some primitives are about time – degrees of time, future 
and past. Some are about (un­)certainty. These are all tangible, observable, learnable qualities. 

Several unique primitives stand out: The ability to identify animate, intentional agents, and later, the ability to ascribe all 
one's own thoughts to such agents (theory of mind). These are incredibly useful concepts, in a world that contains many 
such competitors and threats. Once you have the ability to label an object with the intention to do something, you can 
add in all the physical vocabulary about what it intends to do. Much of the vocabulary is egocentric because it is most 
useful to reason about the relationships of things to agents, particularly one's self.

3.21 The Algorithm & the LOTH
Fodor's LOTH does not claim the LOTH explains consciousness, and it does not, although it overlaps considerably with 
part of the answer. Fodor merely says that the mind is composed of a number of relatively independent modules or 
“organs” and that there is a central processing unit, which has a more general remit.

What are the differences between the LOTH and the algorithm given here? First, Fodor argues that a much larger 
vocabulary of primitive symbols must be innate because they cannot be learnt. This is hard to accept, because, (a) they 
can be learnt if composed as described above, and (b), it is implausible that so many “lexical” concepts such as “week” 
could be evolved and assembled within newborns. Fodor would disagree with (a), I think.

Second, much discussion in LOTH is devoted to the expressive power & efficiency of particular grammars. But there is 
little reason to believe that the grammar of an evolved symbolic brain is efficient or logically correct, for the same 
reason that an IBM­x86­derived computer is not an optimal design: Legacy!  Evolution has probably produced a mish­
mash of incomplete, duplicate and naïve physical approximations, which would be evident under psychological testing. 
For this reason it is distracting from the algorithm to cover the grammar and vocabulary of the symbolic network in too 
much detail. As an example, observe the motion of a double­pendulum. The movements are baffling, each pendulum 
individually being briefly comprehensible only when mostly unaffected by the other (although this may be unfair if it is 
chaotic). Despite its Newtonian simplicity, this is something our brains cannot innately understand.

Thirdly, the possibility of direct visual and spatial symbolic reasoning (as opposed to linguistic symbolic reasoning) is 
not sufficiently emphasized and explained in the LOTH. The majority of conscious experience has no counterpart in 
natural language.
ivdnnawadilosr

The Symbolic Network
The symbolic network is not distinct from the transformative one; rather it is the symbolic model that is the 
result of the transformation process. Nevertheless, it is worth emphasizing and clearly describing how this can give 
rise to the phenomenon of conscious experience. However, the explanation requires that a number of assumptions are 
unpicked and dealt with separately, so bear with me here.

Fig. 16. The symbolic network is the output of the transformative network – a selectively composed representation of conscious mental 
state encoded symbolically, as hierarchical relationships between concepts.

4.1 Kernel / Emergence Paradox
A key insight here is a solution to the paradox of whether consciousness is embodied as a single focus point or kernel, 
or emergent from some form of distributed coherency across a large part of the brain. To us users, consciousness feels 
like it is a coherent, singular awareness of … something! There's generally only one “consciousness” in our heads 
(although some people have more, and they are not “consciously” connected but communicate by internally “talking”, 
i.e. sharing non­conscious information which they then become conscious of!) We are also under the impression that 
there is a central decision­making mechanism, which we typically consider to be the conscious core of the brain 
whereas in fact it is not – we become conscious of decisions after they are made. 
We intuitively imagine that these characteristics imply that consciousness is a small, central viewing chamber where the 
“experience” is had and decisions are made. This is the classic Cartesian Theatre fallacy, the idea of a stage on which 
ideas and perceptions are paraded in view. The Theatre is unsatisfactory because it does not explain what or who is 
actually viewing the show, given that they need all the same perceptual apparatus to understand it.

The popular opposite view – that consciousness is an “emergent” or distributed property of the sheer complexity of 
ordinary neural network topologies – is really too vague to provide any understanding of how this might occur. It is 
certainly clear that not all complex neural networks are conscious. But the appeal of a distributed embodiment of 
consciousness is that a lot of information can be encoded within the conscious experience, whereas the kernel concept 
requires that all information is (somehow) compressed down into that magical core. 

The paradox is that a conscious “core” fits the singular, hierarchial awareness we find by introspection, but struggles to 
represent any meaningful information due to the inevitable (and unexplained) compression. How can decisions be made 
without information? Conversely, a globally “emergent­from­complexity” distributed model is able to represent a lot of 
information, but does not explain how a singular, coherent awareness is generated.

The answer is a compromise between the two. Compressing the world into a tiny amount of information destroys 
discriminatory power and the subtlety of thought and experience; but vice­versa having no central authority
or focus dilutes the experience into noise. The key is to compress the world into a single, fixed capacity model, but 
not to continue compressing until all meaning is lost. The capacity of the model determines how refined and 
detailed the conscious experience of that brain will be. The model must be dynamic, changing content over time.

The model produced by the transformative network is of fixed capacity and therefore physically realisable. The model 
achieves significant compression, but due to its abstract, combinatorial, compositional form, retains the ability to model 
any subject in any level of detail (up to the limit of capacity). Natural languages have the same flexibility & elasticity: 
For example, in English, using up to 20 words I can be “conscious” of:

­ me writing article on laptop   and
­ programme on TV   and
­ fan blowing in front of me

.. or “conscious” of only one thing in detail:

– Me Writing This Sentence in black letters, white background,
serif font, feeling keys under fingers, sitting, leaning forward etc.

Hence the degree of compression achieved by the output of the transformative network can be varied whilst in use. It is 
flexible and elastic enough to model a single conscious subject in detail, or several subjects less elaborately. The 
dominance of specific subjects can increase and decrease over time. But there is an upper limit to how much I can be 
consciously aware of, whether it is one subject or many.

This solution of limited compression is not new. In particular, it has been widely accepted as part of Baars' “Global 
Workspace Theory”, where a “working theatre” metaphor is often discussed. The working theatre has an “audience” of 
unconscious processors that compete to “globally­broadcast” something by putting it in view, on the stage of the theatre. 
These processors are also consumers of the content on the stage; and within the area of the stage a spotlight determines 
the focus of attention. Crucially, the stage has a limited capacity, forcing competition for space. Although the metaphor 
is too abstracted to explain consciousness, it is popularly accepted as a major contribution.

4.2 The Binding Problem
The transformative and symbolic networks provide an explicit solution to the binding problem (how perceptions are 
associated). Perceptions are all transformed systematically into their symbolic equivalents, and then a filter is applied to 
decide which symbolic compositions are persisted into the symbolic network.

Some parts of the "experience" of consciousness, such as vision, are less vigorously compressed than others. This 
means that some visual information is associated with most conscious states. Sometimes the attributes from different 
physical senses are combined, and sometimes highly abstract properties are retained so that an object may be 
consciously perceived in both quite raw, and quite abstract forms, at the same time.

In addition to being conscious of both “raw” visual forms and symbolic or abstract models simultaneously, we can shift 
between them over time, by adjusting the filter that determines how compositions are persisted into consciousness. The 
selective “re­perception” of the conscious state is discussed in the following sections.

4.3 Split­Brain Evidence
Some people have suffered a particular type of brain damage in which the Corpus Callosum is severed. The corpus is a 
bridge permitting communication between the “higher” brain functions of the two cerebral hemispheres. When severed, 
specific functional deficiencies are caused: Concepts localized to a specific hemisphere can no longer be associated, for 
example, things in the left visual field can no longer be associated with things in the right visual field.

These consequences suggest that (in my model) the corpus is part of the transformative network, where concepts from 
different sensory modes and different visual fields are combined to produce the conscious state. Severing the corpus 
splits the concepts that encode the graph­ontology, so that only half the vocabulary is available to each hemisphere 
individually. If the split does not include the final symbolic network, then a single conscious state could result, but the 
tree would consist of two unconnected sub­graphs. If the final symbolic network and selective network were also split, 
two entirely separate consciousness' would result.

The existence of this type of brain damage is strong evidence for the existence of a compositional, combinatorial 
representation within the brain. Non­representational consciousness models cannot explain some of these observations. 
Further support for a compositional representation is what happens to these patients in the long term – the hemispheres 
adapt, to try to model the missing concepts in new ways (“functional plasticity”).

4.4 Confirmation­Bias Evidence
One of the peculiar irrationalities of the human condition is “confirmation bias” ­ we prefer to interpret information as 
confirmation of our hypotheses, when it could be interpreted as ambiguous or contradictory! This phenomenon actually 
highlights one of the key differences between the algorithm given in this article, and the LOTH. The LOTH is a static 
representation with a large (and largely innate) vocabulary, whereas a dynamic, combinatorial representation based on a 
small vocabulary of primitive concepts is proposed in this article. In addition, state tree and graph are separated.

Confirmation bias is the consequence of the transient existence of a composition in the symbolic network, which is then 
re­entered into the perceptual and transformative networks (see below), so that it can become part of future conscious 
states. The inputs into the conscious state at time t+1 are both external, and from the conscious state at time t. All the 
other possible interpretations do not actually exist in the current conscious state­tree. This means that evidence is 
interpreted in terms of its support for the existing state, or in support for potential future states that are beginning to 
emerge. Obviously, already­existing hypotheses are greatly advantaged by re­insertion into the conscious process, and 
evidence is associated with them wherever possible, generating the confirmation bias. Only when evidence is grossly 
inconsistent with the existing hypothesis, are other potential explanations allowed to compete.

A key distinction between this and a single static graph, is that if the method of representing a subject is fixed, the 
current imagining of it cannot be identified and preferred over other, future representations of that subject: All potential  
explanations must be equally evaluated and judged on the evidence presented, given the static syntax rules. The 
conscious state in the LOTH, given the same perceptual data, is a fixed, deterministic result, not a consequence of 
current conscious state. A dynamic, combinatorial representation has the flexibility to evidence confirmation bias, 
whereas the same effect would be harder to implement in a static representation. The modular, specialized LOTH 
employs a fixed set of syntax rules to determine output. This is not sufficient to allow confirmation bias.

Prediction: Confirmation bias varies in strength depending on how a subject is currently being consciously 
modelled, not just what the subject is. For example, a wine glass imagined in a way that included structural details, 
would be more subject to confirmation bias in the interpretation of structural evidence, than a wine glass imagined 
holistically or, say, in terms of its visual or sentimental associations.
ivdnnawadilosr

The Re­Entrant Network
Consciousness is not an instantaneous event. Rather, it is an ongoing process whereby the subjects of conscious 
awareness are evaluated, elaborated, transformed, and dismissed. The re­entrant network forwards activity from the 
symbolic network back into the more abstract levels of the perceptual network, where it again feeds forward 
through the transformative network into the symbolic model. This cycle continues for the duration of conscious 
experience, although obviously the overall level and focus of activity varies with conscious state. Sometimes we need to 
relax and switch off! 
The re­entrant network contains the inverse of the transformative network – it transforms symbols into their perceptual 
qualities and origins.

There are also cycles within the perceptual network, which simply trigger associated experiences that may become 
transformed and amplified into consciousness. This allows unconscious associations to be pursued and developed prior 
to them becoming conscious. 

Fig. 17. The Conscious Process: Cyclic data flow through perceptual, transformative, symbolic and re­entrant networks. 

5.1 Imagination
For any thoughts to be properly “grounded” in related real­world experiences and perceptions, the same machinery with 
which perceptions are produced must be reused for the appreciation of internal, conscious imagination. Signals only 
have meaning when there is a mechanism for interpreting them! Cycling achieves this by feeding transformed 
compositions back into the perceptions with which they were historically associated. One difference is that re­entrant 
subjects feeding into the perceptual and transformative networks are tagged with concepts such as “imaginary”, 
“expected” and “possible” to distinguish them from current perception of the real world. 

The re­entrant activity extends quite far back into the perceptual network, which enables it to trigger quite basic 
perceptual phenomena such as imagery and motion (“mind's eye"). Downstream perception of this activity is equally 
significant and meaningful as the perception of reality, but if you try to introspect too closely you will notice that a lot of 
detail is missing, having not survived the cycle of abstraction and re­generation. The flexibility of the conscious cycle 
allows immediately variable quality in reconstructed mental imagery.

The inverse transformation (from conscious to perceptual representation) can be learned by associating activity in the 
perceptual network with the corresponding concepts in the symbolic network, if it is not explicit in the graph already.  

5.2 Innovation and Induction
One weakness of the conscious process is that it is not obvious how innovation can occur, if conscious experiences are 
only narrowly associated with the perceptions that generated them. The answer lies in the abstractions and 
transformations of the perceptual and transformative networks, which permit learning by induction. For example, 
imagine that you are sitting at your desk when you see a gigantic beetle run up the wall. You want to get rid of it (I've 
got nothing against beetles, it's just an example) but you can't reach: A few inches short. You look around – and see a 
book on the table...

When you “see” the book, it is not represented just as “Guns, Germs & Steel by Jared Diamond” or “Quicksilver by 
Neal Stephenson” (both good hitting­books). Its conscious embodiment has many other attributes – size, shape, relative 
position, and the fact that it's hard and heavy. These abstract characteristics are associated with other things that 
you've previously used for swatting, and so the idea is made. By associating “heavy and hard” with both “things for 
hitting” and “this book” you can imagine the potential act even if you have no experience of hitting beetles with books. 
This is another benefit of systematic representational thought.

Separately, the phenomenon of “Mental Rotation” supports both the existence of symbolic reasoning and the actions of 
the re­entrant network feeding symbolic productions back into the perceptual network. When you try to imagine how a 
rotated shape looks, specific transformations are applied in series until the appearance of a match is generated. In this 
case, it is not the structure of the rotated object that is tested – it is its appearance. The appearance is generated by 
inverse transformation of the symbolic model and its subsequent propagation through the perceptual and transformative 
networks.

5.3 Imitation & Imagination
Before hitting that bug you (might) consciously evaluate the messy consequences of that action. As already stated, 
perceptions of the immediate situation differ from conscious or unconscious imagination (you can have both conscious 
and unconscious imaginings at the same time), in that activity triggered by the re­entrant network is appropriately 
tagged with “imaginary” and “proximity” markers in time and space. However, the consideration of an act is perceived 
identically and with the same neurons as the perception of the reality of that act. Surprisingly, learning can occur from 
both (which is why imagining skills makes you (a little) better without real practice). 

The re­use of the perceptual network has two important consequences. First, low­level “mirror” neurons can be 
identified which fire in response to both actual and imagined acts by self or another. Second, it is necessary to suppress 
motor responses at the edges of the central nervous system, when those responses are triggered by the imagining of an 
act rather than the decision to actually perform it. Strangely, this means that to actually execute a plan it must be actively 
un­suppressed (but more about this later).

5.4 Imagination and Qualia
By far the most interesting consequence of the re­entrant network is that it is impossible not to experience the 
mysterious "qualia", because every conscious experience is formed in the rich set of associations surrounding both 
current perceptions and the subjects of conscious attention. As ideas cycle, they are continuously enriched. 

What is the sensory mode of conscious thought? Is it verbal? Visual? A natural language? 

Conscious thought is expressed in a mix of all of sensory modes, and also in the internal symbolic language of the 
transformative network. This language represents visual, audible, tactile, language, abstract and taste experiences 
simultaneously. All forms of sensing are transformed into a single internal language, which via the re­entrant network 
feeds into all the different perceptual processes: In effect, a kind of symbolically­triggered synaesthesia. The internal 
symbolism of the transformative network is richer than words because it is built from individual human experience, in 
the human body. It is indescribable; it is qualia.

For example, there are abstract similarities between all methods of travel regardless of whether you walk, or drive, or 
catch a train. Thinking about train travel will have associations – even if not conscious – with the effort of walking, the 
smell of fresh air, perhaps the rain and sights of cloudy skies… 

Nothing can be perceived without passing through this enriching process in the perceptual network. Since all conscious 
subjects are re­entrant into the perceptual and transformative networks, they are also enriched with these associations, 
any of which can be expanded at will into full attention. Awareness of this potential – the ideas at the edge of 
consciousness – enriches the experience even more. 

Consciousness is a process, not a state.
ivdnnawadilosr

The Selective Network
The selective network modulates (amplifies or suppresses) activity within the re­entrant network (which enables it to 
control the subjects of conscious attention) and the other networks (which controls choice of action and perception). In 
many ways this is the most conventional and easily understood part of the conscious brain, since it is rational and learns 
in response to feedback – including conscious awareness of how the brain felt about the outcomes of previous choices. 
So­called “Supervised” learning (with feedback) is the best understood type of machine learning.

Fig. 18. Making decisions by modulating conscious attention. Conscious decision­making is achieved by adjusting the conscious state 
fed back into the perceptual and transformative networks. Conscious action selection or suppression requires modification of the signals 
sent from perceptual and transformative networks to the action network. All cyclic processes are modified by these interventions. The 
development of conscious decisions is determined by the selective network.
6.1 Selection & Attention
The main thing to take away from this section is how the selective network can control conscious attention. Some 
compositions from the transformative network (such as aspects of the current situation, or ideas for future actions) are 
enhanced, and the emphasized aspects of these are re­entrant into the perceptual network for enriching and re­
modelling; other compositions, or parts of compositions, are suppressed and cease to be part of conscious attention.

The selective network can be quite gentle; the emphases and suppressions can be quite minimal. Sometimes the cycle of 
conscious thought is interrupted by the introduction of strong external stimulus. Interactions between the selective 
network and the perceptual network can ensure these high­priority perceptions become part of conscious awareness.

The selective network chooses in which directions thoughts wander off in time and space, and allows thoughts to branch 
in different directions (it is a very soft method of selection that can entertain different thoughts at once). However, the 
selective network has strong enough influence to prevent the conscious experience dissolving into uncorrelated noise. 

The number and detail of subsequent re­entrant conscious compositions is chosen by the optimizing rules of the 
selective network, which employs a cost/benefit analysis learnt from experience. Part of each conscious composition is 
the expected payout in an intangible form made up of expected physical and social consequences and an estimate of how 
likely it is to occur. The vocabulary and grammar of the transformative network has a significant impact on the 
ability of the selective network to evaluate potential choices, which is why humans are so irrational in many ways 
– our preference for quick payoffs vs. long term profit, our inability to control appetites and so on... These are all 
consequences of the way situations are encoded as egotistical, egocentric relations. Our poor mathematical evaluation 
of odds and probabilities is rooted in symbolic rather than numeric internal representation: We tend to 
symbolically regard everything as absolutes rather than weight everything continuously and solve for the optimum 
minimum cost answer.

6.2 Awareness of Selection
The effects of the selective network are only consciously available via the re­entrant network, as part of the continual 
cycling of activity through the re­entrant, perceptual, transformative and symbolic networks. Since conscious attention 
is (primarily) modulated during the re­entrant, perceptual and transformative stages, decisions do not become conscious 
until after they are taken and activity has been despatched to the action network. The implications of this on 
determination and “free­will” (the question of whether we are really controlling our own actions) are discussed a little 
way below.

One final interesting property of the selective network, is that Consciousness can be highly focused ­ highly selective ­ 
or allowed to dissipate, by reducing the strength of the selective network's influence. This allows heightened awareness 
and attention, or less tangible, more dreamlike states, where thoughts wander and are generally less detailed and 
coherent.

6.3 Global Workspace Theory & Selective Attention
Baars' “Global Workspace Theory” (GWT) can be summarised as follows. There are many unconscious, local & media­
specific processors which compete for space in a global workspace (hypothesized to exist in the frontal cortex). The 
workspace is shared by all the processors. Processors can form “coalitions”, which increases their chance of 
monopolizing part of the global workspace; the physical embodiment of these coalitions is reverberatory activity across 
the brain, which causes maintenance of neural activity, preserving data in the local processors. The fewer long­range 
connections in the brain permit communication between locally specialized processors. 

Discussions of GWT often include the “working theater” metaphor, in which the processors are the audience and the 
workspace is a stage. The unconscious processors are both producers and consumers of the content on the stage.

GWT is compatible with many theories of consciousness, partly because it is a very abstract description. It is also 
compatible with the model proposed in this article. The focus of GWT, the limited­capacity stage, is equivalent to the 
symbolic network proposed here. The “spotlight” on the stage is equivalent to the effect of the selective network on the 
symbolic network, choosing which parts of the Tree to expand & re­enter, and which to compress. The unconscious, 
mode specific processors in GWT exist in the action & perceptual networks. The selective network implements the 
“competitive process” in the transformative network, that decides which (and how much) of the symbolic productions 
survive into the compressed model that is the symbolic network.  The competition between coalitions in GWT is 
equivalent to the competition between symbolic compositions in this algorithm.
Fig. 19. The “working theatre” metaphor from Global Workspace Theory. The “unconscious processors” in the “audience” exist in the 
perceptual and action networks. The transformative network uses a competitive compression process to squash the various perceptual 
outputs onto the limited­capacity stage (aka “Global Workspace”). The symbolic network is the result of the compression process, whose 
suggested representation is the Tree. The selective network implements the “spotlight” that chooses which parts of the Tree are 
preserved and expanded in future iterations, and assists selection in the compression processes.

One difficulty with GWT is how the processors can communicate in a mutually­intelligible way. If they are very 
independent, they must duplicate some mechanism for interpreting the content on stage. By contrast, this algorithm is 
quite specific about the way information on stage is represented, and assumes that specialized modules interpret any 
symbols that map into their remit (i.e. the modularity is expressed differently). This algorithm also specifies that 
symbolic compositions are re­entered and enriched by the perceptual process, whereas GWT suggests that asynchronous 
processors use some form of data buffering, to preserve data shared with other modules. The re­entrant cycle is 
important; merely preserving data does not allow it to be thoroughly “synaesthized” (!) with data from other processors. 

Finally, an emphasis in GWT is the role of consciousness in “providing access” to all products of cognition in a central 
location. This is achieved by putting things in the global workspace – on the stage. But obviously, access is not just 
about being able to see data from one place: It is vital that the data is in a format that has all the characteristics we've 
been talking about – flexibility & scalability of representation; grounded, meaningful concepts, and on on.
ivdnnawadilosr

The Action Network
The action network is a relatively conventional neural network that generates control signals for the motor neurons and 
hence controls the conscious (non­autonomic) parts of the body. For our purposes, it can be regarded as a set of stored 
procedures, that can be parameterized and readied for trigger on time­delay or on perceptual events.  The stored 
procedures have input as direct feedback from the senses, bypassing the symbolic networks described above. Procedures 
can be smoothly combined within the action network, which has the ability to integrate compatible behaviours, rather 
than integration elsewhere in the brain. Overlapping activation of incompatible procedures generates unpredictable 
results, such as stuttering, jerking or the absence of one of the desired behaviours. The conscious processes generally 
learn to avoid these, at least in familiar circumstances.

7.1 Closed Loop Replay versus Conscious Supervision
The replay of stored procedures by the action network is superior to conscious motor control because it uses a dedicated 
and lean network with a tight feedback loop that excludes higher (consciousness­related) brain functions. Whereas the 
conscious process may take many cycles to develop a planned response for execution in the real world, the action 
network is locked into a (sense → modulate procedure → execute motor signals) loop, where every iteration modulates 
the effect on the motor system and hence the world. These actions are observed and accounted for in every iteration of 
the network.

Behaviours are triggered by the selective network in response to specific conscious plans embodied as compositions in 
the symbolic network. Direct conscious control is possible by consciously activating the most basic behavioural 
primitives in series, and consciously perceiving and supervising the consequences. This obviously leads to slower, less 
reactive, less finessed motion, and poorly integrated behaviours. 
7.2 Learning New Unconscious Skills
With practice, any consciously executed sequence of behaviour primitives becomes faster and increasingly autonomous 
– eventually, new stored procedures are formed which merely need to be activated by the conscious parts of the brain. 
These stored procedures will have incorporated the perceptual triggers and proprioception cues necessary for feedback 
during execution, thereby absolving the conscious brain of any monitoring requirements.  Even after procedures are 
formed, further practice will improve the execution of the procedures. 

The organisation of the neurons in the action network can be learnt using any associative rule if sequences of actions 
become associated when repeatedly executed in order. Supervised learning techniques are suitable for incorporating the 
effects of sensing / perceptual feedback. However, the set of available behaviours needs to be separated and categorised 
by function and actuator (muscle) location, so that novel behaviour combinations are possible. For this purpose a self­
organising map structure is necessary as an interface between the selective and action networks. The higher brain 
functions (the conscious cycle) have to learn the mappings for the appropriate trigger points, such that observed 
(perceived) actions match expected actions from plans. 

This learning is achieved during simultaneous development of the conscious cycle, and the action network: Both 
gradually assemble a more sophisticated and useful set of practiced behaviours, and learn the triggers necessary to 
activate them. Initially, the action network produces un­coordinated motion and the conscious cycle is only aware of a 
very basic vocabulary of expectations – waving, looking, etc. Gradually the conscious cycle becomes better, more 
ambitious and more sophisticated at describing what it wants to do, and the action network becomes better and more 
independent in achieving those goals on demand.

7.3 Not Acting
Since the perceptual and transformative networks feed into the action network and are used to model imaginary 
situations, it is necessary to actively inhibit action network responses to imaginary events. 

“Every mental representation of a movement 
awakens to some degree the actual movement which is its object” 
... said William James in 1890. If the action is not sufficiently inhibited, by the selective network or “imaginary” flags, it 
will be performed. 

Fig. 20. The action cycle. Unconscious motor control (even if initially consciously triggered) is managed by closed­loop feedback with the 
real world, via the senses and the perceptual network. When more abstract parameters are necessary to control actions, this data is 
taken from the transformative network. 
ivdnnawadilosr

Consciousness and Self­Awareness
8.1 Self­Awareness
Self­Awareness is the conscious appreciation or awareness of one's own mental state. It is a kind of meta­thought – 
thinking about the fact that you are thinking about something. This realization carries with it the discovery that you are 
looking partly at yourself – you are the thinker. Descartes famously stated “I think, therefore I am” ­ implying that his 
awareness and observation of himself thinking, proved his existence.

The hard part in understanding self­awareness, is describing exactly what you are aware of, when being aware of  
yourself. In other words, what representation, of what part of your mental state, are you seeing? This ties self­awareness 
to consciousness, because consciousness is the immersive, rich experience that we are really becoming aware of when 
we talk about self­awareness. The identification of the self is as the single, coherent, conscious awareness in your head. 
Other parts of the body are replaceable, but replacing your conscious process would mean the end of your existence as 
you know it.
Awareness of one's conscious experience therefore inherits all the representational difficulties of understanding 
consciousness itself, and therefore explains why self­awareness has resisted explanation.  However, the existence of 
the transformative network as a variably­compressive representation for consciousness makes it easy to add another set 
of abstract compositions into the conscious model – compositions that are identical to the current conscious experience 
with the additional relation “me thinking about ...”. 

Note that in the worst case, self­awareness would require a duplication of the entire symbolic network to faithfully 
encode the conscious state at time t­1. But self­awareness is not a constant experience; it is something that can be 
invoked to varying degrees, and the level of detail in awareness and self­examination is also variable.  This also fits the 
transformative model, which achieves the same flexibility & compression in conscious appreciation of external events. 

With the insight that self­awareness only transiently occupies between zero and ~99% of the conscious experience, only 
a small change is required to implement it: Map the previous symbolic network state back into the transformative 
network, and apply the same selective criteria that all perceptions face, so that normally only part of these compositions 
persist into the symbolic network. If the brain chooses to expand conscious awareness of its own state, the abstract 
compositions in the transformative network, that represent the previous symbolic network, can fully occupy the current 
synbolic network. However, given that it is very difficult to be conscious of great detail while being consciously self­
aware, it would seem that other perceptions tend to compete strongly with self­awareness for space.

Like consciousness, self­awareness is a process; the degree / detail / emphasis in the representation of self­awareness 
can deliberately increase and decrease, via the influence of the selective network on the transformative network. The 
cycle through the symbolic → transformative → symbolic networks occurs continuously.

Fig. 21. By re­entering the current conscious state as a candidate for attention in the next conscious state, we can selectively choose to 
become aware of our own thinking. We can systematically add propositional relations describing our relationship to these thoughts. 

8.2 The Purpose of Self­Awareness
Self­Awareness has an important function that justifies its existence. Most conscious plans involve sophisticated, high­
level actions that cannot be executed instantly, or perhaps immediately. However, conscious thought is not suspended 
while a plan is executed: Instead, we can consciously monitor execution and modify plans if circumstances change, or if 
a better plan is discovered. Of course, sometimes we do not monitor consciously, but are merely aware enough that we 
do nothing to interrupt a plan that is completed unconsciously. We also perform conscious monitoring to compare 
expected outcomes to what really happens, allowing feedback into the selective network when predictions are wrong.

To monitor the execution of a plan we need to know what that plan is, what is expected to happen and how it relates to 
our objectives and other aspects of our situation in the world. This understanding is achieved by mapping this symbolic 
content back into the perceptual and transformative networks, with some compression­loss depending on how closely 
particular bits of the plan are being monitored at any given moment. The symbolic reasoning that generated the plan can 
also be used to assess it during execution, as different parts of the plan cycle through the conscious process. The detail 
with which pieces of the plan are symbolically­represented changes with each cycle, often leading to new options due to 
these different perspectives.

After lossy compression of a plan, detail is reconstructed if required to form part of a new conscious state. However, 
since genuine loss has occurred, reconstructed details may differ from previous versions.  Occasionally these differences 
will be quite random, sometimes they will be due to differences in other parts of conscious state, at the two moments of 
construction. Often, differences are due to changing perceptions, circumstances or plans. 

8.3 Self­Awareness and Self­Determination
More philosophically, self­awareness hints at an abstraction of thought, which suggests it is related to self­determination 
– perhaps enabling us to step outside normal mechanistic thought processes. Often the two (self­awareness and self­
determination) are confused, con­mingled or considered interchangeable. 
In fact this is not the case, since as detailed above the consciousness of self­awareness is determined by the selective 
network's modulation of the transformative network. Furthermore, many people would argue that we practice self­
determination even when conscious, but not currently self­aware. I have dealt with self­determination separately, below.
ivdnnawadilosr

Memory
9.1 The Physical Basis of Memory
So we have covered sensing, perception, awareness, focus, planning, imagination, selection, and control; we have dealt 
with difficult scalability and flexibility issues. We have even described how attention can be focused or diffused. What 
about memory?

There are 4 distinct physical methods by which memory effects are achieved:

1. Levels of neuron activity (and in our model frequency assignments) determine the current state of mind
2. Changes in thresholds and weightings in neuronal connections, caused by permanent changes in the neurons
3. Changes as above caused by chemical changes in the brain, temporary; e.g. hormones, drugs
4. Topology: Rewiring of the connections between neurons, or creation / deletion of neurons

Long­term memory is encoded in the connections themselves – methods 2 and 4. Short­term and working memory is 
represented by methods 1 and 2. Emotional state is probably achieved by a combination of methods 1 and 3; however, 
there is a lot of overlap between the different memory mechanisms – for example, the diffusion of chemicals throughout 
the brain is the basis for some temporal relationships, instead of electrical connections. I have no idea whether emotions 
are attractors in the dynamics of the conscious cycle, or are the results of other physical processes (such as chemically­
induced regional biases).

It is important to appreciate that understanding the physical basis of memory is less important for understanding 
consciousness and more important for practical, implementation reasons. The momentary functioning of the brain does 
not depend on changes in its structure or weights, only on levels of neuron activation. Often, when building artificial 
neural networks, it is easiest to implement fully­connected topologies (every neuron is connected to every other) and set 
weights to zero to represent dis­connection.

9.2 Transformative Network Capacity and Working Memory
Psychological experiments on people have demonstrated that the capacity of Working Memory is largely fixed for all 
people throughout their lives: The maximum number of distinct, entire subjects is usually about 5­7. The combinatorial 
representation produced by the transformative network similarly has a limited capacity, but it additionally allows us to 
“trade­off” detail in exchange for “scope” ­ we can imagine a lot of detail about a few things, or less detail about more 
things. The algorithm predicts that fewer detailed subjects can be retained in working memory, than simple 
subjects. It is supported by later experimental results: Richer concepts (such as words) and more familiar subjects 
(about which there are many strong associations/potentials) are found to reduce working memory capacity. A greater 
number of words can be retained in working memory when they have no meaning to the people remembering them.

7 is a small number given the richness of conscious experience. It is so low because it is unnatural to ask people to 
remember a set of related things as independent items, and questionable whether this is even possible. Enriching the 
associations of a subject (the basis of many memory tricks) improves recall of that subject, even while it restricts the 
number of such subjects that can be consciously remembered! [my prediction]

9.3 Consciousness and Memory
Topological and neuron weighting/threshold changes must occur in unconscious parts of the brain – the perceptual and 
transformative networks – only part of whose content becomes conscious. Patterns of associated activity in these 
networks can continue for a long period even when not generating conscious phenomena, although actually being 
conscious reinforces this activity, and consequent activity via the re­entrant network.

Learning occurs continuously in the brain. Since learning takes a long time, repeated thoughts are most easily learnt. 

Holding something conscious for a long period – through many cycles of the conscious process – aids retention in 
memory because a lot of time is available for specific gradual changes to occur. The properties of the neurons are slowly 
adjusted to represent the associations modelled by the conscious composition. This is part of the physical basis of short­
term memory and part of the basis for long term memory.
The conscious cycle also has the ability to function as temporary storage simply due to the patterns of activation that are 
copied and developed through the cycles. This plays a major role in the representation of working and short­term 
memory. 
ivdnnawadilosr

Un­Consciousness
10.1 Un – Consciousness and Sleep
When unconscious, what's different in the brain? What is happening?

The conscious cycle continues even when we are unconscious, but the coordination disappears and the overall level of 
activity can decline, especially in the selective & symbolic networks (where it must be actively suppressed). The 
perceptual, transformative and re­entrant networks can continue to process what information is available, but there is no 
coherent, central selection of compositions to be promoted to consciousness. In a frequency­based implementation 
analogy, interference occurs between frequencies, and overlaps occur.  There is no amplification and suppression of 
selected frequencies, so noise and randomness floods in.

In normal conscious thought, a locally­self­organising process, implemented in the selective network, ensures symbolic 
capacity (or its equivalent limited resource in human brains) is not used for multiple purposes and is re­assigned 
carefully. Sometimes, when unconscious, the perceptual and re­entrant networks generate confusing and competing 
activity without coordination, leading to unusual compositions in the symbolic network. These are dreams.

Often the remaining activity is inherited from recent conscious experience, perhaps the most significant events of the 
day. As described above, the perceptual and transformative networks would have achieved some unconscious learning of 
subjects that were modelled for long periods, or perhaps when learning rates were high due to emotional stress. Dreams 
have some realism because they employ the same conscious cycle – the same perceptual and transformative mechanisms 
are applied to understanding, predicting and planning in the dream world, as in waking consciousness. But as they are 
not closely tied to reality they are vulnerable to disruption by unlikely compositions. That dream about a single shiny 
black beetle can become a nightmare swarm of thousands...

During sleep, dreaming is probably useful for building memories because scenarios are replayed and options are re­
evaluated. These replays reinforce the learning that occurred, by providing extra time and activity to reinforce the 
changes. It may also allow us to adjust our personalities and choices (see later). This makes actively dreaming a different 
state to simple unconsciousness, and can produce vivid dreams and all the strong qualia of full consciousness. If the 
symbolic network is active, these dreams can become conscious experience. Note that both overall activity levels and 
activity in the selective network can be independently varied to produce gradual transitions between 4 different states of 
consciousness: 

Activity in Selective Network (coordination):
  LOW HIGH
          Activity in Conscious cycle: ____________________________
                                       LOW Unconscious Unaware, empty
HIGH Dreaming Conscious, attentive
ivdnnawadilosr

Self­Determination
12.1 Self­Determination & Free Will
How can we freely make decisions and choose actions, that are not merely re­actions to external events, but informed, 
deliberate choices so we can self­determine our own destiny? The answer to this question has profound moral 
implications: Are we responsible for our actions?

The answer is said to lie in the existence (or otherwise) of a magic property of conscious awareness, that allows
understanding and decision­making to occur outside conventional physical processes. This process is often called “free­
will”: The ability to choose a course that is not pre­determined but instead a novel and unpredictable response that was 
chosen, not inevitable. The problem is, we know of no physical mechanism for this type of choice; I would argue we 
can't even define or conceive it concretely.
I prefer to use the term “self­determination” in place of “free­will”.  The word “free” implies that normal causal 
relationships do not apply to the thinking & choosing process: It is “free” from any constraints on what can be thought. 
I believe this confuses the issue, and will try to justify a different goal of self­determination. The distinction will 
become clear shortly.

12.2 Determinism and Determinability
The universe that we inhabit appears to be mostly deterministic, but also a little bit random. This means that it is both 
undetermined, and indeterminable. What does this description mean?

Deterministic systems behave the same way every time: If you set up a specific set of circumstances, the outcome will 
always be the same. Imagine interactions between matter as collisions between tiny balls representing atoms, each 
travelling in a straight line unless it hits something. Or imagine cogs or gears, whose rotation is entirely the consequence 
of specific rotations in adjacent gears.

Non­deterministic systems are the opposite – they do not behave the same way every time. It is hard to think of a good 
example, because at the physical scale of human experience, the universe does not behave in this way. Sometimes it 
looks like it does, but usually this is simply complexity hiding the fact that something was different between two 
scenarios that played out differently.

However, at very small scales the behaviour of the universe is non­deterministic. This property is captured in Quantum 
physics, which can only predict the probability of specific results of interactions between particles. The actual outcome 
of any specific single event cannot be determined; it is random (or rather, stochastic).

 
Fig. 22. Two “deterministic” physical systems – left, billiard balls, and right, some gears. Actually in the real world neither system is 
precisely determined, although for the purposes of engineering and sport they are deterministic enough!

In unstable large­scale systems, such as the weather, small­scale random events (let's call these “noise”) can combine to 
produce grossly unpredictable consequences. In other large­scale systems, such as the structure of your house, small 
scale random events (which are always occurring) do not have a noticeable effect because this “noise” is suppressed. 
Your house does not fall down unexpectedly, unless it is not maintained and becomes unstable.  Similarly, error­
checking mechanisms ensure that DNA is copied accurately, despite the complexity of the genome. Chance errors 
during copying, however, are essential for evolution to occur. The mix of deterministic and random is critical ­ if 
everything was completely random, no organized life or thought would be possible. 

The important insights here are that: 

– Even a tiny amount of random noise is enough to make the world not entirely determinable.
– Complex, large­scale systems can be sensitive to random noise (to the point of being Chaotic), 
or they can be designed to be almost entirely unaffected by random noise.
– No system is entirely unaffected by random noise, therefore all systems are indeterminable.
– The balance between determinable and non­determinable can be controlled by design.
12.3 Balanced Determinism
Conduct a thought­experiment with me. What sort of determinism (or not) do we really want in our heads? 

We want to be free from purely deterministic physics, because we want to be able to choose our actions, not be dictated 
to by chance properties of the outside world. We don't want to be totally random either, because then our decisions 
would be senseless and without meaning.

The ideal solution is a mix of the two extremes. We need deterministic reasoning to make sensible decisions based on 
reliable and rational computations of our understanding of the world. We also need some random noise to shake up the 
options available for us, to (rationally, deterministically) choose from. 

Consider perception. You want your senses to reliably tell you what's going on outside your head. This is essential: If all 
you saw was crazy swirls and flashing lights that were not really there, you wouldn't be able to find your way around. 
Rather than separate the deterministic part of the brain from the free­will part, it should be embraced that deterministic, 
mechanical thinking is a very important part of deciding what you want to do.

But there are parts of your brain you'd want to be sensitive to noise. When you're trying to think of what you want to do 
today, you don't want the answer to be pre­determined by which side of the bed you got up from. If the part of your brain 
that generates ideas is quite sensitive to random noise, then it can overcome the influence of external factors and suggest 
all sorts of things until something you actually find fun is found. 

Of course, your evaluation of what is fun should be quite noise­free and deterministic. Inbuilt preferences and 
emotional expectations resulting from past experiences and personal consequences define your personality and 
character. This is why it's YOUR decision.

It is worth mentioning that neither extreme of freedom or inevitability actually holds true. You will not always think of 
what you really want to do (sometimes it takes a suggestion from someone else for us to realise that). Vice­versa, your 
course of action is largely determined by internal preferences, and hence you are self­determined but not entirely free­
willed (because there are some limits on your freedom). 

One more point. We can predict the weather a couple of days into the future, but beyond that we're no better than 
random chance at guessing whether it will be sunny, because the influence of random noise increases over time. 
Similarly, in just a few seconds of thought, our brains are sensitive and complex enough to generate and evaluate 
thousands of different ideas. With a little time for consideration, the probability of generating the course of action you  
WOULD have chosen, given totally free will, is very high.

Characteristics of a balanced­determinism brain:
– choices cannot be exactly predicted
– highly sensitive to internal motivations
– stable despite irrelevant / gross variations in external stimuli
– highly sensitive to external changes that DO affect our choices
– consistent perception in repeated, varied situations, with biases that represent the individual
– imagines a (nearly infinite) range of options, reliably including the desired option 
(although we actually miss this quite often, e.g. when others suggest things that we later take up)
– can't imagine things that are not part of our experience 
– decisions based on previous decisions, experience, knowledge
– continuity of experience & consequence, situated in the world
– rational, logical, sensible decision making (occasionally!) 

12.4 Determinism and Consciousness
Given the model of consciousness proposed above, where would the random noise be significant? 

In a universe that is largely deterministic but with some random noise, we can choose to amplify the noise in 
places, to break free from determinism, and to suppress it in others where we want our reasoning to follow a 
structured logical process. Most of the brain would be largely deterministic, but in some of the networks, noise is 
useful. In perception, some noise can ensure that we see things in slightly different ways and trigger different 
interpretations of the world. In the transformative & re­entrant networks, some noise can trigger different ways of 
symbolically reasoning about the same thing (i.e. generating & evaluating ideas). 
Given a few seconds of amplified random noise (and it does take hundreds or thousands of milliseconds to make 
conscious decisions), we can reliably generate an enormous number of alternative ideas, giving a very high probability 
that the action we will later want to choose is among them. Highly nonlinear processing ensures both sensitivity & 
stability ­ some changes in signals have enormous influence, others very little. Weird tipping points – where we are 
inevitably forced to take an unpalatable course of action – can be avoided by nonlinear dynamics. Finally, a little bit of 
random noise in the selection process allows us to wriggle onto the path we'd really like ­ our internal biases will 
dominate over slight differences in the emphasis of ideas, caused by external factors.

Evolution's design of the brain has, as with DNA, put considerable effort into getting the balance of determinism and 
randomness right. Self­determination requires only a highly tuned, sensitive, but perfectly ordinary physical mechanism.

12.5 Determinism and the Selective Network
What do we make of experimental observations and theory (as described above) that show the brain makes decisions 
and only afterwards becomes consciously aware of them? For example, this article attributes decision making to the 
selective network. Given “balanced determinism”, how does an algorithm of consciousness permit free will?

The answer is that many “decisions” are trivial and are not made consciously – perhaps most. But consciousness is not a 
helpless bystander in the decision making process. 

First, we can make decisions consciously, via the slow conscious process. We tend to do this for particularly important 
or difficult decisions. It may take many cycles for a decision to be made, and that decision will ultimately be made by 
the selective network, but consciousness is a vital part of the generation and selective evaluation of potential options. 
The selective network also forms part of your conscious process, and embodies your personality, your will.

Second, we can reflect consciously on decisions already made, and re­assess for next time whether we made the right 
choices. Although, again, the selective network determines the evaluation, the conscious process is an essential part of 
this evaluation. The complex activity of imagining alternative endings and their outcomes cannot be performed without 
the encoding of consciousness. By imagining better choices, we can change the anticipated payoffs that the selective 
network will use unconsciously, next time a decision is required. In other words, you can improve yourself by conscious 
reflection on your actions. It is well established that imagining scenarios (such as martial arts training) improves 
reaction time and performance in those scenarios – so conscious reflection can change the unconscious brain. The 
selective network does consider “internal rewards” such as empathy of pleasure and pain, when making its decisions. 
We tend to reflect deeply on the most significant events in our lives, so these are the ones in which our will is manifest.

Experimental results using techniques such as Trans­cranial Magnetic Stimulation (TMS) may be able to change our 
decisions without our control, but this is no different to sustaining temporary brain damage. Artificially making us wish 
to do something merely reflects manipulation of the selective network. Experiments showing muscle reactions, learned 
responses and even high­level unconscious reasoning prior to conscious awareness cannot disprove the existence of free 
will via the two mechanisms given above.

12.6 Choice & Culpability
Some (rather philosophical) thoughts on your responsibility for your actions, assuming the model of self­determination 
given above: 
• The entity that chose your actions is the physical embodiment of you.
• Your actions are chosen by balancing your desires, your position, your situation.
• Your gambles were evaluated, understood. The risks and the benefits were considered.
• Was it really a choice? If internal factors dominated, yes, it was.
• The consequences of past and future decisions affect you. You can learn from them.
• Your decisions had internal validity and justification based on your world­view.
• Chance has a small role – your internal morality has a dominant role, in determining your actions.
• Your personality is formed by the continuity of experience and choice resulting from your decisions. 

ivdnnawadilosr
Conclusions
Probably the most unusual phenomena that we experience and attribute to consciousness is the enormous plasticity of 
the system. It seems that we can consciously ­ deliberately ­ expand any of the items brought to attention. We can play 
with the subject of attention ­ exploring options for interacting with, or manipulating the subject. Whatever happens, 
every new idea comes loaded with all the ideas, wisdom, experience and knowledge we have learnt to associate with it.

13.1 Who is Watching the Screen?
The best mechanical analogy might be a computer screen ­ those 1­2 million dots can render any image of any subject 
equally easily, and the graphics hardware behind it can perform arbitrary animation, zooming, changing colours and 
content instantaneously, blending programs and various image sources together in many ways. 

But a screen is only a screen. It does not interpret, understand or interact with its content. There must be a viewer to do 
these things, and the viewer must perceive the screen's content before she can do anything else.

The main contribution of the algorithm proposed in this article is a recurrent process of transforming information, that 
has the scalability, flexibility & elasticity properties of consciousness as we experience it. Crucially, it does not merely 
transform the data, but recurrently processes it, in a way that allows interpretation, understanding & interaction.

13.2 Deus Ex Machina
The explanation of consciousness and free will given in this article does not require deus ex machina – the addition of 
new physical properties, or outcomes, inexplicably emergent from sheer complexity. Instead it fulfils all the expectations 
and observations of consciousness from normal physical phenomena, that match our current understanding of matter 
and reality. Although there is gross simplification, the model in this article is practical, realizable and refutable. It 
includes a detailed description of conscious state, and the unconscious processes that generate it. 

“Only a theory that explained conscious events 
      in terms of unconscious events 
could explain consciousness at all.” – D. Dennett, 1992
Non­algorithmic theories of consciousness (broadly classed as such as special physics (e.g. quantum or structural), 
dualist, emergent & pan­psychic) all by definition leave some essential component unexplained and are not explanations 
at all. 

13.3 Closing the “Explanatory Gap”
In “Theories of Consciousness” (2009), the philosopher Ned Block describes the explanatory gap as “the fact that we 
have no idea why the neural basis of an experience is the neural basis of that experience rather than another experience, 
or no experience at all.” [Emphasis mine]. It is one thing to say “this explains X”, but quite another to engender an 
intuitive understanding in the reader of why it does so. Block's paper discusses 3 prevailing theories of consciousness – 
none of which is complete enough to feel like it fills that explanatory gap! In fact, there is nothing wrong with any of the 
3 theories; the higher­order theory that there must be a meta­thought for every conscious thought, is reasonable. The 
“Global Workspace” theory is a plausible analogy for the implementation of the selective network as proposed in this 
article. Baars, the originator of the global workspace concept, does not claim that it explains all of consciousness. He is 
absolutely correct; and unhelpfully, discussion of the biological inspiration of the concept hides its useful computational 
properties. There is also a danger of confusing bio­implementation details with crucial properties.

There is a gap in current attempts to explain consciousness, because there is very little work that attempts to 
isolate and describe the entire system of conscious processing, at an algorithmic level. Everyone acknowledges that 
non­conscious processing is essential in supporting consciousness, yet they still produce abstract theories of the 
conscious phenomenon in isolation from the environment and the rest of the brain. It is readily admitted that prevailing 
theories only answer part of the puzzle; yet these theories are evaluated by vague extrapolation to impacts on 
systemwide behaviour! 

Of course there is a gap.

This article simply puts together in a coherent way much of what is already known or assumed about consciousness; it is 
not necessary to contradict much that has been said before. In a sense, this is a kind of [less­]Grand Unified Theory of 
consciousness: lots of separate pieces put together, and explained from a single (algorithmic) perspective. By adopting 
this perspective, it is necessary to describe information flow throughout the whole system ­ from sensing to action. 
Obviously this is impossibly complex to present in great detail, and so I am forced to dismiss details that are not 
essential to the algorithm. 

In this article I have (rather circularly!) defined consciousness as a specific set of essential characteristics, and offered 
an algorithm that generates these. Now, you can question two things – firstly, does the algorithm do what I say it does, 
and secondly, are there other phenomena that are part of consciousness? This is quite an improvement on the previous 
situation, because the algorithm I've offered is made from established AI theories and is easily disproved and improved. 
If there are additional phenomena that are also in consciousness – well, describe them, and add them to the algorithm.

13.4 Consciousness and Computers
It is already widely accepted that many brain functions can be duplicated with normal number crunching, including 
much of perception, reasoning, & motor control. Machines can also make very smart choices, although often by 
exhaustive search rather than holistic or intuitive thinking. We can make Artificial Intelligences from real or simulated 
neurons, molecules, clockwork, electronics or, (most easily), software. However, there are currently important 
differences between computer hardware / software and the “wetware” in our heads, most significantly the degree of 
parallelism that is possible.

Fig. 23. Elsie was an electro­mechanical, light­sensitive “turtle” (here shown 
without her shell) that demonstrated a range of behaviours never before seen in 
a machine, such as following or avoiding another turtle, searching for a feeder, 
and “dancing”. 

The turtles were created by W. Grey Walter circa 1950. The turtles have no 
software, and show that artificial “life”­like behaviour is possible with only electric 
circuits and mechanics: Digital computers are merely one of many possible 
mediums for thought.

There are no physics issues that prevent computer software duplicating all the functionality of the human brain 
(although there are terrible practical problems). The model of consciousness and self­determination given here can be 
realised in software, and with a time­seeded random number generator given freedom from determinism.

One of the key purposes of proposing an algorithm of consciousness, is to show that consciousness is an engineering 
problem, not a philosophical or fundamental physics issue. It is unlikely that human consciousness is the only possible 
form of consciousness, and this algorithm merely needs to be plausible to achieve the goal stated above. It does not have 
to be an accurate description of human consciousness, although the latter is a great inspiration to learn from.

13.5 Zombies
One key difficulty in creating artificial consciousness is the problem of “Zombies”. A zombie appears to behave in a 
conscious, self­determining way, and may be intelligent enough to earnestly claim both, but is in reality unconscious 
and following a deterministic program. There is not necessarily any external difference in behaviour or choices between 
zombies and the real thing, and in fact, we could be zombies too.

Actually, it is easier to prove that software consciousness is real, than it is to prove anything about humans' brains. This 
is because we can “pause” and explore software brains in great detail, examining all the internal state. Given an 
algorithm which is expected to produce consciousness, we can evaluate the external results against what's actually 
happening inside.

So what about us? Are we zombies? Two paths approach an answer to this question. First, our ability to understand our 
grey goo will improve. Second, successfully building an artificial intelligence that claims to think, and does act like us, 
which we know has no zombie­program inside, suggests that we are also the real thing. Finally, and this is conjecture, it 
is probably easier to build something that's genuinely conscious, than something that convincingly appears to be.
13.6 Discovery by Dissection
Building and testing an artificial consciousness will also confirm the differences between simply adding more 
complexity / better reasoning / faster processing, and qualitatively different, genuinely­conscious algorithms. It is also 
important to design artificial brains because we will not learn everything by dissecting natural ones – for example, when 
researchers reverse­engineered a fly's brain to individual neuron detail, they found they could not explain how it worked 
even though they could duplicate it. 

Given that consciousness is probably very scaleable, a little resolution (rather than specific functionality) is lost in less 
intelligent animals. It may be very difficult to pinpoint the simplest animal that is still conscious, which will make the 
key features very hard to uncover.

Finally, there are some things that are simply too complex to understand completely, monolithically. Instead, we prefer 
to isolate independent parts and understand them in isolation, before modelling the larger system in reduced detail. The 
brain is certainly one of the most complex things in existence, therefore a simplified model is essential for 
understanding the bigger picture.

Fig. 24. Left, a diagram of an actual engine. Right, a simplified diagram of the key physical and chemical processes. It is much easier to 
understand the simplified diagram, and on most occasions the extra detail provided by the faithful diagram on the left is superfluous. The 
same applies to the brain; having a complete diagram of all neural connections is unlikely to give any insight into how the brain actually 
works.

13.7 A Compelling Software Demo
While I hope that many people are convinced by this article, I expect that only software­engineers with an artificial­
intelligence background can be convinced by writing alone (people who can accurately imagine the algorithm).

Since (quite understandably) there will be people who will not accept any writing as an explanation of consciousness, in 
January 2011 I will release an open­source demo that everyone can run on their home computers. The demo will be 
compelling – that is, the characters will behave in a way that really seems to be conscious; viewers will be able to 
monitor both characters' internal dialogue, and their actions in a simulated world. The proof is in the pudding!

­ ∞ ­  
ivdnnawadilosr
Appendix: An Innate Symbolic Vocabulary
This section is more speculative than the others, and certainly not comprehensive. The objective is to give an overall 
impression of the vocabulary of adjectives and adverbs used in the transformative network. It's important also to 
understand what's missing ­ primarily, how more complex concepts are built from physical or bodily metaphors, 
analogies or compositions from the basic vocabulary. The inclusions and omissions have had a profound impact on the 
structure and content of natural human languages.

The vocabulary must be sufficient to cope with all imaginable content, and yet based on simpler, concrete actions and 
relationships that could be perceived by less intelligent animals as consciousness evolved. Naturally, for survival the 
vocabulary must succinctly describe things relating to threats, food, water, and shelter (comfort). 

It remains an open question whether entirely abstract logical concepts such as "very" “and” "not" exist, or whether there 
are various analogous "not"s derived from different perceptual processes (e.g. (visual) black is "not" white, (spatial) up 
is "not below" down...). Similarly, there could be a global primitive representing “imaginary” or this could be applied to 
various compositions e.g. when not representing subjects that are “here” and “now”.

Although this article describes independent sets of adjectives and adverbs, there is enormous overlap ­ most of the 
vocabulary can function simultaneously as either relationships between things or as characteristics of things. I will cover 
6 primary categories:

1. physical affordances
2. sensory actions & outcomes
3. physical (spatial) primitives, properties & relationships
4. temporal relationships
5. intentional relationships
6. social relationships

X.1 Physical Affordances
This category of primitives enumerates the possible interactions between objects, based on the possible physical 
interactions between your body and other objects. Listed as adjectives or adverbs only, most can be both:

• fixed / moveable • rigid / plastic / elastic • soft / hard / malleable

• sharp / blunt • push / pull • lift / drop
• grasp / release • slap / poke • stretch / squash
• twist / pinch* • kick+ • reachable
• arms / legs / head / hands   (etc: Body image / map)

* (... all the ways a hand can manipulate. Many can be perceived as analogous in effect, albeit physically distinct motions)
+ (... and other things related to other body parts. e.g. kick has become synonymous with other sudden, unexpected, violent events)

X.2 Sensory actions & outcomes
There are a number of important concepts relating to the capabilities of our senses, and our expectations of the 
capabilities of others. Our senses also give us feedback about the comfort and safety of our circumstances ­ are we in 
pain? Cold? Hot? Thirsty? Hungry?

External sensing (Adjective / Adverb)
• visible / see • look / looking • hot / warms
• cold / cools • tasty / taste

Internal conditions:
• edible / eat • satiates / hungers • thirsty / thirsts
• pain / hurts • pleasant / pleasures • restrained / squashes

X.3 Physical (spatial) primitives, properties & relationships
This category includes all the observable spatial relationships between entities in our universe, which has 3 significant 
spatial dimensions.

• left / right (which are only meaningful in relation to an observer, not an absolute)
• above / below (defined against the universal baseline of Earth's gravity, or from observer's perspective)
• inside / outside
• adjacent / between
• begin / end (i.e. where something ends, which is often a gradual or unclear distinction)
• faster / slower
• rotate / twist / straighten
• go (away)
• come (closer)
• closer / further
• angular bearings (quantized)
• here / there (there = not here)

X.4 Temporal relationships
The other significant dimension in this universe is time. It is important that our appreciation of the world and our 
situation includes positions in time.

As adverbs:
• before / after • between

As adjectives:
• was / is / will be • regular (fixed intervals)
• always / never • often / rarely

X.5 Intentional relationships
This category is of vital importance for survival and success. Many animals have complex patterns of behaviour to deal 
with competition over resources, predation, mating opportunities and so on. These behaviours are optimized to 
maximize the gains and minimize the risks, hedging future success against today's chances. The concepts in this 
category are as vital for humans as they are for wolves, deer and whales: You need to know your opponent's intentions, 
the threat they pose and how fiercely they will fight. Intentional relationships are the basis for a Theory of Mind.

• self • me / it (different to self, "me" refers specifically to you)
• passive / active • aggressive / timid
• intelligent / reactive • predictable / erratic
• try (e.g. search is try + look) • have (perhaps too abstract?)
• want (e.g. have + fear + want + go = flee)

X.6 Social relationships
Since social relationships probably emerged after consciousness (but not necessarily) it is not clear whether social 
concepts are represented directly in the vocabulary or constructed by composition and metaphor.

• friendly / neutral / hostile • fear • like

• love • hate • trust